Estimation of temporally consistent stereoscopic depth maps

Description for the general public

The project was related to the futuristic multiple view video systems that are important for development of next generation of 3D television. Such systems include free-viewpoint navigation systems and glasses-free 3D video systems that employ autostereoscopic displays.

In free-viewpoint navigation systems the viewers are allowed to freely choose their viewpoint and viewing direction. Such services are of special interest for internet delivery where the viewer uses the computer interface for interaction with the scene. Free-viewpoint navigation systems employ an apparatus for synthesis of so called virtual views, which are views of the scene as seen from some selected points, which may be chosen arbitrarily. Thanks to that, the used can observe some events (e.g. dance competitions or sport matches) from any point within the scene.

Autostereoscopic displays allow viewing of high-quality 3D materials by many viewers simultaneously, without need for any special glasses, which is an advantage over previous generation of 3D video systems. Autostereoscopic displays require delivery of many (e.g. 20-50) high resolution moving-picture views. Of course, acquisition and transmission of such a big amount of views is impractical, therefore it is anticipated that some of the real views will be replaced with virtual views, synthesized at the decoder. According to the present state of the art, virtual view synthesis requires the estimation of so called depth maps. Depth maps describe spatial structure of the scene and their quality determines the quality of the resulting 3D video. Among the most important indicators of quality of depth maps are fidelity and temporal consistency. During the project realization, novel algorithms for multiview depth estimation have been developed, ensuring high quality and temporal-consistency of the estimated depth maps, which allows for generation of high quality 3D-video presented to the viewers.

All of the developed techniques have been submitted to MPEG-FTV group of International Organization for Standardization (ISO), which is a leading body of creation of standards in the field of 3D video capturing, processing, compression and rendering. The solutions that have been created during the project led to development of the improved depth estimation algorithm implemented in Depth Estimation Reference Software (DERS), which was chosen by ISO as a reference for assessment of new technology in the field of 3D video coding and free viewpoint navigation. Moreover, the mentioned technique was selected by a panel of independent experts, as a reference technique for the evaluation of new 3D video coding and free viewpoint navigation technologies, submitted as responses to Call for Evidence (CfE), announced in the July 2015 by the International Organization for Standardization (ISO) in course for development of a new 3D video standard. Although the works on evaluation of the technologies submitted to the CfE are still going on, it is already known that the research achievements, some of which are the results of the project, allow up to 20% reduction of bit-stream necessary for the representation of 3D the scene.

Estymacja map głębi stereoskopowej spójnych w dziedzinie czasu

Popularnonaukowe streszczenie projektu

Projekt dotyczył badań nad rozwojem nowoczesnych systemów obrazu wielowidokowego, istotnych dla rozwoju telewizji trójwymiarowej nowej generacji. Wśród takich systemów warto wymienić systemy swobodnej nawigacji oraz systemy wykorzystujące monitory autostereoskopowe.

W systemach swobodnej nawigacji widz może swobodnie wybierać punkt i kierunek obserwacji sceny. Może mieć to miejsce w usługach świadczonych za pomocą sieci Internet, gdzie widz wykorzystuje komputer osobisty do interakcji ze sceną. Systemy takie wymagają mechanizmu syntezy widoku sceny z danego punktu w przestrzeni, zwanego widokiem wirtualnym. Dzięki temu, użytkownik uzyskuje możliwość obserwacji jakiegoś wydarzenia (np. występu tanecznego lub rozgrywek sportowych) z dowolnego miejsca w przestrzeni.

Monitory autostereoskopowe umożliwiają oglądanie wysokiej jakości obrazu 3D przez wielu widzów jednocześnie, bez użycia jakichkolwiek okularów, co było niezbędne w systemach poprzedniej generacji. Monitory takie wymagają dostarczenia dużej liczby (20-50) wysokiej jakości widoków sceny. Oczywiście rejestracja i przesyłanie takiej liczby widoków jest niepraktyczne, dlatego przewiduje się, iż część widoków rzeczywistych będzie zastąpionych widokami wirtualnymi syntezowanymi w odbiorniku. Zgodnie z obecnym stanem techniki synteza widoków wirtualnych wymaga estymacji tzw. map głębi. Mapy głębi opisują przestrzenną strukturę sceny zaś ich jakość determinuje jakość wynikowego obrazu trójwymiarowego. Wśród najważniejszych wskaźników jakości map głębi wymienia się wierność odwzorowania sceny oraz ich spójność w dziedzinie czasu. W ramach projektu opracowano nowe metody wielowidokowej estymacji głębi, zapewniające wysoką jakość map głębi i ich spójność w dziedzinie czasu, a co za tym idzie, zapewniające wysoką jakość wynikowego obrazu trójwymiarowego prezentowanego widzowi.

Wszystkie opracowane techniki zostały zaprezentowane międzynarodowej grupie ekspertów MPEG-FTV Międzynarodowej Organizacji Normalizacyjnej ISO, zajmującej się opracowaniem standardów z zakresu rejestracji, kompresji i odtwarzania obrazu trójwymiarowego. Rozwiązania powstałe dzięki projektowi, przyczyniły się między innymi do opracowania ulepszonego algorytmu estymacji map głębi, zaimplementowanego w oprogramowaniu DERS (Depth Estimation Reference Software), przyjętego przez Międzynarodową Organizację Normalizacyjną ISO jako technika odniesienia dla badań nad rozwojem technik kodowania obrazu trójwymiarowego i telewizji swobodnego punktu widzenia. Wspomniana technika została ponadto wybrana przez grono niezależnych ekspertów, jako technika odniesienia do oceny nowych technologii kompresji obrazu trójwymiarowego i telewizji swobodnego punktu widzenia, w ogłoszonym w lipcu 2015 wezwaniu do zgłaszania nowych technik tzw. Call for Evidence (CfE), mogących znaleźć zastosowanie przy opracowywaniu normy z zakresu kodowania obrazu trójwymiarowego przez Międzynarodową Organizację Normalizacyjną ISO. Ocena technologii zgłoszonych w odpowiedzi na CfE jeszcze trwa, jednakże już wiadomo, że osiągnięcia badawcze, których część stanowią wyniki projektu, przyczyniły się do uzyskania do 20% redukcji strumienia bitowego niezbędnego dla reprezentacji sceny trójwymiarowej.

Finansowanie