NCN - PRELUDIUM 3



Virtual views synthesis: input data preparation and synthesis algorithms

Description for the general public

The project was related to the futuristic three-dimensional video systems that produce realistic impression of the spatial scene. Such systems include Internet and television broadcasting to the autostereoscopic displays that produce 30-50 high resolution moving-picture views. Projection of such high number of views allows many viewers to watch stereoscopic content without glasses. While moving, the viewer perceives realistic impression that objects in the visible scene are also changing their positions according to their depth. The individual views need to be synthesized and rendered in the receiver because transmission of such a high number of views to the receiver as a whole would lead to unacceptable transmission bandwidth. In the receiver, all the views have to be synthesized to as small amount of information as possible. During the project realization a new reduced representation of mutliview video has been developed. Proposed representation allows fast and simple rendering of vast number of virtual views necessary for autosteroscopic displays.

Another new systems considered in the project are free-viewpoint television and video on demand. These interactive video services allow the viewer to choose freely their viewpoint and view direction. Such services are of special interest for internet delivery where the viewer uses the computer interface for interaction with the scene. The internet also provides an uplink that can be efficiently used in order to specify the currently needed information in the receiver. The viewer is able to change smoothly both the viewpoint and the view direction. Neither the viewpoint nor the view directions can be predefined. During the project realization, a novel algorithm for depth data simplification was developed which allows for fast rendering of any requested virtual views.

All developed techniques have been submitted to MPEG-FTV group of International Ogranization for Standardization (ISO), which is a leading body of creation of standards in the field of 3D video capturing, processing, compression and rendering. Developed solutions have led to the development of the improved view synthesis reference software which was chosen by ISO as a reference for assessment of new technology in this field. It also has been chosen as a referece technology for assessment of the responses to Call for Evidence of Super Multiview and Free Navigation, issued in July 2015.

Synteza widoków wirtualnych: przygotowanie danych wejściowych i algorytmy syntezy.

Popularnonaukowe streszczenie projektu

Projekt dotyczył badań nad rozwojem nowoczesnych systemów telewizji 3D. Wśród takich systemów warto wymienić: wysokiej jakości, realistyczne systemy telewizji 3D, wykorzystujące nowoczesne monitory autostereoskopowe. Monitory takie umożliwiają oglądanie wysokiej jakości obrazu 3D przez wielu widzów jednocześnie, bez użycia jakichkolwiek okularów, niezbędnych w systemach poprzedniej generacji. Monitory autostereoskopowe wymagają dostarczenia dużej liczby (30-50) wysokiej jakości widoków sceny. Oczywiście rejestracja i przesłanie takiej ilości widoków jest nierealistyczne, dlatego przewiduje się, iż widoki te będą syntezowane - generowane bezpośrednio w odbiorniku na podstawie pewnej zwartej reprezentacji sceny. W ramach projektu opracowano nowe sposoby zwartej reprezentacji sceny trójwymiarowej, pozwalające na bardzo wydajne generowaniu dużej liczby obrazów wymaganych przez nowoczesne monitory autosteroskopowe.

Innym rodzajem nowych systemów telewizji 3D są systemy telewizji swobodnego punktu widzenia. W systemach takich widz może swobodnie wybierać sobie punkt i kierunek obserwacji sceny. System taki wymaga wydajnego mechanizmu syntezy widoku sceny z danego punktu w przestrzeni. W taki sposób użytkownik uzyska możliwość obserwacji jakiegoś wydarzenia (np. występu tanecznego) z dowolnego miejsca w przestrzeni. W pracach projektu opracowano nową metodę upraszczania reprezentacji informacji przestrzennej w postaci mapy głębi, pozwalającą na znaczące przyśpieszenie procesu generowania dowolnego widoku sceny trójwymiarowej, bez znaczącej straty jakości obrazu.

Wszystkie opracowane techniki zostały zaprezentowane międzynarodowej grupie ekspertów MPEG-FTV Międzynarodowej Organizacji Standaryzacyjnej, zajmującej się opracowaniem standardów z zakresu rejestracji, kompresji i odtwarzania obrazu trójwymiarowego. Opracowane rozwiązania przyczyniły się między innymi do opracowania ulepszonego algorytmu syntezy widoków pośrednich, zaimplementowanego w oprogramowaniu VSRS (View Synthesis Reference Software), przyjętym przez Międzynarodową Organizację Standaryzacyjną jako technikę odniesienia przy rozwoju techniki kodowania obrazu trójwymiarowego i telewizji swobodnego punktu widzenia. Wspomniana technika została ponadto wybrana przez grono niezależnych ekspertów, jako technika odniesienia do oceny nowych technologii kompresji obrazu trójwymiarowego i telewizji swobodnego punktu widzenia, w ogłoszonym w lipcu 2015 wezwaniu do zgłaszania nowych technik tzw. Call for Evidence, mogących znaleźć zastosowanie przy opracowywaniu normy z zakresu kodowania obrazu trójwymiarowego przez Międzynarodową Organizację Standaryzacyjną.



Publikacje w czasopismach recenzowanych

Artykuły w recenzowanych materiałach ważnych konferencji międzynarodowych dostępne także w IEEE Xplore Digital Library

Artykuły w recenzowanych materiałach ważnych konferencji międzynarodowych - standardyzacja



Finansowanie