Methods of high efficiency compression for transmission of spatial representations of motion scenes
Description for the general public
The project deals with video that represent a scene as views taken from many directions (Fig. 1). Such a representation is augmented by some information on distances to individual objects. The distance information is usually provided as depth. These pictures are gathered and transmitted in the free-viewpoint television systems, in the systems of free virtual navigation and in various systems of augmented reality. Unfortunately, such pictures have representations as huge data files and therefore need a strong compression.
In particular, the project deals with the methods for compression of three-dimensional video with MVD representations (multiview + depth) and similar (Fig. 2).
In the course of research, new compression methods have been developed that are specific for multiview video (with respective depth data), in particular for the views obtained from cameras located around a scene. The proposed techniques exploit the basic tools of the state-of-the-art technology of High Efficiency Video Coding. In particular, the methods use the technique of 3D-HEVC that is aimed at compression of Multiview video with depth. Unfortunately, the 3D-HEVC technique has been developed only for video obtained from cameras densely located on a straight line. In the course of the project the technique has been generalized for arbitrary locations of cameras.
Metody bardzo efektywnej kompresji dla transmisji przestrzennych reprezentacji scen ruchomych
Popularnonaukowe streszczenie projektu
Projekt dotyczy obrazów ruchomych stanowiących reprezentację sceny w postaci widoków z różnych kierunków (rys. 1) uzupełnionych informacją o odległości do obiektów, która jest zazwyczaj zapisywana jako głębia. Takie obrazy należy gromadzić i przesyłać w systemach telewizji swobodnego punktu widzenia, w systemach swobodnej wirtualnej nawigacji i w różnych systemach wzbogaconej rzeczywistości. Niestety, takie obrazy ruchome mają reprezentacje będące bardzo dużymi zbiorami danych i dlatego wymagają silnej kompresji.
W szczególności projekt dotyczy metod kompresji trójwymiarowych obrazów ruchomych o reprezentacjach MVD (multiview + depth) i pokrewnych (rys. 2).
W ramach przeprowadzonych badań opracowano nowe metody kompresji przeznaczone specyficznie dla obrazów wielowidokowych (z danymi o głębi), zwłaszcza uzyskanych z kamer swobodnie rozmieszczonych wokół sceny. Opracowane metody wykorzystują podstawowe narzędzia obecnie wchodzącej do stosowania techniki Bardzo Efektywnego Kodowania Sekwencji Wizji (High Efficiency Video Coding). W szczególności metody wykorzystują technikę 3D-HEVC przeznaczoną dla kompresji wielowidokowych sekwencji z mapami głębi, ale rozwiniętą tylko dla sekwencji, w których kamery są gęsto rozmieszczone wzdłuż jednej linii. W ramach projektu opracowano szereg ulepszeń tej techniki, a w szczególności uogólniono ją na dowolne rozmieszczenia kamer.
Finansowanie
