Chair of Multimedia Telecommunications and Microelectronics
NCBiR - TANGO 1


Prosty system telewizji swobodnego punktu widzenia

Streszczenie projektu


Cel projektu

Celem projektu jest wykorzystanie wyników badań podstawowych dotyczących kompresji obrazu przestrzennego, syntezy widoków wirtualnych oraz akwizycji obrazów wielowidokowych wraz z mapami głębi dla uzyskania modelu prostego systemu telewizji swobodnego punktu widzenia. Celem jest zdobycie wiedzy i umiejętności potrzebnych do budowy systemu umożliwiającego świadczenie zupełnie nowych, nieoferowanych dotychczas usług telewizji swobodnego punktu widzenia. W ramach projektu bazowego, a także dzięki innym pracom zespołu uzyskano wiedzę dotyczącą kluczowych elementów systemu telewizji swobodnego punktu widzenia. Jednak należy pozyskać wiedzę dotyczącą współdziałania opracowanych dotychczas metod i technik w jednym systemie, który mógłby być wykorzystany do późniejszych prac rozwojowych i wdrożeniowych wprowadzających do praktyki gospodarczej usługę telewizji swobodnego punktu widzenia. Ponadto należy przeprowadzić badania przemysłowe dotyczące dodatkowych technik, które muszą być zastosowane w systemie, a dla których nie prowadzono badań podstawowych.

Wymiernym wynikiem projektu będzie model prostego systemu telewizji swobodnego punktu widzenia, na który będzie się składało przede wszystkim oprogramowanie realizujące funkcje systemu (wstępny szacunek: ok. 130 000 linii kodu). Model będzie wykorzystywał posiadany sprzęt, w tym zwłaszcza zbudowane wcześniej moduły kamerowe, które zostaną uzupełnione o nowe moduły, w tym przede wszystkim bloki rejestracji dźwięku.

Celem projektu jest także zdobycie wiedzy o zasadach i regułach, które muszą towarzyszyć budowie systemów telewizji swobodnego punktu widzenia.

Metoda badawcza

Faza B+R będzie poświęcona badaniom przemysłowym dotyczącym systemu, w którym reprezentacja sceny (wizja i fonia z wielu kamer) jest przetwarzana lokalnie w systemie akwizycji (komputery zainstalowane w małym wozie transmisyjnym). W szczególności jest tam poddawana kompresji i wysyłana do serwerów operatora. W serwerach następuje dalszy etap przetwarzania, w tym synteza widoków wirtualnych żądanych przez widzów. Przesyłanie wybranego widoku (monoskopowego lub stereoskopowego, zawsze z fonią) do widza odbywa się jak w zwykłej usłudze filmu na żądanie, z tym, że położenie wirtualnego punktu obserwacji płynnie zmienia się w czasie. Taka struktura została już wstępnie zweryfikowana w bardzo uproszczonej implementacji demonstracyjnej.

Poszczególne zadania będą realizowane w dwóch etapach – w pierwszym etapie zostaną przeprowadzone badania mające na celu uzyskanie wstępnej wersji całego modelu, która następnie zostanie przebadana eksperymentalnie pod kątem nakładu obliczeń, wprowadzanych opóźnień i uzyskiwanej jakości syntetycznej wizji i fonii dla widoków wirtualnych. Badania będą uwzględniały subiektywną oceną jakości wizji i fonii przeprowadzoną zgodnie z normami ITU. Po analizie wyników i opracowaniu wniosków zostanie przeprowadzona druga faza badań, podczas której zostaną opracowane poprawki i modyfikacje systemu. Po integracji tych poprawek powstanie nowa ulepszona wersja modelu, która znowu zostanie poddana ocenie. Wnioski z tej oceny posłużą do ostatecznych modyfikacji i ulepszeń modelu.

Możliwości wdrożenia

Istnieją bardzo jednoznaczne przesłanki wskazujące na możliwość szybkiego wykorzystania wyników prac w gospodarce. Analizy dokonane przez firmy telekomunikacyjne wskazują, że nowa usługa FTV spowoduje poprawę wykorzystania istniejącej infrastruktury sieciowej oraz obliczeniowej i będzie generować przychody. Na podstawie dotychczasowych szacunków, w tym projekcie przyjmuje się, że proste transmisje FTV będą się charakteryzowały niewielkim kosztem operacyjnym porównywalnym z obecnymi transmisjami wykorzystującymi pojedynczą kamerę reporterską i pojedynczy mały wóz transmisyjny.

Należy stwierdzić, że znaczne zainteresowanie badaniami w zakresie systemów FTV obserwuje się na Dalekim Wschodzie i dlatego ważne jest, by w zakresie systemów FTV badania w Polsce nie pozostały w tyle, gdyż pozbawiłoby to polskie podmioty szans na rozwój w zakresie FTV.

Praktyczne wykorzystanie systemów telewizji swobodnego punktu widzenia obejmuje np. interaktywne transmisje zawodów sportów walki (boks, zapasy, judo, sumo), podczas których widzowie będą mogli oglądać zawodników z różnych, samodzielnie wybranych kierunków szczegółowo zaznajamiając się z wykonanymi ciosami lub chwytami, które dobrze widać tylko z wybranych kierunków. Inne zastosowania to interaktywne występy teatralne i cyrkowe, interaktywne kursy i szkolenia (np. zabiegi kosmetyczne, rehabilitacyjne i niektóre chirurgiczne, nauka tańca), interaktywne instrukcje, szkolne materiały audiowizualne o zwiększonej atrakcyjności itd.

Projekt ma być realizowany pod kątem wykorzystania wyników przez dwie grupy podmiotów gospodarczych: dostawców usług oraz dostawców oprogramowania i systemów dla telewizji interaktywnej i mobilnej.

Materiały promocyjne





Prezentacja systemu (slajdy PDF)


Zapytania ofertowe

Zapytanie ofertowe nr 1/TANGO/2015 - dalsza obsługa europejskiego zgłoszenia patentowego - Unieważnione

Zapytanie ofertowe nr 2/TANGO/2015 - dalsza obsługa europejskiego zgłoszenia patentowego - Rozstrzygnięte

Zapytanie ofertowe nr 3/TANGO/2015 - analiza sytuacji patentowej projektu - Rozstrzygnięte

Zapytanie ofertowe nr 4/TANGO/2016 - wycena technologii - Rozstrzygnięte


Finansowanie


Projekt finansowany przez Narodowe Centrum Badań i Rozwoju w ramach programu TANGO - TANGO1/266710/NCBR/2015