Oszałamiający algorytm syntezy widoków może mieć ogromne implikacje dla przechwytywania VR

Jeśli chodzi o wideo VR z akcją na żywo, wideo wolumetryczne jest złotym standardem immersji. To samo dotyczy fotogrametrii w przypadku statycznego przechwytywania scen. Jednak obie metody mają ograniczenia, które umniejszają realizm, zwłaszcza jeśli chodzi o efekty „zależne od widoku”, takie jak odbłyski i soczewki przez obiekty półprzezroczyste. Badania z tajlandzkiego Instytutu Nauki i Technologii Vidyasirimedhi pokazują oszałamiający algorytm syntezy widoku, który znacznie zwiększa realizm dzięki dokładnej obsłudze takich efektów świetlnych.

Naukowcy z Instytutu Nauki i Technologii Vidyasirimedhi w Rayong w Tajlandii opublikowali na początku tego roku prace nad algorytmem syntezy widoku w czasie rzeczywistym o nazwie NeX. Jego celem jest użycie tylko kilku obrazów wejściowych ze sceny do syntezy nowych klatek, które realistycznie przedstawiają scenę z dowolnych punktów pomiędzy prawdziwe obrazy.

Naukowcy Suttisak Wizadwongsa, Pakkapon Phongthawee, Jiraphon Yenphraphai i Supasorn Suwajanakorn piszą, że praca opiera się na technice zwanej obrazem wielopłaszczyznowym (MPI). W porównaniu z wcześniejszymi metodami, ich podejście lepiej modeluje efekty zależne od widoku (takie jak odbicia światła) i tworzy ostrzejsze zsyntetyzowane obrazy.

Oprócz tych ulepszeń zespół wysoce zoptymalizował system, umożliwiając jego łatwą pracę przy 60 Hz – deklarowana 1000-krotna poprawa w stosunku do poprzedniego stanu techniki. I muszę powiedzieć, że wyniki są oszałamiające.

Chociaż nie jest jeszcze wysoce zoptymalizowany pod kątem zastosowania, naukowcy przetestowali już system za pomocą zestawu słuchawkowego VR z głębią stereo i pełnym ruchem 6DOF.

Naukowcy konkludują:

Nasza reprezentacja jest skuteczna w przechwytywaniu i odtwarzaniu złożonych efektów zależnych od widoku i wydajnie obliczana na standardowym sprzęcie graficznym, umożliwiając w ten sposób renderowanie w czasie rzeczywistym. Obszerne badania nad publicznymi zbiorami danych i naszym trudniejszym zbiorem danych pokazują najnowocześniejszą jakość naszego podejścia. Uważamy, że ekspansję bazy neuronowej można zastosować do ogólnego problemu faktoryzacji pola świetlnego i umożliwić wydajne renderowanie dla innych reprezentacji scen, nie ograniczających się do MPI. Nasze spostrzeżenia, że ​​niektóre parametry odbicia i teksturę o wysokiej częstotliwości można wyraźnie zoptymalizować, mogą również pomóc w odzyskaniu drobnych szczegółów, co jest wyzwaniem, przed którym stają istniejące niejawne reprezentacje neuronowe.

Pełną pracę można znaleźć na Strona projektu NeX, która zawiera wersje demonstracyjne, które możesz wypróbować samodzielnie w przeglądarce. Istnieją również wersje demonstracyjne oparte na WebVR, które działają z goglami PC VR, jeśli używasz Firefoksa, ale niestety nie działają z przeglądarką Quest.

Zwróć uwagę na odbicia w drewnie i złożone refleksy w uchwycie dzbanka! Takie szczegóły zależne od widoku są bardzo trudne w przypadku istniejących metod przechwytywania wolumetrycznego i fotogrametrycznego.

Przechwytywanie wideo wolumetryczne, które widziałem w VR, zwykle jest bardzo zdezorientowane w związku z tego rodzaju efektami zależnymi od widoku, często mając problemy z określeniem odpowiedniej głębi stereo dla świateł zwierciadlanych.

Fotogrametria lub podejście „skanowania sceny” zazwyczaj „zapala” oświetlenie sceny w tekstury, co często sprawia, że ​​przezroczyste obiekty wyglądają jak karton (ponieważ podświetlenia nie poruszają się prawidłowo, gdy patrzysz na obiekt pod różnymi kątami).

Badania nad syntezą widoku NeX mogą znacznie poprawić realizm przechwytywania i odtwarzania wolumetrycznego w VR.