A lenyűgöző nézetszintézis algoritmus óriási hatással lehet a VR-rögzítésre

Ami az élőszereplős VR-videókat illeti, a volumetrikus videó a merítés aranystandardja. A statikus jelenetrögzítésnél ugyanez igaz a fotogrammetriára is. De mindkét módszernek vannak korlátai, amelyek rontják a realizmust, különösen, ha „nézetfüggő” effektusokról van szó, mint például a tükörfényes kiemelések és az áttetsző tárgyakon keresztül történő objektívezés. A thaiföldi Vidyasirimedhi Tudományos és Technológiai Intézet kutatása egy lenyűgöző nézetszintézis algoritmust mutat be, amely jelentősen javítja a valósághűséget az ilyen fényhatások pontos kezelésével.

A rajong-i thaiföldi Vidyasirimedhi Tudományos és Technológiai Intézet kutatói az év elején publikáltak egy NeX nevű valós idejű nézetszintézis algoritmust. Célja, hogy csak néhány bemeneti képet használjunk egy jelenetből új képkockák szintetizálására, amelyek valósághűen ábrázolják a jelenetet tetszőleges pontokból. között az igazi képeket.

Suttisak Wizadwongsa, Pakkapon Phongthawee, Jiraphon Yenphraphai és Supasorn Suwajanakorn kutatók azt írják, hogy a munka a többsíkú kép (MPI) technikára épül. A korábbi módszerekhez képest azt mondják, hogy megközelítésük jobban modellezi a nézetfüggő effektusokat (mint a tükörfényes kiemelések), és élesebb szintetizált képeket hoz létre.

A fejlesztések mellett a csapat nagymértékben optimalizálta a rendszert, lehetővé téve az egyszerű működést 60 Hz-en – ez állítólag 1000-szeres előrelépés a technika korábbi szintjéhez képest. És azt kell mondanom, az eredmények lenyűgözőek.

Bár még nem kifejezetten a felhasználási esetre optimalizálták, a kutatók már tesztelték a rendszert egy sztereó mélységű és teljes 6DOF mozgású VR fejhallgatóval.

A kutatók arra a következtetésre jutnak:

Képviseletünk hatékonyan rögzít és reprodukál összetett, nézetfüggő effektusokat, és hatékonyan számol szabványos grafikus hardveren, így lehetővé teszi a valós idejű megjelenítést. A nyilvános adatkészletekkel kapcsolatos kiterjedt tanulmányok és a nagyobb kihívást jelentő adatkészletünk szemléletmódunk legkorszerűbb minőségét mutatják. Úgy gondoljuk, hogy a neurális bázisok kiterjesztése alkalmazható a fénymező-faktorizáció általános problémájára, és hatékony megjelenítést tesz lehetővé más jelenetreprezentációk számára, amelyek nem korlátozódnak az MPI-re. Az a felismerésünk, hogy egyes reflektancia-paraméterek és a nagyfrekvenciás textúrák kifejezetten optimalizálhatók, szintén segíthet a finom részletek visszanyerésében, ami a meglévő implicit neurális reprezentációkkal szembeni kihívás.

A teljes lapot megtalálja a A NeX projekt weboldala, amely olyan bemutatókat tartalmaz, amelyeket közvetlenül a böngészőben kipróbálhat. Vannak WebVR-alapú bemutatók is, amelyek működnek a PC VR fejhallgatóival, ha Firefoxot használsz, de sajnos nem működnek a Quest böngészőjével.

Figyelje meg a tükröződéseket a fában és az összetett kiemeléseket a kancsó nyelében! A nézetfüggő részletek, mint ezek, nagyon nehézkesek a meglévő volumetrikus és fotogrammetrikus rögzítési módszereknél.

A VR-ben látott volumetrikus videórögzítés általában nagyon összezavarodik az ilyen típusú nézetfüggő effektusokkal kapcsolatban, és gyakran gondot okoz a megfelelő sztereó mélység meghatározása a tükörfényes képekhez.

A fotogrammetriás vagy „jelenet-szkennelési” megközelítések jellemzően textúrákká „sütik” a jelenet megvilágítását, ami miatt az áttetsző tárgyak gyakran kartonnak tűnnek (mivel a megvilágítási csúcsok nem mozognak megfelelően, amikor a tárgyat különböző szögekből nézi).

A NeX nézet szintézis kutatása jelentősen javíthatja a volumetrikus rögzítés és lejátszás valósághűségét VR-ben.