Algoritem sinteze osupljivih pogledov bi lahko imel velike posledice za zajem VR

Kar se tiče videa VR v živo, je volumetrični video zlati standard za potopitev. Za statično zajemanje prizorov velja enako tudi za fotogrametrijo. Toda obe metodi imata omejitve, ki odvračajo od realizma, zlasti ko gre za učinke, odvisne od pogleda, kot so zrcalni poudarki in leče skozi prosojne predmete. Raziskave tajskega Inštituta za znanost in tehnologijo Vidyasirimedhi kažejo osupljiv algoritem sinteze pogledov, ki z natančnim ravnanjem s takšnimi svetlobnimi učinki znatno poveča realizem.

Raziskovalci z Inštituta za znanost in tehnologijo Vidyasirimedhi v Rayongu na Tajskem so v začetku tega leta objavili delo na algoritmu sinteze pogledov v realnem času, imenovanem NeX. Njegov cilj je uporabiti le peščico vhodnih slik s prizora za sintezo novih okvirjev, ki realno prikazujejo prizor iz poljubnih točk med prave slike.

Raziskovalci Suttisak Wizadwongsa, Pakkapon Phongthawee, Jiraphon Yenphraphai in Supasorn Suwajanakorn pišejo, da delo temelji na tehniki, imenovani multiplane image (MPI). V primerjavi s prejšnjimi metodami pravijo, da njihov pristop bolje modelira učinek, odvisen od pogleda (kot so zrcalni poudarki), in ustvarja ostrejše sintetizirane posnetke.

Poleg teh izboljšav je ekipa močno optimizirala sistem in mu omogočila enostaven zagon pri 60 Hz - kar je 1000x izboljšava v primerjavi s prejšnjo najsodobnejšo tehniko. In moram reči, da so rezultati osupljivi.

Čeprav še niso zelo optimizirani za primer uporabe, so raziskovalci sistem že preizkusili s slušalkami VR s stereo globino in polnim gibanjem 6DOF.

Raziskovalci sklepajo:

Naša predstavitev je učinkovita pri zajemanju in reprodukciji kompleksnih učinkov, odvisnih od pogleda, ter učinkovita pri izračunu na standardni grafični strojni opremi, kar omogoča upodabljanje v realnem času. Obsežne študije o javnih zbirkah podatkov in našem zahtevnejšem naboru podatkov dokazujejo najsodobnejšo kakovost našega pristopa. Menimo, da je razširitev nevronske osnove mogoče uporabiti za splošni problem faktorizacije svetlobnega polja in omogočiti učinkovito upodabljanje za druge upodobitve prizorov, ki niso omejeni na MPI. Naš vpogled, da je mogoče nekatere parametre odbojnosti in visokofrekvenčno teksturo izrecno optimizirati, lahko pomaga tudi pri obnavljanju drobnih podrobnosti, kar je izziv, s katerim se soočajo obstoječe implicitne nevronske predstave.

Celoten članek najdete na Spletno mesto projekta NeX, ki vključuje predstavitve, ki jih lahko preizkusite sami v brskalniku. Obstajajo tudi predstavitve na osnovi WebVR, ki delujejo s slušalkami PC VR, če uporabljate Firefox, vendar žal ne delujejo z brskalnikom Quest.

Opazite odseve v lesu in zapletene poudarke v ročaju vrča! Podrobnosti, odvisne od pogleda, kot so te, so za obstoječe volumetrične in fotogrametrične metode zajema zelo težke.

Volumetrični zajem videa, ki sem ga videl v VR, se ponavadi zelo zmede glede tovrstnih učinkov, odvisnih od pogleda, pri čemer imajo pogosto težave pri določanju ustrezne stereo globine za zrcalne poudarke.

Pristopi fotogrametrije ali "skeniranja prizorov" običajno osvetlijo sceno "spečejo" v teksture, zaradi česar so prosojni predmeti pogosto videti kot karton (ker se svetlobni poudarki ne premikajo pravilno, ko gledate predmet pod različnimi koti).

Raziskava sinteze pogledov NeX bi lahko v prihodnje bistveno izboljšala realnost volumetričnega zajemanja in predvajanja v VR.