Vapustava vaate sünteesi algoritmil võib VR-i jäädvustamise jaoks olla tohutu mõju

Mis puutub reaalajas VR-videosse, siis mahuline video on keelekümbluse kuldstandard. Ja stseeni jäädvustamisel kehtib sama ka fotogrammeetria kohta. Kuid mõlemal meetodil on piirangud, mis kahandavad realismi, eriti kui tegemist on vaatest sõltuvate efektidega, nagu peegelpildid ja läbipaistvate objektide objektiivimine. Tai Vidyasirimedhi teaduse ja tehnoloogia instituudi uuringud näitavad vapustavat vaate sünteesi algoritmi, mis suurendab oluliselt realismi, käsitledes selliseid valgusefekte täpselt.

Tai Rayongis asuva Vidyasirimedhi teaduse ja tehnoloogia instituudi teadlased avaldasid selle aasta alguses töö reaalajas vaate sünteesi algoritmi nimega NeX. Selle eesmärk on kasutada stseenist vaid käputäis sisendpilte, et sünteesida uusi kaadreid, mis kujutavad stseeni realistlikult suvalistest punktidest. vahel tõelisi pilte.

Teadlased Suttisak Wizadwongsa, Pakkapon Phongthawee, Jiraphon Yenphraphai ja Supasorn Suwajanakorn kirjutavad, et töö põhineb tehnikal, mida nimetatakse mitmetasandiliseks kujutiseks (MPI). Võrreldes varasemate meetoditega väidavad nad, et nende lähenemisviis modelleerib paremini vaatest sõltuvaid efekte (nagu peegelpildid) ja loob teravama sünteesitud kujutise.

Lisaks nendele täiustustele on meeskond süsteemi väga optimeerinud, võimaldades sellel hõlpsalt töötada sagedusel 60 Hz – väidetavalt 1000-kordne edasiminek võrreldes varasema tehnika tasemega. Ja ma pean ütlema, et tulemused on vapustavad.

Kuigi see pole veel kasutusjuhtumi jaoks väga optimeeritud, on teadlased juba testinud süsteemi stereosügavuse ja täieliku 6DOF-i liikumisega VR-peakomplektiga.

Teadlased järeldavad:

Meie esitus on tõhus keerukate vaatest sõltuvate efektide jäädvustamisel ja taasesitamisel ning standardse graafika riistvaraga arvutamiseks, võimaldades seega reaalajas renderdamist. Ulatuslikud uuringud avalike andmekogumite ja meie keerukamate andmekogumite kohta näitavad meie lähenemisviisi tipptasemel kvaliteeti. Usume, et neuraalse baasi laiendamist saab rakendada valgusvälja faktoriseerimise üldisele probleemile ja see võimaldab tõhusat renderdamist muude stseeni esituste jaoks, mis ei piirdu MPI-ga. Meie arusaam, et mõningaid peegeldusparameetreid ja kõrgsageduslikku tekstuuri saab selgesõnaliselt optimeerida, võib samuti aidata taastada peeneid detaile, mis on väljakutse, millega seisavad silmitsi olemasolevad kaudsed närvikujutised.

Täieliku paberi leiate aadressilt NeX projekti veebisait, mis sisaldab demosid, mida saate otse brauseris ise proovida. Samuti on olemas WebVR-põhised demod, mis töötavad PC VR-peakomplektidega, kui kasutate Firefoxi, kuid kahjuks ei tööta Questi brauseriga.

Märka peegeldusi puidus ja keerulisi esiletõstmisi kannu käepidemes! Sellised vaatest sõltuvad detailid on olemasolevate mahuliste ja fotogrammeetriliste jäädvustamismeetodite puhul väga keerulised.

VR-is nähtud helitugevuse video jäädvustamine läheb tavaliselt sellistest vaatest sõltuvatest efektidest väga segadusse, sageli tekib raskusi spetsiliste esiletõstude jaoks sobiva stereosügavuse määramisega.

Fotogrammeetria või stseeni skaneerimise lähenemisviisid "küpsetavad" tavaliselt stseeni valgustuse tekstuuridena, mis muudab poolläbipaistvad objektid sageli kartongiks (kuna valgustuse esiletõstmised ei liigu õigesti, kui vaatate objekti erinevate nurkade alt).

NeX-vaate sünteesiuuringud võivad edaspidi oluliselt parandada VR-i mahulise jäädvustamise ja taasesituse realistlikkust.

Allikas: https://www.roadtovr.com/nex-view-synthesis-algorithm-vr-capture-volumetric-light-field-photogrammetry/