Fantastisk visningssyntesealgoritme kan have enorme konsekvenser for VR-optagelse

Hvad angår live-action VR-video, er volumetrisk video guldstandarden for fordybelse. Og for statisk sceneoptagelse gælder det samme for fotogrammetri. Men begge metoder har begrænsninger, der forringer realismen, især når det kommer til 'visningsafhængige' effekter som spejlende højlys og linse gennem gennemskinnelige objekter. Forskning fra Thailands Vidyasirimedhi Institut for Videnskab og Teknologi viser en fantastisk syntesealgoritme, der markant øger realismen ved at håndtere sådanne lyseffekter nøjagtigt.

Forskere fra Vidyasirimedhi Institut for Videnskab og Teknologi i Rayong Thailand offentliggjorde tidligere i år arbejde om en realtidsvisningssyntesealgoritme kaldet NeX. Dets mål er kun at bruge en håndfuld inputbilleder fra en scene til at syntetisere nye rammer, der realistisk portrætterer scenen fra vilkårlige punkter mellem de rigtige billeder.

Forskerne Suttisak Wizadwongsa, Pakkapon Phongthawee, Jiraphon Yenphraphai og Supasorn Suwajanakorn skriver, at værket bygger oven på en teknik kaldet multiplane image (MPI). Sammenlignet med tidligere metoder siger de, at deres tilgang bedre modellerer visningsafhængige effekter (som spejlende højdepunkter) og skaber skarpere syntetiserede billeder.

Ud over disse forbedringer har teamet optimeret systemet i høj grad, så det nemt kan køre ved 60Hz - en hævdet 1000x forbedring i forhold til den tidligere state of the art. Og jeg må sige, at resultaterne er fantastiske.

Selvom det endnu ikke er meget optimeret til brugsområdet, har forskerne allerede testet systemet ved hjælp af et VR-headset med stereodybde og fuld 6DOF-bevægelse.

Forskerne konkluderer:

Vores repræsentation er effektiv til at fange og gengive komplekse visningsafhængige effekter og effektiv at beregne på standard grafikhardware, hvilket tillader realtidsgengivelse. Omfattende undersøgelser af offentlige datasæt og vores mere udfordrende datasæt viser state-of-art kvalitet af vores tilgang. Vi mener, at neural basisudvidelse kan anvendes på det generelle problem med lysfeltsfaktorisering og muliggør effektiv gengivelse for andre scenerepræsentationer, der ikke er begrænset til MPI. Vores indsigt i, at nogle reflektansparametre og højfrekvent tekstur kan optimeres eksplicit, kan også hjælpe med at genskabe fine detaljer, en udfordring, som eksisterende implicitte neurale repræsentationer står over for.

Du kan finde hele papiret på NeX-projektets hjemmeside, som inkluderer demoer, du selv kan prøve direkte i browseren. Der er også WebVR-baserede demoer, der fungerer med PC VR-headset, hvis du bruger Firefox, men som desværre ikke fungerer med Quests browser.

Læg mærke til refleksionerne i træet og de komplekse højdepunkter i kandens håndtag! Visningsafhængige detaljer som disse er meget vanskelige for eksisterende volumetriske og fotogrammetriske optagelsesmetoder.

Volumetrisk videooptagelse, som jeg har set i VR, bliver normalt meget forvirret over denne slags visningsafhængige effekter, og har ofte problemer med at bestemme den passende stereodybde til spejlende højdepunkter.

Fotogrammetri eller 'scenescanning'-tilgange 'bager' typisk scenens belysning til teksturer, hvilket ofte får gennemskinnelige genstande til at ligne pap (da lyshøjdepunkterne ikke bevæger sig korrekt, når du ser objektet i forskellige vinkler).

NeX-visningssynteseforskningen kunne væsentligt forbedre realismen af ​​volumetrisk optagelse og afspilning i VR fremadrettet.

Kilde: https://www.roadtovr.com/nex-view-synthesis-algorithm-vr-capture-volumetric-light-field-photogrammetry/