Fantastisk visningssyntesealgoritme kan ha store implikasjoner for VR -fangst

Når det gjelder live-action VR-video, er volumetrisk video gullstandarden for nedsenking. Og for statisk scenefangst, gjelder det samme for fotogrammetri. Men begge metodene har begrensninger som trekker ned realismen, spesielt når det kommer til "visningsavhengige" effekter som speilhøydepunkter og linse gjennom gjennomskinnelige objekter. Forskning fra Thailands Vidyasirimedhi Institute of Science and Technology viser en fantastisk syntesealgoritme som øker realismen betydelig ved å håndtere slike lyseffekter nøyaktig.

Forskere fra Vidyasirimedhi Institute of Science and Technology i Rayong Thailand publiserte tidligere i år arbeid om en sanntidssyntesealgoritme kalt NeX. Målet er å bruke bare en håndfull inndatabilder fra en scene for å syntetisere nye rammer som på en realistisk måte fremstiller scenen fra vilkårlige punkter mellom de virkelige bildene.

Forskerne Suttisak Wizadwongsa, Pakkapon Phongthawee, Jiraphon Yenphraphai og Supasorn Suwajanakorn skriver at arbeidet bygger på en teknikk som kalles multiplane image (MPI). Sammenlignet med tidligere metoder, sier de at deres tilnærming bedre modellerer visningsavhengige effekter (som spekulære høydepunkter) og skaper skarpere syntetiserte bilder.

I tillegg til disse forbedringene har teamet optimalisert systemet, slik at det kan kjøres enkelt ved 60Hz – en påstått 1000x forbedring i forhold til tidligere toppmoderne. Og jeg må si at resultatene er fantastiske.

Selv om det ennå ikke er veldig optimalisert for bruksområdet, har forskerne allerede testet systemet ved hjelp av et VR-headset med stereodybde og full 6DOF-bevegelse.

Forskerne konkluderer med:

Vår representasjon er effektiv i å fange og reprodusere komplekse visningsavhengige effekter og effektiv å beregne på standard grafikkmaskinvare, og tillater dermed sanntidsgjengivelse. Omfattende studier på offentlige datasett og vårt mer utfordrende datasett viser den nyeste kvaliteten på vår tilnærming. Vi tror utvidelse av nevrale basis kan brukes på det generelle problemet med lysfeltfaktorisering og muliggjøre effektiv gjengivelse for andre scenerepresentasjoner som ikke er begrenset til MPI. Vår innsikt om at noen refleksjonsparametere og høyfrekvent tekstur kan optimaliseres eksplisitt kan også bidra til å gjenopprette fine detaljer, en utfordring som eksisterende implisitte nevrale representasjoner står overfor.

Du finner hele papiret på NeX-prosjektets nettsted, som inkluderer demoer du kan prøve selv rett i nettleseren. Det finnes også WebVR-baserte demoer som fungerer med PC VR-headset hvis du bruker Firefox, men som dessverre ikke fungerer med Quests nettleser.

Legg merke til refleksjonene i treet og de komplekse høydepunktene i krukkens håndtak! Visningsavhengige detaljer som disse er svært vanskelige for eksisterende volumetriske og fotogrammetriske fangstmetoder.

Volumetrisk videoopptak som jeg har sett i VR, blir vanligvis veldig forvirret over denne typen visningsavhengige effekter, og har ofte problemer med å bestemme riktig stereodybde for speilende høydepunkter.

Fotogrammetri, eller 'sceneskanning'-tilnærminger, 'baker' vanligvis scenens belysning til teksturer, noe som ofte får gjennomsiktige objekter til å se ut som papp (siden lyshøydepunktene ikke beveger seg riktig når du ser objektet i forskjellige vinkler).

NeX-visningssynteseforskningen kan forbedre realismen til volumetrisk fangst og avspilling i VR betydelig fremover.

Kilde: https://www.roadtovr.com/nex-view-synthesis-algorithm-vr-capture-volumetric-light-field-photogrammetry/