Fantastisk bildsyntesalgoritm kan ha enorma konsekvenser för VR -inspelning

När det gäller live-action VR-video är volymetrisk video guldstandarden för nedsänkning. Och för statisk sceninfångning gäller samma sak för fotogrammetri. Men båda metoderna har begränsningar som förringar realism, särskilt när det kommer till "vyberoende" effekter som spegelblanka höjdpunkter och linser genom genomskinliga föremål. Forskning från Thailands Vidyasirimedhi Institute of Science and Technology visar en fantastisk syntesalgoritm som avsevärt ökar realismen genom att hantera sådana ljuseffekter exakt.

Forskare från Vidyasirimedhi Institute of Science and Technology i Rayong Thailand publicerade tidigare i år arbete om en algoritm för realtidsvysyntes som kallas NeX. Målet är att bara använda en handfull ingångsbilder från en scen för att syntetisera nya ramar som realistiskt skildrar scenen från godtyckliga punkter mellan de riktiga bilderna.

Forskarna Suttisak Wizadwongsa, Pakkapon Phongthawee, Jiraphon Yenphraphai och Supasorn Suwajanakorn skriver att arbetet bygger på en teknik som kallas multiplane image (MPI). Jämfört med tidigare metoder, säger de att deras tillvägagångssätt bättre modellerar vyberoende effekter (som spegelhöjdpunkter) och skapar skarpare syntetiserade bilder.

Utöver dessa förbättringar har teamet optimerat systemet mycket, så att det enkelt kan köras vid 60Hz – en påstådd 1000x förbättring jämfört med tidigare teknik. Och jag måste säga att resultaten är fantastiska.

Även om det ännu inte är särskilt optimerat för användningsfallet, har forskarna redan testat systemet med ett VR-headset med stereodjup och full 6DOF-rörelse.

Forskarna drar slutsatsen:

Vår representation är effektiv för att fånga och reproducera komplexa vyberoende effekter och effektiv att beräkna på standardgrafikhårdvara, vilket möjliggör realtidsrendering. Omfattande studier av offentliga datauppsättningar och vår mer utmanande datauppsättning visar den senaste kvaliteten på vårt tillvägagångssätt. Vi tror att neural basexpansion kan tillämpas på det allmänna problemet med ljusfältsfaktorisering och möjliggöra effektiv återgivning för andra scenrepresentationer som inte är begränsade till MPI. Vår insikt om att vissa reflektansparametrar och högfrekvent textur kan optimeras explicit kan också hjälpa till att återställa fina detaljer, en utmaning som existerande implicita neurala representationer står inför.

Du hittar hela tidningen på NeX-projektets webbplats, som inkluderar demos som du kan prova själv direkt i webbläsaren. Det finns även WebVR-baserade demos som fungerar med PC VR-headset om du använder Firefox, men som tyvärr inte fungerar med Quests webbläsare.

Lägg märke till reflektionerna i träet och de komplexa höjdpunkterna i tillbringarens handtag! Visningsberoende detaljer som dessa är mycket svåra för befintliga volymetriska och fotogrammetriska fångsmetoder.

Volumetrisk videoinspelning som jag har sett i VR blir vanligtvis mycket förvirrad över den här typen av visningsberoende effekter, och har ofta problem med att bestämma lämpligt stereodjup för spegelhöjdpunkter.

Fotogrammetri, eller "scenskanning"-metoder, "bakar" vanligtvis scenens belysning till texturer, vilket ofta gör att genomskinliga föremål ser ut som kartong (eftersom ljushöjdpunkterna inte rör sig korrekt när du ser objektet i olika vinklar).

NeX-vysyntesforskningen kan avsevärt förbättra realismen i volymetrisk infångning och uppspelning i VR framöver.