Algoritme voor verbluffende weergavesynthese kan enorme gevolgen hebben voor VR-opname

Wat live-action VR-video betreft, is volumetrische video de gouden standaard voor onderdompeling. En voor het vastleggen van statische scènes geldt hetzelfde voor fotogrammetrie. Maar beide methoden hebben beperkingen die afbreuk doen aan het realisme, vooral als het gaat om 'zichtafhankelijke' effecten zoals spiegelende hooglichten en lenzen door doorschijnende objecten. Onderzoek van het Vidyasirimedhi Institute of Science and Technology in Thailand toont een verbluffend algoritme voor weergavesynthese dat het realisme aanzienlijk verhoogt door dergelijke lichteffecten nauwkeurig te verwerken.

Onderzoekers van het Vidyasirimedhi Institute of Science and Technology in Rayong Thailand publiceerden eerder dit jaar werk over een real-time weergavesynthese-algoritme genaamd NeX. Het doel is om slechts een handvol invoerafbeeldingen van een scène te gebruiken om nieuwe frames te synthetiseren die de scène realistisch weergeven vanuit willekeurige punten tussen de echte beelden.

Onderzoekers Suttisak Wizadwongsa, Pakkapon Phongthawee, Jiraphon Yenphraphai en Supasorn Suwajanakorn schrijven dat het werk voortbouwt op een techniek die multiplane image (MPI) wordt genoemd. Vergeleken met eerdere methoden, zeggen ze dat hun aanpak beter modelleert van weergave-afhankelijke effecten (zoals spiegelende hooglichten) en scherpere gesynthetiseerde beelden creëert.

Bovenop die verbeteringen heeft het team het systeem sterk geoptimaliseerd, waardoor het gemakkelijk op 60 Hz kan werken - een geclaimde 1000x verbetering ten opzichte van de vorige stand van de techniek. En ik moet zeggen, de resultaten zijn verbluffend.

Hoewel het nog niet sterk is geoptimaliseerd voor de use-case, hebben de onderzoekers het systeem al getest met een VR-headset met stereodiepte en volledige 6DOF-beweging.

De onderzoekers concluderen:

Onze representatie is effectief in het vastleggen en reproduceren van complexe weergave-afhankelijke effecten en efficiënt om te berekenen op standaard grafische hardware, waardoor real-time weergave mogelijk is. Uitgebreide onderzoeken naar openbare datasets en onze meer uitdagende dataset tonen de state-of-art kwaliteit van onze aanpak aan. Wij geloven dat uitbreiding van de neurale basis kan worden toegepast op het algemene probleem van lichtveldfactorisatie en een efficiënte weergave mogelijk maakt voor andere scènerepresentaties die niet beperkt zijn tot MPI. Ons inzicht dat sommige reflectieparameters en hoogfrequente textuur expliciet kunnen worden geoptimaliseerd, kan ook helpen bij het herstellen van fijne details, een uitdaging waarmee bestaande impliciete neurale representaties worden geconfronteerd.

U vindt de volledige krant op de NeX-projectwebsite, met demo's die u zelf in de browser kunt uitproberen. Er zijn ook op WebVR gebaseerde demo's die werken met pc VR-headsets als je Firefox gebruikt, maar helaas niet werken met de Quest-browser.

Let op de reflecties in het hout en de complexe highlights in het handvat van de kan! View-afhankelijke details zoals deze zijn erg moeilijk voor bestaande volumetrische en fotogrammetrische vastlegmethoden.

Volumetrische video-opname die ik in VR heb gezien, raakt meestal erg in de war over dit soort weergave-afhankelijke effecten, en heeft vaak moeite met het bepalen van de juiste stereodiepte voor spiegelende hooglichten.

Fotogrammetrie, of 'scene scanning'-benaderingen, 'bakt' de verlichting van de scène typisch in texturen, waardoor doorschijnende objecten vaak op karton lijken (aangezien de lichthoogtepunten niet correct bewegen als u het object vanuit verschillende hoeken bekijkt).

Het onderzoek naar NeX-weergavesynthese zou het realisme van volumetrische opname en weergave in VR in de toekomst aanzienlijk kunnen verbeteren.

Bron: https://www.roadtovr.com/nex-view-synthesis-algorithm-vr-capture-volumetric-light-field-photogrammetry/