Atemberaubender View-Synthese-Algorithmus könnte enorme Auswirkungen auf die VR-Aufnahme haben

Was Live-Action-VR-Videos betrifft, ist volumetrisches Video der Goldstandard für Immersion. Und für die statische Szenenerfassung gilt das Gleiche auch für die Photogrammetrie. Aber beide Methoden weisen Einschränkungen auf, die den Realismus beeinträchtigen, insbesondere wenn es um „ansichtsabhängige“ Effekte wie spiegelnde Glanzlichter und Linsenwirkung durch durchscheinende Objekte geht. Untersuchungen des thailändischen Vidyasirimedhi Institute of Science and Technology zeigen einen atemberaubenden Ansichtssynthesealgorithmus, der den Realismus durch die präzise Handhabung solcher Lichteffekte erheblich steigert.

Forscher des Vidyasirimedhi Institute of Science and Technology in Rayong, Thailand, veröffentlichten Anfang des Jahres Arbeiten zu einem Echtzeit-Ansichtssynthesealgorithmus namens NeX. Ziel ist es, nur eine Handvoll Eingabebilder einer Szene zu verwenden, um neue Frames zu synthetisieren, die die Szene aus beliebigen Punkten realistisch darstellen zwischen die echten Bilder.

Die Forscher Suttisak Wizadwongsa, Pakkapon Phongthawee, Jiraphon Yenphraphai und Supasorn Suwajanakorn schreiben, dass die Arbeit auf einer Technik namens Multiplane Image (MPI) aufbaut. Sie sagen, dass ihr Ansatz im Vergleich zu früheren Methoden blickabhängige Effekte (wie Glanzlichter) besser modelliert und schärfere synthetisierte Bilder erzeugt.

Zusätzlich zu diesen Verbesserungen hat das Team das System stark optimiert, sodass es problemlos mit 60 Hz betrieben werden kann – eine behauptete 1000-fache Verbesserung gegenüber dem vorherigen Stand der Technik. Und ich muss sagen, die Ergebnisse sind atemberaubend.

Obwohl es für den Anwendungsfall noch nicht umfassend optimiert ist, haben die Forscher das System bereits mit einem VR-Headset mit Stereotiefe und voller 6DOF-Bewegung getestet.

Die Forscher kommen zu dem Schluss:

Unsere Darstellung erfasst und reproduziert komplexe ansichtsabhängige Effekte effektiv und lässt sich effizient auf Standard-Grafikhardware berechnen, sodass ein Echtzeit-Rendering möglich ist. Umfangreiche Studien zu öffentlichen Datensätzen und unserem anspruchsvolleren Datensatz belegen die hochmoderne Qualität unseres Ansatzes. Wir glauben, dass die Erweiterung der neuronalen Basis auf das allgemeine Problem der Lichtfeldfaktorisierung angewendet werden kann und ein effizientes Rendern für andere Szenendarstellungen ermöglicht, die nicht auf MPI beschränkt sind. Unsere Erkenntnis, dass einige Reflexionsparameter und Hochfrequenztexturen explizit optimiert werden können, kann auch dazu beitragen, feine Details wiederherzustellen, eine Herausforderung, mit der bestehende implizite neuronale Darstellungen konfrontiert sind.

Das vollständige Papier finden Sie unter NeX-Projektwebsite, einschließlich Demos, die Sie direkt im Browser selbst ausprobieren können. Es gibt auch WebVR-basierte Demos, die mit PC-VR-Headsets funktionieren, wenn Sie Firefox verwenden, aber leider nicht mit dem Browser von Quest.

Beachten Sie die Reflexionen im Holz und die komplexen Highlights im Griff des Kruges! Ansichtsabhängige Details wie diese sind für bestehende volumetrische und photogrammetrische Erfassungsmethoden sehr schwierig.

Die volumetrische Videoaufnahme, die ich in VR gesehen habe, ist in der Regel sehr verwirrt über diese Art von ansichtsabhängigen Effekten und hat oft Schwierigkeiten, die geeignete Stereotiefe für Glanzlichter zu bestimmen.

Photogrammetrie- oder „Scene-Scanning“-Ansätze „backen“ typischerweise die Beleuchtung der Szene in Texturen, wodurch durchscheinende Objekte häufig wie Pappe aussehen (da sich die Lichtlichter nicht richtig bewegen, wenn Sie das Objekt aus verschiedenen Winkeln betrachten).

Die Forschung zur NeX-Ansichtssynthese könnte den Realismus der volumetrischen Erfassung und Wiedergabe in VR in Zukunft erheblich verbessern.