Un algorithme de synthèse de vue époustouflante pourrait avoir d'énormes implications pour la capture VR

En ce qui concerne la vidéo VR live-action, la vidéo volumétrique est l'étalon-or pour l'immersion. Et pour la capture de scène statique, il en va de même pour la photogrammétrie. Mais les deux méthodes ont des limites qui nuisent au réalisme, en particulier lorsqu'il s'agit d'effets «dépendants de la vue» tels que les reflets spéculaires et la lentille à travers des objets translucides. Les recherches de l'Institut des sciences et de la technologie Vidyasirimedhi de Thaïlande montrent un algorithme de synthèse de vue époustouflant qui augmente considérablement le réalisme en gérant avec précision ces effets d'éclairage.

Des chercheurs de l'Institut des sciences et technologies Vidyasirimedhi de Rayong en Thaïlande ont publié plus tôt cette année des travaux sur un algorithme de synthèse de vues en temps réel appelé NeX. Son objectif est d'utiliser juste une poignée d'images d'entrée d'une scène pour synthétiser de nouvelles images qui représentent de manière réaliste la scène à partir de points arbitraires jusqu'à XNUMX fois les vraies images.

Les chercheurs Suttisak Wizadwongsa, Pakkapon Phongthawee, Jiraphon Yenphraphai et Supasorn Suwajanakorn écrivent que le travail repose sur une technique appelée image multiplan (MPI). Par rapport aux méthodes antérieures, ils disent que leur approche modélise mieux les effets dépendants de la vue (comme les reflets spéculaires) et crée des images synthétisées plus nettes.

En plus de ces améliorations, l'équipe a hautement optimisé le système, lui permettant de fonctionner facilement à 60 Hz, une amélioration prétendument 1000 fois supérieure à l'état de l'art précédent. Et je dois dire que les résultats sont bluffants.

Bien qu'il ne soit pas encore hautement optimisé pour le cas d'utilisation, les chercheurs ont déjà testé le système à l'aide d'un casque VR avec une profondeur stéréo et un mouvement 6DOF complet.

Les chercheurs concluent :

Notre représentation est efficace pour capturer et reproduire des effets complexes dépendant de la vue et efficace pour calculer sur du matériel graphique standard, permettant ainsi un rendu en temps réel. Des études approfondies sur des ensembles de données publics et notre ensemble de données plus difficile démontrent la qualité de pointe de notre approche. Nous pensons que l'expansion de la base neuronale peut être appliquée au problème général de la factorisation du champ lumineux et permettre un rendu efficace pour d'autres représentations de scènes non limitées à MPI. Notre idée que certains paramètres de réflectance et la texture à haute fréquence peuvent être optimisés explicitement peut également aider à récupérer des détails fins, un défi auquel sont confrontées les représentations neuronales implicites existantes.

Vous pouvez trouver le document complet sur Site web du projet NeX, qui comprend des démos que vous pouvez essayer par vous-même directement dans le navigateur. Il existe également des démos basées sur WebVR qui fonctionnent avec les casques PC VR si vous utilisez Firefox, mais ne fonctionnent malheureusement pas avec le navigateur de Quest.

Remarquez les reflets dans le bois et les reflets complexes dans la poignée du pichet ! Les détails dépendant de la vue comme ceux-ci sont très difficiles pour les méthodes de capture volumétriques et photogrammétriques existantes.

La capture vidéo volumétrique que j'ai vue en VR est généralement très confuse à propos de ce type d'effets dépendant de la vue, ayant souvent du mal à déterminer la profondeur stéréo appropriée pour les reflets spéculaires.

Les approches de photogrammétrie, ou « balayage de scène », « informent » généralement l'éclairage de la scène dans des textures, ce qui fait souvent ressembler les objets translucides à du carton (puisque les reflets de l'éclairage ne se déplacent pas correctement lorsque vous regardez l'objet sous différents angles).

La recherche de synthèse de vue NeX pourrait améliorer considérablement le réalisme de la capture et de la lecture volumétriques en VR à l'avenir.

Source : https://www.roadtovr.com/nex-view-synchronous-algorithm-vr-capture-volumetric-light-field-photogramtry/