El impresionante algoritmo de síntesis de vistas podría tener enormes implicaciones para la captura de realidad virtual

En lo que respecta al video de realidad virtual de acción en vivo, el video volumétrico es el estándar de oro para la inmersión. Y para la captura de escenas estáticas, lo mismo ocurre con la fotogrametría. Pero ambos métodos tienen limitaciones que restan realismo, especialmente cuando se trata de efectos "dependientes de la vista" como reflejos especulares y lentes a través de objetos translúcidos. La investigación del Instituto de Ciencia y Tecnología Vidyasirimedhi de Tailandia muestra un impresionante algoritmo de síntesis de vistas que aumenta significativamente el realismo al manejar estos efectos de iluminación con precisión.

Investigadores del Instituto de Ciencia y Tecnología Vidyasirimedhi en Rayong Tailandia publicaron un trabajo a principios de este año sobre un algoritmo de síntesis de vistas en tiempo real llamado NeX. Su objetivo es utilizar solo un puñado de imágenes de entrada de una escena para sintetizar nuevos fotogramas que representen de manera realista la escena desde puntos arbitrarios. entre las imágenes reales.

Los investigadores Suttisak Wizadwongsa, Pakkapon Phongthawee, Jiraphon Yenphraphai y Supasorn Suwajanakorn escriben que el trabajo se basa en una técnica llamada imagen multiplano (MPI). En comparación con los métodos anteriores, dicen que su enfoque modela mejor los efectos dependientes de la vista (como reflejos especulares) y crea imágenes sintetizadas más nítidas.

Además de esas mejoras, el equipo ha optimizado en gran medida el sistema, lo que le permite funcionar fácilmente a 60 Hz, una mejora supuesta 1000x con respecto al estado de la técnica anterior. Y tengo que decir que los resultados son impresionantes.

Aunque aún no está muy optimizado para el caso de uso, los investigadores ya han probado el sistema utilizando un visor de realidad virtual con profundidad estéreo y movimiento 6DOF completo.

Los investigadores concluyen:

Nuestra representación es eficaz para capturar y reproducir efectos complejos dependientes de la vista y eficiente para calcular en hardware de gráficos estándar, lo que permite la representación en tiempo real. Los estudios exhaustivos sobre conjuntos de datos públicos y nuestro conjunto de datos más desafiante demuestran la calidad de vanguardia de nuestro enfoque. Creemos que la expansión de la base neuronal se puede aplicar al problema general de la factorización del campo de luz y permitir una representación eficiente para otras representaciones de escenas no limitadas a MPI. Nuestra idea de que algunos parámetros de reflectancia y textura de alta frecuencia se pueden optimizar explícitamente también puede ayudar a recuperar los detalles finos, un desafío al que se enfrentan las representaciones neuronales implícitas existentes.

Puede encontrar el documento completo en Sitio web del proyecto NeX, que incluye demostraciones que puede probar usted mismo directamente en el navegador. También hay demostraciones basadas en WebVR que funcionan con auriculares VR para PC si está usando Firefox, pero desafortunadamente no funcionan con el navegador de Quest.

¡Observe los reflejos en la madera y los complejos reflejos en el mango de la jarra! Los detalles dependientes de la vista como estos son muy difíciles para los métodos de captura fotogramétrica y volumétrica existentes.

La captura de video volumétrica que he visto en realidad virtual generalmente se confunde mucho sobre este tipo de efectos dependientes de la vista, y a menudo tiene problemas para determinar la profundidad estéreo adecuada para los reflejos especulares.

Los enfoques de fotogrametría, o 'escaneo de escenas', generalmente 'hornean' la iluminación de la escena en texturas, lo que a menudo hace que los objetos translúcidos parezcan cartón (ya que los reflejos de iluminación no se mueven correctamente cuando se ve el objeto en diferentes ángulos).

La investigación de síntesis de NeX view podría mejorar significativamente el realismo de la captura y reproducción volumétricas en la realidad virtual en el futuro.

Fuente: https://www.roadtovr.com/nex-view-synthesis-algorithm-vr-capture-volumetric-light-field-photogrammetry/