就真人 VR 视频而言，体积视频是沉浸感的黄金标准。 对于静态场景捕捉，摄影测量也是如此。 但是这两种方法都存在有损于真实感的局限性，尤其是在涉及“依赖于视图”的效果时，例如镜面高光和透过半透明物体的透镜。 泰国 Vidyasirimedhi 科学技术研究所的研究展示了一种令人惊叹的视图合成算法，该算法通过准确处理此类照明效果显着提高了真实感。
来自泰国罗勇府 Vidyasirimedhi 科学技术研究所的研究人员今年早些时候发表了一项名为 NeX 的实时视图合成算法的工作。 它的目标是仅使用场景中的少量输入图像来合成从任意点真实地描绘场景的新帧 之间 真实的图像。
研究人员 Suttisak Wizadwongsa、Pakkapon Phongthawee、Jiraphon Yenphraphai 和 Supasorn Suwajanakorn 写道，这项工作建立在称为多平面图像 (MPI) 的技术之上。 与之前的方法相比，他们说他们的方法更好地模拟了与视图相关的效果（如镜面高光）并创建了更清晰的合成图像。
除了这些改进之外，该团队还高度优化了系统，使其能够在 60Hz 下轻松运行——据称比之前的技术水平提高了 1000 倍。 我不得不说，结果是惊人的。
尽管尚未针对用例进行高度优化，但研究人员已经使用具有立体深度和完整 6DOF 运动的 VR 耳机对该系统进行了测试。
研究人员得出结论：
我们的表示在捕获和再现复杂的依赖于视图的效果方面是有效的，并且在标准图形硬件上的计算效率很高，从而允许实时渲染。 对公共数据集和更具挑战性的数据集的广泛研究证明了我们方法的最新质量。 我们相信神经基础扩展可以应用于光场分解的一般问题，并使其他场景表示的高效渲染不仅限于 MPI。 我们认为可以显式优化一些反射参数和高频纹理也有助于恢复精细细节，这是现有隐式神经表示面临的挑战。
您可以在以下位置找到完整的论文 NeX项目网站，其中包括您可以在浏览器中亲自尝试的演示。 如果您使用 Firefox，还有基于 WebVR 的演示可与 PC VR 耳机配合使用，但遗憾的是不适用于 Quest 的浏览器。
注意木头上的反射和投手把手上复杂的亮点！ 对于现有的体积和摄影测量捕捉方法来说，像这些依赖于视图的细节是非常困难的。
我在 VR 中看到的体积视频捕获通常对这些依赖于视图的效果感到非常困惑，通常无法确定镜面高光的适当立体深度。
摄影测量或“场景扫描”方法通常将场景的照明“烘焙”为纹理，这通常会使半透明物体看起来像纸板（因为当您从不同角度查看物体时，照明亮点不会正确移动）。
NeX 视图合成研究可以显着提高 VR 中体积捕捉和回放的真实感。
