見事なビュー合成アルゴリズムは、VRキャプチャに大きな影響を与える可能性があります

実写 VR ビデオに関する限り、ボリューム ビデオは没入感のゴールド スタンダードです。静的なシーンのキャプチャについては、写真測量にも同じことが当てはまります。しかし、どちらの方法にも、特に鏡面ハイライトや半透明のオブジェクトを通るレンズ効果などの「ビュー依存」効果に関しては、リアリズムを損なう制限があります。タイのヴィディアシリメディ科学技術研究所の研究では、このような照明効果を正確に処理することでリアリズムを大幅に向上させる、驚くべきビュー合成アルゴリズムが示されています。

タイ・ラヨーンにあるヴィディアシリメディ科学技術研究所の研究者らは、今年初めにNeXと呼ばれるリアルタイムビュー合成アルゴリズムに関する研究成果を発表した。その目標は、シーンからの少数の入力画像を使用して、任意の点からシーンをリアルに描写する新しいフレームを合成することです。 の間に 実際の画像。

研究者のSuttisak Wizadwongsa氏、Pakkapon Phongthawee氏、Jiraphonyenphraphai氏、Supasorn Suwajanakorn氏は、この研究はマルチプレーン・イメージ（MPI）と呼ばれる技術に基づいて構築されていると書いている。従来の方法と比較して、このアプローチはビュー依存の効果（鏡面ハイライトなど）をより適切にモデル化し、より鮮明な合成画像を作成できると彼らは述べています。

これらの改善に加えて、チームはシステムを高度に最適化し、60Hz で簡単に実行できるようにしました。これは、以前の最先端技術に比べて 1000 倍の改善であると主張されています。そして、その結果は驚くべきものであると言わざるを得ません。

まだユースケースに合わせて高度に最適化されていませんが、研究者らはすでにステレオ深度と完全な 6DOF 動作を備えた VR ヘッドセットを使用してシステムをテストしました。

研究者らは次のように結論づけています。

私たちの表現は、ビューに依存する複雑な効果をキャプチャして再現するのに効果的であり、標準のグラフィックス ハードウェアで効率的に計算できるため、リアルタイム レンダリングが可能になります。公開データセットと当社のより挑戦的なデータセットに関する広範な研究により、当社のアプローチの最先端の品質が実証されています。私たちは、神経基底拡張がライトフィールド因数分解の一般的な問題に適用でき、MPI に限定されない他のシーン表現の効率的なレンダリングを可能にすると考えています。一部の反射率パラメータと高周波テクスチャを明示的に最適化できるという私たちの洞察は、既存の暗黙的なニューラル表現が直面する課題である微細なディテールの復元にも役立ちます。

論文全文は、次の場所でご覧いただけます。 NeXプロジェクトのウェブサイトには、ブラウザで直接試すことができるデモが含まれています。 Firefox を使用している場合は PC VR ヘッドセットで動作する WebVR ベースのデモもありますが、残念ながら Quest のブラウザでは動作しません。

木の反射とピッチャーのハンドルの複雑なハイライトに注目してください。このようなビューに依存する詳細は、既存の体積測定や写真測量のキャプチャ方法では非常に困難です。

私が VR で見たボリューム ビデオ キャプチャは、通常、この種のビュー依存の効果について非常に混乱しており、鏡面ハイライトに適切なステレオ深度を決定するのに苦労することがよくあります。

写真測量法、または「シーン スキャン」アプローチでは、通常、シーンの照明をテクスチャに「ベイク」します。これにより、多くの場合、半透明のオブジェクトがボール紙のように見えます (オブジェクトをさまざまな角度で見ると、照明のハイライトが正しく移動しないため)。

NeX ビュー合成の研究により、今後 VR でのボリューム キャプチャと再生のリアリズムが大幅に向上する可能性があります。