실사 VR 비디오와 관련하여 볼류메트릭 비디오는 몰입의 황금 표준입니다. 그리고 정적 장면 캡처의 경우 사진 측량에서도 마찬가지입니다. 그러나 두 방법 모두 사실성을 떨어뜨리는 한계가 있습니다. 특히 반사 하이라이트 및 반투명 개체를 통한 렌즈와 같은 '보기 종속' 효과의 경우에는 더욱 그렇습니다. 태국 Vidyasirimedhi Institute of Science and Technology의 연구에 따르면 이러한 조명 효과를 정확하게 처리하여 사실감을 크게 향상시키는 놀라운 뷰 합성 알고리즘이 나타났습니다.
태국 라용에 있는 Vidyasirimedhi Institute of Science and Technology의 연구원들은 올해 초 NeX라는 실시간 뷰 합성 알고리즘에 대한 연구를 발표했습니다. 목표는 장면의 소수의 입력 이미지를 사용하여 임의의 지점에서 장면을 사실적으로 묘사하는 새 프레임을 합성하는 것입니다. 사이에 실제 이미지.
Suttisak Wizadwongsa, Pakkapon Phongthawee, Jiraphon Yenphraphai 및 Supasorn Suwajanakorn 연구원은 이 작업이 다중평면 이미지(MPI)라는 기술을 기반으로 한다고 씁니다. 그들은 이전 방법과 비교하여 그들의 접근 방식이 (반사 하이라이트와 같은) 뷰 종속 효과를 더 잘 모델링하고 더 선명한 합성 이미지를 생성한다고 말합니다.
이러한 개선 사항 외에도 팀은 시스템을 고도로 최적화하여 60Hz에서 쉽게 실행할 수 있도록 했습니다. 그리고 결과는 놀랍습니다.
아직 사용 사례에 대해 고도로 최적화되지는 않았지만 연구원들은 스테레오 깊이와 완전한 6DOF 움직임이 있는 VR 헤드셋을 사용하여 시스템을 이미 테스트했습니다.
연구원들은 다음과 같이 결론지었습니다.
우리의 표현은 복잡한 뷰 종속 효과를 캡처하고 재현하는 데 효과적이며 표준 그래픽 하드웨어에서 효율적으로 계산하므로 실시간 렌더링이 가능합니다. 공개 데이터 세트와 더 까다로운 데이터 세트에 대한 광범위한 연구는 우리 접근 방식의 최첨단 품질을 보여줍니다. 우리는 신경 기반 확장이 라이트 필드 인수분해의 일반적인 문제에 적용될 수 있고 MPI에 국한되지 않는 다른 장면 표현에 대한 효율적인 렌더링을 가능하게 할 수 있다고 믿습니다. 일부 반사율 매개변수와 고주파수 텍스처가 명시적으로 최적화될 수 있다는 우리의 통찰력은 기존의 암시적 신경 표현이 직면한 문제인 미세한 세부 사항을 복구하는 데도 도움이 될 수 있습니다.
전체 논문은 에서 찾을 수 있습니다. NeX 프로젝트 웹사이트, 브라우저에서 직접 시도할 수 있는 데모가 포함되어 있습니다. Firefox를 사용하는 경우 PC VR 헤드셋에서 작동하는 WebVR 기반 데모도 있지만 불행히도 Quest의 브라우저에서는 작동하지 않습니다.
나무의 반사와 투수 손잡이의 복잡한 하이라이트를 확인하십시오! 이와 같은 뷰 종속적인 세부 사항은 기존의 체적 및 사진 측량 캡처 방법으로는 매우 어렵습니다.
VR에서 본 볼류메트릭 비디오 캡처는 일반적으로 이러한 종류의 뷰 종속 효과에 대해 매우 혼란스러워하며 종종 반사 하이라이트에 대한 적절한 스테레오 깊이를 결정하는 데 문제가 있습니다.
사진 측량법 또는 '장면 스캐닝' 접근 방식은 일반적으로 장면의 조명을 텍스처로 '구워'서 반투명 개체를 판지처럼 보이게 만드는 경우가 많습니다(다른 각도에서 개체를 볼 때 조명 강조 표시가 올바르게 이동하지 않기 때문).
NeX 뷰 합성 연구는 앞으로 VR에서 볼류메트릭 캡처 및 재생의 현실성을 크게 향상시킬 수 있습니다.
