Algoritme Sintesis Tampilan Menakjubkan Dapat Memiliki Implikasi Besar untuk Pengambilan VR

Sejauh menyangkut video VR aksi langsung, video volumetrik adalah standar emas untuk perendaman. Dan untuk pengambilan adegan statis, hal yang sama berlaku untuk fotogrametri. Namun kedua metode tersebut memiliki keterbatasan yang mengurangi realisme, terutama dalam hal efek 'bergantung pada tampilan' seperti sorotan spekular dan lensa melalui objek tembus cahaya. Penelitian dari Institut Sains dan Teknologi Vidyasirimedhi Thailand menunjukkan algoritme sintesis tampilan menakjubkan yang secara signifikan meningkatkan realisme dengan menangani efek pencahayaan tersebut secara akurat.

Para peneliti dari Institut Sains dan Teknologi Vidyasirimedhi di Rayong Thailand menerbitkan karya awal tahun ini pada algoritme sintesis tampilan waktu nyata yang disebut NeX. Tujuannya adalah untuk menggunakan hanya segelintir gambar input dari sebuah adegan untuk mensintesis bingkai baru yang secara realistis menggambarkan adegan dari titik yang sewenang-wenang. antara gambar-gambar nyata.

Peneliti Suttisak Wizadwongsa, Pakkapon Phongthawee, Jiraphon Yenphraphai, dan Supasorn Suwajanakorn menulis bahwa karya tersebut dibangun di atas teknik yang disebut multiplane image (MPI). Dibandingkan dengan metode sebelumnya, mereka mengatakan pendekatan mereka lebih baik model efek tergantung tampilan (seperti sorotan specular) dan menciptakan citra sintesis yang lebih tajam.

Di atas peningkatan tersebut, tim telah sangat mengoptimalkan sistem, memungkinkannya berjalan dengan mudah pada 60Hz—peningkatan 1000x yang diklaim lebih dari keadaan seni sebelumnya. Dan saya harus mengatakan, hasilnya menakjubkan.

Meskipun belum terlalu dioptimalkan untuk kasus penggunaan, para peneliti telah menguji sistem menggunakan headset VR dengan kedalaman stereo dan gerakan 6DOF penuh.

Para peneliti menyimpulkan:

Representasi kami efektif dalam menangkap dan mereproduksi efek kompleks yang bergantung pada tampilan dan efisien untuk menghitung pada perangkat keras grafis standar, sehingga memungkinkan rendering waktu nyata. Studi ekstensif tentang kumpulan data publik dan kumpulan data kami yang lebih menantang menunjukkan kualitas pendekatan kami yang canggih. Kami percaya ekspansi basis saraf dapat diterapkan pada masalah umum faktorisasi medan cahaya dan memungkinkan rendering yang efisien untuk representasi pemandangan lain yang tidak terbatas pada MPI. Wawasan kami bahwa beberapa parameter reflektansi dan tekstur frekuensi tinggi dapat dioptimalkan secara eksplisit juga dapat membantu memulihkan detail halus, tantangan yang dihadapi oleh representasi saraf implisit yang ada.

Anda dapat menemukan makalah lengkap di Situs web proyek NeX, yang mencakup demo yang dapat Anda coba sendiri langsung di browser. Ada juga demo berbasis WebVR yang berfungsi dengan headset PC VR jika Anda menggunakan Firefox, tetapi sayangnya tidak berfungsi dengan browser Quest.

Perhatikan pantulan di kayu dan sorotan kompleks di pegangan kendi! Detail yang bergantung pada tampilan seperti ini sangat sulit untuk metode pengambilan volumetrik dan fotogrametri yang ada.

Pengambilan video volumetrik yang saya lihat di VR biasanya menjadi sangat bingung tentang jenis efek yang bergantung pada tampilan ini, sering kali mengalami kesulitan menentukan kedalaman stereo yang sesuai untuk sorotan specular.

Fotogrametri, atau pendekatan 'pemindaian pemandangan', biasanya 'memanggang' pencahayaan pemandangan ke dalam tekstur, yang sering kali membuat objek tembus pandang terlihat seperti karton (karena sorotan pencahayaan tidak bergerak dengan benar saat Anda melihat objek pada sudut yang berbeda).

Penelitian sintesis tampilan NeX dapat secara signifikan meningkatkan realisme penangkapan dan pemutaran volumetrik di VR ke depannya.