Apakah Meta Segera Membawa 'Codec Avatar' Fotoreal ke Quest?

Diterbitkan Ulang Oleh Plato

Followers: 0

Temuan firmware menunjukkan bahwa Meta sedang dalam perjalanan untuk menghadirkan 'Codec Avatars' fotorealisik ke headset Quest-nya.

Codec Avatars adalah proyek penelitian & pengembangan Meta yang sudah berjalan lama yang bertujuan untuk merevolusi komunikasi jarak jauh dengan menghasilkan avatar fotorealistik yang benar-benar meyakinkan yang digerakkan secara real-time oleh headset dengan sensor pelacakan wajah, dan pada akhirnya juga kacamata. Meta pertama kali mengungkapkan keberadaan proyek tersebut di 2019, dan telah memamerkan banyak hal pembaruan kesetiaan pada tahun-tahun berikutnya serta a versi seluruh tubuh.

[Embedded content]

Dalam wawancara ini, tidak jelas apakah avatar tersebut sedang diterjemahkan dan dirender di dalam pesawat, atau apakah PC yang melakukan pekerjaan ini. Kabel USB-C tersambung ke kedua headset.

Meskipun Codec Avatars selalu digambarkan sebagai bidang penelitian, sebuah temuan baru menunjukkan bahwa Codec Avatar sekarang mungkin akan hadir sebagai fitur dalam headset Quest.

Penggemar VR luna menemukan referensi ke Codec Avatar dengan mendekompilasi firmware Meta Quest versi 62, yang saat ini tersedia untuk penguji di Saluran Uji Publik.

Fitur Quest yang akan datang telah ditemukan dengan cara ini beberapa kali di masa lalu. Ini memberi tahu kita bahwa Meta sedang berupaya mengintegrasikan fitur pada headset Quest. Namun, hal ini tidak memberi tahu kami seberapa jauh jarak fitur tersebut, atau apakah fitur tersebut akan benar-benar dikirimkan. Misalnya, Rasa Luar Angkasa tiba beberapa bulan setelah terlihat di firmware, sementara pencarian-pro memakan waktu lebih dari satu tahun. Dan referensi ke integrasi Discord dan a Proyek Longsoran Fitur streaming cloud PC VR telah terlihat selama bertahun-tahun, namun belum ada yang dikirimkan.

Pada bulan Maret tahun lalu Meta CTO Andrew Bosworth tersebut perusahaan tersebut “membuat kemajuan” dalam pengiriman Codec Avatar tetapi memperingatkan “kita masih beberapa tahun lagi”.

String ditemukan di firmware Quest oleh Luna.

Juga tidak jelas apakah fitur ini sedang dikembangkan untuk headset Quest yang sudah ada atau Quest Pro 2 yang akan datang.

Pada bulan Maret tahun lalu, pertemuan peta jalan perangkat keras Meta Quest dibocorkan ke The Verge. Serta mengungkap detail Quest 3 dan headset murah mendatang yang dikabarkan disebut Quest 3 Lite, peta jalan tersebut menyebutkan headset Quest Pro baru “jalan keluar di masa depan” yang akan mencakup Codec Avatar.

Namun mungkin saja Meta berniat menghadirkan Codec Avatar ke Quest Pro yang sudah ada, atau bahkan Quest 2 dan Quest 3.

Avatar Codec sedang diterjemahkan pada Quest 2 mandiri.

Pada tahun 2021, peneliti Meta mendemonstrasikan a metode yang jauh lebih efisien dari decoding Codec Avatar. Pada Quest 2, metode baru ini dapat merender satu Avatar Codec dalam adegan kosong dengan kecepatan 72FPS penuh, tiga Avatar Codec dengan kecepatan sekitar 63FPS, atau lima Avatar dengan kecepatan sekitar 43FPS.

Namun bagaimana avatar-avatar ini dapat dijalankan pada Quest 2 dan Quest 3, yang tidak memiliki pelacakan wajah dan mata? Peneliti meta juga telah mendemonstrasikan versi Codec Avatars itu tidak memerlukan pelacakan wajah, dan baru-baru ini bahkan versi itu tidak memerlukan pelacakan sama sekali. Sebaliknya, audio dari mikrofon dimasukkan ke dalam jaringan saraf yang memperkirakan kemungkinan pose wajah untuk pola bicara saat ini.

Namun, sangat mungkin Meta ingin mencadangkan Codec Avatar untuk Quest Pro 2 masa depan yang cukup kuat untuk mendukung Codec Avatar di Ruang Kerja Horizon rapat, dan arahkan mereka dengan pelacakan wajah asli.

Rig penangkapan khusus yang digunakan untuk Avatar Codec kualitas tertinggi.

Terlepas dari headset Quest spesifik mana yang dimaksudkan untuk fitur pengiriman Codec Avatar, kualitasnya hampir pasti tidak akan sama dengan demo Meta yang paling mengesankan, seperti wawancara Lex Fridman dengan Mark Zuckerberg. Demo tersebut, dan wawancara tersebut, menggunakan Codec Avatar yang dihasilkan menggunakan peralatan pengambilan khusus dengan lebih dari 100 kamera.

[Embedded content]

Peneliti meta telah berupaya untuk menggantikan proses ini dengan pemindaian ponsel cerdas, diperlukan untuk mengirimkan Codec Avatar dalam skala besar, tetapi ini memberikan a kualitas hasil yang lebih rendah. Quest Pro 2 mungkin menyertakan tampilan depan dan sensor kedalaman untuk pengaturan avatar Apple Vision Pro digunakan untuk Persona-nya, tapi ini masih belum cocok dengan peralatan penangkapan khusus.

Namun, versi Codec Avatar mana pun harusnya merupakan peningkatan dramatis atas avatar Meta saat ini, yang memiliki gaya seni kartun dasar yang sangat jauh dari fotorealisme. Kami akan terus memantau Meta dalam beberapa bulan mendatang untuk mengetahui petunjuk lebih lanjut tentang Codec Avatar yang sedang menuju produksi.