Meta aduce în curând „avatare codec” fotoreale în quest?

Republicat de Platon

Urmaritori: 0

O descoperire a firmware-ului sugerează că Meta este pe cale să-și aducă „Codec Avatars” fotorealistic la căștile sale Quest.

Codec Avatars este proiectul de cercetare și dezvoltare de lungă durată al Meta, care urmărește să revoluționeze comunicarea de la distanță prin realizarea de avatare fotorealiste cu adevărat convingătoare, conduse în timp real de căști cu senzori de urmărire a feței și, eventual, de asemenea ochelari. Meta a dezvăluit prima dată existența proiectului în 2019, și a arătat mai multe actualizări de fidelitate în anii de după precum și a versiunea pentru tot corpul.

[Conținutul încorporat]

În acest interviu, nu este clar dacă avatarurile au fost decodate și redate la bord sau dacă un computer făcea această lucrare. Un cablu USB-C este conectat la ambele căști.

În timp ce Codec Avatars a fost întotdeauna descris ca fiind în domeniul cercetării, o nouă descoperire sugerează că acum ar putea fi pe cale să ajungă ca o caracteristică în căștile Quest.

Pasionat de VR Luna a găsit referințe la Codec Avatars prin decompilarea versiunii 62 a firmware-ului Meta Quest, care este în prezent disponibil pentru testeri în Public Test Channel.

Caracteristicile viitoare ale Quest au fost descoperite în acest fel de mai multe ori în trecut. Ne spune că Meta lucrează pentru a integra o funcție pe căștile Quest. Cu toate acestea, nu ne spune cât de departe este caracteristica sau dacă va fi livrată vreodată. De exemplu, Simțul spațiului a sosit la câteva luni după ce a fost reperat în firmware, în timp ce QuestPro a durat peste un an. Și referințe la o integrare Discord și a Proiectul Avalanșă Funcția de streaming cloud PC VR a fost observată de ani de zile, dar niciuna nu a fost livrată.

În martie anul trecut, Meta CTO Andrew Bosworth a spus compania „făcea progrese” în ceea ce privește expedierea avatarurilor Codec, dar a avertizat „mai avem ani distanță”.

Șiruri găsite în firmware-ul Quest de către Luna.

De asemenea, nu este clar dacă această funcție este dezvoltată pentru căștile Quest existente sau pentru un viitor Quest Pro 2.

În luna martie a anului trecut, o întâlnire cu foi de parcurs hardware Meta Quest a fost divulgată către The Verge. Pe lângă detalii dezvăluite despre Quest 3 și căștile viitoare mai ieftine despre care se zvonește că se vor numi Quest 3 Lite, foaia de parcurs a menționat o nouă cască Quest Pro „ieșire în viitor” care va include Codec Avatars.

Dar este posibil ca Meta să intenționeze să aducă avatare de codec în Quest Pro existent, sau chiar în Quest 2 și Quest 3.

Avatarurile de codec sunt decodate pe Quest 2 independent.

În 2021, cercetătorii Meta au demonstrat a metodă semnificativ mai eficientă de decodare Codec Avatars. Pe Quest 2, noua metodă ar putea reda un Codec Avatar într-o scenă goală la 72FPS complet, trei Codec Avatar la aproximativ 63FPS sau cinci la aproximativ 43FPS.

Dar cum ar putea fi conduse aceste avatare pe Quest 2 și Quest 3, cărora le lipsește atât urmărirea feței, cât și a ochilor? Cercetătorii meta au demonstrat, de asemenea, o versiune a Codec Avatars care nu necesită urmărirea feței, iar recent chiar o versiune care nu necesită deloc urmărire. În schimb, sunetul de la microfon este alimentat într-o rețea neuronală care estimează poza facială probabilă pentru modelul de vorbire curent.

Totuși, este absolut posibil ca Meta să dorească să rezerve avatare de codec pentru un viitor Quest Pro 2 suficient de puternic pentru a sprijini avatare de codec în Săli de lucru Horizon întâlniri și conduceți-le cu urmărirea reală a feței.

O platformă de captură specializată folosită pentru avatare de codec de cea mai înaltă calitate.

Indiferent de căștile specifice Quest pentru care este destinată caracteristica Codec Avatars, calitatea aproape sigur nu va fi aceeași cu cele mai impresionante demo-uri Meta, cum ar fi interviul lui Lex Fridman cu Mark Zuckerberg. Acele demonstrații și acel interviu au folosit Codec Avataruri generate folosind o platformă de captură specializată cu peste 100 de camere.

[Conținutul încorporat]

Cercetătorii meta au lucrat pentru a înlocui acest proces cu o scanare a smartphone-ului, necesar pentru a livra efectiv Codec Avatars la scară, dar acest lucru dă un rezultat de calitate inferioară. Quest Pro 2 ar putea include un afișaj frontal și senzori de adâncime pentru configurarea avatarului Apple Vision Pro folosește pentru Personajele sale, dar aceasta încă nu s-ar potrivi cu instalația de captură specializată.

Totuși, orice versiune de Codec Avatars ar trebui să fie o îmbunătățire dramatică față de actualele avatare ale lui Meta, care au un stil de artă de desen animat de bază care nu ar putea fi mai departe de fotorealism. Vom urmări îndeaproape Meta în lunile următoare pentru orice alte indicii despre avatarurile Codec pe calea producției.