Meta porterà presto gli "avatar codec" fotorealistici a Quest? -Platone AiStream V2.1

Ripubblicato da Platone

Seguaci: 0

Una scoperta del firmware suggerisce che Meta è sulla buona strada per portare i suoi "Codec Avatars" fotorealistici sui suoi visori Quest.

Codec Avatars è il lungo progetto di ricerca e sviluppo di Meta che mira a rivoluzionare la comunicazione remota realizzando avatar fotorealistici davvero convincenti guidati in tempo reale da auricolari con sensori di rilevamento del volto ed eventualmente anche da occhiali. Meta ha rivelato per primo l'esistenza del progetto in 2019, e ha sfoggiato molteplici aggiornamenti sulla fedeltà negli anni successivi così come a versione a corpo intero.

[Contenuto incorporato]

In questa intervista non è chiaro se gli avatar venissero decodificati e renderizzati a bordo o se fosse un PC a svolgere questo lavoro. Un cavo USB-C è collegato a entrambe le cuffie.

Sebbene Codec Avatars sia sempre stato descritto come un ambito di ricerca, una nuova scoperta suggerisce che ora potrebbe essere sulla buona strada per arrivare come funzionalità nei visori Quest.

Appassionato di realtà virtuale Luna trovato riferimenti a Codec Avatars decompilando la versione 62 del firmware Meta Quest, che è attualmente disponibile per i tester nel canale di test pubblico.

Le prossime funzionalità di Quest sono state scoperte in questo modo più volte in passato. Ci dice che Meta sta lavorando per integrare una funzionalità sui visori Quest. Tuttavia, non ci dice quanto sia lontana la funzionalità o se verrà mai effettivamente spedita. Per esempio, Senso dello spazio arrivato qualche mese dopo essere stato avvistato nel firmware, mentre QuestPro ha impiegato più di un anno. E riferimenti a un'integrazione Discord e a Progetto Valanga La funzionalità di streaming VR per PC cloud è stata individuata ormai da anni, ma nessuna delle due è stata distribuita.

Nel marzo dello scorso anno Meta CTO Andrew Bosworth disse la società stava "facendo progressi" nella spedizione di Codec Avatar, ma ha avvertito che "mancano ancora anni".

Stringhe trovate nel firmware Quest di Luna.

Inoltre, non è chiaro se questa funzionalità sarà sviluppata per i visori Quest esistenti o per un futuro Quest Pro 2.

Nel marzo dello scorso anno, The Verge ha fatto trapelare una riunione sulla roadmap hardware di Meta Quest. Oltre a rivelare i dettagli di Quest 3 e del prossimo visore più economico che si dice si chiamerà Quest 3 Lite, la tabella di marcia menzionata un nuovo visore Quest Pro "via d'uscita nel futuro" che includerà Codec Avatar.

Ma è possibile che Meta intenda portare i Codec Avatars sull'attuale Quest Pro, o anche su Quest 2 e Quest 3.

Avatar codec decodificati su Quest 2 standalone.

Nel 2021, i ricercatori Meta hanno dimostrato a metodo significativamente più efficiente di decodificare gli avatar codec. In Quest 2, il nuovo metodo potrebbe renderizzare un Codec Avatar in una scena vuota a 72 FPS completi, tre Codec Avatar a circa 63 FPS o cinque a circa 43 FPS.

Ma come potrebbero essere guidati questi avatar su Quest 2 e Quest 3, che non dispongono né del volto né del tracciamento degli occhi? I ricercatori di Meta hanno anche dimostrato una versione di Codec Avatars non richiede il rilevamento del volto, e recentemente anche una versione that non richiede alcun tracciamento. Invece, l’audio proveniente dal microfono viene immesso in una rete neurale che stima la probabile posa facciale per lo schema vocale corrente.

Tuttavia, è del tutto possibile che Meta voglia riservare gli avatar codec per un futuro Quest Pro 2 abbastanza potente da supportare gli avatar codec in Laboratori Horizon riunioni e gestirle con il rilevamento dei volti reali.

Un impianto di acquisizione specializzato utilizzato per avatar codec della massima qualità.

Indipendentemente dalle specifiche cuffie Quest a cui è destinata la funzionalità Codec Avatars, la qualità quasi certamente non sarà la stessa delle demo più impressionanti di Meta, come l'intervista a Lex Fridman con Mark Zuckerberg. Quelle demo e quell'intervista utilizzavano avatar codec generati utilizzando un impianto di acquisizione specializzato con oltre 100 telecamere.

[Contenuto incorporato]

I meta ricercatori hanno lavorato per sostituire questo processo con una scansione dello smartphone, necessario per spedire effettivamente Avatar Codec su larga scala, ma questo dà a risultato di qualità inferiore. Quest Pro 2 potrebbe includere un display frontale e sensori di profondità per la configurazione dell'avatar come Apple Vision Pro utilizza per le sue Personas, ma questo non corrisponderebbe comunque all'attrezzatura di cattura specializzata.

Tuttavia, qualsiasi versione di Codec Avatars dovrebbe rappresentare un notevole miglioramento rispetto agli attuali avatar di Meta, che hanno uno stile artistico di base a fumetti che non potrebbe essere più lontano dal fotorealismo. Terremo d'occhio Meta nei prossimi mesi per eventuali ulteriori indizi sul fatto che Codec Avatars sia sulla strada della produzione.