Bringer Meta Photoreal 'Codec Avatars' til Quest snart?

Genudgivet af Platon

Abonnenter: 0

Et firmwarefund tyder på, at Meta er godt på vej til at bringe sine fotorealistiske 'Codec Avatars' til sine Quest-headset.

Codec Avatars er Metas langvarige forsknings- og udviklingsprojekt, der har til formål at revolutionere fjernkommunikation ved at opnå virkelig overbevisende fotorealistiske avatarer drevet i realtid af headset med ansigtssporingssensorer og i sidste ende også briller. Meta afslørede først projektets eksistens i 2019, og har vist flere troskabsopdateringer i årene siden samt en helkropsversion.

[Indlejret indhold]

I dette interview er det uklart, om avatarerne blev afkodet og gengivet ombord, eller om en pc gjorde dette arbejde. Et USB-C-kabel er tilsluttet begge headset.

Mens Codec Avatars altid er blevet beskrevet som inden for forskning, tyder en ny opdagelse på, at de nu kunne være godt på vej til at ankomme som en funktion i Quest-headset.

VR entusiast Luna fundet referencer til Codec-avatarer ved at dekompilere version 62 af Meta Quest-firmwaren, som i øjeblikket er tilgængelig for testere i den offentlige testkanal.

Kommende Quest-funktioner er blevet opdaget på denne måde flere gange tidligere. Det fortæller os, at Meta arbejder på at integrere en funktion på Quest-headset. Det fortæller os dog ikke, hvor langt væk funktionen er, eller om den overhovedet nogensinde vil blive sendt. For eksempel, Rumsans ankom et par måneder efter at være blevet opdaget i firmwaren, mens QuestPro tog over et år. Og referencer til en Discord-integration og en Projekt lavine cloud PC VR-streaming-funktion er blevet set i årevis nu, men ingen af dem er blevet sendt.

I marts sidste år Meta CTO Andrew Bosworth sagde virksomheden "gør fremskridt" med at sende Codec-avatarer, men advarede "vi er stadig år væk".

Strenge fundet i Quest-firmwaren af Luna.

Det er heller ikke klart, om denne funktion udvikles til eksisterende Quest-headset eller en fremtidig Quest Pro 2.

I marts sidste år blev et Meta Quest hardware roadmap møde lækket til The Verge. Ud over at afsløre detaljer om Quest 3 og det kommende billigere headset, der rygtes at hedde Quest 3 Lite, nævnte køreplanen et nyt Quest Pro headset "vej ud i fremtiden", der vil omfatte Codec-avatarer.

Men det er muligt, at Meta har til hensigt at bringe Codec-avatarer til den eksisterende Quest Pro, eller endda Quest 2 og Quest 3.

Codec-avatarer afkodes på Quest 2 selvstændigt.

I 2021 demonstrerede Meta-forskere en en væsentlig mere effektiv metode af afkodning af codec-avatarer. På Quest 2 kunne den nye metode gengive en Codec Avatar i en tom scene ved fulde 72FPS, tre Codec Avatarer ved omkring 63FPS eller fem ved omkring 43FPS.

Men hvordan kunne disse avatarer køres på Quest 2 og Quest 3, som mangler både ansigts- og øjensporing? Metaforskere har også demonstreret en version af Codec Avatars, der kræver ikke ansigtssporing, og for nylig endda en version, der kræver ingen sporing overhovedet. I stedet føres lyd fra mikrofonen ind i et neuralt netværk, der estimerer den sandsynlige ansigtsstilling for det aktuelle talemønster.

Alligevel er det fuldt ud muligt, at Meta vil reservere Codec-avatarer til en fremtidig Quest Pro 2, der er kraftfuld nok til at understøtte Codec-avatarer i Horizon arbejdsrum møder, og køre dem med ægte ansigtssporing.

En specialiseret capture rig, der bruges til Codec-avatarer af højeste kvalitet.

Uanset hvilke specifikke Quest-headset forsendelses-Codec Avatars-funktionen er beregnet til, vil kvaliteten næsten helt sikkert ikke være den samme som Metas mest imponerende demoer, som f.eks. interviewet med Lex Fridman med Mark Zuckerberg. Disse demoer og det interview brugte Codec-avatarer genereret ved hjælp af en specialiseret optagelsesrig med over 100 kameraer.

[Indlejret indhold]

Metaforskere har arbejdet på at erstatte denne proces med en smartphone-scanning, nødvendigt for rent faktisk at sende Codec-avatarer i skala, men dette giver en lavere kvalitetsresultat. Quest Pro 2 kan inkludere et frontdisplay og dybdesensorer til avatar-opsætning som Apple Vision Pro bruger til sine Personas, men dette ville stadig ikke matche den specialiserede indfangningsrig.

Alligevel burde enhver version af Codec Avatars være en dramatisk forbedring i forhold til Metas nuværende avatarer, som har en grundlæggende tegneseriekunststil, der ikke kunne være længere fra fotorealisme. Vi vil holde et vågent øje med Meta i de kommende måneder for yderligere hints om, at Codec-avatarer er på vej mod produktisering.