Tar Meta Photoreal 'Codec Avatars' til Quest snart?

Publisert av Platon

Følgere: 0

Et fastvarefunn tyder på at Meta er på god vei til å bringe sine fotorealistiske 'Codec Avatars' til Quest-headsettene.

Codec Avatars er Metas langvarige forsknings- og utviklingsprosjekt som tar sikte på å revolusjonere fjernkommunikasjon ved å oppnå virkelig overbevisende fotorealistiske avatarer drevet i sanntid av hodesett med ansiktssporingssensorer, og etter hvert også briller. Meta avslørte først prosjektets eksistens i 2019, og har vist frem flere troskapsoppdateringer i årene siden så vel som en helkroppsversjon.

[Innebygd innhold]

I dette intervjuet er det uklart om avatarene ble dekodet og gjengitt ombord, eller om en PC gjorde dette arbeidet. En USB-C-kabel er koblet til begge hodetelefonene.

Mens Codec Avatars alltid har blitt beskrevet som i forskningsområdet, tyder et nytt funn på at det nå kan være på god vei til å komme som en funksjon i Quest-headset.

VR-entusiast Luna fant referanser til Codec Avatars ved å dekompilere versjon 62 av Meta Quest-fastvaren, som for øyeblikket er tilgjengelig for testere i den offentlige testkanalen.

Kommende Quest-funksjoner har blitt oppdaget på denne måten flere ganger tidligere. Den forteller oss at Meta jobber med å integrere en funksjon på Quest-headset. Den forteller oss imidlertid ikke hvor langt unna funksjonen er, eller om den noen gang faktisk vil sendes i det hele tatt. For eksempel, Romsans ankom noen måneder etter å ha blitt oppdaget i fastvaren, mens QuestPro tok over ett år. Og referanser til en Discord-integrasjon og en Prosjekt Avalanche cloud PC VR streaming-funksjonen har blitt oppdaget i årevis nå, men ingen av dem har blitt sendt.

I mars i fjor Meta CTO Andrew Bosworth sa selskapet "gjorde fremskritt" med å sende kodek-avatarer, men advarte "vi er fortsatt år unna".

Strenger funnet i Quest-fastvaren av Luna.

Det er heller ikke klart om denne funksjonen utvikles for eksisterende Quest-headset eller en fremtidig Quest Pro 2.

I mars i fjor ble et Meta Quest hardware roadmap-møte lekket til The Verge. I tillegg til å avsløre detaljer om Quest 3 og det kommende billigere headsettet som ryktes skal hete Quest 3 Lite, nevnte veikartet et nytt Quest Pro-hodesett "vei ut i fremtiden" som vil inkludere kodek-avatarer.

Men det er mulig Meta har til hensikt å bringe Codec Avatars til den eksisterende Quest Pro, eller til og med Quest 2 og Quest 3.

Kodekavatarer dekodes på Quest 2 frittstående.

I 2021 demonstrerte Meta-forskere en en betydelig mer effektiv metode av dekoding av kodek-avatarer. På Quest 2 kan den nye metoden gjengi én Codec-avatar i en tom scene med hele 72FPS, tre Codec-avatarer ved rundt 63FPS, eller fem ved rundt 43FPS.

Men hvordan kunne disse avatarene kjøres på Quest 2 og Quest 3, som mangler både ansikts- og øyesporing? Metaforskere har også demonstrert en versjon av Codec Avatars som krever ikke ansiktssporing, og nylig til og med en versjon som krever ingen sporing i det hele tatt. I stedet blir lyd fra mikrofonen matet inn i et nevralt nettverk som estimerer den sannsynlige ansiktsposituren for det gjeldende talemønsteret.

Likevel er det fullt mulig at Meta vil reservere kodekavatarer for en fremtidig Quest Pro 2 som er kraftig nok til å støtte kodekavatarer i Horizon arbeidsrom møter, og kjøre dem med ekte ansiktssporing.

En spesialisert fangstrigg som brukes for kodek-avatarer av høyeste kvalitet.

Uansett hvilke spesifikke Quest-hodesett som fraktkodek-avatarer-funksjonen er beregnet på, vil kvaliteten nesten helt sikkert ikke være den samme som Metas mest imponerende demoer, som f.eks. Lex Fridman-intervjuet med Mark Zuckerberg. Disse demoene, og det intervjuet, brukte Codec-avatarer generert ved hjelp av en spesialisert fangstrigg med over 100 kameraer.

[Innebygd innhold]

Metaforskere har jobbet med å erstatte denne prosessen med en smarttelefonskanning, nødvendig for å faktisk sende Codec Avatars i skala, men dette gir en lavere kvalitetsresultat. Quest Pro 2 kan inkludere en frontskjerm og dybdesensorer for avataroppsett som Apple Vision Pro bruker for sine Personas, men dette ville fortsatt ikke matche den spesialiserte fangstriggen.

Likevel bør enhver versjon av Codec Avatars være en dramatisk forbedring i forhold til Metas nåværende avatarer, som har en grunnleggende tegneseriekunststil som ikke kan være lenger unna fotorealisme. Vi vil holde et øye med Meta i løpet av de kommende månedene for ytterligere hint om kodekavatarer på vei mot produktisering.