Tuoko Meta Photoreal-koodekkiavatarit pian etsintään?

Julkaissut Platon

seuraajia: 0

Laiteohjelmistolöydös viittaa siihen, että Meta on hyvällä matkalla tuomaan fotorealistiset "Codec Avatarinsa" Quest-kuulokkeisiinsa.

Codec Avatars on Metan pitkäaikainen tutkimus- ja kehitysprojekti, jonka tavoitteena on mullistaa etäviestintä saamalla aikaan todella vakuuttavia fotorealistisia avatareja, joita ohjataan reaaliajassa kasvojen seurantaantureilla varustetuilla kuulokkeilla ja lopulta myös silmälaseilla. Meta paljasti ensin projektin olemassaolon vuonna 2019, ja on näyttänyt useita uskollisuuspäivitykset vuodesta lähtien sekä a koko kehon versio.

[Upotetun sisällön]

Tässä haastattelussa on epäselvää, dekoodattiinko ja renderöitiinkö avatarit laivalla vai tekikö tätä työtä tietokone. USB-C-kaapeli on kytketty molempiin kuulokkeisiin.

Vaikka Codec Avatarsia on aina kuvattu tutkimuksen alalla, uusi havainto viittaa siihen, että se voisi nyt olla hyvällä tiellä kohti Quest-kuulokkeiden ominaisuutta.

VR-harrastaja Luna löysi viittauksia Codec Avatareihin purkamalla Meta Quest -laiteohjelmiston version 62, joka on tällä hetkellä testaajien saatavilla julkisella testikanavalla.

Tulevat Questin ominaisuudet on löydetty tällä tavalla useita kertoja aiemmin. Se kertoo meille, että Meta pyrkii integroimaan ominaisuuden Quest-kuulokkeisiin. Se ei kuitenkaan kerro meille, kuinka kaukana ominaisuus on tai lähetetäänkö se koskaan ollenkaan. Esimerkiksi, Space Sense saapui muutama kuukausi sen jälkeen, kun se havaittiin laiteohjelmistossa QuestPro kesti yli vuoden. Ja viittaukset Discord-integraatioon ja a Projekti Avalanche pilvi PC VR -suoratoistoominaisuus on havaittu jo vuosia, mutta kumpaakaan ei ole toimitettu.

Viime vuoden maaliskuussa Meta CTO Andrew Bosworth sanoi yritys "edisti" Codec Avatarien toimittamisessa, mutta varoitti "olemme vielä vuosien päässä".

Lunan Quest-laiteohjelmistosta löytyneet kielet.

Ei myöskään ole selvää, kehitetäänkö tätä ominaisuutta nykyisille Quest-kuulokkeille vai tulevalle Quest Pro 2:lle.

Viime vuoden maaliskuussa Meta Quest -laitteiston tiekarttakokous vuoti The Vergeen. Etenemissuunnitelmassa mainittiin yksityiskohtien paljastamisen lisäksi Quest 3:sta ja tulevista halvemmista kuulokkeista, joiden huhutaan olevan Quest 3 Lite. uudet Quest Pro -kuulokkeet "out in the future", joka sisältää Codec Avatars.

Mutta on mahdollista, että Meta aikoo tuoda Codec Avatars olemassa olevaan Quest Prohon tai jopa Quest 2:een ja Quest 3:een.

Codec Avatareja puretaan erillisessä Quest 2:ssa.

Vuonna 2021 Meta-tutkijat osoittivat a huomattavasti tehokkaampi tapa Codec Avatarien purkamisesta. Quest 2:ssa uusi menetelmä voisi tehdä yhden Codec Avatarin tyhjässä kohtauksessa täydellä 72 FPS:llä, kolme Codec Avataria noin 63 FPS:llä tai viisi noin 43 FPS:llä.

Mutta kuinka näitä avatareja voitaisiin ohjata Quest 2:ssa ja Quest 3:ssa, joista puuttuu sekä kasvojen että katseiden seuranta? Meta-tutkijat ovat myös osoittaneet Codec Avatarsin version ei vaadi kasvojen seurantaa, ja äskettäin jopa versio siitä ei vaadi seurantaa ollenkaan. Sen sijaan mikrofonin ääni syötetään hermoverkkoon, joka arvioi nykyisen puhemallin todennäköisen kasvojen asennon.

Silti on täysin mahdollista, että Meta haluaa varata Codec Avatareja tulevaan Quest Pro 2:een, joka on tarpeeksi tehokas tukemaan Codec Avatareja Horizon -työhuoneet kokouksiin ja ohjata niitä todellisen kasvojen seurannan avulla.

Erikoistunut sieppauslaitteisto, jota käytetään korkealaatuisimpiin Codec Avatareihin.

Riippumatta siitä, mihin Quest-kuulokkeisiin toimitettava Codec Avatars -ominaisuus on tarkoitettu, laatu ei läheskään varmasti ole sama kuin Metan vaikuttavimpien demojen, kuten esim. Lex Fridmanin haastattelussa Mark Zuckerbergin kanssa. Näissä demoissa ja tuossa haastattelussa käytettiin Codec Avatareja, jotka oli luotu käyttämällä erikoistunutta sieppauslaitteistoa, jossa oli yli 100 kameraa.

[Upotetun sisällön]

Metatutkijat ovat työskennelleet tämän prosessin korvaamiseksi älypuhelimen skannauksella, tarvitaan Codec Avatarien lähettämiseksi suuressa mittakaavassa, mutta tämä antaa a huonompilaatuinen tulos. Quest Pro 2 saattaa sisältää etunäytön ja syvyysanturit avatar-asetusta varten Apple Vision Pro käyttää henkilöitä, mutta tämä ei silti vastaa erikoistunutta sieppauslaitetta.

Silti minkä tahansa Codec Avatars -version pitäisi olla dramaattinen parannus Metan nykyisiin avatareihin, joiden perussarjakuvataidetyyli ei voisi olla kauempana fotorealismista. Pidämme Metaa lähikuukausina tarkasti silmällä saadaksemme lisävinkkejä Codec Avatarsin tuotteistamisen tielle.