A Meta hamarosan elhozza a Photoreal „Codec Avatarokat” a küldetésbe?

Újra kiadta Platón

Követő: 0

Egy firmware-lelet arra utal, hogy a Meta jó úton halad a fotorealisztikus „Codec Avatarok” bevezetése felé a Quest fejhallgatóiban.

A Codec Avatars a Meta hosszú távú kutatási és fejlesztési projektje, amelynek célja, hogy forradalmasítsa a távoli kommunikációt azáltal, hogy valóban meggyőző, fotorealisztikus avatárokat hoz létre, amelyeket valós időben hajtanak meg arckövető érzékelőkkel ellátott headsetek, és végül szemüveg is. A Meta először felfedte a projekt létezését 2019-ben, és többször is bemutatkozott hűségfrissítések óta eltelt években, valamint a teljes testes változat.

[Beágyazott tartalmat]

Ebben az interjúban nem világos, hogy az avatarok dekódolása és megjelenítése a fedélzeten történt-e, vagy számítógép végzi ezt a munkát. Mindkét fejhallgatóhoz USB-C kábel csatlakozik.

Míg a Codec Avatarsról mindig is úgy írták le, mint a kutatás területén, egy új felfedezés azt sugallja, hogy most már jó úton haladhat afelé, hogy a Quest headsetek funkciójaként megjelenjen.

VR rajongó Luna hivatkozásokat talált a Codec Avatarokra a Meta Quest firmware 62-es verziójának visszafordításával, amely jelenleg elérhető a tesztelők számára a nyilvános tesztcsatornán.

A közelgő Quest funkciókat a múltban többször is felfedezték így. Azt mondja nekünk, hogy a Meta azon dolgozik, hogy integráljon egy funkciót a Quest fejhallgatókba. Azt azonban nem árulja el, hogy milyen messze van a funkció, és hogy egyáltalán kiadják-e valaha. Például, Space Sense néhány hónappal azután érkezett, hogy észrevették a firmware-ben, miközben QuestPro több mint egy évet vett igénybe. És hivatkozások egy Discord integrációra és a Project Avalanche A felhőalapú PC VR streaming funkciót már évek óta észlelték, de egyiket sem szállították ki.

Tavaly márciusban a Meta műszaki igazgatója, Andrew Bosworth mondott a cég „előrelépést tett” a Codec Avatarok szállítása terén, de figyelmeztetett: „még évekre van hátra”.

A Luna Quest firmware-ében talált karakterláncokat.

Az sem világos, hogy ezt a funkciót a meglévő Quest headsetekhez vagy a jövőbeni Quest Pro 2-höz fejlesztik-e.

Tavaly márciusban a Meta Quest hardveres útiterv-találkozója kiszivárgott a The Verge-be. Az útiterv a Quest 3 és a közelgő olcsóbb headset részleteinek felfedése mellett a pletykák szerint Quest 3 Lite névre hallgat. egy új Quest Pro headset „kiút a jövőben”, amely magában foglalja a Codec Avatarokat is.

De lehetséges, hogy a Meta Codec Avatarokat kíván hozni a meglévő Quest Pro-ba, vagy akár a Quest 2-be és a Quest 3-ba.

A Codec Avatarok dekódolása folyamatban van a Quest 2 önállóan.

2021-ben a Meta kutatói kimutatták a lényegesen hatékonyabb módszer Codec Avatarok dekódolása. A 2. küldetésnél az új módszer egy Codec Avatart képes renderelni egy üres jelenetben teljes 72 FPS-sel, három Codec Avatart körülbelül 63 FPS-sel, vagy ötöt körülbelül 43 FPS-sel.

De hogyan lehet ezeket az avatarokat meghajtani a 2. és 3. küldetésben, amelyekből hiányzik az arc és a szem követése? A Meta kutatók bemutatták a Codec Avatars egy olyan verzióját is, amely nem igényel arckövetést, és a közelmúltban még egy olyan verziót is egyáltalán nem igényel nyomkövetést. Ehelyett a mikrofonból származó hang egy neurális hálózatba kerül, amely megbecsüli az aktuális beszédminta valószínű arcpózát.

Ennek ellenére teljesen lehetséges, hogy a Meta Codec Avatarokat szeretne lefoglalni egy jövőbeli Quest Pro 2 számára, amely elég erős ahhoz, hogy támogassa a Codec Avatarokat. Horizont munkaszobák megbeszéléseket, és irányítsa őket valódi arckövetéssel.

Speciális rögzítőberendezés a legjobb minőségű Codec Avatarokhoz.

Függetlenül attól, hogy a Codec Avatars szolgáltatást melyik Quest headsethez szánják, a minőség szinte biztosan nem lesz ugyanaz, mint a Meta leglenyűgözőbb demóinak, mint pl. a Lex Fridman interjú Mark Zuckerberggel. Ezek a demók és az interjú Codec Avatarokat használtak, amelyeket egy több mint 100 kamerát tartalmazó speciális rögzítőberendezéssel generáltak.

[Beágyazott tartalmat]

A metakutatók azon dolgoznak, hogy ezt a folyamatot helyettesítsék okostelefon szkenneléssel, szükséges a Codec Avatarok tényleges szállításához nagy méretben, de ez ad a gyengébb minőségű eredmény. A Quest Pro 2 tartalmazhat egy elülső kijelzőt és mélységérzékelőket az avatar beállításához Az Apple Vision Pro a Personákhoz használja, de ez még mindig nem egyezne a speciális rögzítőberendezéssel.

Ennek ellenére a Codec Avatars bármelyik verziója drámai előrelépést jelent a Meta jelenlegi avatarjaihoz képest, amelyek alapvető rajzfilmes stílusa nem állhat távolabb a fotorealizmustól. Az elkövetkező hónapokban szorosan figyelni fogjuk a Metát, hogy ne lássunk további utalásokat arra vonatkozóan, hogy a Codec Avatarok a termékesítés felé haladnak.