Bringt Meta bald fotorealistische „Codec-Avatare“ zur Quest?

Neuauflage von Plato

Verfolger: 0

Ein Firmware-Ergebnis deutet darauf hin, dass Meta auf dem besten Weg ist, seine fotorealistischen „Codec-Avatare“ auf seine Quest-Headsets zu übertragen.

Codec Avatars ist Metas langjähriges Forschungs- und Entwicklungsprojekt mit dem Ziel, die Fernkommunikation zu revolutionieren, indem wirklich überzeugende fotorealistische Avatare geschaffen werden, die in Echtzeit von Headsets mit Gesichtsverfolgungssensoren und schließlich auch von Brillen gesteuert werden. Meta enthüllte zunächst die Existenz des Projekts im Jahr 2019 angegeben, und hat mehrfach vorgeführt Wiedergabetreue-Updates in den Jahren seitdem sowie a Ganzkörperversion.

[Eingebetteten Inhalt]

In diesem Interview ist unklar, ob die Avatare an Bord dekodiert und gerendert wurden oder ob ein PC diese Arbeit erledigte. An beide Headsets ist ein USB-C-Kabel angeschlossen.

Während Codec-Avatare immer als Gegenstand der Forschung beschrieben wurden, deutet ein neues Ergebnis darauf hin, dass sie nun auf dem besten Weg sein könnten, als Funktion in Quest-Headsets Einzug zu halten.

VR-Enthusiast Luna Hinweise auf Codec-Avatare gefunden, indem Version 62 der Meta Quest-Firmware dekompiliert wurde, die derzeit für Tester im öffentlichen Testkanal verfügbar ist.

Kommende Quest-Funktionen wurden auf diese Weise in der Vergangenheit bereits mehrfach entdeckt. Darin erfahren wir, dass Meta daran arbeitet, eine Funktion in Quest-Headsets zu integrieren. Es sagt uns jedoch nicht, wie weit das Feature entfernt ist oder ob es jemals tatsächlich verfügbar sein wird. Zum Beispiel, Raumgefühl kam ein paar Monate nach der Entdeckung in der Firmware an, während Suche Pro hat über ein Jahr gedauert. Und Hinweise auf eine Discord-Integration und a Projekt Avalanche Cloud-PC-VR-Streaming-Funktionen werden schon seit Jahren gesichtet, aber keine von beiden wurde ausgeliefert.

Im März letzten Jahres Meta-CTO Andrew Bosworth sagte Das Unternehmen mache „Fortschritte“ bei der Auslieferung von Codec-Avataren, warnte aber: „Wir sind noch Jahre entfernt.“

In der Quest-Firmware von Luna gefundene Zeichenfolgen.

Es ist auch nicht klar, ob diese Funktion für bestehende Quest-Headsets oder ein zukünftiges Quest Pro 2 entwickelt wird.

Im März letzten Jahres wurde The Verge ein Meta Quest-Hardware-Roadmap-Meeting zugespielt. In der Roadmap werden nicht nur Details zu Quest 3 und dem kommenden günstigeren Headset enthüllt, das Gerüchten zufolge Quest 3 Lite heißen wird ein neues Quest Pro-Headset „Way Out in the Future“, das Codec-Avatare enthalten wird.

Aber es ist möglich, dass Meta beabsichtigt, Codec-Avatare in das bestehende Quest Pro oder sogar Quest 2 und Quest 3 zu integrieren.

Codec-Avatare werden auf Quest 2 Standalone dekodiert.

Im Jahr 2021 demonstrierten Meta-Forscher a deutlich effizientere Methode der Dekodierung von Codec-Avataren. Auf Quest 2 könnte die neue Methode einen Codec-Avatar in einer leeren Szene mit vollen 72 FPS, drei Codec-Avatare mit etwa 63 FPS oder fünf mit etwa 43 FPS rendern.

Aber wie könnten diese Avatare auf Quest 2 und Quest 3 gesteuert werden, denen es an Gesichts- und Augenverfolgung mangelt? Metaforscher haben auch eine Version von Codec-Avataren demonstriert erfordert keine Gesichtsverfolgung, und seit kurzem sogar eine Version davon erfordert überhaupt keine Nachverfolgung. Stattdessen wird der Ton vom Mikrofon in ein neuronales Netzwerk eingespeist, das die wahrscheinliche Gesichtshaltung für das aktuelle Sprachmuster abschätzt.

Dennoch ist es durchaus möglich, dass Meta Codec-Avatare für ein zukünftiges Quest Pro 2 reservieren möchte, das leistungsstark genug ist, um Codec-Avatare zu unterstützen Horizon-Arbeitsräume Treffen Sie Meetings und steuern Sie sie mit echter Gesichtsverfolgung.

Ein spezielles Capture-Rig, das für Codec-Avatare höchster Qualität verwendet wird.

Unabhängig davon, für welche spezifischen Quest-Headsets die ausgelieferte Codec-Avatar-Funktion gedacht ist, wird die Qualität mit ziemlicher Sicherheit nicht die gleiche sein wie die beeindruckendsten Demos von Meta, wie z das Lex Fridman-Interview mit Mark Zuckerberg. Diese Demos und dieses Interview verwendeten Codec-Avatare, die mit einem speziellen Aufnahmegerät mit über 100 Kameras erstellt wurden.

[Eingebetteten Inhalt]

Metaforscher haben daran gearbeitet, diesen Prozess zu ersetzen mit einem Smartphone-Scan, notwendig, um Codec-Avatare tatsächlich in großem Maßstab auszuliefern, aber das gibt eine Ergebnis von geringerer Qualität. Quest Pro 2 verfügt möglicherweise über ein Frontdisplay und Tiefensensoren für die Avatar-Einrichtung Apple Vision Pro nutzt für seine Personas, aber das würde immer noch nicht zum speziellen Capture-Rig passen.

Dennoch sollte jede Version von Codec-Avataren eine dramatische Verbesserung gegenüber Metas aktuellen Avataren darstellen, die einen grundlegenden Cartoon-Kunststil haben, der nicht weiter vom Fotorealismus entfernt sein könnte. Wir werden Meta in den kommenden Monaten genau im Auge behalten, um weitere Hinweise darauf zu erhalten, dass Codec-Avatare auf dem Weg zur Produktivierung sind.