Is Meta Bringing Photoreal 'Codec Avatars' To Quest Soon?

Reeditado por Platón

seguidores: 0

Un hallazgo de firmware sugiere que Meta está en camino de llevar sus 'Codec Avatars' fotorrealistas a sus auriculares Quest.

Codec Avatars es un proyecto de investigación y desarrollo de larga duración de Meta que tiene como objetivo revolucionar la comunicación remota mediante la consecución de avatares fotorrealistas verdaderamente convincentes impulsados en tiempo real por auriculares con sensores de seguimiento facial y, eventualmente, también por gafas. Meta reveló por primera vez la existencia del proyecto. en 2019, y ha mostrado múltiples actualizaciones de fidelidad en los años transcurridos desde entonces, así como un versión de cuerpo completo.

[Contenido incrustado]

En esta entrevista, no está claro si los avatares estaban siendo decodificados y renderizados a bordo, o si una PC estaba haciendo este trabajo. Hay un cable USB-C conectado a ambos auriculares.

Si bien Codec Avatars siempre se ha descrito como parte del ámbito de la investigación, un nuevo hallazgo sugiere que ahora podría estar en camino de llegar como una característica en los auriculares Quest.

entusiasta de la realidad virtual Luna encontró referencias a Codec Avatars al descompilar la versión 62 del firmware Meta Quest, que actualmente está disponible para los evaluadores en el canal de prueba público.

Las próximas funciones de Quest se han descubierto de esta manera varias veces en el pasado. Nos dice que Meta está trabajando para integrar una función en los auriculares Quest. Sin embargo, no nos dice qué tan lejos está la función o si alguna vez se enviará. Por ejemplo, Sentido espacial llegó unos meses después de ser detectado en el firmware, mientras búsqueda profesional tomó más de un año. Y referencias a una integración de Discord y una Proyecto Avalancha La función de transmisión de realidad virtual para PC en la nube se ha detectado desde hace años, pero ninguna de las dos se ha enviado.

En marzo del año pasado, el CTO de Meta, Andrew Bosworth. dijo la empresa estaba "haciendo progresos" en el envío de Codec Avatars, pero advirtió que "aún faltan años".

Cadenas encontradas en el firmware Quest de Luna.

Tampoco está claro si esta función se está desarrollando para los auriculares Quest existentes o para un futuro Quest Pro 2.

En marzo del año pasado, se filtró a The Verge una reunión sobre la hoja de ruta del hardware de Meta Quest. Además de revelar detalles de Quest 3 y los próximos auriculares más baratos que se rumorea que se llamarán Quest 3 Lite, la hoja de ruta menciona un nuevo auricular Quest Pro “salida en el futuro” que incluirá Codec Avatars.

Pero es posible que Meta tenga la intención de llevar Codec Avatars al Quest Pro existente, o incluso al Quest 2 y Quest 3.

Los avatares de códec se están decodificando en Quest 2 de forma independiente.

En 2021, los investigadores de Meta demostraron una método significativamente más eficiente de decodificar avatares de códec. En Quest 2, el nuevo método podría representar un Codec Avatar en una escena en blanco a 72 FPS completos, tres Codec Avatars a alrededor de 63 FPS o cinco a alrededor de 43 FPS.

Pero, ¿cómo se podrían manejar estos avatares en Quest 2 y Quest 3, que carecen de seguimiento facial y ocular? Los metainvestigadores también han demostrado una versión de Codec Avatars que no requiere seguimiento facial, y recientemente incluso una versión que no requiere ningún seguimiento en absoluto. En cambio, el audio del micrófono se introduce en una red neuronal que estima la postura facial probable para el patrón de habla actual.

Aún así, es muy posible que Meta quiera reservar Codec Avatars para un futuro Quest Pro 2 lo suficientemente potente como para admitir Codec Avatars en Salas de trabajo Horizon reuniones y diríjalas con seguimiento de rostros reales.

Una plataforma de captura especializada utilizada para avatares de códec de la más alta calidad.

Independientemente de a qué auriculares Quest específicos esté destinada la función Codec Avatars de envío, es casi seguro que la calidad no será la misma que la de las demostraciones más impresionantes de Meta, como la entrevista a Lex Fridman con Mark Zuckerberg. Esas demostraciones y esa entrevista utilizaron avatares de códec generados mediante un equipo de captura especializado con más de 100 cámaras.

[Contenido incrustado]

Los metainvestigadores han estado trabajando para reemplazar este proceso. con un escaneo de teléfono inteligente, necesario para enviar avatares Codec a escala, pero esto da una resultado de menor calidad. Quest Pro 2 podría incluir una pantalla frontal y sensores de profundidad para la configuración del avatar como Usos de Apple Vision Pro para sus Personas, pero esto aún no coincidiría con la plataforma de captura especializada.

Aún así, cualquier versión de Codec Avatars debería ser una mejora dramática con respecto a los avatares actuales de Meta, que tienen un estilo artístico básico de dibujos animados que no podría estar más lejos del fotorrealismo. Estaremos atentos a Meta en los próximos meses para detectar más indicios de que Codec Avatars esté en el camino hacia la productización.