Meta apportera-t-il bientôt des « avatars codecs » photoréalistes à la quête ?

Republié par Platon

Suiveurs: 0

Une découverte du micrologiciel suggère que Meta est sur la bonne voie pour intégrer ses « Codec Avatars » photoréalistes à ses casques Quest.

Codec Avatars est le projet de recherche et développement de longue date de Meta visant à révolutionner la communication à distance en créant des avatars photoréalistes vraiment convaincants pilotés en temps réel par des casques dotés de capteurs de suivi du visage, et éventuellement des lunettes également. Meta a révélé pour la première fois l'existence du projet en 2019., et a montré plusieurs mises à jour de fidélité dans les années qui ont suivi, ainsi qu'un version corps entier.

[Contenu intégré]

Dans cette interview, il n'est pas clair si les avatars étaient décodés et restitués à bord, ou si un PC effectuait ce travail. Un câble USB-C est connecté aux deux casques.

Alors que Codec Avatars a toujours été décrit comme relevant du domaine de la recherche, une nouvelle découverte suggère qu'il pourrait maintenant être sur la bonne voie pour devenir une fonctionnalité dans les casques Quest.

Passionné de réalité virtuelle lune trouvé des références aux Codec Avatars en décompilant la version 62 du micrologiciel Meta Quest, qui est actuellement disponible pour les testeurs sur la chaîne de test publique.

Les fonctionnalités de Quest à venir ont été découvertes de cette manière à plusieurs reprises dans le passé. Cela nous indique que Meta travaille à intégrer une fonctionnalité sur les casques Quest. Cependant, cela ne nous dit pas à quelle distance se trouve la fonctionnalité, ni si elle sera réellement livrée un jour. Par exemple, Sens de l'espace arrivé quelques mois après avoir été repéré dans le firmware, alors que Quête Pro a pris plus d'un an. Et des références à une intégration Discord et à un Projet Avalanche La fonctionnalité de streaming cloud PC VR est repérée depuis des années maintenant, mais aucune n'a été livrée.

En mars de l'année dernière, Meta CTO Andrew Bosworth a affirmé Valérie Plante. la société « faisait des progrès » dans l’expédition des codecs avatars, mais a averti que « nous sommes encore dans des années ».

Chaînes trouvées dans le firmware Quest par Luna.

Il n'est pas non plus clair si cette fonctionnalité est développée pour les casques Quest existants ou pour un futur Quest Pro 2.

En mars de l'année dernière, une réunion sur la feuille de route matérielle Meta Quest a été divulguée à The Verge. En plus de révéler les détails de Quest 3 et du prochain casque moins cher qui s'appellerait Quest 3 Lite, la feuille de route mentionnée un nouveau casque Quest Pro « une sortie dans le futur » qui inclura les Codec Avatars.

Mais il est possible que Meta ait l'intention d'intégrer les Codec Avatars au Quest Pro existant, ou même aux Quest 2 et Quest 3.

Avatars codecs en cours de décodage sur Quest 2 autonome.

En 2021, les chercheurs Meta ont démontré un méthode nettement plus efficace de décodage des avatars codecs. Sur Quest 2, la nouvelle méthode pourrait restituer un avatar codec dans une scène vierge à 72 images par seconde, trois avatars codec à environ 63 images par seconde ou cinq à environ 43 images par seconde.

Mais comment ces avatars pourraient-ils être pilotés sur Quest 2 et Quest 3, qui manquent à la fois de suivi du visage et des yeux ? Les méta-chercheurs ont également démontré une version de Codec Avatars qui ne nécessite pas de suivi du visage, et récemment même une version qui ne nécessite aucun suivi. Au lieu de cela, l’audio du microphone est transmis à un réseau neuronal qui estime la pose faciale probable pour le modèle de parole actuel.

Néanmoins, il est tout à fait possible que Meta veuille réserver les Codec Avatars pour un futur Quest Pro 2 suffisamment puissant pour prendre en charge les Codec Avatars dans Salles de travail Horizon réunions et pilotez-les avec un véritable suivi du visage.

Une plate-forme de capture spécialisée utilisée pour les avatars codecs de la plus haute qualité.

Quels que soient les casques Quest spécifiques auxquels la fonctionnalité Codec Avatars est destinée, la qualité ne sera certainement pas la même que celle des démos les plus impressionnantes de Meta, telles que l'interview de Lex Fridman avec Mark Zuckerberg. Ces démos et cette interview utilisaient des codecs avatars générés à l’aide d’un appareil de capture spécialisé doté de plus de 100 caméras.

[Contenu intégré]

Les méta-chercheurs ont travaillé pour remplacer ce processus avec un scan de smartphone, nécessaire pour expédier réellement les avatars codecs à grande échelle, mais cela donne un résultat de moindre qualité. Quest Pro 2 pourrait inclure un écran frontal et des capteurs de profondeur pour la configuration de l'avatar comme Apple Vision Pro utilise pour ses Personas, mais cela ne correspond toujours pas à la plate-forme de capture spécialisée.

Néanmoins, toute version de Codec Avatars devrait constituer une amélioration spectaculaire par rapport aux avatars actuels de Meta, qui ont un style artistique de base de dessin animé qui ne pourrait être plus éloigné du photoréalisme. Nous garderons un œil attentif sur Meta dans les mois à venir pour toute indication supplémentaire indiquant que les Codec Avatars sont sur la voie de la production.