Meta travaille pour que Quest 3 fonctionne dans des véhicules comme les avions

Republié par Platon

Suiveurs: 0

Meta travaille à faire fonctionner les casques Quest dans les véhicules en mouvement.

Le concepteur UX Andrew Fox a republié une vidéo à X de l'utilisateur de Facebook Netsvietaiev Oleksandr essayer d'utiliser Quest 3 en mode passthrough sur un avion, mais en étant incapable car l'interface s'éloigne.

Andrew Bosworth, directeur technique de Meta répondu au message pour résumer pourquoi cela se produisait, et a terminé en disant que Meta « y travaille ».

Non, nous utilisons une IMU pour maintenir les objets localisés par rapport au mouvement de votre casque, de sorte que le déplacement des véhicules représente un défi (lorsqu'ils accélèrent dans n'importe quelle direction). Nous utilisons également les caméras, bien sûr, elles fonctionnent ensemble car l'IMU a une fréquence plus élevée mais une précision moindre. J'y travaille!

- Boz (@boztank) 24 janvier 2024

Alors pourquoi cette dérive des véhicules en mouvement se produit-elle réellement ?

Les gens pensent souvent que les systèmes de suivi intérieur sans marqueur sur les casques, les lunettes et les contrôleurs d'auto-suivi n'utilisent que les caméras, mais ce n'est pas le cas. Ces systèmes s'appuient tout autant sur l'unité de mesure inertielle (IMU), une puce qui contient un minuscule accéléromètre et un gyroscope.

Alors que les caméras fonctionnent généralement à 30 Hz ou 60 Hz, l'IMU fournit généralement des mises à jour autour de 1000 XNUMX Hz, permettant une latence beaucoup plus faible. Cependant, une IMU ne peut pas réellement détecter un mouvement absolu – du moins pas directement. L'accéléromètre de l'IMU détecte cependant l'accélération par rapport à la gravité, et vous pouvez prendre l'intégrale de l'accélération dans le temps pour obtenir la vitesse. Et si vous prenez ensuite l'intégrale de ces valeurs de vitesse au fil du temps, vous obtenez un déplacement par rapport à la position d'origine.

Ce processus s’appelle l’estime. D'instant en instant, c'est ainsi que chaque casque et contrôleur se suit, et les composants optiques tels que les caméras ou les stations de base laser ne sont utilisés que pour corriger l'erreur cumulative causée par le bruit des données IMU. Mais dans un véhicule en mouvement tel qu'un avion, l'accéléromètre capte l'accélération du véhicule lui-même, pensant qu'il s'agit de l'accélération du casque, ce qui entraîne la dérive de position soudaine et rapide que vous voyez dans la vidéo de Fox ci-dessus.

Apple Vision Pro dispose d'un mode voyage, mais on ne sait pas exactement ce qu'il fait.

On ne sait pas exactement ce que Bosworth veut dire en disant que Meta « travaille sur » le problème.

Actuellement, il est possible de désactiver le suivi de position 6DoF sur Quest, et le casque reviendra au suivi de rotation 3DoF uniquement, mais cela désactive également le relais. Meta pourrait donc peut-être envisager d'autoriser le relais lorsque le suivi de position est désactivé.

Alternativement, Meta pourrait travailler à faire fonctionner le suivi de position dans les véhicules en mouvement, peut-être en demandant au système de s'appuyer entièrement sur les visuels de la caméra et en ignorant l'IMU. Méta de l'année dernière a démontré un projet de recherche faire fonctionner un Quest Pro dans une BMW en mouvement, mais cela impliquait une interface avec l'IMU embarquée de la voiture.

Pendant ce temps, Apple Vision Pro propose un mode voyage pour une utilisation dans les avions, et Apple a commercialisé ce cas d'utilisation, mais on ne sait pas non plus ce que fait exactement le mode voyage d'Apple. Apple a seulement déclaré qu'il « stabiliserait les visuels ». Je prévois de tester cette fonctionnalité lors de mon voyage de retour après avoir récupéré Vision Pro à New York.