Meta arbeitet daran, dass Quest 3 in Fahrzeugen wie Flugzeugen funktioniert

Neuauflage von Plato

Verfolger: 0

Meta arbeitet daran, dass Quest-Headsets in fahrenden Fahrzeugen funktionieren.

UX-Designer Andrew Fox hat ein Video erneut gepostet bis X. des Facebook-Nutzers Netsvietaiev Oleksandr Versuch Quest 3 im Passthrough-Modus in einem Flugzeug zu verwenden, aber nicht möglich, weil die Schnittstelle wegdriftet.

Metas CTO Andrew Bosworth antwortete zu dem Beitrag, um zusammenzufassen, warum es passiert ist, und endete mit der Aussage, dass Meta „daran arbeitet“.

Nein, wir verwenden eine IMU, um Objekte relativ zur Bewegung Ihres Headsets zu lokalisieren, sodass sich bewegende Fahrzeuge (wenn sie in eine beliebige Richtung beschleunigen) eine Herausforderung darstellen. Wir verwenden natürlich auch die Kameras, sie arbeiten zusammen, da die IMU eine höhere Frequenz, aber eine geringere Genauigkeit aufweist. Arbeiten daran!

- Boz (@boztank) 24. Januar 2024

Warum kommt es eigentlich zu diesem Driften bei fahrenden Fahrzeugen?

Man denkt oft, dass markerlose Inside-Out-Tracking-Systeme auf Headsets, Brillen und Self-Tracking-Controllern nur die Kameras nutzen, aber das ist nicht der Fall. Diese Systeme basieren ebenso auf der Inertialmesseinheit (IMU), einem Chip, der einen winzigen Beschleunigungsmesser und ein Gyroskop enthält.

Während Kameras typischerweise mit 30 Hz oder 60 Hz laufen, liefert die IMU typischerweise Updates um 1000 Hz, was eine deutlich geringere Latenz ermöglicht. Allerdings kann eine IMU keine absolute Bewegung erfassen – zumindest nicht direkt. Der Beschleunigungsmesser in der IMU misst jedoch die Beschleunigung relativ zur Schwerkraft, und Sie können das Integral der Beschleunigung über die Zeit bilden, um die Geschwindigkeit zu ermitteln. Und wenn Sie dann das Integral dieser Geschwindigkeitswerte über die Zeit bilden, erhalten Sie eine Verschiebung von der ursprünglichen Position.

Dieser Vorgang wird Koppelnavigation genannt. Von Moment zu Moment verfolgt jedes Headset und jeder Controller sich selbst, und die optischen Komponenten wie Kameras oder Laserbasisstationen werden nur verwendet, um den kumulativen Fehler zu korrigieren, der durch das Rauschen der IMU-Daten verursacht wird. Aber in einem sich bewegenden Fahrzeug wie einem Flugzeug erfasst der Beschleunigungsmesser die Beschleunigung des Fahrzeugs selbst und geht davon aus, dass es sich um eine Headset-Beschleunigung handelt, was zu der plötzlichen und schnellen Positionsabweichung führt, die Sie im obigen Video von Fox sehen.

Apple Vision Pro verfügt über einen Reisemodus, aber es ist unklar, was genau er tut.

Es ist unklar, was Bosworth genau meint, wenn er sagt, dass Meta an dem Problem „arbeitet“.

Derzeit ist es möglich, die 6DoF-Positionsverfolgung auf Quest zu deaktivieren, und das Headset greift auf die reine 3DoF-Rotationsverfolgung zurück, aber dadurch wird auch Passthrough deaktiviert. Daher könnte Meta möglicherweise planen, Passthrough zuzulassen, wenn die Positionsverfolgung deaktiviert ist.

Alternativ könnte Meta daran arbeiten, die Positionsverfolgung in fahrenden Fahrzeugen irgendwie zum Laufen zu bringen, vielleicht indem sie das System anweist, sich ausschließlich auf Kamerabilder zu verlassen und die IMU zu ignorieren. Letztes Jahr Meta demonstrierte ein Forschungsprojekt Damit ein Quest Pro in einem fahrenden BMW funktioniert, musste dazu jedoch eine Schnittstelle zur eigenen Onboard-IMU des Autos hergestellt werden.

Mittlerweile verfügt Apple Vision Pro über einen Reisemodus für den Einsatz in Flugzeugen, und Apple hat diesen Anwendungsfall vermarktet, aber es ist derzeit nicht bekannt, was genau der Reisemodus von Apple bewirkt. Apple hat nur gesagt, dass es „die Grafik stabilisieren“ wird. Ich habe vor, diese Funktion auf meiner Heimreise zu testen, nachdem ich Vision Pro in New York abgeholt habe.