Meta pracuje nad tym, aby Quest 3 działał w pojazdach takich jak samoloty

Opublikowane ponownie przez Plato

Obserwuje: 0

Meta pracuje nad tym, aby zestawy słuchawkowe Quest działały w poruszających się pojazdach.

Projektant UX Andrew Fox ponownie opublikował film do X użytkownika Facebooka Netsvietaieva Oleksandra stara używać Questa 3 w trybie przejściowym w samolocie, ale nie jest to możliwe, ponieważ interfejs się rozmywa.

Dyrektor techniczny Meta, Andrew Bosworth odpowiedział: do postu, aby podsumować, dlaczego tak się dzieje, i zakończyć stwierdzeniem, że Meta „nad tym pracuje”.

Nie, używamy IMU do utrzymywania lokalizacji obiektów w stosunku do ruchu zestawu słuchawkowego, więc poruszające się pojazdy stanowią wyzwanie (gdy przyspieszają w dowolnym kierunku). Używamy też kamer, oczywiście współpracują ze sobą, bo IMU ma wyższą częstotliwość, ale mniejszą dokładność. Pracuję nad tym!

- Boz (@boztank) 24 stycznia 2024 r.

Dlaczego więc w rzeczywistości dochodzi do dryfowania w poruszających się pojazdach?

Ludzie często myślą, że systemy śledzenia typu „wewnątrz na zewnątrz” bez znaczników w zestawach słuchawkowych, okularach i kontrolerach samośledzących korzystają wyłącznie z kamer, ale tak nie jest. Systemy te w równym stopniu opierają się na inercyjnej jednostce pomiarowej (IMU), chipie zawierającym mały akcelerometr i żyroskop.

Podczas gdy kamery zwykle działają z częstotliwością 30 Hz lub 60 Hz, IMU zazwyczaj zapewnia aktualizacje z częstotliwością około 1000 Hz, umożliwiając znacznie mniejsze opóźnienia. Jednakże IMU nie jest w stanie wykryć absolutnego ruchu – przynajmniej nie bezpośrednio. Akcelerometr w IMU wykrywa jednak przyspieszenie względem grawitacji i można przyjąć całkę przyspieszenia w czasie, aby uzyskać prędkość. A jeśli następnie weźmiemy całkę tych wartości prędkości w czasie, otrzymamy przemieszczenie z pierwotnego położenia.

Proces ten nazywa się Dead Reckoning. Od czasu do czasu każdy zestaw słuchawkowy i kontroler sam się śledzi, a komponenty optyczne, takie jak kamery lub laserowe stacje bazowe, są wykorzystywane wyłącznie do korygowania skumulowanych błędów spowodowanych szumem danych IMU. Jednak w poruszającym się pojeździe, takim jak samolot, akcelerometr będzie rejestrował przyspieszenie samego pojazdu, sądząc, że jest to przyspieszenie zestawu słuchawkowego, co skutkuje nagłą i szybką zmianą położenia, co widać na powyższym filmie Foxa.

Apple Vision Pro ma tryb podróżny, ale nie jest jasne, do czego dokładnie służy.

Nie jest jasne, co dokładnie Bosworth ma na myśli, mówiąc, że Meta „pracuje” nad problemem.

Obecnie w urządzeniu Quest można wyłączyć śledzenie pozycji 6DoF, a zestaw słuchawkowy powróci do śledzenia wyłącznie rotacyjnego 3DoF, ale spowoduje to również wyłączenie przekazywania. Zatem Meta mogłaby prawdopodobnie planować zezwolenie na przekazywanie, gdy śledzenie pozycji jest wyłączone.

Alternatywnie Meta może pracować nad tym, aby w jakiś sposób śledzenie położenia działało w poruszających się pojazdach, być może instruując system, aby całkowicie polegał na obrazach z kamer i ignorował IMU. W zeszłym roku Meta przedstawił projekt badawczy umożliwienie Quest Pro pracy w poruszającym się BMW, ale wymagało to połączenia z własnym pokładowym modułem IMU samochodu.

Tymczasem Apple Vision Pro ma tryb podróżny do użytku w samolotach i Apple wprowadził na rynek ten przypadek użycia, ale obecnie nie wiadomo, co dokładnie robi tryb podróżny Apple. Apple powiedział jedynie, że „ustabilizuje grafikę”. Planuję przetestować tę funkcję w drodze do domu po odebraniu Vision Pro w Nowym Jorku.