Meta werkt eraan om Quest 3 te laten werken in voertuigen zoals vliegtuigen

Heruitgegeven door Plato

volgers: 0

Meta werkt eraan om Quest-headsets te laten werken in bewegende voertuigen.

UX-ontwerper Andrew Fox heeft een video opnieuw gepost naar X van Facebook-gebruiker Netsvietaiev Oleksandr proberen om Quest 3 in passthrough-modus in een vliegtuig te gebruiken, maar dat lukt niet omdat de interface wegdrijft.

Meta's CTO Andrew Bosworth antwoordde naar de post om samen te vatten waarom het gebeurde, en eindigde met te zeggen dat Meta “er aan werkt”.

Nee, we gebruiken een IMU om objecten gelokaliseerd te houden ten opzichte van de beweging van uw headset, zodat bewegende voertuigen een uitdaging vormen (wanneer ze in welke richting dan ook versnellen). We gebruiken natuurlijk ook de camera's, ze werken samen omdat de IMU een hogere frequentie maar een lagere nauwkeurigheid heeft. Ik ben ermee bezig!

- Boz (@boztank) 24 januari 2024

Dus waarom gebeurt dit afdrijven in bewegende voertuigen eigenlijk?

Mensen denken vaak dat markerloze inside-out trackingsystemen op headsets, brillen en zelftrackende controllers alleen de camera's gebruiken, maar dit is niet het geval. Deze systemen vertrouwen net zo goed op de inertiële meeteenheid (IMU), een chip die een kleine versnellingsmeter en gyroscoop bevat.

Terwijl camera's doorgaans op 30 Hz of 60 Hz draaien, biedt de IMU doorgaans updates rond 1000 Hz, waardoor een veel lagere latentie mogelijk is. Een IMU kan echter geen absolute beweging detecteren – althans niet direct. De versnellingsmeter in de IMU detecteert echter de versnelling ten opzichte van de zwaartekracht, en je kunt de integraal van de versnelling in de loop van de tijd nemen om de snelheid te bepalen. En als je vervolgens de integraal van die snelheidswaarden in de loop van de tijd neemt, krijg je verplaatsing vanaf de oorspronkelijke positie.

Dit proces wordt gegist bestek genoemd. Van moment tot moment is dit de manier waarop elke headset en controller zichzelf volgt, en de optische componenten zoals camera's of laserbasisstations worden alleen gebruikt om de cumulatieve fout te corrigeren die wordt veroorzaakt door de ruis van de IMU-gegevens. Maar in een bewegend voertuig, zoals een vliegtuig, zal de versnellingsmeter de versnelling van het voertuig zelf registreren, denkend dat het de versnelling van de headset is, wat resulteert in de plotselinge en snelle positionele drift die je ziet in Fox's video hierboven.

Apple Vision Pro heeft een reismodus, maar het is onduidelijk wat deze precies doet.

Het is onduidelijk wat Bosworth precies bedoelt als hij zegt dat Meta aan het probleem 'werkt'.

Momenteel is het mogelijk om 6DoF positionele tracking op Quest uit te schakelen, en de headset valt terug naar 3DoF rotatie-only tracking, maar dat schakelt ook passthrough uit. Meta zou dus misschien van plan kunnen zijn om passthrough toe te staan wanneer positionele tracking is uitgeschakeld.

Als alternatief zou Meta er misschien aan kunnen werken om op de een of andere manier positionele tracking in bewegende voertuigen te laten werken, misschien door het systeem te instrueren volledig op camerabeelden te vertrouwen en de IMU te negeren. Vorig jaar Meta een onderzoeksproject gedemonstreerd een Quest Pro laten werken in een rijdende BMW, maar dit betekende een interface met de eigen IMU aan boord van de auto.

Ondertussen beschikt Apple Vision Pro over een reismodus voor gebruik in vliegtuigen, en Apple heeft dit gebruiksscenario op de markt gebracht, maar het is momenteel niet bekend wat de reismodus van Apple precies doet. Apple heeft alleen gezegd dat het “de beelden zal stabiliseren”. Ik ben van plan deze functie te testen tijdens mijn reis naar huis nadat ik Vision Pro in New York heb opgehaald.