Meta arbetar för att få Quest 3 att fungera i fordon som flygplan

Meta arbetar för att få Quest 3 att fungera i fordon som flygplan

Tidsstämpel: 25 januari 2024 4:47
Källnod: 3088134

Meta arbetar med att få Quest-headset att fungera i fordon i rörelse.

UX-designern Andrew Fox lade om en video till X av Facebook-användaren Netsvietaiev Oleksandr försöker att använda Quest 3 i passthrough-läge på ett flygplan, men att inte kunna eftersom gränssnittet driver bort.

Metas CTO Andrew Bosworth svarade till inlägget för att sammanfatta varför det hände, och avslutade med att säga att Meta "jobbar på det".

Så varför händer egentligen denna drift i rörliga fordon?

Människor tror ofta att markörlösa in-ut-spårningssystem på headset, glasögon och självspårningskontroller bara använder kamerorna, men så är inte fallet. Dessa system förlitar sig lika mycket på tröghetsmätenheten (IMU), ett chip som innehåller en liten accelerometer och gyroskop.

Medan kameror vanligtvis körs på 30Hz eller 60Hz, ger IMU vanligtvis uppdateringar runt 1000Hz, vilket möjliggör mycket lägre latens. Men en IMU kan faktiskt inte upptäcka absolut rörelse – åtminstone inte direkt. Accelerometern i IMU känner dock av acceleration i förhållande till gravitationen, och du kan ta integralen av acceleration över tid för att få hastighet. Och om du sedan tar integralen av dessa hastighetsvärden över tid, får du förskjutning från den ursprungliga positionen.

Denna process kallas dead reckoning. Från ögonblick till ögonblick är det hur varje headset och styrenhet spårar sig själv, och den optiska komponenten som kameror eller laserbasstationer används bara för att korrigera för det kumulativa felet som orsakas av bruset i IMU-data. Men i ett fordon i rörelse, till exempel ett flygplan, kommer accelerometern att fånga upp själva fordonets acceleration, och tro att det är headsetacceleration, vilket resulterar i den plötsliga och snabba positionsdriften som du ser i Foxs video ovan.

Apple Vision Pro har ett reseläge, men det är oklart exakt vad det gör.

Det är oklart exakt vad Bosworth menar med att Meta "jobbar på" problemet.

För närvarande är det möjligt att inaktivera 6DoF positionsspårning på Quest, och headsetet kommer att falla tillbaka till 3DoF rotationsspårning, men det inaktiverar också passthrough. Så Meta kanske planerar att tillåta passthrough när positionsspårning är inaktiverat.

Alternativt kan Meta arbeta för att på något sätt få positionsspårning att fungera i fordon i rörelse, kanske genom att instruera systemet att helt förlita sig på kamerabilder och ignorera IMU. Förra året Meta demonstrerade ett forskningsprojekt få en Quest Pro att fungera i en BMW i rörelse, men detta innebar gränssnitt med bilens egen inbyggda IMU.

Under tiden har Apple Vision Pro reseläge för användning på flygplan, och Apple har marknadsfört detta användningsfall, men det är för närvarande okänt vad exakt Apples resläge gör heller. Apple har bara sagt att det kommer att "stabilisera bilder". Jag planerar att testa den här funktionen på min resa hem efter att ha hämtat Vision Pro i New York.

Tidsstämpel:

Mer från UploadVR