Meta jobber for å få Quest 3 til å fungere i kjøretøy som fly

Meta jobber for å få Quest 3 til å fungere i kjøretøy som fly

Tidsstempel: 25. januar 2024 4:47
Kilde node: 3088134

Meta jobber med å få Quest-headset til å fungere i kjøretøy i bevegelse.

UX Designer Andrew Fox la ut en video på nytt til X av Facebook-bruker Netsvietaiev Oleksandr prøver å bruke Quest 3 i passthrough-modus på et fly, men kan ikke fordi grensesnittet driver bort.

Metas CTO Andrew Bosworth svarte til innlegget for å oppsummere hvorfor det skjedde, og avsluttet med å si at Meta "jobber med det".

Så hvorfor skjer egentlig denne driften i kjøretøy i bevegelse?

Folk tror ofte at markørløse sporingssystemer på hodesett, briller og selvsporende kontroller bare bruker kameraene, men dette er ikke tilfelle. Disse systemene er like mye avhengige av treghetsmålingsenheten (IMU), en brikke som inneholder et lite akselerometer og gyroskop.

Mens kameraer vanligvis kjører på 30Hz eller 60Hz, gir IMU vanligvis oppdateringer rundt 1000Hz, noe som muliggjør mye lavere ventetid. Imidlertid kan en IMU faktisk ikke oppdage absolutt bevegelse – i hvert fall ikke direkte. Akselerometeret i IMU registrerer akselerasjon i forhold til tyngdekraften, og du kan ta integralet av akselerasjon over tid for å få hastighet. Og hvis du så tar integralen av disse hastighetsverdiene over tid, får du forskyvning fra den opprinnelige posisjonen.

Denne prosessen kalles dead reckoning. Fra øyeblikk til øyeblikk er det slik hvert hodesett og kontroller sporer seg selv, og den optiske komponenten som kameraer eller laserbasestasjoner brukes kun til å korrigere for den kumulative feilen forårsaket av støyen i IMU-dataene. Men i et kjøretøy i bevegelse, for eksempel et fly, vil akselerometeret fange opp akselerasjonen til selve kjøretøyet, og tro at det er akselerasjon av headset, noe som resulterer i den plutselige og raske posisjonsdriften du ser i Fox sin video ovenfor.

Apple Vision Pro har en reisemodus, men det er uklart nøyaktig hva den gjør.

Det er uklart nøyaktig hva Bosworth mener med å si at Meta "jobber med" problemet.

For øyeblikket er det mulig å deaktivere 6DoF posisjonssporing på Quest, og headsettet vil falle tilbake til 3DoF rotasjonssporing, men det deaktiverer også passthrough. Så Meta kan kanskje planlegge å tillate passthrough når posisjonssporing er deaktivert.

Alternativt kan Meta på en eller annen måte jobbe med å få posisjonssporing til å fungere i kjøretøy i bevegelse, kanskje ved å instruere systemet til å stole helt på kamerabilder og ignorere IMU. I fjor Meta demonstrerte et forskningsprosjekt få en Quest Pro til å fungere i en BMW i bevegelse, men dette innebar grensesnitt med bilens egen innebygde IMU.

I mellomtiden har Apple Vision Pro reisemodus for bruk på fly, og Apple har markedsført denne brukssaken, men det er foreløpig ukjent hva akkurat Apples reisemodus gjør heller. Apple har bare sagt at det vil "stabilisere det visuelle". Jeg planlegger å teste denne funksjonen på reisen hjem etter å ha hentet Vision Pro i New York.

Tidstempel:

Mer fra UploadVR