Meta arbejder på at få Quest 3 til at fungere i køretøjer som fly

Genudgivet af Platon

Abonnenter: 0

Meta arbejder på at få Quest-headset til at fungere i kørende køretøjer.

UX Designer Andrew Fox har genudsendt en video til X af Facebook-brugeren Netsvietaiev Oleksandr forsøger at bruge Quest 3 i passthrough-tilstand på et fly, men er ude af stand til det, fordi grænsefladen driver væk.

Metas CTO Andrew Bosworth svarede til indlægget for at opsummere, hvorfor det skete, og afsluttede med at sige, at Meta "arbejder på det".

Nej, vi bruger en IMU til at holde objekter lokaliseret i forhold til dit headset-bevægelse, så bevægelige køretøjer repræsenterer en udfordring (når de accelererer i en hvilken som helst retning). Vi bruger også kameraerne, selvfølgelig, de arbejder sammen, da IMU er højere frekvens, men lavere nøjagtighed. Arbejder på det!

- Boz (@boztank) Januar 24, 2024

Så hvorfor sker denne drift i kørende køretøjer egentlig?

Folk tror ofte, at markørløse indefra-ud-sporingssystemer på headset, briller og selvsporende controllere kun bruger kameraerne, men dette er ikke tilfældet. Disse systemer stoler lige så meget på inertimåleenheden (IMU), en chip, der indeholder et lille accelerometer og et gyroskop.

Mens kameraer typisk kører ved 30Hz eller 60Hz, leverer IMU typisk opdateringer omkring 1000Hz, hvilket muliggør meget lavere latenstid. En IMU kan dog faktisk ikke registrere absolut bevægelse – i hvert fald ikke direkte. Accelerometeret i IMU registrerer dog acceleration i forhold til tyngdekraften, og du kan tage integralet af acceleration over tid for at få hastighed. Og hvis du så tager integralet af disse hastighedsværdier over tid, får du forskydning fra den oprindelige position.

Denne proces kaldes dødregning. Fra øjeblik til øjeblik er det sådan, at hvert headset og hver controller sporer sig selv, og den optiske komponent som kameraer eller laserbasestationer bruges kun til at korrigere for den kumulative fejl forårsaget af støjen i IMU-dataene. Men i et køretøj i bevægelse, såsom et fly, vil accelerometeret opfange selve køretøjets acceleration og tro, at det er headset-acceleration, hvilket resulterer i den pludselige og hurtige positionsdrift, du ser i Fox' video ovenfor.

Apple Vision Pro har en rejsetilstand, men det er uklart, hvad det præcist gør.

Det er uklart, hvad Bosworth præcist mener med at sige, at Meta "arbejder på" problemet.

I øjeblikket er det muligt at deaktivere 6DoF positionssporing på Quest, og headsettet vil falde tilbage til 3DoF rotationssporing, men det deaktiverer også passthrough. Så Meta kunne måske planlægge at tillade passthrough, når positionssporing er deaktiveret.

Alternativt kan Meta arbejde på en eller anden måde at få positionssporing til at fungere i kørende køretøjer, måske ved at instruere systemet til at stole helt på kameraets billeder og ignorere IMU. Sidste år Meta demonstreret et forskningsprojekt at få en Quest Pro til at fungere i en BMW i bevægelse, men dette involverede interfacing med bilens egen indbyggede IMU.

I mellemtiden har Apple Vision Pro Travel Mode til brug på fly, og Apple har markedsført denne use case, men det er i øjeblikket ukendt, hvad Apples Travel Mode præcist gør heller. Apple har kun sagt, at det vil "stabilisere det visuelle". Jeg planlægger at teste denne funktion på min rejse hjem efter at have hentet Vision Pro i New York.