Meta työskentelee saadakseen Quest 3:n toimimaan ajoneuvoissa kuin lentokoneissa

Julkaissut Platon

seuraajia: 0

Meta pyrkii saamaan Quest-kuulokkeet toimimaan liikkuvissa ajoneuvoissa.

UX-suunnittelija Andrew Fox julkaisi videon uudelleen X: ään Facebook-käyttäjä Netsvietaiev Oleksandr yrittää käyttää Quest 3:a passthrough-tilassa lentokoneessa, mutta ei pysty, koska käyttöliittymä ajautuu pois.

Metan teknologiajohtaja Andrew Bosworth vastasi viestiin yhteenvedon syistä, miksi se tapahtui, ja lopetti sanomalla, että Meta "työstää sitä".

Ei, käytämme IMU:ta pitämään kohteet paikallisesti kuulokkeen liikkeen mukaan, joten liikkuvat ajoneuvot ovat haaste (kun ne kiihtyvät mihin tahansa suuntaan). Käytämme tietysti myös kameroita, ne toimivat yhdessä, koska IMU on korkeampi taajuus, mutta pienempi tarkkuus. Työn alla!

- Boz (@boztank) Tammikuu 24, 2024

Joten miksi tätä ajautumista liikkuvissa ajoneuvoissa todella tapahtuu?

Ihmiset ajattelevat usein, että kuulokemikrofonien, lasien ja itseseurantaohjaimien merkkittömät sisä-out-seurantajärjestelmät käyttävät vain kameroita, mutta näin ei ole. Nämä järjestelmät luottavat yhtä paljon inertiamittausyksikköön (IMU), siruun, joka sisältää pienen kiihtyvyysmittarin ja gyroskoopin.

Vaikka kamerat toimivat tyypillisesti 30 Hz tai 60 Hz taajuudella, IMU tarjoaa tyypillisesti päivityksiä noin 1000 Hz, mikä mahdollistaa paljon pienemmän viiveen. IMU ei kuitenkaan pysty havaitsemaan absoluuttista liikettä – ainakaan suoraan. IMU:n kiihtyvyysanturi havaitsee kuitenkin kiihtyvyyden suhteessa painovoimaan, ja voit ottaa nopeuden mittaamalla kiihtyvyyden integraalin ajan kuluessa. Ja jos otat sitten näiden nopeusarvojen integraalin ajan mittaan, saat siirtymän alkuperäisestä sijainnista.

Tätä prosessia kutsutaan kuolleeksi laskemiseksi. Hetkestä hetkeen jokainen kuulokemikrofoni ja ohjain seuraa itseään, ja optisia komponentteja, kuten kameroita tai lasertukiasemia, käytetään vain korjaamaan IMU-datan meluisuuden aiheuttamaa kumulatiivista virhettä. Mutta liikkuvassa ajoneuvossa, kuten lentokoneessa, kiihtyvyysanturi poimii itse ajoneuvon kiihtyvyyden luullen sen kuulokkeiden kiihtyvyydeksi, mikä johtaa äkilliseen ja nopeaan sijainnin ajautumiseen, jonka näet Foxin yllä olevassa videossa.

Apple Vision Prossa on Travel Mode, mutta on epäselvää, mitä se tarkalleen tekee.

On epäselvää, mitä Bosworth tarkalleen tarkoittaa sanoessaan, että Meta "työstää" ongelmaa.

Tällä hetkellä Questin 6DoF-paikannusseuranta on mahdollista poistaa käytöstä, ja kuulokemikrofoni palaa vain 3DoF-kiertoseurantaan, mutta se poistaa myös passthrough-toiminnon käytöstä. Joten Meta voisi ehkä suunnitella sallivansa läpimenon, kun sijainnin seuranta on poistettu käytöstä.

Vaihtoehtoisesti Meta saattaa työskennellä saadakseen paikannusseurannan toimimaan liikkuvissa ajoneuvoissa, ehkä ohjeistamalla järjestelmää luottamaan kokonaan kameran visuaalisuuteen ja jättämällä huomioimatta IMU:n. Viime vuonna Meta esitteli tutkimusprojektia Quest Pron saaminen toimimaan liikkuvassa BMW:ssä, mutta tähän liittyi liitäntä auton oman IMU:n kanssa.

Samaan aikaan Apple Vision Prossa on Travel Mode käytettäväksi lentokoneissa, ja Apple on markkinoinut tätä käyttötapaa, mutta tällä hetkellä ei tiedetä, mitä Applen Travel Mode tarkalleen tekee. Apple on vain sanonut, että se "vakaa visuaalisen". Aion testata tätä ominaisuutta kotimatkallani, kun ostan Vision Pron New Yorkista.