Meta al lavoro per far funzionare Quest 3 su veicoli come gli aerei

Meta al lavoro per far funzionare Quest 3 su veicoli come gli aerei

Timestamp: 25 gennaio 2024 4:47
Nodo di origine: 3088134

Meta sta lavorando per far funzionare le cuffie Quest sui veicoli in movimento.

Il designer UX Andrew Fox ha ripubblicato un video a X dell'utente Facebook Netsvietaiev Oleksandr cerca utilizzare Quest 3 in modalità passthrough su un aereo, ma non è possibile farlo perché l'interfaccia si allontana.

Il CTO di Meta, Andrew Bosworth ha risposto al post per riassumere il motivo per cui stava accadendo, e ha concluso dicendo che Meta ci sta “lavorando”.

Allora perché avviene effettivamente questa deriva nei veicoli in movimento?

Le persone spesso pensano che i sistemi di tracciamento interno-esterno senza marcatori su cuffie, occhiali e controller di auto-tracciamento utilizzino solo le telecamere, ma non è così. Questi sistemi si basano altrettanto sull’unità di misura inerziale (IMU), un chip che contiene un minuscolo accelerometro e un giroscopio.

Mentre le telecamere in genere funzionano a 30 Hz o 60 Hz, l'IMU in genere fornisce aggiornamenti intorno a 1000 Hz, consentendo una latenza molto più bassa. Tuttavia, un'IMU non è in grado di rilevare effettivamente il movimento assoluto, almeno non direttamente. L'accelerometro nell'IMU rileva tuttavia l'accelerazione relativa alla gravità e puoi prendere l'integrale dell'accelerazione nel tempo per ottenere la velocità. E se poi prendi l'integrale di quei valori di velocità nel tempo, ottieni lo spostamento dalla posizione originale.

Questo processo è chiamato resa dei conti. Di momento in momento, è così che ogni visore e controller traccia se stesso, e i componenti ottici come le fotocamere o le stazioni base laser vengono utilizzati solo per correggere l'errore cumulativo causato dalla rumorosità dei dati IMU. Ma in un veicolo in movimento come un aereo, l'accelerometro rileverà l'accelerazione del veicolo stesso, pensando che sia l'accelerazione dell'auricolare, il che si traduce nell'improvvisa e rapida deriva posizionale che vedi nel video di Fox qui sopra.

Apple Vision Pro ha una modalità Viaggio, ma non è chiaro cosa faccia esattamente.

Non è chiaro cosa intenda esattamente Bosworth dicendo che Meta sta “lavorando” al problema.

Attualmente è possibile disabilitare il tracciamento posizionale 6DoF su Quest e l'auricolare tornerà al tracciamento di sola rotazione 3DoF, ma ciò disabiliterà anche il passthrough. Quindi Meta potrebbe forse pianificare di consentire il passthrough quando il tracciamento posizionale è disabilitato.

In alternativa, Meta potrebbe lavorare per far funzionare in qualche modo il tracciamento della posizione nei veicoli in movimento, magari istruendo il sistema a fare affidamento interamente sulle immagini della telecamera e ignorando l’IMU. L'anno scorso Meta ha dimostrato un progetto di ricerca far funzionare un Quest Pro in una BMW in movimento, ma ciò comportava l'interfacciamento con l'IMU di bordo dell'auto.

Nel frattempo, Apple Vision Pro dispone della modalità Viaggio da utilizzare sugli aerei e Apple ha commercializzato questo caso d'uso, ma al momento non si sa cosa faccia esattamente la modalità Viaggio di Apple. Apple ha solo detto che “stabilizzerà la grafica”. Ho intenzione di testare questa funzionalità durante il mio viaggio di ritorno a casa dopo aver ritirato Vision Pro a New York.

Timestamp:

Di più da UploadVR