Meta работает над тем, чтобы Quest 3 работал на транспортных средствах, похожих на самолеты

Переиздано Платоном

Читают: 0

Meta работает над тем, чтобы гарнитуры Quest работали в движущихся транспортных средствах.

UX-дизайнер Эндрю Фокс сделал репост видео к X пользователя Facebook Нецветаева Александра пытается использовать Quest 3 в сквозном режиме в самолете, но не может этого сделать, потому что интерфейс ускользает.

Технический директор Meta Эндрю Босворт ответ к посту, чтобы подвести итог, почему это произошло, и закончил словами, что Мета «работает над этим».

Нет, мы используем IMU для локализации объектов относительно движения вашей гарнитуры, поэтому движущиеся транспортные средства представляют собой проблему (когда они ускоряются в любом направлении). Камеры мы тоже используем, конечно, они работают вместе, так как IMU имеет более высокую частоту, но меньшую точность. Работаю над этим!

- Боз (@boztank) 24 января 2024

Так почему же на самом деле происходит снос движущихся транспортных средств?

Люди часто думают, что системы слежения «наизнанку» без маркеров на гарнитурах, очках и контроллерах самослежения используют только камеры, но это не так. Эти системы в равной степени полагаются на инерциальный измерительный блок (IMU) — микросхему, содержащую крошечный акселерометр и гироскоп.

Хотя камеры обычно работают с частотой 30 или 60 Гц, IMU обычно обеспечивает обновления с частотой около 1000 Гц, что обеспечивает гораздо меньшую задержку. Однако ИДУ на самом деле не может обнаружить абсолютное движение – по крайней мере, напрямую. Однако акселерометр в IMU определяет ускорение относительно силы тяжести, и вы можете взять интеграл ускорения с течением времени, чтобы получить скорость. И если вы затем возьмете интеграл этих значений скорости с течением времени, вы получите смещение от исходного положения.

Этот процесс называется точным расчетом. Время от времени именно так каждая гарнитура и контроллер отслеживают себя, а оптические компоненты, такие как камеры или лазерные базовые станции, используются только для коррекции совокупной ошибки, вызванной зашумленностью данных IMU. Но в движущемся транспортном средстве, таком как самолет, акселерометр улавливает ускорение самого транспортного средства, думая, что это ускорение гарнитуры, что приводит к внезапному и быстрому позиционному дрейфу, который вы видите в видео Фокса выше.

У Apple Vision Pro есть режим путешествия, но неясно, что именно он делает.

Неясно, что именно имеет в виду Босворт, говоря, что Мета «работает» над этой проблемой.

В настоящее время в Quest можно отключить позиционное отслеживание 6DoF, и гарнитура вернется к отслеживанию только вращения 3DoF, но это также отключает сквозную передачу. Таким образом, Meta, возможно, планирует разрешить сквозную передачу, когда позиционное отслеживание отключено.

В качестве альтернативы Meta может работать над тем, чтобы каким-то образом заставить работать позиционное отслеживание в движущихся транспортных средствах, возможно, поручив системе полностью полагаться на изображение с камеры и игнорировать IMU. Мета прошлого года продемонстрировал исследовательский проект заставить Quest Pro работать в движущемся BMW, но для этого требовалось взаимодействие с собственным бортовым IMU автомобиля.

Между тем, у Apple Vision Pro есть режим путешествия для использования в самолетах, и Apple продала этот вариант использования, но в настоящее время неизвестно, что именно делает режим путешествия Apple. Apple лишь заявила, что «стабилизирует визуальные эффекты». Я планирую протестировать эту функцию по дороге домой после того, как куплю Vision Pro в Нью-Йорке.