Meta працює над тим, щоб Quest 3 працював у транспортних засобах, як у літаках

Перевидано Платоном

читають: 0

Meta працює над тим, щоб гарнітури Quest працювали в транспортних засобах, що рухаються.

UX дизайнер Ендрю Фокс опублікував відео до X користувача Facebook Нецвєтаєв Олександр намагається використовувати Quest 3 у наскрізному режимі в літаку, але не в змозі, оскільки інтерфейс віддаляється.

Технічний директор Meta Ендрю Босуорт відповів до публікації, щоб підсумувати, чому це сталося, і закінчив словами, що Мета «працює над цим».

Ні, ми використовуємо IMU, щоб локалізувати об’єкти відносно руху вашої гарнітури, тому транспортні засоби, що рухаються, становлять проблему (коли вони прискорюються в будь-якому напрямку). Ми також використовуємо камери, звичайно, вони працюють разом, оскільки IMU має вищу частоту, але нижчу точність. Працюю над цим!

- Боз (@boztank) Січень 24, 2024

То чому насправді відбувається цей дрейф у транспортних засобах, що рухаються?

Люди часто думають, що безмаркерні системи відстеження навиворіт на гарнітурах, окулярах і контролерах із самоконтролем використовують лише камери, але це не так. Ці системи так само покладаються на інерційний вимірювальний блок (IMU), чіп, який містить крихітний акселерометр і гіроскоп.

У той час як камери зазвичай працюють на частоті 30 Гц або 60 Гц, IMU зазвичай забезпечує оновлення приблизно на 1000 Гц, що забезпечує набагато меншу затримку. Однак IMU не може фактично виявити абсолютний рух – принаймні безпосередньо. Проте акселерометр у IMU визначає прискорення відносно гравітації, і ви можете взяти інтеграл прискорення за часом, щоб отримати швидкість. І якщо ви потім візьмете інтеграл цих значень швидкості за час, ви отримаєте зміщення від початкового положення.

Цей процес називається мертвим підрахунком. Від моменту до моменту кожна гарнітура та контролер відстежують себе, а оптичні компоненти, такі як камери чи лазерні базові станції, використовуються лише для виправлення сукупної помилки, спричиненої зашумленістю даних IMU. Але в транспортному засобі, що рухається, наприклад у літаку, акселерометр вимірює прискорення самого транспортного засобу, вважаючи, що це прискорення гарнітури, що призводить до раптового та швидкого позиційного дрейфу, який ви бачите у відео Fox вище.

Apple Vision Pro має режим подорожі, але незрозуміло, що саме він робить.

Незрозуміло, що саме має на увазі Босуорт, кажучи, що Meta «працює над» проблемою.

Наразі можна вимкнути позиційне відстеження 6DoF у Quest, і гарнітура повернеться до відстеження лише обертання 3DoF, але це також вимикає передачу. Отже, можливо, Meta планує дозволити передачу, коли позиційне відстеження вимкнено.

Крім того, Meta може працювати над тим, щоб якимось чином змусити позиційне відстеження працювати в транспортних засобах, що рухаються, можливо, наказуючи системі повністю покладатися на зображення камери та ігноруючи IMU. Минулого року Мета продемонстрував дослідницький проект змусити Quest Pro працювати в рухомому BMW, але це передбачало взаємодію з власним бортовим IMU автомобіля.

Тим часом Apple Vision Pro має Travel Mode для використання в літаках, і Apple продала цей варіант використання, але наразі невідомо, що саме робить Apple Travel Mode. Apple лише заявила, що «стабілізує візуальні ефекти». Я планую випробувати цю функцію по дорозі додому після того, як придбав Vision Pro у Нью-Йорку.