Meta trabalhando para fazer o Quest 3 funcionar em veículos como aviões

Republicado por Platão

seguidores: 0

A Meta está trabalhando para fazer os headsets Quest funcionarem em veículos em movimento.

O designer de UX Andrew Fox publicou um vídeo novamente para X do usuário do Facebook Netsvietaiev Oleksandr tentando usar o Quest 3 no modo passthrough em um avião, mas não consegue porque a interface desaparece.

CTO da Meta, Andrew Bosworth respondeu ao post para resumir por que isso estava acontecendo e finalizou dizendo que Meta está “trabalhando nisso”.

Não, usamos uma IMU para manter os objetos localizados em relação ao movimento do seu fone de ouvido, de modo que os veículos em movimento representem um desafio (quando aceleram em qualquer direção). Também usamos as câmeras, é claro, elas trabalham juntas, pois a IMU tem maior frequência, mas menor precisão. Trabalhando nisso!

- Boz (@boztank) 24 de janeiro de 2024

Então, por que essa deriva em veículos em movimento realmente acontece?

As pessoas costumam pensar que os sistemas de rastreamento de dentro para fora sem marcadores em fones de ouvido, óculos e controladores de autorastreamento usam apenas as câmeras, mas esse não é o caso. Esses sistemas dependem igualmente da unidade de medição inercial (IMU), um chip que contém um pequeno acelerômetro e um giroscópio.

Embora as câmeras normalmente funcionem a 30 Hz ou 60 Hz, a IMU normalmente fornece atualizações em torno de 1000 Hz, permitindo uma latência muito menor. No entanto, uma IMU não consegue detectar movimentos absolutos – pelo menos não diretamente. O acelerômetro na IMU detecta a aceleração em relação à gravidade, e você pode calcular a integral da aceleração ao longo do tempo para obter a velocidade. E se você calcular a integral desses valores de velocidade ao longo do tempo, obterá o deslocamento da posição original.

Este processo é chamado de cálculo morto. De momento a momento, é assim que cada fone de ouvido e controlador se rastreiam, e os componentes ópticos, como câmeras ou estações base de laser, são usados apenas para corrigir o erro cumulativo causado pelo ruído dos dados da IMU. Mas em um veículo em movimento, como um avião, o acelerômetro captará a aceleração do próprio veículo, pensando que é a aceleração do fone de ouvido, o que resulta na mudança posicional repentina e rápida que você vê no vídeo da Fox acima.

O Apple Vision Pro possui um modo de viagem, mas não está claro o que exatamente ele faz.

Não está claro o que exatamente Bosworth quer dizer ao dizer que Meta está “trabalhando” no problema.

Atualmente é possível desativar o rastreamento posicional 6DoF no Quest, e o fone de ouvido voltará ao rastreamento somente de rotação 3DoF, mas isso também desativa a passagem. Portanto, Meta talvez possa estar planejando permitir a passagem quando o rastreamento posicional estiver desativado.

Alternativamente, Meta pode estar trabalhando para de alguma forma fazer o rastreamento posicional funcionar em veículos em movimento, talvez instruindo o sistema a confiar inteiramente nas imagens da câmera e ignorando o IMU. Meta do ano passado demonstrou um projeto de pesquisa fazer um Quest Pro funcionar em um BMW em movimento, mas isso envolvia a interface com o IMU a bordo do próprio carro.

Enquanto isso, o Apple Vision Pro possui o Modo Viagem para uso em aviões, e a Apple comercializou esse caso de uso, mas atualmente não se sabe o que exatamente o Modo Viagem da Apple faz. A Apple apenas disse que irá “estabilizar o visual”. Pretendo testar esse recurso em minha viagem para casa depois de adquirir o Vision Pro em Nova York.