O algoritmo de síntese de visão impressionante pode ter implicações enormes para a captura de RV

No que diz respeito ao vídeo de ação real ao vivo, o vídeo volumétrico é o padrão ouro para imersão. E para captura de cena estática, o mesmo se aplica à fotogrametria. Mas ambos os métodos têm limitações que prejudicam o realismo, especialmente quando se trata de efeitos 'dependentes da visualização', como realces especulares e lentes através de objetos translúcidos. Pesquisa do Instituto de Ciência e Tecnologia Vidyasirimedhi da Tailândia mostra um algoritmo de síntese de visão impressionante que aumenta significativamente o realismo ao lidar com esses efeitos de iluminação com precisão.

Pesquisadores do Instituto de Ciência e Tecnologia Vidyasirimedhi em Rayong, Tailândia, publicaram um trabalho no início deste ano em um algoritmo de síntese de visualização em tempo real chamado NeX. Seu objetivo é usar apenas um punhado de imagens de entrada de uma cena para sintetizar novos quadros que retratam a cena de forma realista a partir de pontos arbitrários entre as imagens reais.

Os pesquisadores Suttisak Wizadwongsa, Pakkapon Phongthawee, Jiraphon Yenphraphai e Supasorn Suwajanakorn escrevem que o trabalho se baseia em uma técnica chamada imagem multiplanar (MPI). Em comparação com métodos anteriores, eles dizem que sua abordagem modela melhores efeitos dependentes da visualização (como realces especulares) e cria imagens sintetizadas mais nítidas.

Além dessas melhorias, a equipe otimizou altamente o sistema, permitindo que ele funcione facilmente a 60 Hz - uma alegada melhoria de 1000 vezes em relação ao estado da arte anterior. E devo dizer que os resultados são impressionantes.

Embora ainda não seja altamente otimizado para o caso de uso, os pesquisadores já testaram o sistema usando um fone de ouvido VR com profundidade estéreo e movimento 6DOF completo.

Os pesquisadores concluíram:

Nossa representação é eficaz na captura e reprodução de efeitos dependentes de visualização complexos e eficiente para calcular em hardware gráfico padrão, permitindo assim a renderização em tempo real. Estudos extensivos sobre conjuntos de dados públicos e nosso conjunto de dados mais desafiador demonstram a qualidade de ponta de nossa abordagem. Acreditamos que a expansão da base neural pode ser aplicada ao problema geral de fatoração do campo de luz e permitir a renderização eficiente para outras representações de cena não limitadas a MPI. Nossa percepção de que alguns parâmetros de refletância e textura de alta frequência podem ser otimizados explicitamente também pode ajudar a recuperar detalhes finos, um desafio enfrentado pelas representações neurais implícitas existentes.

Você pode encontrar o artigo completo em Site do projeto NeX, que inclui demonstrações que você pode experimentar diretamente no navegador. Existem também demos baseados em WebVR que funcionam com headsets PC VR se você estiver usando o Firefox, mas infelizmente não funcionam com o navegador da Quest.

Observe os reflexos na madeira e os realces complexos no cabo do jarro! Detalhes dependentes de visualização como esses são muito difíceis para os métodos de captura volumétrica e fotogramétrica existentes.

A captura volumétrica de vídeo que vi em VR geralmente fica muito confusa sobre esse tipo de efeito dependente da visualização, muitas vezes tendo problemas para determinar a profundidade estéreo apropriada para realces especulares.

Fotogrametria, ou abordagens de 'varredura de cena', normalmente 'assam' a iluminação da cena em texturas, o que muitas vezes faz os objetos translúcidos parecerem papelão (já que os realces de iluminação não se movem corretamente quando você vê o objeto em ângulos diferentes).

A pesquisa de síntese de visão NeX pode melhorar significativamente o realismo da captura volumétrica e reprodução em VR daqui para frente.