Cubos simples mostram mudanças de tempo de execução orientadas por IA em VR

Cubos simples mostram mudanças de tempo de execução orientadas por IA em VR

Carimbo de data / hora: 30 de maio de 2023 10h
Nó Fonte: 2688981

O desenvolvedor de AR e VR [Skarredghost] ficou muito animado com um cubo azul virtual e por um bom motivo. Ele marcou um protótipo bem-sucedido de uma experiência de realidade aumentada em que a lógica subjacente ao cubo como um objeto virtual foi alterado pela IA em resposta à direção verbal do usuário. Dizer “tornar azul” realmente deixou o cubo azul! (Depois de pensar um pouco, é claro.)

Não parou por aí, é claro, e a prova de conceito do cubo azul levou a uma série de demonstrações simples. O primeiro mostra uma fileira de cubos mudando de cor de vermelho para verde em resposta ao volume musical, depois um feixe de cubos muda de tamanho em resposta ao volume do microfone e os cubos até começam a se mover no espaço.

O programa aceita a entrada falada do usuário, converte-a em texto, envia-a para um modelo de IA de linguagem natural, que cria as modificações necessárias e a carrega no ambiente para fazer alterações em tempo de execução no Unity. O fluxo de trabalho é um pouco complicado e destaca muitos dos desafios envolvidos, mas trabalho e isso é muito bacana.

A O repositório do GitHub está aqui e um bom vídeo de demonstração está embutido logo abaixo da quebra de página. Há também um vídeo com uma discussão muito mais aprofundada do que está acontecendo e uma exploração franca dos desafios técnicos.

Se você está interessado nessa direção, parece que [Skarredghost] reuniu os detalhes relevantes. E você deveria ter uma ideia de protótipo que não seja necessariamente AR ou VR, mas se beneficiaria do reconhecimento de fala assistido por IA que pode ser executado localmente? Este projeto tem o que você precisa.

[Conteúdo incorporado]

Carimbo de hora:

Mais de Hackear um dia