Los cubos simples muestran cambios en el tiempo de ejecución impulsados ​​por IA en realidad virtual

Los cubos simples muestran cambios en el tiempo de ejecución impulsados ​​por IA en realidad virtual

Nodo de origen: 2688981

El desarrollador de AR y VR [Skarredghost] se entusiasmó mucho con un cubo azul virtual, y por una muy buena razón. Marcó un prototipo exitoso de una experiencia de realidad aumentada en la que la lógica subyacente al cubo como un objeto virtual fue cambiado por AI en respuesta a la dirección verbal del usuario. ¡Decir "hacerlo azul" hizo que el cubo se volviera azul! (Después de un poco de tiempo para pensar, por supuesto).

No se detuvo allí, por supuesto, y la prueba de concepto del cubo azul condujo a una serie de demostraciones simples. El primero muestra una fila de cubos que cambian de color de rojo a verde en respuesta al volumen musical, luego un grupo de cubos cambia de tamaño en respuesta al volumen del micrófono e incluso los cubos comienzan a moverse en el espacio.

El programa acepta la entrada hablada del usuario, la convierte en texto, la envía a un modelo de IA de lenguaje natural, que luego crea las modificaciones necesarias y la carga en el entorno para realizar cambios en el tiempo de ejecución en Unity. El flujo de trabajo es un poco engorroso y destaca muchos de los desafíos involucrados, pero funciona y eso es bastante ingenioso.

El El repositorio de GitHub está aquí y un buen video de demostración está incrustado justo debajo del salto de página. También hay un video con una discusión mucho más profunda de lo que está pasando y una exploración franca de los desafíos técnicos.

Si está interesado en esta dirección, parece que [Skarredghost] ha reunido los detalles relevantes. ¿Y debería tener una idea de prototipo que no sea necesariamente AR o VR pero que se beneficiaría del reconocimiento de voz asistido por IA que puede ejecutarse localmente? Este proyecto tiene lo que necesitas.

[Contenido incrustado]

Sello de tiempo:

Mas de Hackear un día