I cubi semplici mostrano i cambiamenti di runtime guidati dall'intelligenza artificiale in VR

I cubi semplici mostrano i cambiamenti di runtime guidati dall'intelligenza artificiale in VR

Nodo di origine: 2688981

Lo sviluppatore AR e VR [Skarredghost] si è davvero entusiasmato per un cubo blu virtuale, e per un'ottima ragione. Ha segnato un prototipo di successo di un'esperienza di realtà aumentata in cui era la logica alla base del cubo come oggetto virtuale modificato dall'intelligenza artificiale in risposta alla direzione verbale dell'utente. Dire "rendilo blu" ha effettivamente trasformato il cubo in blu! (Dopo un po' di riflessione, ovviamente.)

Non si è fermato qui, ovviamente, e il proof of concept del cubo blu ha portato a una serie di semplici demo. Il primo mostra una fila di cubi che cambiano colore dal rosso al verde in risposta al volume musicale, poi un fascio di cubi cambia dimensione in risposta al volume del microfono e i cubi iniziano persino a muoversi nello spazio.

Il programma accetta l'input vocale dall'utente, lo converte in testo, lo invia a un modello AI in linguaggio naturale, che quindi crea le modifiche necessarie e lo carica nell'ambiente per apportare modifiche di runtime in Unity. Il flusso di lavoro è un po' macchinoso e mette in evidenza molte delle sfide coinvolte, ma lavori e questo è piuttosto elegante.

I Il repository GitHub è qui e un buon video dimostrativo è incorporato appena sotto l'interruzione di pagina. C'è anche un video con una discussione molto più approfondita di quello che sta succedendo e una franca esplorazione delle sfide tecniche.

Se sei interessato a questa direzione, sembra che [Skarredghost] abbia raccolto i dettagli rilevanti. E dovresti avere un'idea prototipo che non sia necessariamente AR o VR ma trarrebbe vantaggio dal riconoscimento vocale assistito dall'intelligenza artificiale che può essere eseguito localmente? Questo progetto ha ciò di cui hai bisogno.

[Contenuto incorporato]

Timestamp:

Di più da Hackera un giorno