Cuburile simple prezintă modificări ale timpului de rulare determinate de AI în VR

Cuburile simple prezintă modificări ale timpului de rulare determinate de AI în VR

Marca temporală: 30 mai 2023 10:00
Nodul sursă: 2688981

Dezvoltatorul AR și VR [Skarredghost] a fost destul de entuziasmat de un cub albastru virtual și pentru un motiv foarte bun. Acesta a marcat un prototip de succes al unei experiențe de realitate augmentată în care logica care stă la baza cubului ca obiect virtual era modificat de AI ca răspuns la indicația verbală a utilizatorului. A spune „fă-l albastru” într-adevăr a transformat cubul în albastru! (După puțin timp de gândire, desigur.)

Nu s-a oprit aici, desigur, iar proba de concept cub albastru a condus la o serie de demonstrații simple. Primul arată un rând de cuburi care își schimbă culoarea de la roșu la verde ca răspuns la volumul muzical, apoi un mănunchi de cuburi își schimbă dimensiunea ca răspuns la volumul microfonului, iar cuburile chiar încep să se miște în spațiu.

Programul acceptă intrarea vorbită de la utilizator, o convertește în text, o trimite la un model AI în limbaj natural, care apoi creează modificările necesare și o încarcă în mediu pentru a face modificări de rulare în Unity. Fluxul de lucru este puțin greoi și evidențiază multe dintre provocările implicate, dar asta fabrică si asta e destul de ingenios.

Depozitul GitHub este aici și un videoclip demonstrativ bun este încorporat chiar sub pauză de pagină. Există, de asemenea un videoclip cu o discuție mult mai aprofundată a ceea ce se întâmplă și o explorare sinceră a provocărilor tehnice.

Dacă ești interesat de această direcție, se pare că [Skarredghost] a adunat detaliile relevante. Și ar trebui să aveți o idee prototip care nu este neapărat AR sau VR, dar care ar beneficia de recunoașterea vorbirii asistată de AI care poate rula local? Acest proiect are ceea ce ai nevoie.

[Conținutul încorporat]

Timestamp-ul:

Mai mult de la Hack A Day