Enkle kuber viser AI-drevne kjøretidsendringer i VR

AR- og VR-utvikleren [Skarredghost] ble ganske begeistret for en virtuell blå kube, og det av en veldig god grunn. Det markerte en vellykket prototype av en utvidet virkelighetsopplevelse der logikken som lå til grunn for kuben som et virtuelt objekt var endret av AI som svar på verbal anvisning fra brukeren. Å si "gjør det blått" gjorde faktisk kuben blå! (Etter litt tenketid, selvfølgelig.)

Det stoppet selvfølgelig ikke der, og den blå kube proof-of-concept førte til en rekke enkle demoer. Den første viser en rad med kuber som endrer farge fra rød til grønn som svar på musikalsk volum, deretter endrer en bunt kuber størrelse som svar på mikrofonvolum, og kuber begynner til og med å bevege seg rundt i rommet.

Programmet aksepterer taleinndata fra brukeren, konverterer det til tekst, sender det til en naturlig språk AI-modell, som deretter lager de nødvendige modifikasjonene og laster det inn i miljøet for å gjøre kjøretidsendringer i Unity. Arbeidsflyten er litt tungvint og fremhever mange av utfordringene som er involvert, men det virker og det er ganske kjipt.

De GitHub-depotet er her og en god demonstrasjonsvideo er innebygd rett under sideskiftet. Det er også en video med en mye mer dyptgående diskusjon av hva som skjer og en ærlig utforskning av de tekniske utfordringene.

Hvis du er interessert i denne retningen, ser det ut til at [Skarredghost] har samlet de relevante detaljene. Og bør du ha en prototypeide som ikke nødvendigvis er AR eller VR, men som vil ha nytte av AI-assistert talegjenkjenning som kan kjøres lokalt? Dette prosjektet har det du trenger.

[Innebygd innhold]

• SEO-drevet innhold og PR-distribusjon. Bli forsterket i dag.
• PlatoAiStream. Web3 Data Intelligence. Kunnskap forsterket. Tilgang her.
• Minting the Future med Adryenn Ashley. Tilgang her.
• Kjøp og selg aksjer i PRE-IPO-selskaper med PREIPO®. Tilgang her.
• kilde: https://hackaday.com/2023/05/30/simple-cubes-show-off-ai-driven-runtime-changes-in-vr/