Eenvoudige kubussen pronken met AI-gestuurde runtime-veranderingen in VR

Eenvoudige kubussen pronken met AI-gestuurde runtime-veranderingen in VR

Tijdstempel: 30 mei 2023 10:00 uur
Bronknooppunt: 2688981

AR- en VR-ontwikkelaar [Skarredghost] raakte behoorlijk enthousiast over een virtuele blauwe kubus, en met een zeer goede reden. Het markeerde een succesvol prototype van een augmented reality-ervaring waarin de logica achter de kubus als virtueel object lag veranderd door AI in reactie op verbale aanwijzingen van de gebruiker. Door te zeggen "make it blue" werd de kubus inderdaad blauw! (Na even nadenken natuurlijk.)

Daar bleef het natuurlijk niet bij en de blue cube proof-of-concept leidde tot een aantal simpele demo's. De eerste pronkt met een rij kubussen die van kleur veranderen van rood naar groen als reactie op het muzikale volume, vervolgens verandert een bundel kubussen van grootte als reactie op het microfoonvolume, en kubussen beginnen zelfs in de ruimte te bewegen.

Het programma accepteert gesproken input van de gebruiker, converteert het naar tekst, stuurt het naar een AI-model in natuurlijke taal, dat vervolgens de nodige wijzigingen aanbrengt en het in de omgeving laadt om runtime-wijzigingen in Unity aan te brengen. De workflow is een beetje omslachtig en benadrukt veel van de uitdagingen, maar het Bedrijven en dat is best handig.

De GitHub-repository is hier en een goede demonstratievideo is ingebed net onder het pagina-einde. Er is ook een video met een veel diepgaandere discussie van wat er aan de hand is en een openhartige verkenning van de technische uitdagingen.

Als je geïnteresseerd bent in deze richting, lijkt het erop dat [Skarredghost] de relevante details heeft afgerond. En mocht u een prototype-idee hebben dat niet noodzakelijkerwijs AR of VR is, maar baat zou hebben bij AI-ondersteunde spraakherkenning die lokaal kan worden uitgevoerd? Dit project heeft wat je nodig hebt.

[Ingesloten inhoud]

Tijdstempel:

Meer van Hack een dag