Enkla kuber visar upp AI-drivna körtidsförändringar i VR

AR- och VR-utvecklaren [Skarredghost] blev ganska exalterade över en virtuell blå kub, och det av en mycket god anledning. Det markerade en framgångsrik prototyp av en förstärkt verklighetsupplevelse där logiken bakom kuben som ett virtuellt objekt var ändras av AI som svar på verbala instruktioner från användaren. Att säga "gör det blått" gjorde verkligen kuben blå! (Efter lite betänketid förstås.)

Det slutade förstås inte där, och den blå kubens proof-of-concept ledde till ett antal enkla demos. Den första visar en rad kuber som ändrar färg från rött till grönt som svar på musikalisk volym, sedan ändrar ett knippe kuber storlek som svar på mikrofonvolymen, och kuber börjar till och med röra sig i rymden.

Programmet accepterar talad input från användaren, konverterar den till text, skickar den till en naturlig AI-modell, som sedan skapar de nödvändiga ändringarna och laddar in den i miljön för att göra runtime-ändringar i Unity. Arbetsflödet är lite krångligt och belyser många av utmaningarna, men det fungerar och det är ganska snyggt.

Smakämnen GitHub-förrådet är här och en bra demonstrationsvideo är inbäddad precis under sidbrytningen. Det finns också en video med en mycket mer djupgående diskussion av vad som händer och en uppriktig utforskning av de tekniska utmaningarna.

Om du är intresserad av den här riktningen verkar det som att [Skarredghost] har samlat ihop relevanta detaljer. Och borde du ha en prototypidé som inte nödvändigtvis är AR eller VR men som skulle dra nytta av AI-assisterad taligenkänning som kan köras lokalt? Det här projektet har det du behöver.

[Inbäddat innehåll]

• SEO-drivet innehåll och PR-distribution. Bli förstärkt idag.
• PlatoAiStream. Web3 Data Intelligence. Kunskap förstärkt. Tillgång här.
• Minting the Future med Adryenn Ashley. Tillgång här.
• Köp och sälj aktier i PRE-IPO-företag med PREIPO®. Tillgång här.
• Källa: https://hackaday.com/2023/05/30/simple-cubes-show-off-ai-driven-runtime-changes-in-vr/