Simple Cubes viser AI-drevne runtime ændringer i VR

Simple Cubes viser AI-drevne runtime ændringer i VR

Tidsstempel: 30. maj 2023 kl. 10
Kildeknude: 2688981

AR- og VR-udvikler [Skarredghost] blev temmelig begejstret for en virtuel blå terning, og det af en meget god grund. Det markerede en vellykket prototype på en augmented reality-oplevelse, hvor logikken bag kuben som et virtuelt objekt var ændret af AI som svar på verbal vejledning fra brugeren. At sige "gør det blåt" gjorde virkelig kuben blå! (Naturligvis efter lidt tænketid.)

Det stoppede selvfølgelig ikke der, og den blå kube proof-of-concept førte til en række simple demoer. Den første viser en række af terninger, der skifter farve fra rød til grøn som reaktion på musikalsk lydstyrke, derefter ændrer et bundt af terninger størrelse som svar på mikrofonvolumen, og terninger begynder endda at bevæge sig rundt i rummet.

Programmet accepterer talte input fra brugeren, konverterer det til tekst, sender det til en naturligt sprog AI-model, som derefter skaber de nødvendige modifikationer og indlæser det i miljøet for at foretage runtime-ændringer i Unity. Arbejdsgangen er lidt besværlig og fremhæver mange af de involverede udfordringer, men det virker og det er ret smart.

GitHub repository er her og en god demonstrationsvideo er indlejret lige under sideskiftet. Der er også en video med en meget mere dybdegående diskussion af, hvad der foregår, og en ærlig udforskning af de tekniske udfordringer.

Hvis du er interesseret i denne retning, ser det ud til, at [Skarredghost] har samlet de relevante detaljer. Og skulle du have en prototypeidé, der ikke nødvendigvis er AR eller VR, men som ville have gavn af AI-assisteret talegenkendelse, der kan køre lokalt? Dette projekt har, hvad du har brug for.

[Indlejret indhold]

Tidsstempel:

Mere fra Hack A Day