Proste kostki pokazują zmiany środowiska uruchomieniowego oparte na sztucznej inteligencji w VR

Deweloper AR i VR [Skarredghost] był bardzo podekscytowany wirtualną niebieską kostką i nie bez powodu. Oznaczało to udany prototyp rzeczywistości rozszerzonej, w której logika leżała u podstaw kostki jako obiektu wirtualnego zmienione przez AI w odpowiedzi na werbalne polecenie użytkownika. Powiedzenie „zrób to na niebiesko” rzeczywiście zmieniło kolor sześcianu na niebieski! (Oczywiście po chwili namysłu.)

Oczywiście na tym się nie skończyło, a weryfikacja koncepcji niebieskiej kostki doprowadziła do powstania wielu prostych wersji demonstracyjnych. Pierwszy pokazuje rząd kostek zmieniających kolor z czerwonego na zielony w odpowiedzi na głośność muzyki, następnie wiązka kostek zmienia rozmiar w odpowiedzi na głośność mikrofonu, a nawet kostki zaczynają się poruszać w przestrzeni.

Program przyjmuje głosowe dane wejściowe od użytkownika, konwertuje je na tekst, wysyła do modelu sztucznej inteligencji języka naturalnego, który następnie tworzy niezbędne modyfikacje i ładuje je do środowiska, aby wprowadzić zmiany w czasie wykonywania w Unity. Przepływ pracy jest nieco uciążliwy i podkreśla wiele związanych z tym wyzwań, ale jest działa i to jest całkiem fajne.

Połączenia Repozytorium GitHub jest tutaj a dobry film demonstracyjny jest osadzony tuż pod podziałem strony. Jest także wideo ze znacznie bardziej dogłębną dyskusją tego, co się dzieje, i szczerą eksplorację wyzwań technicznych.

Jeśli interesuje Cię ten kierunek, wygląda na to, że [Skarredghost] zebrał odpowiednie szczegóły. A jeśli masz pomysł na prototyp, który niekoniecznie jest AR lub VR, ale skorzystałby z rozpoznawania mowy wspomaganego przez sztuczną inteligencję, które może działać lokalnie? Ten projekt ma to, czego potrzebujesz.

[Osadzone treści]

• Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
• PlatoAiStream. Analiza danych Web3. Wiedza wzmocniona. Dostęp tutaj.
• Wybijanie przyszłości w Adryenn Ashley. Dostęp tutaj.
• Kupuj i sprzedawaj akcje spółek PRE-IPO z PREIPO®. Dostęp tutaj.
• Źródło: https://hackaday.com/2023/05/30/simple-cubes-show-off-ai-driven-runtime-changes-in-vr/