Прості куби демонструють зміни середовища виконання у VR, керовані ШІ

Прості куби демонструють зміни середовища виконання у VR, керовані ШІ

Мітка часу: 30 травня 2023 10:00
Вихідний вузол: 2688981

Розробник доповненої та віртуальної реальності [Skarredghost] дуже захопився віртуальним блакитним кубом, і з дуже поважних причин. Він став успішним прототипом досвіду доповненої реальності, в якому логіка куба як віртуального об’єкта була змінено штучним інтелектом у відповідь на словесні вказівки користувача. Сказавши «зроби його синім», куб дійсно став синім! (Після невеликих роздумів, звичайно.)

Звичайно, це не зупинилося на цьому, і підтвердження концепції синього куба призвело до низки простих демонстрацій. Перший показує ряд кубиків, які змінюють колір з червоного на зелений у відповідь на гучність музики, потім пучок кубиків змінює розмір у відповідь на гучність мікрофона, і кубики навіть починають рухатися в просторі.

Програма приймає голосовий ввід від користувача, перетворює його на текст, надсилає його в модель штучного інтелекту природною мовою, яка потім створює необхідні модифікації та завантажує його в середовище для внесення змін під час виконання в Unity. Робочий процес дещо громіздкий і висвітлює багато проблем, пов’язаних із цим, але це працює і це досить класно.

Команда Репозиторій GitHub тут і хороше демонстраційне відео вбудовано під розривом сторінки. Також є відео з набагато більш глибоким обговоренням того, що відбувається, і відверте дослідження технічних проблем.

Якщо ви зацікавлені в цьому напрямку, здається, [Skarredghost] зібрав відповідні деталі. І чи маєте ви мати ідею прототипу, який не обов’язково буде AR або VR, але виграє від розпізнавання мовлення за допомогою ШІ, яке може працювати локально? У цьому проекті є те, що вам потрібно.

[Вбудоване вміст]

Часова мітка:

Більше від Рубати день