Простые кубы демонстрируют изменения среды выполнения, управляемые искусственным интеллектом, в виртуальной реальности

Простые кубы демонстрируют изменения среды выполнения, управляемые искусственным интеллектом, в виртуальной реальности

Отметка времени: 30 мая 2023 г., 10:00
Исходный узел: 2688981

Разработчик AR и VR [Skarredghost] был очень взволнован виртуальным синим кубом, и на то была очень веская причина. Это был успешный прототип опыта дополненной реальности, в котором логика, лежащая в основе куба как виртуального объекта, была изменена. изменено ИИ в ответ на словесное указание пользователя. Слова «сделай его синим» действительно сделали куб синим! (После небольшого размышления, конечно.)

Конечно, на этом дело не остановилось, и проверка концепции синего куба привела к ряду простых демонстраций. На первом изображен ряд кубиков, меняющих цвет с красного на зеленый в зависимости от громкости музыки, затем пучок кубиков меняет размер в ответ на громкость микрофона, и кубики даже начинают двигаться в пространстве.

Программа принимает устный ввод от пользователя, преобразует его в текст, отправляет в модель искусственного интеллекта на естественном языке, которая затем создает необходимые модификации и загружает их в среду для внесения изменений во время выполнения в Unity. Рабочий процесс немного громоздкий и выдвигает на первый план многие связанные с ним проблемы, но он работает и это довольно прикольно.

Ассоциация Репозиторий GitHub находится здесь и хорошее демонстрационное видео встроено прямо под разрыв страницы. Есть также видео с гораздо более подробным обсуждением того, что происходит, и откровенное исследование технических проблем.

Если вас интересует это направление, кажется, [Skarredghost] собрал соответствующие детали. И должен ли у вас быть прототип идеи, который не обязательно будет AR или VR, но выиграет от распознавания речи с помощью ИИ, которое может работать локально? В этом проекте есть то, что вам нужно.

[Встраиваемое содержимое]

Отметка времени:

Больше от Взломать день