简单的立方体在 VR 中展示 AI 驱动的运行时变化

简单的立方体在 VR 中展示 AI 驱动的运行时变化

源节点: 2688981

AR 和 VR 开发者 [Skarredghost] 对虚拟蓝色立方体感到非常兴奋,这是有充分理由的。 它标志着增强现实体验的成功原型,其中立方体作为虚拟对象的逻辑是 由 AI 根据用户的口头指示进行更改. 说“让它变成蓝色”确实把立方体变成了蓝色! (当然,经过一段时间的思考。)

当然,它并没有就此止步,蓝色立方体的概念验证导致了许多简单的演示。 第一个显示一排立方体根据音乐音量从红色变为绿色,然后一束立方体根据麦克风音量改变大小,立方体甚至开始在空间中四处移动。

该程序接受用户的口头输入,将其转换为文本,将其发送到自然语言 AI ​​模型,然后创建必要的修改并将其加载到环境中,以在 Unity 中进行运行时更改。 工作流程有点繁琐,突出了所涉及的许多挑战,但它 合作 这非常漂亮。

GitHub 存储库在这里 并且在分页符下方嵌入了一个很好的演示视频。 还有 具有更深入讨论的视频 正在发生的事情以及对技术挑战的坦率探索。

如果你对这个方向感兴趣,似乎 [Skarredghost] 已经收集了相关细节。 您是否应该有一个不一定是 AR 或 VR 但会受益于可以在本地运行的 AI 辅助语音识别的原型创意? 这个项目有你需要的.

[嵌入的内容]

时间戳记:

更多来自 一日游