シンプルなキューブが VR で AI 主導のランタイム変更を披露

シンプルなキューブが VR で AI 主導のランタイム変更を披露

ソースノード: 2688981

AR および VR 開発者 [Skarredghost] は、仮想の青い立方体に非常に興奮しましたが、それには十分な理由がありました。 これは、仮想オブジェクトとしての立方体の基礎となるロジックを備えた拡張現実体験のプロトタイプとして成功を収めました。 ユーザーの口頭指示に応じてAIが変更。 「青にして」と言うと、確かにキューブは青になりました。 (もちろん、少し考えてからです。)

もちろん、そこで終わるわけではなく、青い立方体の概念実証から、いくつかの簡単なデモが行われました。 最初は音楽の音量に応じて色が赤から緑に変化する立方体の列を示し、次にマイクの音量に応じて立方体の束のサイズが変化し、さらに立方体が空間内を動き始めます。

プログラムはユーザーからの音声入力を受け入れ、それをテキストに変換し、自然言語 AI モデルに送信します。その後、必要な変更が作成されて環境に読み込まれ、Unity で実行時に変更が行われます。 ワークフローは少し面倒で、関連する多くの課題が浮き彫りになりますが、 作品 それはとても素敵なことです。

  GitHubリポジトリはこちら 優れたデモビデオが改ページのすぐ下に埋め込まれています。 それもあります より詳細なディスカッションを含むビデオ 何が起こっているのかを説明し、技術的な課題を率直に調査します。

この方向に興味がある場合は、[Skarredghost] が関連する詳細をまとめているようです。 また、必ずしも AR や VR ではないが、ローカルで実行できる AI 支援音声認識の恩恵を受けるプロトタイプのアイデアがあるべきでしょうか? このプロジェクトには必要なものが揃っています.

[埋め込まれたコンテンツ]

タイムスタンプ:

より多くの ハッカデイ