Simple Cubes Memamerkan Perubahan Runtime Berbasis AI di VR

Simple Cubes Memamerkan Perubahan Runtime Berbasis AI di VR

Stempel Waktu: 30 Mei 2023 10
Node Sumber: 2688981

Pengembang AR dan VR [Skarredghost] sangat bersemangat dengan kubus biru virtual, dan untuk alasan yang sangat bagus. Itu menandai prototipe sukses dari pengalaman augmented reality di mana logika yang mendasari kubus sebagai objek virtual diubah oleh AI sebagai respons terhadap arahan verbal oleh pengguna. Mengatakan "membuatnya biru" memang mengubah kubus menjadi biru! (Setelah sedikit waktu berpikir, tentu saja.)

Itu tidak berhenti di situ, tentu saja, dan pembuktian konsep kubus biru menghasilkan sejumlah demo sederhana. Yang pertama memamerkan deretan kubus yang berubah warna dari merah menjadi hijau sebagai respons terhadap volume musik, kemudian seikat kubus berubah ukuran sebagai respons terhadap volume mikrofon, dan bahkan kubus mulai bergerak di ruang angkasa.

Program menerima input lisan dari pengguna, mengubahnya menjadi teks, mengirimkannya ke model AI bahasa alami, yang kemudian membuat modifikasi yang diperlukan dan memuatnya ke lingkungan untuk membuat perubahan runtime di Unity. Alur kerjanya agak rumit dan menyoroti banyak tantangan yang terlibat, tetapi itu bekerja dan itu cukup bagus.

Grafik Repositori GitHub ada di sini dan video demonstrasi yang bagus disematkan tepat di bawah page break. Ada juga video dengan diskusi yang jauh lebih mendalam tentang apa yang terjadi dan eksplorasi jujur ​​tantangan teknis.

Jika Anda tertarik dengan arah ini, sepertinya [Skarredghost] telah mengumpulkan detail yang relevan. Dan haruskah Anda memiliki ide prototipe yang belum tentu AR atau VR tetapi akan mendapat manfaat dari pengenalan ucapan berbantuan AI yang dapat berjalan secara lokal? Proyek ini memiliki apa yang Anda butuhkan.

[Embedded content]

Stempel Waktu:

Lebih dari Hack Sehari