Các khối đơn giản hiển thị các thay đổi thời gian chạy do AI điều khiển trong VR

Các khối đơn giản hiển thị các thay đổi thời gian chạy do AI điều khiển trong VR

Dấu thời gian: ngày 30 tháng 2023 năm 10 00:XNUMX chiều
Nút nguồn: 2688981

Nhà phát triển AR và VR [Skarredghost] khá hào hứng với một khối lập phương ảo màu xanh lam và vì một lý do rất chính đáng. Nó đánh dấu một nguyên mẫu thành công của trải nghiệm thực tế tăng cường trong đó logic làm nền tảng cho khối lập phương như một vật thể ảo được được thay đổi bởi AI để đáp lại sự chỉ dẫn bằng lời nói của người dùng. Nói “làm cho nó có màu xanh” thực sự đã làm cho khối lập phương có màu xanh lam! (Tất nhiên là sau một thời gian suy nghĩ.)

Tất nhiên, mọi chuyện không dừng lại ở đó và bằng chứng khái niệm về khối màu xanh đã dẫn đến một số bản demo đơn giản. Phần đầu tiên hiển thị một hàng các khối thay đổi màu sắc từ đỏ sang xanh lục theo âm lượng nhạc, sau đó là một loạt các khối thay đổi kích thước theo âm lượng micrô và các khối thậm chí còn bắt đầu di chuyển xung quanh trong không gian.

Chương trình chấp nhận đầu vào bằng giọng nói từ người dùng, chuyển đổi nó thành văn bản, gửi nó sang mô hình AI ngôn ngữ tự nhiên, sau đó tạo ra các sửa đổi cần thiết và tải nó vào môi trường để thực hiện các thay đổi trong thời gian chạy trong Unity. Quy trình làm việc hơi cồng kềnh và nêu bật nhiều thách thức liên quan, nhưng nó công trinh và điều đó khá tiện lợi.

Sản phẩm Kho lưu trữ GitHub ở đây và một video trình diễn hay được nhúng ngay dưới phần ngắt trang. Ngoài ra còn có một video có nội dung thảo luận sâu hơn nhiều về những gì đang diễn ra và sự khám phá thẳng thắn về những thách thức kỹ thuật.

Nếu bạn quan tâm đến hướng đi này, có vẻ như [Skarredghost] đã tổng hợp các chi tiết liên quan. Và nếu bạn có một ý tưởng nguyên mẫu không nhất thiết phải là AR hoặc VR nhưng sẽ được hưởng lợi từ tính năng nhận dạng giọng nói được hỗ trợ bởi AI có thể chạy cục bộ? Dự án này có những gì bạn cần.

[Nhúng nội dung]

Dấu thời gian:

Thêm từ Hack một ngày