Công nghệ cảm ứng âm thanh giúp người mù ‘nhìn’ bằng âm thanh – Thế Giới Vật Lý

Công nghệ cảm ứng âm thanh giúp người mù ‘nhìn’ bằng âm thanh – Thế Giới Vật Lý

Dấu thời gian: Ngày 20 tháng 2023 năm 5 00:XNUMX sáng
Nút nguồn: 3028585


Sử dụng cảm ứng âm thanh để xác định vị trí một vật phẩm trên bàn
Cảm ứng âm thanh Một thành viên nhóm nghiên cứu bị mù sử dụng kính thông minh mới để định vị và với lấy một vật phẩm trên bàn. (Được phép: CC-BY 4.0/Lil Deverell tại Phòng thí nghiệm nền tảng chuyển động và thực tế hỗn hợp ở Techlab tại UTS)

Các nhà nghiên cứu ở Úc đang phát triển kính thông minh dành cho người mù, sử dụng công nghệ gọi là “cảm ứng âm thanh” để biến hình ảnh thành âm thanh. Các thử nghiệm ban đầu cho thấy công nghệ âm thanh không gian có thể đeo này có thể giúp những người mù hoặc có thị lực kém đáng kể xác định được các vật thể ở gần.

Những cải tiến gần đây về thực tế tăng cường, công nghệ máy ảnh đeo được thực tế và thị giác máy tính dựa trên học sâu đang thúc đẩy sự phát triển của kính thông minh như một công nghệ hỗ trợ khả thi và đa chức năng cho những người mù hoặc có thị lực kém. Những chiếc kính thông minh như vậy kết hợp với máy ảnh, hệ thống GPS, micrô, thiết bị đo quán tính và cảm biến độ sâu để cung cấp các chức năng như điều hướng, điều khiển nhận dạng giọng nói hoặc hiển thị các đối tượng, văn bản hoặc môi trường xung quanh dưới dạng giọng nói do máy tính tổng hợp.

Howe Yuan Zhu và các đồng nghiệp tại Đại học Công nghệ Sydney (UTS) Và Đại học Sydney đã nghiên cứu việc bổ sung cảm ứng âm thanh vào kính thông minh, một phương pháp sử dụng tính năng quét đầu và kích hoạt các biểu tượng thính giác khi các vật thể xuất hiện trong một trường nhìn xác định (FOV).

Viết vào PLoS ONECác nhà nghiên cứu giải thích rằng cảm ứng âm thanh mang lại một số lợi thế so với các phương pháp hiện có, bao gồm khả năng tích hợp dễ dàng với công nghệ kính thông minh và cách sử dụng trực quan hơn so với lời nói do máy tính tổng hợp. Những hệ thống như vậy cũng có thể yêu cầu ít đào tạo hơn để người dùng thành thạo.

Làm việc với ARIA Research of Sydney (gần đây đã giành được Công ty Công nghệ Úc của Năm vì những đổi mới tiên phong về công nghệ thị giác), nhóm đã tạo ra một thiết bị âm thanh có khả năng nâng cao (FAD) để kiểm tra những giả định này trên bảy tình nguyện viên không có hoặc có thị lực kém, cộng với bảy người tham gia bị bịt mắt. FAD bao gồm một điện thoại thông minh và kính thực tế tăng cường NREAL, được nhóm gắn các điểm đánh dấu phản chiếu ghi lại chuyển động để cho phép theo dõi chuyển động của đầu.

FAD thực hiện nhận dạng đối tượng và xác định khoảng cách của đối tượng bằng cách sử dụng camera âm thanh nổi trên kính. Sau đó, nó gán các biểu tượng thính giác thích hợp cho các đối tượng, chẳng hạn như âm thanh lật trang cho cuốn sách chẳng hạn. Khi người đeo xoay đầu, tốc độ lặp lại của các biểu tượng thính giác sẽ thay đổi tùy theo vị trí của vật phẩm trong FOV thính giác.

Các tình nguyện viên đã tham gia cả bài tập ngồi và đứng. Nhiệm vụ ngồi yêu cầu họ sử dụng nhiều phương pháp khác nhau để tìm kiếm và xử lý các vật dụng hàng ngày, bao gồm sách, chai, bát hoặc cốc, đặt trên một hoặc nhiều bàn. Nhiệm vụ này đo lường khả năng phát hiện một vật phẩm, nhận dạng âm thanh và ghi nhớ vị trí của vật phẩm đó.

Các nhà nghiên cứu đã thiết kế nhiệm vụ này để so sánh hiệu suất của FAD với hai tín hiệu lời nói thông thường: hướng dẫn bằng lời nói trên mặt đồng hồ; và việc phát tuần tự các biểu tượng thính giác từ các loa đặt cùng vị trí với từng vật phẩm. Họ phát hiện ra rằng đối với những người tham gia bị mù hoặc thị lực kém, hiệu suất sử dụng FAD tương đương với hai điều kiện lý tưởng hóa. Tuy nhiên, nhóm bị bịt mắt lại hoạt động kém hơn khi sử dụng FAD.

Nhiệm vụ tiếp cận thường trực yêu cầu người tham gia sử dụng FAD để tìm kiếm và tiếp cận vật phẩm mục tiêu nằm giữa nhiều vật phẩm gây phân tâm. Những người tham gia được yêu cầu tìm các đồ vật được đặt trên ba chiếc bàn được bao quanh bởi bốn chai có hình dạng khác nhau. Nhiệm vụ này chủ yếu đánh giá hiệu suất chức năng của hệ thống và hành vi của con người khi sử dụng chuyển động toàn thân trong quá trình tìm kiếm.

Zhu nói: “Năm nay, chúng tôi đã khám phá rất nhiều cách sử dụng không gian âm thanh thính giác để hỗ trợ nhiều nhiệm vụ phức tạp khác nhau”. Thế giới Vật lý. “Đặc biệt, chúng tôi đã khám phá việc sử dụng các loại âm thanh không gian khác nhau để hướng dẫn mọi người trong quá trình điều hướng và hỗ trợ các hoạt động thể thao, đặc biệt là bóng bàn. Năm tới, chúng tôi hy vọng sẽ tiếp tục mở rộng các lĩnh vực này và tiến hành nghiên cứu trong môi trường thực tế.”

Dấu thời gian:

Thêm từ Thế giới vật lý