Teknologi sentuhan akustik membantu penyandang tunanetra ‘melihat’ menggunakan suara – Physics World

Para peneliti di Australia sedang mengembangkan kacamata pintar untuk penyandang tunanetra, menggunakan teknologi yang disebut “sentuhan akustik” untuk mengubah gambar menjadi suara. Eksperimen awal menunjukkan bahwa teknologi audio spasial yang dapat dipakai ini dapat membantu orang-orang tunanetra atau yang memiliki gangguan penglihatan signifikan untuk menemukan lokasi objek di dekatnya.

Kemajuan terbaru dalam augmented reality, teknologi kamera praktis yang dapat dipakai, dan visi komputer berbasis pembelajaran mendalam mempercepat pengembangan kacamata pintar sebagai teknologi bantu yang dapat digunakan dan multifungsi bagi mereka yang buta atau memiliki gangguan penglihatan. Kacamata pintar tersebut menggabungkan kamera, sistem GPS, mikrofon dan pengukuran inersia serta unit penginderaan kedalaman untuk memberikan fungsi seperti navigasi, kontrol pengenalan suara, atau menampilkan objek, teks, atau lingkungan sekitar sebagai ucapan yang disintesis oleh komputer.

Bagaimana Yuan Zhu dan rekan-rekannya di Universitas Teknologi Sydney (UTS) Dan Universitas Sydney menyelidiki penambahan sentuhan akustik pada kacamata pintar, sebuah pendekatan yang menggunakan pemindaian kepala dan aktivasi ikon pendengaran saat objek muncul dalam bidang pandang (FOV) yang ditentukan.

Menulis di PLoS ONE, para peneliti menjelaskan bahwa sentuhan akustik menawarkan beberapa keunggulan dibandingkan pendekatan yang ada, termasuk kemudahan integrasi dengan teknologi kacamata pintar dan penggunaan yang lebih intuitif dibandingkan ucapan yang disintesis oleh komputer. Sistem seperti itu mungkin juga memerlukan lebih sedikit pelatihan agar penggunanya menjadi mahir.

Bekerja dengan ARIA Research of Sydney (yang baru-baru ini menang Perusahaan Teknologi Australia Tahun Ini untuk inovasi vision-tech yang menjadi pionir), tim menciptakan perangkat audio foveated (FAD) untuk menguji asumsi-asumsi ini pada tujuh sukarelawan yang tidak atau memiliki gangguan penglihatan, ditambah tujuh peserta yang dapat melihat dan menutup matanya. FAD terdiri dari telepon pintar dan kacamata augmented reality NREAL, yang mana tim memasang penanda reflektif penangkap gerak untuk memungkinkan pelacakan gerakan kepala.

FAD melakukan pengenalan objek dan menentukan jarak objek menggunakan kamera stereo pada kacamata. Ia kemudian menetapkan ikon pendengaran yang sesuai ke objek, seperti suara membalik halaman untuk buku, misalnya. Saat pemakainya memutar kepalanya, tingkat pengulangan ikon pendengaran berubah sesuai dengan posisi item dalam FOV pendengaran.

Para relawan mengambil bagian dalam latihan duduk dan berdiri. Tugas duduk mengharuskan mereka menggunakan berbagai metode untuk mencari dan menangani barang sehari-hari, termasuk buku, botol, mangkuk atau cangkir, yang ditempatkan di satu atau beberapa meja. Tugas ini mengukur kemampuan mereka dalam mendeteksi suatu benda, mengenali suatu suara dan menghafal posisi benda tersebut.

Para peneliti merancang tugas ini untuk membandingkan kinerja FAD dengan dua isyarat bicara konvensional: arah verbal jam; dan pemutaran ikon pendengaran secara berurutan dari speaker yang ditempatkan di lokasi yang sama dengan setiap item. Mereka menemukan bahwa untuk peserta tunanetra atau rabun, kinerja menggunakan rumpon sebanding dengan dua kondisi ideal. Namun, kelompok yang matanya ditutup dan dapat melihat, memiliki kinerja yang lebih buruk ketika menggunakan rumpon.

Tugas pencapaian berdiri mengharuskan peserta menggunakan rumpon untuk mencari dan meraih item target yang terletak di antara beberapa item distraktor. Peserta diminta menemukan benda-benda yang diletakkan pada tiga meja yang dikelilingi oleh empat botol dengan bentuk berbeda. Tugas ini terutama menilai kinerja fungsional sistem, dan perilaku manusia saat menggunakan gerakan seluruh tubuh selama pencarian.

“Tahun ini, kami telah banyak mengeksplorasi penggunaan soundscape pendengaran untuk mendukung berbagai tugas kompleks,” kata Zhu Dunia Fisika. “Secara khusus, kami telah mengeksplorasi penggunaan berbagai jenis suara spasial untuk memandu orang selama navigasi dan mendukung aktivitas olahraga, khususnya tenis meja. Tahun depan, kami berharap dapat terus memperluas bidang ini dan melakukan penelitian di dunia nyata.”

• Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
• PlatoData.Jaringan Vertikal Generatif Ai. Berdayakan Diri Anda. Akses Di Sini.
• PlatoAiStream. Intelijen Web3. Pengetahuan Diperkuat. Akses Di Sini.
• PlatoESG. Karbon, teknologi bersih, energi, Lingkungan Hidup, Tenaga surya, Penanganan limbah. Akses Di Sini.
• PlatoHealth. Kecerdasan Uji Coba Biotek dan Klinis. Akses Di Sini.
• Sumber: https://physicsworld.com/a/acoustic-touch-technology-helps-blind-people-see-using-sound/