Az akusztikus érintéstechnológia segít a vakoknak „látni” a hang segítségével – Physics World

Ausztrál kutatók okosszemüveget fejlesztenek vakok számára, az úgynevezett „akusztikus érintés” technológiával a képeket hangokká alakítják. A kezdeti kísérletek azt sugallják, hogy ez a hordható térbeli audiotechnológia segíthet a vak vagy jelentősen gyengült látású embereknek a közeli tárgyak megtalálásában.

A kibővített valóság, a praktikus hordható kamerás technológia és a mély tanuláson alapuló számítógépes látás legújabb fejlesztései felgyorsítják az intelligens szemüvegek, mint életképes és többfunkciós kisegítő technológia fejlesztését a vakok vagy gyengénlátók számára. Az ilyen intelligens szemüvegek kamerákat, GPS-rendszereket, mikrofont és inerciális mérő- és mélységérzékelő egységeket tartalmaznak, amelyek olyan funkciókat biztosítanak, mint a navigáció, a hangfelismerés vezérlése vagy a tárgyak, szöveg vagy környezet számítógép által szintetizált beszédként való megjelenítése.

Howe Yuan Zhu és munkatársai a Sydney-i Műszaki Egyetemen (UTS), És a University of Sydney megvizsgálta az akusztikus érintés hozzáadását az intelligens szemüvegekhez, egy olyan megközelítést, amely fejszkennelést és hallási ikonok aktiválását alkalmazza, amikor az objektumok egy meghatározott látómezőn (FOV) belül jelennek meg.

Írás PLoS ONE, a kutatók kifejtik, hogy az akusztikus érintés számos előnnyel rendelkezik a meglévő megközelítésekhez képest, beleértve az okosszemüveg-technológiával való egyszerű integrációt és az intuitívabb használatot, mint a számítógéppel szintetizált beszéd. Előfordulhat, hogy az ilyen rendszerek kevesebb képzést igényelnek a felhasználók számára ahhoz, hogy hozzáértővé váljanak.

Együttműködés az ARIA Research of Sydney-vel (amely nemrég nyert Az év ausztrál technológiai vállalata Úttörő látástechnológiai innovációihoz a csapat egy foveated audioeszközt (FAD) hozott létre, hogy tesztelje ezeket a feltételezéseket hét látásszegény vagy gyengénlátó önkéntesen, valamint hét látó bekötött szemű résztvevőn. A FAD egy okostelefonból és az NREAL kiterjesztett valóság szemüvegéből áll, amelyekre a csapat mozgásrögzítő fényvisszaverő markereket erősített a fejmozgások nyomon követésére.

A FAD objektumfelismerést hajt végre, és a szemüvegen lévő sztereó kamerák segítségével meghatározza az objektum távolságát. Ezután megfelelő hallási ikonokat rendel az objektumokhoz, például egy lapozó hangot a könyvhöz. Amikor a viselő elfordítja a fejét, a hallási ikonok ismétlési gyakorisága a tárgy hallási FOV-on belüli helyzetétől függően változik.

Az önkéntesek ülő és álló gyakorlatokon is részt vettek. Az ülő feladathoz különféle módszerekkel kellett keresniük és kezelniük a mindennapi tárgyakat, például egy vagy több asztalon elhelyezett könyvet, üveget, tálat vagy csészét. Ez a feladat azt mérte, hogy képesek-e felismerni egy elemet, felismerni egy hangot és megjegyezni az elem helyzetét.

A kutatók ezt a feladatot úgy tervezték, hogy összehasonlítsák a FAD teljesítményét két hagyományos beszédjellel: az óralap-verbális irányokkal; és a hangikonok szekvenciális lejátszása az egyes elemekkel együtt elhelyezett hangszórókból. Azt találták, hogy a vak vagy gyengénlátó résztvevők esetében a FAD használatával elért teljesítmény összehasonlítható volt a két idealizált feltétellel. A bekötött szemű látó csoport azonban rosszabbul teljesített a FAD használatakor.

Az álló elérési feladat megkövetelte a résztvevőktől, hogy a FAD segítségével keressenek és érjenek el egy céltárgyat, amely több zavaró elem között található. A résztvevőket arra kérték, hogy találjanak tárgyakat három asztalon, amelyeket négy különböző alakú palack vett körül. Ez a feladat elsősorban a rendszer funkcionális teljesítményét és az emberi viselkedést vizsgálta a keresés során a teljes testmozgás alkalmazásakor.

„Idén nagymértékben kutatjuk az auditív hangkép felhasználását különféle összetett feladatok támogatására” – mondja Zhu. Fizika világ. "Különböző típusú térbeli hangok felhasználását vizsgáltuk meg az emberek navigáció közbeni irányítására és a sporttevékenységek, különösen az asztalitenisz támogatására. Reméljük, hogy jövőre tovább bővíthetjük ezeket a területeket, és valós körülmények között végezhetünk vizsgálatokat.”

• SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
• PlatoData.Network Vertical Generative Ai. Erősítse meg magát. Hozzáférés itt.
• PlatoAiStream. Web3 Intelligence. Felerősített tudás. Hozzáférés itt.
• PlatoESG. Carbon, CleanTech, Energia, Környezet, Nap, Hulladékgazdálkodás. Hozzáférés itt.
• PlatoHealth. Biotechnológiai és klinikai vizsgálatok intelligencia. Hozzáférés itt.
• Forrás: https://physicsworld.com/a/acoustic-touch-technology-helps-blind-people-see-using-sound/