Akustisk berøringsteknologi hjelper blinde mennesker å "se" ved hjelp av lyd – Physics World

Akustisk berøringsteknologi hjelper blinde mennesker å "se" ved hjelp av lyd – Physics World

Tidsstempel: 20. desember 2023 5:00
Kilde node: 3028585


Bruke akustisk berøring for å finne en gjenstand på bordet
Akustisk touch Et medlem av forskerteamet som er blind bruker de nye smarte brillene til å finne og strekke seg etter en gjenstand på bordet. (Med tillatelse: CC-BY 4.0/Lil Deverell ved Motion Platform og Mixed Reality Lab i Techlab ved UTS)

Forskere i Australia utvikler smarte briller for blinde mennesker, ved å bruke en teknologi kalt "akustisk berøring" for å gjøre bilder om til lyder. Innledende eksperimenter tyder på at denne bærbare romlige lydteknologien kan hjelpe mennesker som er blinde eller har betydelig nedsatt syn med å finne objekter i nærheten.

Nylige forbedringer innen utvidet virkelighet, praktisk bærbar kamerateknologi og dyp læringsbasert datasyn akselererer utviklingen av smarte briller som en levedyktig og multifunksjonell hjelpeteknologi for de som er blinde eller har dårlig syn. Slike smarte briller inkluderer kameraer, GPS-systemer, en mikrofon og treghetsmålings- og dybdesensorenheter for å levere funksjoner som navigasjon, stemmegjenkjenningskontroll eller gjengivelse av objekter, tekst eller omgivelser som datasyntetisert tale.

Howe Yuan Zhu og kolleger ved University of Technology Sydney (UTS) Og University of Sydney undersøkte tillegget av akustisk berøring til smarte briller, en tilnærming som bruker hodeskanning og aktivering av auditive ikoner når objekter vises innenfor et definert synsfelt (FOV).

Skriver inn PLoS ONE, forklarer forskerne at akustisk berøring gir flere fordeler i forhold til eksisterende tilnærminger, inkludert enkel integrering med smartbrilleteknologi og mer intuitiv bruk enn datasyntetisert tale. Slike systemer kan også kreve mindre opplæring for at brukerne skal bli dyktigere.

Jobber med ARIA Research of Sydney (som nylig vant Årets australske teknologiselskap for sine banebrytende visjon-teknologiske innovasjoner), laget teamet en foveated lydenhet (FAD) for å teste disse antakelsene på syv frivillige med ingen eller svakt syn, pluss syv seende deltakere med bind for øynene. FAD består av en smarttelefon og NREAL augmented-reality-brillene, som teamet festet reflekterende markører for bevegelsesfangst for å muliggjøre sporing av hodebevegelser.

FAD utfører objektgjenkjenning og bestemmer objektets avstand ved hjelp av stereokameraene på brillene. Den tildeler deretter passende auditive ikoner til objektene, for eksempel en sidevendende lyd for bok. Når en bruker dreier hodet, endres repetisjonsfrekvensen til de auditive ikonene i henhold til gjenstandens posisjon i det auditive FOV.

De frivillige deltok i både sittende og stående øvelser. Den sittende oppgaven krevde at de brukte ulike metoder for å søke etter og håndtere hverdagslige gjenstander, inkludert en bok, flaske, bolle eller kopp, plassert på ett eller flere bord. Denne oppgaven målte deres evne til å oppdage et element, gjenkjenne en lyd og huske posisjonen til elementet.

Forskerne utformet denne oppgaven for å sammenligne FAD-ytelsen med to konvensjonelle talesignaler: verbale retninger på urskiven; og sekvensiell avspilling av auditive ikoner fra høyttalere som er plassert sammen med hvert element. De fant at for blinde eller svaksynte deltakere var ytelsen ved bruk av FAD sammenlignbar med de to idealiserte forholdene. Den seende gruppen med bind for øynene presterte imidlertid dårligere ved bruk av FAD.

Den stående rekkevidde-oppgaven krevde at deltakerne brukte FAD-en til å søke og strekke seg etter et målelement plassert blant flere distraherende elementer. Deltakerne ble bedt om å finne gjenstander plassert på tre bord som var omgitt av fire flasker med forskjellige former. Denne oppgaven vurderte først og fremst den funksjonelle ytelsen til systemet, og menneskelig atferd ved bruk av bevegelse av hele kroppen under søk.

"I år har vi utforsket mye ved å bruke det auditive lydbildet for å støtte forskjellige komplekse oppgaver," forteller Zhu Fysikkverden. "Spesielt har vi utforsket å bruke forskjellige typer romlige lyder for å veilede folk under navigering og støtte sportsaktiviteter, spesielt bordtennis. Neste år håper vi å fortsette å utvide disse områdene og gjennomføre studier i virkelige omgivelser.»

Tidstempel:

Mer fra Fysikkens verden