Akustisk berøringsteknologi hjælper blinde mennesker med at ’se’ ved hjælp af lyd – Physics World

Akustisk berøringsteknologi hjælper blinde mennesker med at ’se’ ved hjælp af lyd – Physics World

Tidsstempel: 20. december 2023 kl. 5:00
Kildeknude: 3028585


Brug af akustisk berøring til at lokalisere et emne på bordet
Akustisk touch Et medlem af forskergruppen, der er blind, bruger de nye smarte briller til at finde og række ud efter en genstand på bordet. (Med høflighed: CC-BY 4.0/Lil Deverell på Motion Platform og Mixed Reality Lab i Techlab ved UTS)

Forskere i Australien udvikler smarte briller til blinde mennesker ved at bruge en teknologi kaldet "akustisk berøring" til at omdanne billeder til lyde. Indledende eksperimenter tyder på, at denne bærbare rumlige lydteknologi kan hjælpe mennesker, der er blinde eller har betydeligt nedsat syn, med at lokalisere genstande i nærheden.

Nylige forbedringer inden for augmented reality, praktisk bærbar kamerateknologi og deep learning-baseret computersyn accelererer udviklingen af ​​smarte briller som en levedygtig og multifunktionel hjælpeteknologi til dem, der er blinde eller har nedsat syn. Sådanne smarte briller inkorporerer kameraer, GPS-systemer, en mikrofon og inertimåle- og dybdesensorenheder til at levere funktioner som navigation, stemmegenkendelseskontrol eller gengivelse af objekter, tekst eller omgivelser som computersyntetiseret tale.

Howe Yuan Zhu og kolleger ved University of Technology Sydney (UTS) og University of Sydney undersøgte tilføjelsen af ​​akustisk berøring til smarte briller, en tilgang, der bruger hovedscanning og aktivering af auditive ikoner, når objekter vises inden for et defineret synsfelt (FOV).

Skrivning i PLoS ONE, forklarer forskerne, at akustisk berøring giver flere fordele i forhold til eksisterende tilgange, herunder nem integration med smart brilleteknologi og mere intuitiv brug end computersyntetiseret tale. Sådanne systemer kan også kræve mindre træning for brugerne at blive dygtige.

Arbejder med ARIA Research of Sydney (som for nylig vandt Årets australske teknologivirksomhed for sine banebrydende vision-tech innovationer) skabte holdet en foveated audio device (FAD) for at teste disse antagelser på syv frivillige med ingen eller svagt syn, plus syv seende deltagere med bind for øjnene. FAD består af en smartphone og NREAL augmented-reality-brillerne, hvortil holdet vedhæftede motion-capture reflekterende markører for at muliggøre sporing af hovedbevægelser.

FAD'en udfører objektgenkendelse og bestemmer objektets afstand ved hjælp af stereokameraerne på brillerne. Den tildeler derefter passende auditive ikoner til objekterne, såsom en sidevendende lyd til bog, for eksempel. Når en bærer drejer hovedet, ændres gentagelseshastigheden af ​​de auditive ikoner i overensstemmelse med emnets position i det auditive FOV.

De frivillige deltog i både siddende og stående øvelser. Den siddende opgave krævede, at de brugte forskellige metoder til at søge efter og håndtere hverdagsting, inklusive en bog, flaske, skål eller kop, placeret på et eller flere borde. Denne opgave målte deres evne til at opdage en genstand, genkende en lyd og huske varens position.

Forskerne designede denne opgave for at sammenligne FAD-ydelsen med to konventionelle talesignaler: ur-skive verbale retninger; og sekventiel afspilning af auditive ikoner fra højttalere, der er placeret sammen med hvert element. De fandt ud af, at for blinde eller svagsynede deltagere var præstation ved brug af FAD sammenlignelig med de to idealiserede tilstande. Den seende gruppe med bind for øjnene klarede sig dog dårligere ved brug af FAD.

Den stående nå-opgave krævede, at deltagerne brugte FAD'en til at søge og nå efter et målelement, der var placeret blandt flere distraktorelementer. Deltagerne blev bedt om at finde genstande placeret på tre borde, der var omgivet af fire flasker med forskellige former. Denne opgave vurderede primært systemets funktionelle ydeevne og menneskelig adfærd ved brug af bevægelse af hele kroppen under søgning.

"I år har vi udforsket meget ved at bruge det auditive lydlandskab til at understøtte forskellige komplekse opgaver," fortæller Zhu Fysik verden. “Vi har især undersøgt at bruge forskellige typer rumlige lyde til at guide folk under navigation og støtte sportsaktiviteter, specielt bordtennis. Næste år håber vi at fortsætte med at udvide disse områder og udføre undersøgelser i den virkelige verden."

Tidsstempel:

Mere fra Fysik verden