فناوری لمس آکوستیک به افراد نابینا کمک می‌کند با استفاده از صدا «دیدن» را انجام دهند - Physics World

محققان استرالیایی در حال توسعه عینک های هوشمند برای افراد نابینا هستند که از فناوری به نام "لمس آکوستیک" برای تبدیل تصاویر به صدا استفاده می کنند. آزمایش‌های اولیه نشان می‌دهد که این فناوری صوتی فضایی پوشیدنی می‌تواند به افرادی که نابینا هستند یا به طور قابل‌توجهی در بینایی ضعیف هستند، کمک کند تا اشیاء مجاور را پیدا کنند.

پیشرفت‌های اخیر در واقعیت افزوده، فناوری دوربین پوشیدنی کاربردی و بینایی کامپیوتر مبتنی بر یادگیری عمیق، توسعه عینک‌های هوشمند را به‌عنوان یک فناوری کمکی مفید و چند منظوره برای نابینایان یا کم‌بینا سرعت می‌بخشد. چنین عینک‌های هوشمندی شامل دوربین‌ها، سیستم‌های جی‌پی‌اس، میکروفون و واحدهای اندازه‌گیری اینرسی و سنجش عمق هستند تا عملکردهایی مانند ناوبری، کنترل تشخیص صدا، یا نمایش اشیا، متن یا محیط اطراف را به‌عنوان گفتار ترکیب‌شده توسط رایانه ارائه دهند.

هاو یوان زو و همکاران در دانشگاه صنعتی سیدنی (UTS) و دانشگاه سیدنی افزودن لمس آکوستیک به عینک‌های هوشمند را بررسی کرد، رویکردی که از اسکن سر و فعال‌سازی نمادهای شنوایی زمانی که اشیاء در یک میدان دید تعریف‌شده (FOV) ظاهر می‌شوند، استفاده می‌کند.

نوشتن در مجله PLOS ONEمحققان توضیح می‌دهند که لمس آکوستیک چندین مزیت را نسبت به رویکردهای موجود ارائه می‌کند، از جمله سهولت ادغام با فناوری عینک‌های هوشمند و استفاده بصری‌تر از گفتار سنتز شده توسط رایانه. چنین سیستم هایی همچنین ممکن است به آموزش کمتری نیاز داشته باشند تا کاربران ماهر شوند.

همکاری با ARIA Research of Sydney (که اخیرا برنده شد شرکت فناوری سال استرالیا این تیم برای نوآوری‌های پیشگام در فناوری بینایی، یک دستگاه صوتی (FAD) ایجاد کرد تا این فرضیات را روی هفت داوطلب بدون بینایی یا کم بینایی، به‌علاوه هفت شرکت‌کننده چشم‌بند بینا آزمایش کند. FAD شامل یک گوشی هوشمند و عینک واقعیت افزوده NREAL است که تیم نشانگرهای بازتابنده ضبط حرکت را برای ردیابی حرکات سر به آن متصل کرده است.

FAD با استفاده از دوربین های استریو روی عینک، تشخیص اشیا را انجام می دهد و فاصله شی را تعیین می کند. سپس آیکون های شنیداری مناسب را به اشیا اختصاص می دهد، مثلاً صدای چرخاندن صفحه برای کتاب. هنگامی که پوشنده سر خود را می چرخاند، میزان تکرار نمادهای شنوایی با توجه به موقعیت آیتم در FOV شنوایی تغییر می کند.

داوطلبان در تمرینات نشسته و ایستاده شرکت کردند. کار نشسته آنها را ملزم می کرد که از روش های مختلفی برای جستجو و رسیدگی به اقلام روزمره استفاده کنند، از جمله کتاب، بطری، کاسه یا فنجان، که روی یک یا چند میز قرار گرفته بودند. این کار توانایی آنها را در تشخیص یک آیتم، تشخیص صدا و به خاطر سپردن موقعیت آیتم اندازه گیری می کرد.

محققان این کار را برای مقایسه عملکرد FAD با دو نشانه گفتاری معمولی طراحی کردند: جهت‌های کلامی ساعت-صورت. و پخش متوالی نمادهای شنیداری از بلندگوهایی که با هر آیتم هم‌جا قرار دارند. آنها دریافتند که برای شرکت کنندگان نابینا یا کم بینا، عملکرد با استفاده از FAD با دو شرایط ایده آل قابل مقایسه است. با این حال، گروه بینا با چشم بسته در هنگام استفاده از FAD عملکرد بدتری داشتند.

وظیفه رسیدن به حالت ایستاده، شرکت کنندگان را ملزم می کرد که از FAD برای جستجو و دستیابی به یک آیتم هدف که در میان چندین آیتم حواس پرتی قرار دارد، استفاده کنند. از شرکت کنندگان خواسته شد تا اشیایی را که روی سه میز قرار داده شده بودند و با چهار بطری با اشکال مختلف احاطه شده بودند، بیابند. این کار در درجه اول عملکرد عملکردی سیستم و رفتار انسان را هنگام استفاده از حرکت تمام بدن در طول جستجو ارزیابی می کرد.

ژو می گوید: «امسال، ما به شدت در حال کاوش در استفاده از منظره صوتی شنوایی برای پشتیبانی از کارهای پیچیده مختلف بوده ایم. دنیای فیزیک "به طور خاص، ما با استفاده از انواع مختلف صداهای فضایی برای راهنمایی افراد در طول مسیریابی و حمایت از فعالیت های ورزشی، به ویژه تنیس روی میز، کاوش کرده ایم. در سال آینده، ما امیدواریم که به گسترش این حوزه‌ها ادامه دهیم و مطالعات را در محیط‌های واقعی انجام دهیم.»

• محتوای مبتنی بر SEO و توزیع روابط عمومی. امروز تقویت شوید.
• PlatoData.Network Vertical Generative Ai. به خودت قدرت بده دسترسی به اینجا.
• PlatoAiStream. هوش وب 3 دانش تقویت شده دسترسی به اینجا.
• PlatoESG. کربن ، CleanTech، انرژی، محیط، خورشیدی، مدیریت پسماند دسترسی به اینجا.
• PlatoHealth. هوش بیوتکنولوژی و آزمایشات بالینی. دسترسی به اینجا.
• منبع: https://physicsworld.com/a/acoustic-touch-technology-helps-blind-people-see-using-sound/