تقنية اللمس الصوتي تساعد المكفوفين على "الرؤية" باستخدام الصوت - عالم الفيزياء

يعكف باحثون في أستراليا على تطوير نظارات ذكية للمكفوفين، باستخدام تقنية تسمى "اللمس الصوتي" لتحويل الصور إلى أصوات. تشير التجارب الأولية إلى أن تقنية الصوت المكاني القابلة للارتداء يمكن أن تساعد الأشخاص المكفوفين أو الذين يعانون من ضعف البصر بشكل كبير في تحديد موقع الأشياء القريبة.

تعمل التحسينات الأخيرة في الواقع المعزز وتكنولوجيا الكاميرا العملية التي يمكن ارتداؤها والرؤية الحاسوبية القائمة على التعلم العميق على تسريع تطوير النظارات الذكية باعتبارها تقنية مساعدة قابلة للحياة ومتعددة الوظائف لأولئك المكفوفين أو ضعاف البصر. تشتمل هذه النظارات الذكية على كاميرات وأنظمة تحديد المواقع (GPS) وميكروفون ووحدات قياس بالقصور الذاتي واستشعار العمق لتقديم وظائف مثل التنقل أو التحكم في التعرف على الصوت أو عرض الأشياء أو النص أو المناطق المحيطة ككلام مركب بالكمبيوتر.

هاو يوان تشو وزملاؤه في جامعة التكنولوجيا بسيدني (UTS) و جامعة سيدني بحث في إضافة اللمس الصوتي إلى النظارات الذكية، وهو نهج يستخدم مسح الرأس وتنشيط الرموز السمعية عندما تظهر الأشياء ضمن مجال رؤية محدد (FOV).

الكتابة في بلوس ONEيوضح الباحثون أن اللمس الصوتي يوفر العديد من المزايا مقارنة بالطرق الحالية، بما في ذلك سهولة التكامل مع تقنية النظارات الذكية واستخدام أكثر سهولة من الكلام المركب بالكمبيوتر. قد تتطلب مثل هذه الأنظمة أيضًا تدريبًا أقل للمستخدمين حتى يصبحوا ماهرين.

العمل مع ARIA Research of Sydney (التي فازت مؤخرًا بجائزة شركة التكنولوجيا الأسترالية لهذا العام لابتكاراته الرائدة في مجال تكنولوجيا الرؤية)، أنشأ الفريق جهازًا صوتيًا مفضلاً (FAD) لاختبار هذه الافتراضات على سبعة متطوعين يعانون من ضعف أو انعدام الرؤية، بالإضافة إلى سبعة مشاركين مبصرين معصوبي الأعين. يتكون FAD من هاتف ذكي ونظارات الواقع المعزز NREAL، والتي أرفق بها الفريق علامات عاكسة لالتقاط الحركة لتمكين تتبع حركات الرأس.

يقوم FAD بالتعرف على الكائنات وتحديد مسافة الكائن باستخدام كاميرات الاستريو الموجودة على النظارات. ثم يقوم بعد ذلك بتعيين أيقونات سمعية مناسبة للأشياء، مثل صوت قلب الصفحة للكتاب، على سبيل المثال. عندما يقوم مرتدي الجهاز بتدوير رأسه، يتغير معدل تكرار الرموز السمعية وفقًا لموضع العنصر داخل مجال الرؤية السمعي.

شارك المتطوعون في تمارين الجلوس والوقوف. تتطلب مهمة الجلوس منهم استخدام أساليب مختلفة للبحث عن العناصر اليومية والتعامل معها، بما في ذلك كتاب أو زجاجة أو وعاء أو كوب، موضوعة على طاولة واحدة أو عدة طاولة. قامت هذه المهمة بقياس قدرتهم على اكتشاف العنصر والتعرف على الصوت وحفظ موضع العنصر.

صمم الباحثون هذه المهمة لمقارنة أداء FAD مع اثنين من إشارات الكلام التقليدية: الاتجاهات اللفظية على شكل وجه الساعة؛ والتشغيل المتسلسل للأيقونات السمعية من مكبرات الصوت الموجودة في كل عنصر. ووجدوا أنه بالنسبة للمشاركين المكفوفين أو ضعاف البصر، كان الأداء باستخدام FAD مشابهًا للحالتين المثاليتين. ومع ذلك، كان أداء المجموعة المبصرة معصوبة الأعين أسوأ عند استخدام FAD.

تتطلب مهمة الوصول الدائمة من المشاركين استخدام FAD للبحث والوصول إلى عنصر مستهدف يقع بين عناصر تشتيت انتباه متعددة. طُلب من المشاركين العثور على أشياء موضوعة على ثلاث طاولات محاطة بأربع زجاجات ذات أشكال مختلفة. قامت هذه المهمة في المقام الأول بتقييم الأداء الوظيفي للنظام، والسلوك البشري عند استخدام حركة الجسم بالكامل أثناء البحث.

يقول تشو: "هذا العام، قمنا باستكشاف مكثف لاستخدام المشهد الصوتي السمعي لدعم مختلف المهام المعقدة". عالم الفيزياء. "على وجه الخصوص، اكتشفنا استخدام أنواع مختلفة من الأصوات المكانية لتوجيه الأشخاص أثناء التنقل ودعم الأنشطة الرياضية، وتحديدًا تنس الطاولة. وفي العام المقبل، نأمل في مواصلة توسيع هذه المجالات وإجراء الدراسات في بيئات العالم الحقيقي.

• محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
• PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
• أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
• أفلاطون كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
• أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
• المصدر https://physicsworld.com/a/acoustic-touch-technology-helps-blind-people-see-using-sound/