เทคโนโลยีสัมผัสแบบอะคูสติกช่วยให้คนตาบอด 'มองเห็น' ด้วยเสียง - Physics World

เทคโนโลยีสัมผัสแบบอะคูสติกช่วยให้คนตาบอด 'มองเห็น' ด้วยเสียง - Physics World

Time Stamp: 20 ธันวาคม 2023 5:00 น.
โหนดต้นทาง: 3028585


การใช้ระบบสัมผัสแบบอะคูสติกเพื่อค้นหารายการบนโต๊ะ
สัมผัสแบบอะคูสติก สมาชิกในทีมวิจัยที่ตาบอดใช้แว่นตาอัจฉริยะใหม่เพื่อค้นหาและหยิบสิ่งของบนโต๊ะ (เอื้อเฟื้อโดย: CC-BY 4.0/Lil Deverell จาก Motion Platform และ Mixed Reality Lab ใน Techlab ที่ UTS)

นักวิจัยในออสเตรเลียกำลังพัฒนาแว่นตาอัจฉริยะสำหรับคนตาบอด โดยใช้เทคโนโลยีที่เรียกว่า "การสัมผัสแบบอะคูสติก" เพื่อเปลี่ยนภาพให้เป็นเสียง การทดลองเบื้องต้นชี้ให้เห็นว่าเทคโนโลยีเสียงเชิงพื้นที่ที่สวมใส่ได้นี้สามารถช่วยให้ผู้พิการทางสายตาหรือมีความบกพร่องในการมองเห็นอย่างมากสามารถระบุตำแหน่งวัตถุใกล้เคียงได้

การปรับปรุงล่าสุดในด้านความเป็นจริงเสริม เทคโนโลยีกล้องสวมใส่ที่ใช้งานได้จริง และคอมพิวเตอร์วิทัศน์ที่ใช้การเรียนรู้เชิงลึก กำลังเร่งการพัฒนาแว่นตาอัจฉริยะให้เป็นเทคโนโลยีช่วยเหลืออเนกประสงค์ที่ใช้งานได้จริงสำหรับผู้ที่ตาบอดหรือมองเห็นเลือนลาง แว่นตาอัจฉริยะดังกล่าวประกอบด้วยกล้อง ระบบ GPS ไมโครโฟน และหน่วยวัดแรงเฉื่อยและการตรวจจับเชิงลึกเพื่อมอบฟังก์ชันต่างๆ เช่น การนำทาง การควบคุมการจดจำเสียง หรือการแสดงวัตถุ ข้อความ หรือสภาพแวดล้อมเป็นคำพูดที่สังเคราะห์ด้วยคอมพิวเตอร์

ฮาว หยวน จู้ และเพื่อนร่วมงานที่มหาวิทยาลัยเทคโนโลยีซิดนีย์ (UTS) และ มหาวิทยาลัยซิดนีย์ ตรวจสอบการเพิ่มระบบสัมผัสแบบอะคูสติกให้กับแว่นตาอัจฉริยะ ซึ่งเป็นวิธีการที่ใช้การสแกนศีรษะและการเปิดใช้งานไอคอนการได้ยินเมื่อวัตถุปรากฏภายในขอบเขตการมองเห็น (FOV) ที่กำหนด

เขียนเข้า PLoS ONEนักวิจัยอธิบายว่าระบบสัมผัสแบบอะคูสติกมีข้อดีหลายประการเหนือแนวทางที่มีอยู่ ซึ่งรวมถึงความง่ายในการผสานรวมกับเทคโนโลยีแว่นตาอัจฉริยะ และการใช้งานที่เป็นธรรมชาติมากกว่าคำพูดที่สังเคราะห์ด้วยคอมพิวเตอร์ ระบบดังกล่าวอาจต้องการการฝึกอบรมน้อยกว่าเพื่อให้ผู้ใช้มีความเชี่ยวชาญ

ทำงานร่วมกับ ARIA Research of Sydney (ซึ่งเพิ่งได้รับรางวัล บริษัทเทคโนโลยีแห่งออสเตรเลียแห่งปี สำหรับนวัตกรรมเทคโนโลยีการมองเห็นที่บุกเบิก) ทีมงานได้สร้างอุปกรณ์เสียงแบบลอยตัว (FAD) เพื่อทดสอบสมมติฐานเหล่านี้กับอาสาสมัครเจ็ดคนที่ไม่มีการมองเห็นหรือมองเห็นได้ไม่ชัด รวมถึงผู้เข้าร่วมที่ถูกปิดตาอีกเจ็ดคน FAD ประกอบด้วยสมาร์ทโฟนและแว่นตา NREAL ซึ่งทีมงานได้ติดเครื่องหมายสะท้อนแสงจากการจับภาพเคลื่อนไหวเพื่อให้สามารถติดตามการเคลื่อนไหวของศีรษะได้

FAD ทำการจดจำวัตถุและกำหนดระยะห่างของวัตถุโดยใช้กล้องสเตอริโอบนแว่นตา จากนั้นจะกำหนดไอคอนการได้ยินที่เหมาะสมให้กับวัตถุต่างๆ เช่น เสียงเปลี่ยนหน้าหนังสือ เป็นต้น เมื่อผู้สวมใส่หมุนศีรษะ อัตราการทำซ้ำของไอคอนการได้ยินจะเปลี่ยนไปตามตำแหน่งของรายการภายใน FOV การได้ยิน

อาสาสมัครได้มีส่วนร่วมในการออกกำลังกายทั้งแบบนั่งและยืน งานที่ต้องนั่งต้องให้พวกเขาใช้วิธีการต่างๆ ในการค้นหาและจัดการสิ่งของในชีวิตประจำวัน รวมถึงหนังสือ ขวด ชาม หรือถ้วยที่วางอยู่บนโต๊ะตัวเดียวหรือหลายตัว งานนี้วัดความสามารถในการตรวจจับสิ่งของ จดจำเสียง และจดจำตำแหน่งของสิ่งของ

นักวิจัยได้ออกแบบงานนี้เพื่อเปรียบเทียบประสิทธิภาพของ FAD กับสัญญาณคำพูดทั่วไป 2 แบบ ได้แก่ ทิศทางวาจาของหน้าปัดนาฬิกา และการเล่นตามลำดับไอคอนเสียงจากลำโพงที่อยู่ร่วมกับแต่ละรายการ พวกเขาพบว่าสำหรับผู้เข้าร่วมที่ตาบอดหรือสายตาเลือนราง ประสิทธิภาพการใช้ FAD เทียบได้กับเงื่อนไขในอุดมคติทั้งสองประการ อย่างไรก็ตาม กลุ่มผู้ถูกปิดตาจะทำงานได้แย่ลงเมื่อใช้ FAD

ภารกิจยืนเอื้อมต้องการให้ผู้เข้าร่วมใช้ FAD เพื่อค้นหาและเข้าถึงสิ่งของเป้าหมายที่อยู่ท่ามกลางสิ่งของที่รบกวนสมาธิหลายรายการ ขอให้ผู้เข้าร่วมค้นหาสิ่งของที่วางอยู่บนโต๊ะสามตัวที่ล้อมรอบด้วยขวดสี่ขวดที่มีรูปร่างต่างกัน งานนี้ประเมินประสิทธิภาพการทำงานของระบบและพฤติกรรมของมนุษย์เป็นหลักเมื่อใช้การเคลื่อนไหวเต็มตัวระหว่างการค้นหา

“ปีนี้ เราได้สำรวจอย่างหนักโดยใช้โสตทัศน์เพื่อรองรับงานที่ซับซ้อนต่างๆ” Zhu กล่าว โลกฟิสิกส์. “โดยเฉพาะอย่างยิ่ง เราได้สำรวจการใช้เสียงเชิงพื้นที่ประเภทต่างๆ เพื่อนำทางผู้คนระหว่างการนำทางและสนับสนุนกิจกรรมกีฬา โดยเฉพาะปิงปอง ปีหน้าเราหวังว่าจะขยายขอบเขตเหล่านี้ต่อไปและดำเนินการศึกษาในสภาพแวดล้อมจริง”

ประทับเวลา:

เพิ่มเติมจาก โลกฟิสิกส์