音響タッチ技術により、視覚障害者が音を使って「見る」ことが可能 – Physics World

オーストラリアの研究者は、画像を音に変える「アコースティックタッチ」と呼ばれる技術を使用した視覚障害者用のスマートグラスを開発している。初期の実験では、このウェアラブル空間オーディオ技術が、目の見えない人や視力に著しく障害のある人が近くの物体の位置を特定できるようになる可能性があることが示唆されています。

拡張現実、実用的なウェアラブル カメラ技術、深層学習ベースのコンピューター ビジョンの最近の進歩により、視覚障害者や弱視の人のための実用的で多機能な支援技術としてスマート グラスの開発が加速しています。このようなスマート グラスには、カメラ、GPS システム、マイク、慣性測定および深度感知ユニットが組み込まれており、ナビゲーション、音声認識制御、オブジェクト、テキスト、周囲の環境をコンピュータ合成音声としてレンダリングするなどの機能を提供します。

ハウ・ユアン・ジュウ シドニー工科大学の同僚たち (UTS）と シドニー大学 は、スマート グラスに音響タッチを追加すること、つまり、頭部のスキャンと、定義された視野 (FOV) 内にオブジェクトが表示されるときに聴覚アイコンを起動することを使用するアプローチを調査しました。

書き込む PLoSのONE、研究者らは、音響タッチには、スマートグラス技術との統合の容易さ、コンピュータ合成音声よりも直感的な使用など、既存のアプローチに比べていくつかの利点があると説明しています。このようなシステムでは、ユーザーが熟練するために必要なトレーニングも少なくて済みます。

シドニーの ARIA Research と協力（最近受賞しました） オーストラリアン・テクノロジー・カンパニー・オブ・ザ・イヤー 先駆的なビジョンテクノロジーの革新のため）、チームは中心窩オーディオデバイス（FAD）を作成し、視力のないまたは弱視のボランティア7名と、晴眼者で目隠しをした参加者7名でこれらの仮定をテストしました。 FAD はスマートフォンと NREAL 拡張現実メガネで構成されており、チームは頭の動きの追跡を可能にするモーション キャプチャ反射マーカーをメガネに取り付けました。

FAD は物体認識を実行し、メガネのステレオ カメラを使用して物体の距離を決定します。次に、本のページをめくる音など、適切な聴覚アイコンをオブジェクトに割り当てます。着用者が頭を回すと、聴覚アイコンの繰り返し率が聴覚 FOV 内のアイテムの位置に応じて変化します。

ボランティアは座位と立位の両方の訓練に参加しました。座りながらの作業では、1 つまたは複数のテーブルに置かれた本、瓶、ボウル、カップなどの日用品をさまざまな方法で探して扱う必要がありました。この課題では、アイテムを検出し、音を認識し、アイテムの位置を記憶する能力を測定しました。

研究者らは、FAD のパフォーマンスを 2 つの従来の音声キューと比較するためにこのタスクを設計しました。各アイテムと同じ場所にあるスピーカーからの聴覚アイコンの連続再生。彼らは、視覚障害のある参加者にとって、FAD を使用したパフォーマンスが 2 つの理想的な条件と同等であることを発見しました。しかし、目隠しをした晴眼者のグループは、FAD を使用すると成績が悪かった。

スタンディング リーチング タスクでは、参加者が FAD を使用して、複数のディストラクタ アイテムの間にあるターゲット アイテムを検索し、到達する必要がありました。参加者は、異なる形状の 4 本のボトルに囲まれた 3 つのテーブルに置かれた物体を見つけるように求められました。このタスクでは主に、システムの機能パフォーマンスと、探索中に全身を動かすときの人間の動作を評価しました。

「今年、私たちは聴覚サウンドスケープを使用してさまざまな複雑なタスクをサポートすることを徹底的に研究してきました」と Zhu 氏は語ります。 物理ワールド。 「特に、私たちは、ナビゲーション中に人々をガイドし、スポーツ活動、特に卓球をサポートするために、さまざまなタイプの空間化されたサウンドを使用することを検討してきました。来年も引き続きこれらの分野を拡大し、現実世界の環境で研究を実施したいと考えています。」

• SEO を活用したコンテンツと PR 配信。 今日増幅されます。
• PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
• プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
• プラトンESG。 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
• プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
• 情報源： https://physicsworld.com/a/acoustic-touch-technology-helps-blind-people-see-using-sound/