生成 AI は人々の脳活動を読み取り、視聴しているビデオを再構築します

プラトン再発行

フォロワー： 0

アビリ数台のマシンに私たちの心を読む近年着実に進歩しています。現在、研究者たちは AI ビデオ生成テクノロジーを使用して、私たちに心の目への窓を与えています。

脳信号を解釈する試みの背後にある主な推進力は、昏睡状態やさまざまな形の麻痺のある人々に、いつの日か新しいコミュニケーションの窓口を提供できるかもしれないという希望です。しかし、この技術が人間と機械の間により直観的なインターフェースを生み出し、健康な人にも応用できるのではないかという期待もある。

これまでのところ、ほとんどの研究は、内部の独白を再現する取り組みに焦点を当てています。s AI システムを使用した患者の選び出す彼らはどんな言葉を考えているのか。最も有望な結果は、ほとんどの人にとって実用的なアプローチである可能性が低い侵襲的脳インプラントからもたらされています。

しかし今回、シンガポール国立大学と香港中文大学の研究者らは、非侵襲的な脳スキャンとAI画像生成技術を組み合わせて、被験者が見ていたクリップに驚くほど似た短いビデオの断片を作成できることを示した。彼らの脳データが収集されたとき。

この作品は同じ著者による研究の延長です昨年末に出版されたそこで彼らは、被験者が見せた写真とほぼ一致する静止画像を生成できることを示しました。これは、最初に fMRI 脳スキャナーを使用して収集された大量のデータで XNUMX つのモデルをトレーニングすることによって達成されました。次に、このモデルをオープンソースの画像生成 AI Stable Diffusion と組み合わせて画像を作成しました。

新しい論文でに公開プレプリントサーバー arXivの, 著者らは同様のアプローチを採用していますが、システムが脳データのストリームを解釈し、静止画ではなく動画に変換できるように応用しています。まず、彼らは大量の fMRI で XNUMX つのモデルをトレーニングし、これらの脳スキャンの一般的な特徴を学習できるようにしました。これはその後、個々の fMRI スキャンではなく一連の fMRI スキャンを処理できるように拡張され、fMRI スキャン、その脳活動を引き出すビデオの断片、およびテキストの説明の組み合わせで再度トレーニングされました。

これとは別に、研究者らは事前にトレーニングされた安定拡散モデルを適応させて、静止画像ではなくビデオを生成しました。その後、最初のモデルがトレーニングされたのと同じビデオとテキストの説明で再度トレーニングされました。最後に、XNUMX つのモデルを組み合わせて、fMRI スキャンとそれに関連するビデオを微調整しました。

結果として得られたシステムは、これまでに見たことのない新鮮な fMRI スキャンを取得し、人間の被験者が撮影したクリップにほぼ似たビデオを生成することができました。d 当時見ていました。完全な一致にはほど遠いものの、AI の出力は一般に元のビデオにかなり近く、群衆のシーンや馬の群れを正確に再現し、多くの場合カラーパレットと一致していました。

システムを評価するために、研究者らは、モデルがシーンのセマンティクスをどの程度理解しているかを評価するように設計されたビデオ分類器を使用しました。たとえば、そのビデオが水族館で泳いでいる魚や、道を歩いている家族の映像であるとモデルが認識したかどうかなどです。たとえイメージが少し違っていたとしても。彼らのモデルのスコアは 85% で、これは最先端のものより 45% 向上しています。

AIが生成するビデオにはまだ不具合があるが、著者らは、この一連の研究は最終的には基礎的な神経科学と将来の両方に応用できる可能性があると述べている。ブレイン・マシン・インターフェース。ただし、彼らはこのテクノロジーの潜在的な欠点も認めています。「個人の生物学的データのプライバシーを確保し、このテクノロジーの悪意のある使用を回避するには、政府の規制と研究コミュニティの努力が必要です」と彼らは書いています。

これはおそらく、AI脳スキャン技術を組み合わせることで、人々が同意なしに他人の思考を侵入的に記録できるようになる可能性があるという懸念へのうなずきだろう。 A不安はあったまた研究者らが基本的にラフを作成するために同様のアプローチを使用したとき、今年初めに声が上がった人々の頭の中の声を転写したもの、ただし、専門家はこれは次のようなことになると指摘しています。不可能ではないにしても非現実的近い将来です。

しかし、これをプライバシーの不気味な侵害と見るか、テクノロジーと連携するエキサイティングな新しい方法と見るかにかかわらず、マシンマインドリーダーは現実に少しずつ近づいているようです。

画像のクレジット：クラウディア・デワルドから Pixabay