Generative AI реконструює відео, які люди дивляться, зчитуючи активність їхнього мозку

Generative AI реконструює відео, які люди дивляться, зчитуючи активність їхнього мозку

Мітка часу: 26 травня 2023 10:28
Вихідний вузол: 2679952

Здібностіти машин до читати наші думки неухильно прогресує в останні роки. Тепер дослідники використали технологію генерації відео штучного інтелекту, щоб дати нам вікно в уявне око.

Основним рушієм спроб інтерпретувати сигнали мозку є надія, що одного разу ми зможемо запропонувати нові вікна спілкування для тих, хто перебуває в комі або з різними формами паралічу. Але є також сподівання, що ця технологія може створити більш інтуїтивно зрозумілі інтерфейси між людьми та машинами, які також можуть мати застосування для здорових людей.

Поки більшість досліджень зосереджено на спробах відтворити внутрішній монологs пацієнтів, використовуючи системи ШІ вибирати які слова вони думають. Найбільш багатообіцяючі результати також отримали інвазивні імплантати мозку, які навряд чи будуть практичним підходом для більшості людей.

Однак тепер дослідники з Національного університету Сінгапуру та Китайського університету Гонконгу показали, що вони можуть поєднати неінвазивне сканування мозку та технологію генерації зображень штучного інтелекту, щоб створити короткі фрагменти відео, надзвичайно схожі на кліпи, які суб’єкти дивилися. коли були зібрані дані про їхній мозок.

Робота є продовженням досліджень тих же авторів опубліковано наприкінці минулого року, де вони показали, що можуть створювати нерухомі зображення, які приблизно відповідають зображенням, які були показані. Це було досягнуто шляхом спочатку навчання однієї моделі на великих обсягах даних, зібраних за допомогою фМРТ-сканерів мозку. Потім цю модель було об’єднано з програмою створення зображень із відкритим кодом AI Stable Diffusion для створення зображень.

У новому документі опубліковано на сервер препринтів ArXiv, автори використовують подібний підхід, але адаптують його так, щоб система могла інтерпретувати потоки даних мозку та перетворювати їх у відео, а не в кадри. Спочатку вони навчили одну модель на великій кількості фМРТ, щоб вона могла вивчити загальні особливості цих сканувань мозку. Потім це було доповнено, щоб він міг обробляти послідовність фМРТ-сканувань, а не окремі, а потім знову навчився на комбінаціях фМРТ-сканувань, відеофрагментів, які викликали таку мозкову активність, і текстових описів.

Окремо дослідники адаптували попередньо навчену модель стабільної дифузії для створення відео, а не нерухомих зображень. Потім його знову навчили на тих самих відео та текстових описах, на яких навчалася перша модель. Нарешті, дві моделі були об’єднані та налаштовані разом на фМРТ-сканах та пов’язаних із ними відео.

Отримана система змогла робити свіжі фМРТ-скани, яких вона раніше не бачила, і створювати відео, які загалом нагадували кліпи, зроблені людьми.d дивився в той час. Незважаючи на те, що результат штучного інтелекту був далекий від ідеального збігу, він був досить близьким до оригінального відео, точно відтворюючи сцени натовпу чи табуни коней і часто відповідаючи палітрі кольорів.

Щоб оцінити свою систему, дослідники використовували відеокласифікатор, розроблений для того, щоб оцінити, наскільки добре модель зрозуміла семантику сцени — наприклад, чи усвідомила вона, що на відео зображено рибу, що плаває в акваріумі, або сім’ю, що йде доріжкою — навіть якщо образи були дещо іншими. Їхня модель набрала 85 відсотків, що на 45 відсотків більше, ніж у найсучаснішої моделі.

Незважаючи на те, що відео, які генерує ШІ, все ще погані, автори кажуть, що цей напрямок досліджень може зрештою мати застосування як у фундаментальній нейронауці, так і в майбутньому інтерфейси мозок-машина. Однак вони також визнають потенційні недоліки технології. «Для забезпечення конфіденційності біологічних даних і уникнення будь-якого зловмисного використання цієї технології потрібні державні постанови та зусилля дослідницьких спільнот», — пишуть вони.

Ймовірно, це пояснює занепокоєння, що поєднання технології штучного інтелекту може дозволити людям нав’язливо записувати чужі думки без їхньої згоди. Aхвилювання були Також озвучений на початку цього року, коли дослідники використали подібний підхід, щоб по суті створити грубу транскрипція голосу в головах людей, хоча експерти зазначали, що це буде непрактично, якщо не неможливо в найближчому майбутньому.

Але незалежно від того, чи сприймаєте ви це як жахливе вторгнення у ваше приватне життя чи як новий захоплюючий спосіб взаємодії з технологіями, здається, що машинні читачі думок наближаються до реальності.

Зображення Фото: Клаудія Девальд від Pixabay

Часова мітка:

Більше від Хаб сингулярності