Генеративный ИИ реконструирует видео, которые люди смотрят, считывая активность их мозга

Генеративный ИИ реконструирует видео, которые люди смотрят, считывая активность их мозга

Отметка времени: 26 мая 2023 г., 10:28
Исходный узел: 2679952

Способностьколичество машин для читать наши мысли в последние годы неуклонно прогрессирует. Теперь исследователи использовали технологию генерации видео с помощью ИИ, чтобы дать нам возможность заглянуть в мысленный взор.

Основной движущей силой попыток интерпретировать сигналы мозга является надежда на то, что однажды мы сможем предложить новые возможности общения для тех, кто находится в коме или с различными формами паралича. Но также есть надежда, что эта технология сможет создать более интуитивно понятные интерфейсы между людьми и машинами, которые также могут найти применение для здоровых людей.

До сих пор большинство исследований было сосредоточено на попытках воссоздать внутренний монолог.s пациентов с помощью систем искусственного интеллекта выбрать какие слова они думают. Наиболее многообещающие результаты также получены от инвазивных имплантатов мозга, которые вряд ли будут практичным подходом для большинства людей.

Теперь, однако, исследователи из Национального университета Сингапура и Китайского университета Гонконга показали, что они могут комбинировать неинвазивное сканирование мозга и технологию генерации изображений ИИ для создания коротких фрагментов видео, которые невероятно похожи на клипы, которые смотрели испытуемые. когда были собраны данные об их мозге.

Работа является продолжением исследования тех же авторов опубликовано в конце прошлого года, где они показали, что могут генерировать неподвижные изображения, которые примерно соответствуют изображениям, которые были показаны субъектам. Это было достигнуто путем обучения одной модели на больших объемах данных, собранных с помощью сканеров мозга фМРТ. Затем эта модель была объединена с AI Stable Diffusion для генерации изображений с открытым исходным кодом для создания изображений.

В новой статье опубликовано на сервер препринтов ArXiv, авторы используют аналогичный подход, но адаптируют его так, чтобы система могла интерпретировать потоки данных мозга и преобразовывать их в видео, а не в фотографии. Во-первых, они обучили одну модель большому количеству фМРТ, чтобы она могла изучить общие особенности этих сканирований мозга. Затем он был расширен, чтобы он мог обрабатывать последовательность сканов фМРТ, а не отдельные, а затем снова обучался на комбинациях сканов фМРТ, фрагментов видео, которые вызвали эту активность мозга, и текстовых описаний.

Отдельно исследователи адаптировали предварительно обученную модель стабильной диффузии для создания видео, а не неподвижных изображений. Затем ее снова обучили на тех же видео и текстовых описаниях, на которых обучалась первая модель. Наконец, две модели были объединены и точно настроены на сканах фМРТ и связанных с ними видео.

В результате система смогла делать свежие снимки фМРТ, которых она раньше не видела, и генерировать видео, которые в целом напоминали клипы, снятые людьми.d смотрел в свое время. Хотя это далеко не идеальное совпадение, вывод ИИ в целом был довольно близок к исходному видео, точно воссоздавая массовые сцены или табуны лошадей и часто соответствуя цветовой палитре.

Чтобы оценить свою систему, исследователи использовали классификатор видео, предназначенный для оценки того, насколько хорошо модель поняла семантику сцены — например, поняла ли она, что на видео изображена рыба, плавающая в аквариуме, или семья, идущая по дорожке. даже если образы были немного другими. Их модель набрала 85 %, что на 45 % больше, чем у самой современной модели.

Хотя видео, генерируемые ИИ, по-прежнему глючат, авторы говорят, что это направление исследований может в конечном итоге найти применение как в базовой нейробиологии, так и в будущем. мозг-машина интерфейсы. Тем не менее, они также признают потенциальные недостатки технологии. «Для обеспечения конфиденциальности биологических данных и недопущения злонамеренного использования этой технологии необходимы правительственные постановления и усилия научного сообщества», — пишут они.

Скорее всего, это намек на опасения, что комбинация технологии сканирования мозга ИИ может позволить людям навязчиво записывать чужие мысли без их согласия. Aбеспокойства были Также озвученный ранее в этом году, когда исследователи использовали аналогичный подход, чтобы создать грубую расшифровка голоса в головах людей, хотя эксперты указывали, что это будет непрактично, если не невозможно в обозримом будущем.

Но видите ли вы это как жуткое вторжение в вашу частную жизнь или захватывающий новый способ взаимодействия с технологиями, кажется, что машины чтения разума приближаются к реальности.

Изображение Фото: Клаудия Девальд от Pixabay

Отметка времени:

Больше от Singularity Hub