Исследователи используют искусственный интеллект для охоты за человеческим интеллектом

10 апреля 2023 г. (Новости Наноуэрк) Мозг — чудесная, загадочная вещь: три фунта мягкой студенистой ткани, посредством которой мы взаимодействуем с миром, генерируем идеи и конструируем смысл и представление. Понимание того, где и как это происходит, уже давно входит в число фундаментальных целей нейробиологии. В последние годы исследователи обратились к искусственному интеллекту, чтобы понять активность мозга, измеряемую с помощью фМРТ, используя модели ИИ на основе данных, чтобы с большей специфичностью понять, о чем люди думают и как эти мысли выглядят в их мозгу. Междисциплинарная группа из Калифорнийского университета в Санта-Барбаре входит в число тех, кто расширяет эти границы, предлагая метод, который применяет глубокое обучение к данным фМРТ для создания сложных реконструкций того, что видели участники исследования. «Существует несколько проектов, которые пытаются преобразовать сигналы фМРТ в изображения, главным образом потому, что нейробиологи хотят понять, как мозг обрабатывает визуальную информацию», — сказал Сикун Лин, ведущий автор статьи, которая появилась на недавней конференции NeurIPS в ноябре 2022 года (“Mind Reader: Reconstructing complex images from brain activities”). По словам Лина, профессора информатики UCSB Амбуджа Сингха и когнитивного нейробиолога Томаса Спрага, полученные изображения, полученные в результате этого исследования, одновременно фотореалистичны и точно отражают исходные «истинные» изображения. Они отметили, что предыдущие реконструкции не создавали изображений с таким же уровнем точности. Ключом к их подходу является то, что в дополнение к изображениям добавляется слой информации посредством текстовых описаний. По словам Лина, этот шаг был сделан для добавления данных для обучения их модели глубокого обучения. Основываясь на общедоступном наборе данных, они использовали CLIP (предварительное обучение контрастному языку-изображению) для кодирования объективных высококачественных текстовых описаний, которые сочетаются с наблюдаемыми изображениями, а затем сопоставили данные фМРТ этих наблюдаемых изображений с пространством CLIP. . После этого они использовали результаты картографических моделей в качестве условий для обучения генеративной модели восстановлению изображения. Полученные реконструкции оказались удивительно близки к исходным изображениям, которые видели испытуемые — фактически, ближе, чем любая предыдущая попытка реконструировать изображения по данным фМРТ. Последующие исследования, в том числе примечательное (“High-resolution image reconstruction with latent diffusion models from human brain activity”) из Японии обрисовали методы эффективного преобразования ограниченных данных в четкие изображения. Сравнение предыдущих работ и нашего пайплайна. Мы используем последний набор данных NSD, который включает в себя более сложные сцены. However, for comparison purposes, we choose four similar images from NSD, each containing a single object “plane”, and show our reconstructions from fMRI signals in fig. b. Реконструкция изображения получается в результате фМРТ с помощью нашего конвейера. Четыре основных изображения имеют зеленую рамку. (Изображение: Сингх и др.) Более того, исследование выявило важный аспект человеческого интеллекта: семантику. «Одна из основных идей этой статьи заключается в том, что визуальные процессы по своей сути семантические», — сказал Лин. Согласно статье, «мозг по своей природе мультимодален», то есть мы используем несколько режимов информации на разных уровнях, чтобы понять смысл визуальной сцены, например, понять, что наиболее заметно, или отношения между объектами в сцене. «Использование только визуального представления может затруднить реконструкцию изображения, — продолжил Лин, — но использование семантического представления, такого как CLIP, которое включает в себя текст, такой как описание изображения, более соответствует тому, как мозг обрабатывает информацию». «Наука заключается в том, может ли структура моделей рассказать вам что-нибудь о том, как работает мозг», — добавил Сингх. «И это то, что мы надеемся попытаться найти». В другом эксперименте, например, исследователи обнаружили, что сигналы мозга фМРТ кодируют много избыточной информации — настолько много, что даже после маскировки более 80% сигнала фМРТ полученные 10–20% содержали достаточно данных для восстановления изображения. в той же категории, что и исходное изображение, хотя они не передавали никакой информации об изображении в конвейер реконструкции сигнала (они работали исключительно на основе данных фМРТ). «Эта работа представляет собой настоящий сдвиг парадигмы в точности и ясности методов реконструкции изображений», — сказал Спрэг. «Предыдущая работа была сосредоточена на чрезвычайно упрощенных стимулах, потому что наши подходы к моделированию были намного проще. Теперь, имея в руках эти новые методы реконструкции изображений, мы можем продвигать эксперименты, которые мы проводим в когнитивно-вычислительной нейробиологии, в сторону использования натуралистических, реалистичных стимулов, не жертвуя при этом нашей способностью делать четкие выводы». На данный момент реконструкция данных мозга в «истинные» изображения продолжает быть трудоемкой и недоступной для обычного использования, не говоря уже о том, что каждая модель специфична для человека, чей мозг генерировал данные фМРТ. Но это не мешает исследователям размышлять о последствиях способности расшифровывать то, что думает человек, вплоть до слоев смысла, которые очень специфичны для каждого разума. «Что меня волнует в этом проекте, так это то, можно ли сохранить когнитивное состояние человека и посмотреть, как эти состояния так уникально определяют его», — сказал Сингх. По словам Спрага, эти методы позволят нейробиологам провести дальнейшие исследования, измеряющие, как мозг меняет свои представления о стимулах — в том числе при представлении надежных и сложных сцен — при изменении задач. «Это критическая разработка, которая ответит на фундаментальные вопросы о том, как мозг представляет информацию во время динамических когнитивных задач, в том числе требующих внимания, памяти и принятия решений», — сказал он. Одной из областей, которую они сейчас изучают, является выяснение того, что и сколько общего между мозгами, чтобы можно было создавать модели ИИ без необходимости каждый раз начинать с нуля. «Основная идея заключается в том, что человеческий мозг многих субъектов имеет некоторые скрытые общие черты», — сказал Кристос Зангос, аспирант из лаборатории Сингха.

• SEO-контент и PR-распределение. Получите усиление сегодня.
• Платоблокчейн. Интеллект метавселенной Web3. Расширение знаний. Доступ здесь.
• Источник: https://www.nanowerk.com/news2/robotics/newsid=62778.php