研究人员使用人工智能来寻找人类智能

研究人员使用人工智能来寻找人类智能

时间戳记：10年2023月1日下午04:XNUMX
源节点： 2575350
10 年 2023 月 XNUMX 日 (Nanowerk新闻）大脑是一个奇妙而神秘的东西：三磅重的软凝胶组织，我们通过它与世界互动，产生想法并构建意义和表征。长期以来，了解这种情况发生的地点和方式一直是神经科学的基本目标之一。近年来，研究人员转向人工智能来理解功能磁共振成像测量的大脑活动，将人工智能模型转化为数据，以越来越明确地了解人们在想什么以及这些想法在他们的大脑中是什么样子。加州大学圣巴巴拉分校的一个跨学科团队正在突破这些界限，他们采用了一种方法，将深度学习应用于功能磁共振成像数据，以对研究对象所看到的内容进行复杂的重建。 “有几个项目试图将 fMRI 信号转化为图像，主要是因为神经科学家想要了解大脑如何处理视觉信息，”2022 年 XNUMX 月最近举行的 NeurIPS 会议上发表的一篇论文的主要作者 Sikun Lin 说道。“Mind Reader: Reconstructing complex images from brain activities”）。 Lin、UCSB 计算机科学教授 Ambuj Singh 和认知神经科学家 Thomas Sprague 表示，这项研究生成的图像既逼真又准确地反映了原始的“地面真实”图像。他们指出，以前的重建并没有创建具有相同保真度的图像。他们方法的关键是，除了图像之外，还通过文本描述添加一层信息，林说此举是为了添加数据来训练他们的深度学习模型。他们在公开可用的数据集的基础上，使用 CLIP（对比语言图像预训练）对与观察到的图像配对的客观、高质量的文本描述进行编码，然后将这些观察到的图像的 fMRI 数据映射到 CLIP 空间。从那里，他们使用映射模型的输出作为条件来训练生成模型来重建图像。由此产生的重建结果非常接近受试者看到的原始图像——事实上，比之前从功能磁共振成像数据重建图像的任何尝试都更接近。随后的研究，包括一项值得注意的研究（“High-resolution image reconstruction with latent diffusion models from human brain activity”）来自日本，概述了有效地将有限数据处理成清晰图像的方法。 文本 之前的作品和我们的流程之间的比较。 我们正在使用最新的 NSD 数据集，其中涉及更复杂的场景。 However, for comparison purposes, we choose four similar images from NSD, each containing a single object “plane”, and show our reconstructions from fMRI signals in fig. b. 通过我们的流程从 fMRI 中获得图像重建结果。 四个地面实况图像是绿框的。 （图片来源：Singh 等人）此外，这项研究揭示了对人类智能的一个重要方面的洞察：语义。 “本文的主要要点之一是视觉过程本质上是语义的，”林说。 根据该论文，“大脑本质上是多模式的”，也就是说，我们使用不同级别的多种信息模式来从视觉场景中获取意义，例如显着的内容或场景中物体之间的关系。 “仅使用视觉表示可能会使重建图像变得更加困难，”Lin 继续说道，“但使用像 CLIP 这样的语义表示，其中包含图像描述等文本，与大脑处理信息的方式更加一致。” “这其中的科学在于模型的结构是否可以告诉你有关大脑如何工作的一些信息，”辛格补充道。 “这就是我们希望尝试找到的。”例如，在另一项实验中，研究人员发现 fMRI 大脑信号编码了大量冗余信息，以至于即使屏蔽了 80% 以上的 fMRI 信号，所得的 10-20% 仍包含足够的数据来重建图像与原始图像属于同一类别，即使它们没有将任何图像信息输入到信号重建管道中（它们仅根据功能磁共振成像数据进行工作）。 “这项工作代表了图像重建方法的准确性和清晰度的真正范式转变，”斯普拉格说。 “之前的工作主要集中在极其简单的刺激上，因为我们的建模方法要简单得多。 现在，有了这些新的图像重建方法，我们就可以在认知计算神经科学中推进我们在认知计算神经科学中进行的实验，以使用自然、现实的刺激，而不会牺牲我们得出清晰结论的能力。”目前，将大脑数据重建为“真实”图像仍然是一项劳动密集型工作，超出了普通用途的范围，更不用说每个模型都是特定于大脑生成功能磁共振成像数据的人的。 但这并不能阻止研究人员思考能够解码一个人的想法的含义，直到每个人的思维都具有高度特定的含义层次。 辛格说：“我对这个项目感到兴奋的是，它是否有可能保留一个人的认知状态，并看看这些状态如何如此独特地定义它们。” 斯普拉格表示，这些方法将使神经科学家能够进行进一步的研究，测量大脑如何随着任务的变化而改变其对刺激的表征——包括对鲁棒、复杂场景的表征。 他说：“这是一项关键的进展，它将回答关于大脑在动态认知任务中如何表示信息的基本问题，包括那些需要注意力、记忆和决策的任务。” 他们现在正在探索的领域之一是找出大脑之间共享的内容和数量，这样就可以构建人工智能模型，而不必每次都从零开始。 辛格实验室的博士生研究员克里斯托斯·赞戈斯（Christos Zangos）说：“基本观点是，许多学科的人脑都有一些隐藏的潜在共性。”

时间戳记：

更多来自 Nanowerk