IA generativa reconstrói vídeos que as pessoas estão assistindo lendo sua atividade cerebral

IA generativa reconstrói vídeos que as pessoas estão assistindo lendo sua atividade cerebral

Carimbo de data / hora: 26 de maio de 2023 10:28
Nó Fonte: 2679952

a habilidadequantidade de máquinas para leia nossas mentes tem progredido constantemente nos últimos anos. Agora, os pesquisadores usaram a tecnologia de geração de vídeo AI para nos dar uma janela para o olho da mente.

O principal motivador por trás das tentativas de interpretar os sinais cerebrais é a esperança de que um dia possamos oferecer novas janelas de comunicação para pessoas em coma ou com várias formas de paralisia. Mas também há esperanças de que a tecnologia possa criar interfaces mais intuitivas entre humanos e máquinas que também possam ter aplicações para pessoas saudáveis.

Até agora, a maioria das pesquisas se concentrou nos esforços para recriar o monólogo internos de pacientes, usando sistemas de IA escolher em que palavras eles estão pensando. Os resultados mais promissores também vieram de implantes cerebrais invasivos que provavelmente não serão uma abordagem prática para a maioria das pessoas.

Agora, porém, pesquisadores da Universidade Nacional de Cingapura e da Universidade Chinesa de Hong Kong mostraram que podem combinar varreduras cerebrais não invasivas e tecnologia de geração de imagens de IA para criar trechos curtos de vídeo que são estranhamente semelhantes aos clipes que os sujeitos estavam assistindo. quando seus dados cerebrais foram coletados.

O trabalho é uma extensão de pesquisa dos mesmos autores publicado no final do ano passado, onde eles mostraram que podiam gerar imagens estáticas que correspondiam aproximadamente às imagens mostradas aos participantes. Isso foi alcançado treinando primeiro um modelo em grandes quantidades de dados coletados usando scanners cerebrais fMRI. Este modelo foi então combinado com a geração de imagem de código aberto AI Stable Diffusion para criar as imagens.

Em um novo artigo publicado no servidor de pré-impressão arXiv, os autores adotam uma abordagem semelhante, mas a adaptam para que o sistema possa interpretar fluxos de dados cerebrais e convertê-los em vídeos em vez de fotos. Primeiro, eles treinaram um modelo em grandes quantidades de fMRI para que ele pudesse aprender as características gerais dessas varreduras cerebrais. Isso foi então aumentado para que pudesse processar uma sucessão de varreduras de fMRI em vez de individuais e, em seguida, treinado novamente em combinações de varreduras de fMRI, os trechos de vídeo que provocaram essa atividade cerebral e descrições de texto.

Separadamente, os pesquisadores adaptaram o modelo Stable Diffusion pré-treinado para produzir vídeo em vez de imagens estáticas. Em seguida, ele foi treinado novamente nos mesmos vídeos e descrições de texto com os quais o primeiro modelo havia sido treinado. Finalmente, os dois modelos foram combinados e ajustados em varreduras fMRI e seus vídeos associados.

O sistema resultante foi capaz de fazer novas varreduras de fMRI que não havia visto antes e gerar vídeos que se assemelhavam amplamente aos clipes de assuntos humanos had estava assistindo na época. Embora longe de ser uma combinação perfeita, a saída da IA ​​era geralmente muito próxima do vídeo original, recriando com precisão cenas de multidão ou manadas de cavalos e geralmente combinando com a paleta de cores.

Para avaliar seu sistema, os pesquisadores usaram um classificador de vídeo projetado para avaliar o quão bem o modelo havia entendido a semântica da cena – por exemplo, se percebeu que o vídeo era de peixes nadando em um aquário ou uma família caminhando por um caminho – mesmo que as imagens fossem ligeiramente diferentes. Seu modelo obteve 85 por cento, o que representa uma melhoria de 45 por cento em relação ao estado da arte.

Embora os vídeos gerados pela IA ainda sejam problemáticos, os autores dizem que essa linha de pesquisa pode ter aplicações tanto na neurociência básica quanto no futuro. interfaces cérebro-máquina. No entanto, eles também reconhecem possíveis desvantagens da tecnologia. “Regulamentos governamentais e esforços das comunidades de pesquisa são necessários para garantir a privacidade dos dados biológicos e evitar qualquer uso malicioso dessa tecnologia”, escrevem eles.

Isso provavelmente é um aceno para as preocupações de que a combinação da tecnologia de escaneamento cerebral por IA possa possibilitar que as pessoas registrem intrusivamente os pensamentos de outras pessoas sem o seu consentimento. Aansiedades eram tb expresso no início deste ano, quando os pesquisadores usaram uma abordagem semelhante para criar essencialmente um esboço transcrição da voz dentro da cabeça das pessoas, embora especialistas tenham apontado que isso seria impraticável se não impossível para um futuro próximo.

Mas se você vê isso como uma invasão assustadora de sua privacidade ou uma nova maneira empolgante de interagir com a tecnologia, parece que os leitores de mentes de máquinas estão se aproximando da realidade.

Crédito de imagem: Claudia Dewald da P

Carimbo de hora:

Mais de Singularity Hub