Investigadores usan inteligencia artificial para buscar inteligencia humana

Investigadores usan inteligencia artificial para buscar inteligencia humana

Nodo de origen: 2575350
10 abr 2023 (Noticias de Nanowerk) El cerebro es una cosa maravillosa y misteriosa: tres libras de tejido gelatinoso suave a través del cual interactuamos con el mundo, generamos ideas y construimos significado y representación. Comprender dónde y cómo sucede esto ha sido durante mucho tiempo uno de los objetivos fundamentales de la neurociencia. En los últimos años, los investigadores recurrieron a la inteligencia artificial para dar sentido a la actividad cerebral medida por fMRI, convirtiendo los modelos de IA en los datos en un esfuerzo por comprender, con mayor especificidad, qué piensan las personas y cómo se ven esos pensamientos en sus cerebros. Un equipo interdisciplinario de la Universidad de California en Santa Bárbara se encuentra entre los que superan esos límites, con un método que aplica el aprendizaje profundo a los datos de fMRI para crear reconstrucciones complejas de lo que estaban viendo los sujetos del estudio. “Hay varios proyectos que intentan traducir las señales de fMRI en imágenes, principalmente porque los neurocientíficos quieren comprender cómo el cerebro procesa la información visual”, dijo Sikun Lin, autor principal de un artículo que apareció en una reciente conferencia de NeurIPS en noviembre de 2022 (“Mind Reader: Reconstruyendo imágenes complejas a partir de actividades cerebrales”). Según Lin, el profesor de ciencias de la computación de la UCSB, Ambuj Singh, y el neurocientífico cognitivo Thomas Sprague, las imágenes resultantes generadas por este estudio son fotorrealistas y reflejan con precisión las imágenes originales de la "verdad del terreno". Señalaron que las reconstrucciones anteriores no crearon imágenes con el mismo nivel de fidelidad. La clave de su enfoque es que, además de las imágenes, se agrega una capa de información a través de descripciones textuales, un movimiento que, según Lin, se hizo para agregar datos para entrenar su modelo de aprendizaje profundo. Sobre la base de un conjunto de datos disponible públicamente, utilizaron CLIP (Pre-entrenamiento de imagen de lenguaje contrastivo) para codificar descripciones de texto objetivas y de alta calidad que se emparejan con las imágenes observadas, y luego mapearon los datos de fMRI de esas imágenes observadas en el espacio CLIP. . A partir de ahí, utilizaron la salida de los modelos de mapeo como condiciones para entrenar un modelo generativo para reconstruir la imagen. Las reconstrucciones resultantes se acercaron notablemente a las imágenes originales vistas por los sujetos, más cerca, de hecho, que cualquier intento anterior de reconstruir imágenes a partir de datos de fMRI. Los estudios que han seguido, incluido uno notable (“Reconstrucción de imágenes de alta resolución con modelos de difusión latente de la actividad cerebral humana”) de Japón, han descrito métodos para manipular eficientemente datos limitados en imágenes claras. texto Comparaciones entre trabajos anteriores y nuestro pipeline. Estamos utilizando el conjunto de datos NSD reciente que involucra escenas más complejas. Sin embargo, con fines de comparación, elegimos cuatro imágenes similares de NSD, cada una de las cuales contiene un "plano" de un solo objeto, y mostramos nuestras reconstrucciones a partir de señales de fMRI en la fig. b. Resultados de reconstrucción de imágenes de fMRI por nuestra tubería. Cuatro imágenes reales del suelo están enmarcadas en verde. (Imagen: Singh et al.) Además, el estudio reveló información sobre un aspecto importante de la inteligencia humana: la semántica. “Una de las principales esencias de este artículo es que los procesos visuales son inherentemente semánticos”, dijo Lin. Según el documento, "el cerebro es naturalmente multimodal", es decir, usamos múltiples modos de información en diferentes niveles para obtener significado de una escena visual, como lo que es más destacado o las relaciones entre los objetos en la escena. "Usar solo una representación visual puede dificultar la reconstrucción de la imagen", continuó Lin, "pero usar una representación semántica como CLIP que incorpora texto como la descripción de la imagen, es más coherente con la forma en que el cerebro procesa la información". “La ciencia en esto es si la estructura de los modelos puede decirte algo sobre cómo funciona el cerebro”, agregó Singh. “Y eso es lo que esperamos tratar de encontrar”. En otro experimento, por ejemplo, los investigadores encontraron que las señales cerebrales de resonancia magnética funcional codificaban mucha información redundante, tanta que incluso después de enmascarar más del 80 % de la señal de resonancia magnética funcional, el 10-20 % resultante contenía suficientes datos para reconstruir una imagen. dentro de la misma categoría que la imagen original, a pesar de que no introdujeron ninguna información de imagen en la canalización de reconstrucción de la señal (estaban trabajando únicamente a partir de datos de fMRI). “Este trabajo representa un verdadero cambio de paradigma en la precisión y claridad de los métodos de reconstrucción de imágenes”, dijo Sprague. “El trabajo anterior se centró en estímulos extremadamente simplistas, porque nuestros enfoques de modelado eran mucho más simples. Ahora, con estos nuevos métodos de reconstrucción de imágenes en la mano, podemos avanzar en los experimentos que llevamos a cabo en la neurociencia computacional cognitiva hacia el uso de estímulos naturales y realistas sin sacrificar nuestra capacidad para generar conclusiones claras”. Por el momento, la reconstrucción de datos cerebrales en imágenes "verdaderas" sigue siendo laboriosa y está fuera del alcance del uso ordinario, sin mencionar el hecho de que cada modelo es específico para la persona cuyo cerebro generó los datos de fMRI. Pero eso no impide que los investigadores reflexionen sobre las implicaciones de poder decodificar lo que una persona está pensando, hasta las capas de significado que son hiperespecíficas para cada mente. “Lo que encuentro emocionante de este proyecto es si sería posible preservar el estado cognitivo de una persona y ver cómo estos estados los definen de manera tan única”, dijo Singh. Según Sprague, estos métodos permitirían a los neurocientíficos realizar más estudios para medir cómo los cerebros cambian sus representaciones de estímulos, incluso en representaciones de escenas robustas y complicadas, a través de cambios en las tareas. “Este es un desarrollo crítico que responderá preguntas fundamentales sobre cómo los cerebros representan la información durante las tareas cognitivas dinámicas, incluidas aquellas que requieren atención, memoria y toma de decisiones”, dijo. Una de las áreas que ahora están explorando es descubrir qué y cuánto se comparte entre los cerebros para que los modelos de IA puedan construirse sin tener que comenzar desde cero cada vez. "La idea subyacente es que el cerebro humano en muchos temas comparte algunos puntos en común latentes ocultos", dijo Christos Zangos, estudiante de doctorado e investigador en el laboratorio de Singh.

Sello de tiempo:

Mas de Nanowerk