Des chercheurs utilisent l'intelligence artificielle pour chasser l'intelligence humaine

10 avril 2023 (Actualités Nanowerk) Le cerveau est une chose merveilleuse et mystérieuse : trois livres de tissu mou et gélatineux à travers lequel nous interagissons avec le monde, générons des idées et construisons du sens et de la représentation. Comprendre où et comment cela se produit fait depuis longtemps partie des objectifs fondamentaux des neurosciences. Ces dernières années, les chercheurs se sont tournés vers l'intelligence artificielle pour donner un sens à l'activité cérébrale telle que mesurée par l'IRMf, en tournant des modèles d'IA sur les données dans le but de comprendre, avec une spécificité croissante, ce que les gens pensent et à quoi ressemblent ces pensées dans leur cerveau. Une équipe interdisciplinaire de l'UC Santa Barbara fait partie de ceux qui repoussent ces limites, avec une méthode qui applique un apprentissage en profondeur aux données IRMf pour créer des reconstructions complexes de ce que les sujets de l'étude voyaient. "Il existe plusieurs projets qui tentent de traduire les signaux d'IRMf en images, principalement parce que les neuroscientifiques veulent comprendre comment le cerveau traite les informations visuelles", a déclaré Sikun Lin, l'auteur principal d'un article paru lors d'une récente conférence NeurIPS en novembre 2022 ("Mind Reader : Reconstruire des images complexes à partir d'activités cérébrales"). Selon Lin, Ambuj Singh, professeur d'informatique à l'UCSB, et Thomas Sprague, neuroscientifique cognitif, les images résultantes générées par cette étude sont à la fois photoréalistes et reflètent avec précision les images originales de la "vérité terrain". Ils ont noté que les reconstructions précédentes ne créaient pas d'images avec le même niveau de fidélité. La clé de leur approche est qu'en plus des images, une couche d'informations est ajoutée par le biais de descriptions textuelles, une décision qui, selon Lin, a été prise pour ajouter des données pour former leur modèle d'apprentissage en profondeur. S'appuyant sur un ensemble de données accessible au public, ils ont utilisé CLIP (Contrastive Language-Image Pre-training) pour coder des descriptions textuelles objectives et de haute qualité qui s'associent aux images observées, puis ont mappé les données IRMf de ces images observées sur l'espace CLIP. . À partir de là, ils ont utilisé la sortie des modèles de cartographie comme conditions pour entraîner un modèle génératif afin de reconstruire l'image. Les reconstructions résultantes se sont remarquablement rapprochées des images originales vues par les sujets - plus proches, en fait, que toute tentative précédente de reconstruction d'images à partir de données IRMf. Les études qui ont suivi, dont une notable ("Reconstruction d'images haute résolution avec des modèles de diffusion latente à partir de l'activité cérébrale humaine") du Japon, ont décrit des méthodes pour manipuler efficacement des données limitées en images claires. Comparaisons entre les travaux précédents et notre pipeline. Nous utilisons le récent ensemble de données NSD qui implique des scènes plus complexes. Cependant, à des fins de comparaison, nous choisissons quatre images similaires de NSD, chacune contenant un seul «plan» d'objet, et montrons nos reconstructions à partir de signaux IRMf sur la fig. b. La reconstruction d'image résulte de l'IRMf par notre pipeline. Quatre images de vérité terrain sont encadrées en vert. (Image : Singh et al.) De plus, l'étude a révélé un aperçu d'un aspect important de l'intelligence humaine : la sémantique. "L'un des points essentiels de cet article est que les processus visuels sont intrinsèquement sémantiques", a déclaré Lin. Selon l'article, "le cerveau est naturellement multimodal", c'est-à-dire que nous utilisons plusieurs modes d'information à différents niveaux pour obtenir un sens à partir d'une scène visuelle, comme ce qui est saillant ou les relations entre les objets de la scène. "L'utilisation d'une représentation visuelle uniquement pourrait rendre plus difficile la reconstruction de l'image", a poursuivi Lin, "mais l'utilisation d'une représentation sémantique comme CLIP qui incorpore du texte tel que la description de l'image, est plus cohérente avec la façon dont le cerveau traite l'information." "La science dans ce domaine est de savoir si la structure des modèles peut vous dire quelque chose sur le fonctionnement du cerveau", a ajouté Singh. "Et c'est ce que nous espérons essayer de trouver." Dans une autre expérience, par exemple, les chercheurs ont découvert que les signaux cérébraux IRMf encodaient beaucoup d'informations redondantes - à tel point que même après avoir masqué plus de 80% du signal IRMf, les 10 à 20% résultants contenaient suffisamment de données pour reconstruire une image. dans la même catégorie que l'image d'origine, même s'ils n'ont fourni aucune information d'image dans le pipeline de reconstruction du signal (ils travaillaient uniquement à partir de données IRMf). "Ce travail représente un véritable changement de paradigme dans la précision et la clarté des méthodes de reconstruction d'image", a déclaré Sprague. « Les travaux précédents se concentraient sur des stimuli extrêmement simplistes, car nos approches de modélisation étaient beaucoup plus simples. Maintenant, avec ces nouvelles méthodes de reconstruction d'images en main, nous pouvons faire progresser les expériences que nous menons en neurosciences computationnelles cognitives vers l'utilisation de stimuli naturalistes et réalistes sans sacrifier notre capacité à générer des conclusions claires. À l'heure actuelle, la reconstruction des données cérébrales en «vraies» images continue d'être laborieuse et hors de portée d'une utilisation ordinaire, sans parler du fait que chaque modèle est spécifique à la personne dont le cerveau a généré les données IRMf. Mais cela n'empêche pas les chercheurs de réfléchir aux implications de la capacité à décoder ce qu'une personne pense, jusqu'aux couches de sens hyper spécifiques à chaque esprit. "Ce que je trouve passionnant dans ce projet, c'est de savoir s'il est possible de préserver l'état cognitif d'une personne et de voir comment ces états les définissent de manière si unique", a déclaré Singh. Selon Sprague, ces méthodes permettraient aux neuroscientifiques de mener d'autres études mesurant comment les cerveaux modifient leurs représentations des stimuli - y compris dans les représentations de scènes robustes et compliquées - à travers les changements de tâches. "Il s'agit d'un développement critique qui répondra à des questions fondamentales sur la façon dont le cerveau représente l'information lors de tâches cognitives dynamiques, y compris celles nécessitant de l'attention, de la mémoire et de la prise de décision", a-t-il déclaré. L'un des domaines qu'ils explorent actuellement consiste à découvrir ce qui est partagé entre les cerveaux et combien, afin que des modèles d'IA puissent être construits sans avoir à repartir de zéro à chaque fois. "L'idée sous-jacente est que le cerveau humain de nombreux sujets partage des points communs latents cachés", a déclaré Christos Zangos, doctorant dans le laboratoire de Singh.

• Contenu propulsé par le référencement et distribution de relations publiques. Soyez amplifié aujourd'hui.
• Platoblockchain. Intelligence métaverse Web3. Connaissance Amplifiée. Accéder ici.
• La source: https://www.nanowerk.com/news2/robotics/newsid=62778.php