Teadlased kasutavad tehisintellekti inimintellekti jahtimiseks

Teadlased kasutavad tehisintellekti inimintellekti jahtimiseks

Allikasõlm: 2575350
10. aprill 2023 (Nanowerki uudised) Aju on imeline, salapärane asi: kolm naela pehmet želatiinset kudet, mille kaudu suhtleme maailmaga, genereerime ideid ning loome tähendusi ja esitusviisi. Mõistmine, kus ja kuidas see juhtub, on pikka aega olnud neuroteaduse põhieesmärkide hulgas. Viimastel aastatel on teadlased pöördunud tehisintellekti poole, et mõista fMRI-ga mõõdetud ajutegevust, muutes tehisintellekti mudelid andmetele, püüdes üha täpsemini mõista, mida inimesed mõtlevad ja kuidas need mõtted nende ajus välja näevad. UC Santa Barbara interdistsiplinaarne meeskond on üks neid piire nihutavate meetoditega, mis rakendab fMRI andmetele sügavat õppimist, et luua keerukaid rekonstruktsioone sellest, mida uuritavad nägid. "On mitmeid projekte, mis üritavad fMRI signaale kujutisteks tõlkida, peamiselt seetõttu, et neuroteadlased tahavad mõista, kuidas ajud visuaalset teavet töötlevad," ütles Sikun Lin, hiljutisel NeurIPS-i konverentsil 2022. aasta novembris ilmunud artikli juhtiv autor.“Mind Reader: Reconstructing complex images from brain activities”). Lini, UCSB arvutiteaduse professori Ambuj Singhi ja kognitiivse neuroteadlase Thomas Sprague'i sõnul on selle uuringu tulemusel saadud pildid nii fotorealistlikud kui ka peegeldavad täpselt esialgseid "põhitõe" pilte. Nad märkisid, et varasemad ümberehitused ei loonud sama täpsusega pilte. Nende lähenemisviisi võtmeks on see, et lisaks piltidele lisatakse tekstiliste kirjelduste kaudu ka teabekiht, mis Lini sõnul tehti andmete lisamiseks, et treenida nende sügava õppimise mudelit. Tuginedes avalikult kättesaadavale andmekogumile, kasutasid nad CLIP-i (Contrastive Language-Image Pre-training), et kodeerida objektiivseid ja kvaliteetseid tekstikirjeldusi, mis seostuvad vaadeldavate piltidega, ning seejärel kaardistasid nende vaadeldud kujutiste fMRI andmed CLIP-ruumi. . Sealt edasi kasutasid nad kaardistamismudelite väljundit tingimustena generatiivse mudeli koolitamiseks kujutise rekonstrueerimiseks. Saadud rekonstruktsioonid olid märkimisväärselt lähedased katsealuste poolt vaadatud algsetele piltidele - tegelikult lähemale kui ükski varasem katse fMRI andmete põhjal pilte rekonstrueerida. Järgnenud uuringud, sealhulgas märkimisväärne (“High-resolution image reconstruction with latent diffusion models from human brain activity”) Jaapanist, on visandanud meetodid piiratud andmete tõhusaks muutmiseks selgeteks kujutisteks. tekst Võrdlused varasemate tööde ja meie torustiku vahel. Kasutame hiljutist NSD-andmestikku, mis hõlmab keerukamaid stseene. However, for comparison purposes, we choose four similar images from NSD, each containing a single object “plane”, and show our reconstructions from fMRI signals in fig. b. Kujutise rekonstrueerimise tulemused fMRI-st meie torujuhtme kaudu. Neli tõepõhist pilti on rohelise raamiga. (Pilt: Singh et al.) Veelgi enam, uuring paljastas ülevaate inimese intelligentsuse olulisest aspektist: semantikast. "Selle artikli üks peamisi sisu on see, et visuaalsed protsessid on oma olemuselt semantilised, " ütles Lin. Dokumendi kohaselt on aju "loomulikult multimodaalne", see tähendab, et me kasutame visuaalsest stseenist tähenduse saamiseks erinevatel tasanditel mitut teaberežiimi, näiteks seda, mis on silmapaistev, või stseenis olevate objektide omavahelised suhted. "Ainult visuaalse esituse kasutamine võib muuta pildi rekonstrueerimise keerulisemaks," jätkas Lin, "kuid sellise semantilise esituse kasutamine nagu CLIP, mis sisaldab teksti, näiteks pildi kirjeldust, on paremini kooskõlas sellega, kuidas aju teavet töötleb." "Teadus on selles, kas mudelite struktuur võib teile midagi öelda aju töötamise kohta," lisas Singh. "Ja see on see, mida me loodame proovida leida." Näiteks ühes teises katses leidsid teadlased, et fMRI ajusignaalid kodeerisid palju üleliigset teavet – nii palju, et isegi pärast enam kui 80% fMRI signaali maskeerimist sisaldas saadud 10–20% piisavalt andmeid pildi rekonstrueerimiseks. algse kujutisega samas kategoorias, kuigi nad ei sisestanud signaali rekonstrueerimise torujuhtmesse mingit kujutise teavet (nad töötasid ainult fMRI andmete põhjal). "See töö kujutab endast tõelist paradigma muutust kujutise rekonstrueerimise meetodite täpsuses ja selguses, " ütles Sprague. "Eelmine töö keskendus äärmiselt lihtsustatud stiimulitele, kuna meie modelleerimismeetodid olid palju lihtsamad. Nüüd, kui need uued kujutise rekonstrueerimise meetodid on käes, saame kognitiivse arvutusliku neuroteaduse katseid edendada naturalistlike, realistlike stiimulite kasutamise suunas, ohverdamata oma võimet teha selgeid järeldusi. Hetkel on ajuandmete "tõelisteks" kujutisteks rekonstrueerimine jätkuvalt töömahukas ja tavakasutusest väljas, rääkimata sellest, et iga mudel on spetsiifiline inimesele, kelle aju fMRI andmed genereeris. Kuid see ei takista teadlasi mõtisklemast selle üle, millised tagajärjed on võimel dekodeerida seda, mida inimene mõtleb, kuni tähenduskihtideni, mis on iga meele jaoks ülispetsiifilised. "Minu arvates on selle projekti juures põnev see, kas võib olla võimalik säilitada inimese kognitiivset seisundit ja näha, kuidas need seisundid neid nii ainulaadselt määratlevad," ütles Singh. Sprague'i sõnul võimaldaksid need meetodid neuroteadlastel läbi viia täiendavaid uuringuid, mis mõõdavad, kuidas ajud muudavad oma stiimulite esitusi - sealhulgas tugevate ja keeruliste stseenide esitusi - ülesannete muutumise ajal. "See on kriitiline areng, mis annab vastused põhiküsimustele selle kohta, kuidas ajud esindavad teavet dünaamiliste kognitiivsete ülesannete, sealhulgas tähelepanu, mälu ja otsustusvõimet nõudvate ülesannete ajal," ütles ta. Üks valdkondi, mida nad praegu uurivad, on välja selgitada, mida ja kui palju ajude vahel jagatakse, et tehisintellekti mudeleid saaks konstrueerida ilma, et peaks iga kord nullist alustama. "Põhimõtteks on see, et paljude subjektide inimaju jagab varjatud varjatud ühiseid jooni," ütles Singhi labori doktorant Christos Zangos.

Ajatempel:

Veel alates Nanowerk