Tutkijat käyttävät tekoälyä metsästääkseen ihmisälyä

10. huhtikuuta 2023 (Nanowerk-uutiset) Aivot ovat upea, salaperäinen asia: kolme kiloa pehmeää hyytelömäistä kudosta, jonka kautta olemme vuorovaikutuksessa maailman kanssa, luomme ideoita ja rakennamme merkitystä ja esitystä. Sen ymmärtäminen, missä ja miten tämä tapahtuu, on ollut pitkään yksi neurotieteen perustavoitteista. Viime vuosina tutkijat ovat kääntyneet tekoälyn puoleen saadakseen järkeä fMRI:llä mitatusta aivojen toiminnasta, kääntämällä tekoälymalleja datan perusteella ymmärtääkseen entistä tarkemmalla tavalla, mitä ihmiset ajattelevat ja miltä ne ajatukset näyttävät heidän aivoissaan. UC Santa Barbaran poikkitieteellinen tiimi on yksi niistä, jotka rikkovat näitä rajoja. Menetelmä soveltaa syväoppimista fMRI-tietoihin monimutkaisten rekonstruktioiden luomiseksi siitä, mitä tutkittavat näkivät. "On useita projekteja, jotka yrittävät muuntaa fMRI-signaaleja kuviksi, lähinnä siksi, että neurotieteilijät haluavat ymmärtää, kuinka aivot käsittelevät visuaalista tietoa", sanoi Sikun Lin, äskettäisessä NeurIPS-konferenssissa marraskuussa 2022 julkaistun artikkelin johtava kirjoittaja.“Mind Reader: Reconstructing complex images from brain activities”). Linin, UCSB:n tietojenkäsittelytieteen professori Ambuj Singhin ja kognitiivisen neurotieteilijän Thomas Spragen mukaan tämän tutkimuksen tuottamat kuvat ovat sekä fotorealistisia että heijastavat tarkasti alkuperäisiä "pohjatotuuskuvia". He huomauttivat, että aiemmat rekonstruktiot eivät luoneet kuvia samalla tarkkuudella. Heidän lähestymistapansa avain on, että kuvien lisäksi kerros tietoa lisätään tekstillisten kuvausten avulla. Lin sanoi, että se tehtiin datan lisäämiseksi heidän syväoppimismallinsa kouluttamiseksi. Julkisesti saatavilla olevan tietojoukon pohjalta he käyttivät CLIP:iä (Contrastive Language-Image Pre-training) koodatakseen objektiivisia, korkealaatuisia tekstikuvauksia, jotka pariutuvat havaittujen kuvien kanssa, ja kartoittivat sitten näiden havaittujen kuvien fMRI-tiedot CLIP-avaruuteen. . Sieltä he käyttivät kartoitusmallien tulosta ehtona generatiivisen mallin kouluttamiseen kuvan rekonstruoimiseksi. Tuloksena saadut rekonstruktiot olivat huomattavan lähellä koehenkilöiden näkemiä alkuperäisiä kuvia – itse asiassa lähempänä kuin mikään aikaisempi yritys rekonstruoida kuvia fMRI-tiedoista. Sen jälkeen tehdyt tutkimukset, mukaan lukien merkittävä (“High-resolution image reconstruction with latent diffusion models from human brain activity”) Japanista, ovat hahmotelleet menetelmiä rajoitetun tiedon tehokkaaseen käsittelyyn selkeiksi kuviksi. Vertailut aikaisempien töiden ja putkistomme välillä. Käytämme viimeisintä NSD-tietojoukkoa, joka sisältää monimutkaisempia kohtauksia. However, for comparison purposes, we choose four similar images from NSD, each containing a single object “plane”, and show our reconstructions from fMRI signals in fig. b. Kuvan rekonstruktio tulos fMRI:stä meidän putkilinjallamme. Neljä perustotuuskuvaa on kehystetty vihreällä. (Kuva: Singh et al.) Lisäksi tutkimus paljasti käsityksen ihmisen älykkyyden tärkeästä osa-alueesta: semantiikasta. "Yksi tämän paperin pääsisällöstä on, että visuaaliset prosessit ovat luonnostaan ​​semanttisia", Lin sanoi. Paperin mukaan "aivot ovat luonnostaan ​​multimodaalisia", eli käytämme useita eri tasoisia informaatiotapoja saadaksemme visuaalisesta kohtauksesta merkityksen, kuten sen, mikä on keskeistä, tai kohtauksen kohteiden välisiä suhteita. "Pelkästään visuaalisen esityksen käyttäminen saattaa vaikeuttaa kuvan rekonstruoimista", Lin jatkoi, "mutta CLIP:n kaltaisen semanttisen esityksen käyttäminen, joka sisältää tekstiä, kuten kuvan kuvauksen, on johdonmukaisempaa sen kanssa, kuinka aivot käsittelevät tietoa." "Tiede tässä on se, voiko mallien rakenne kertoa jotain aivojen toiminnasta", Singh lisäsi. "Ja sitä me toivomme yrittävämme löytää." Esimerkiksi toisessa kokeessa tutkijat havaitsivat, että fMRI-aivosignaalit koodasivat paljon redundanttia informaatiota – niin paljon, että jopa sen jälkeen, kun yli 80 % fMRI-signaalista oli peitetty, tuloksena saatu 10–20 % sisälsi tarpeeksi dataa kuvan rekonstruoimiseksi. samassa kategoriassa kuin alkuperäinen kuva, vaikka ne eivät syöttäneet mitään kuvainformaatiota signaalin rekonstruktioputkeen (ne työskentelivät yksinomaan fMRI-tiedoista). "Tämä työ edustaa todellista paradigman muutosta kuvan rekonstruktiomenetelmien tarkkuudessa ja selkeydessä", Sprague sanoi. ”Aiempi työ keskittyi erittäin yksinkertaisiin ärsykkeisiin, koska mallinnuksemme olivat paljon yksinkertaisempia. Nyt näiden uusien kuvanrekonstruktiomenetelmien avulla voimme edistää kognitiivisen laskennallisen neurotieteen kokeita kohti naturalististen, realististen ärsykkeiden käyttöä uhraamatta kykyämme tehdä selkeitä johtopäätöksiä." Tällä hetkellä aivodatan rekonstruointi "oikeiksi" kuviksi jatkuu työvoimavaltaisena ja tavallisen käytön ulottumattomissa, puhumattakaan siitä, että jokainen malli on henkilökohtainen, jonka aivot ovat tuottaneet fMRI-tiedot. Mutta se ei estä tutkijoita pohtimasta seurauksia siitä, että he pystyvät purkamaan sen, mitä ihminen ajattelee, aina niihin merkityskerroksiin asti, jotka ovat hyperspesifisiä jokaiselle mielelle. "Mielestäni jännittävää tässä projektissa on se, olisiko mahdollista säilyttää ihmisen kognitiivinen tila ja nähdä, kuinka nämä tilat määrittelevät heidät niin ainutlaatuisesti", Singh sanoi. Spragin mukaan nämä menetelmät antaisivat neurotieteilijöille mahdollisuuden suorittaa lisätutkimuksia, joissa mitataan, kuinka aivot muuttavat ärsykkeiden esityksiään - mukaan lukien vankkaiden, monimutkaisten kohtausten esitykset - tehtävien muutosten aikana. "Tämä on kriittinen kehitys, joka vastaa peruskysymyksiin siitä, kuinka aivot edustavat tietoa dynaamisten kognitiivisten tehtävien aikana, mukaan lukien ne, jotka vaativat huomiota, muistia ja päätöksentekoa", hän sanoi. Yksi heidän nyt tutkimistaan ​​alueista on selvittää, mitä ja kuinka paljon aivot jaetaan, jotta tekoälymalleja voidaan rakentaa ilman, että joka kerta tarvitsee aloittaa nollasta. "Perusajatuksena on, että ihmisaivoilla monissa kohteissa on piilotettuja piileviä yhteisiä piirteitä", sanoi Christos Zangos, tohtoriopiskelijatutkija Singhin laboratoriosta.

• SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
• Platoblockchain. Web3 Metaverse Intelligence. Tietoa laajennettu. Pääsy tästä.
• Lähde: https://www.nanowerk.com/news2/robotics/newsid=62778.php