Forskere bruker kunstig intelligens for å jakte på menneskelig intelligens

Forskere bruker kunstig intelligens for å jakte på menneskelig intelligens

Tidsstempel: 10. april 2023 1:04
Kilde node: 2575350
10. april 2023 (Nanowerk Nyheter) Hjernen er en fantastisk, mystisk ting: tre kilo mykt gelatinøst vev som vi samhandler med verden gjennom, genererer ideer og konstruerer mening og representasjon. Å forstå hvor og hvordan dette skjer har lenge vært blant nevrovitenskapens grunnleggende mål. De siste årene har forskere vendt seg til kunstig intelligens for å forstå hjerneaktiviteten målt ved fMRI, og vendt AI-modeller på dataene i et forsøk på å forstå, med økende spesifisitet, hva folk tenker og hvordan disse tankene ser ut i hjernen deres. Et tverrfaglig team ved UC Santa Barbara er blant dem som flytter disse grensene, med en metode som bruker dyp læring på fMRI-data for å lage komplekse rekonstruksjoner av det studiepersonene så. "Det er flere prosjekter som prøver å oversette fMRI-signaler til bilder, mest fordi nevrovitenskapsmenn ønsker å forstå hvordan hjerner behandler visuell informasjon," sa Sikun Lin, hovedforfatter av en artikkel som dukket opp på en nylig NeurIPS-konferanse i november 2022 (“Mind Reader: Reconstructing complex images from brain activities”). I følge Lin, professor i informatikk ved UCSB Ambuj Singh og kognitiv nevroforsker Thomas Sprague, er de resulterende bildene generert av denne studien både fotorealistiske og gjenspeiler nøyaktig de originale "grunnsannhetens"-bilder. De bemerket at tidligere rekonstruksjoner ikke skapte bilder med samme grad av troskap. Nøkkelen til deres tilnærming er at i tillegg til bilder, legges et lag med informasjon til gjennom tekstlige beskrivelser, et grep som Lin sa ble gjort for å legge til data for å trene deres dyplæringsmodell. Med utgangspunkt i et offentlig tilgjengelig datasett brukte de CLIP (Contrastive Language-Image Pre-training) for å kode objektive tekstbeskrivelser av høy kvalitet som pares med de observerte bildene, og kartla deretter fMRI-dataene til de observerte bildene til CLIP-rommet . Derfra brukte de utdataene fra kartleggingsmodellene som betingelser for å trene en generativ modell til å rekonstruere bildet. De resulterende rekonstruksjonene kom bemerkelsesverdig nær de originale bildene som ble sett av forsøkspersonene - nærmere, faktisk, enn noe tidligere forsøk på å rekonstruere bilder fra fMRI-data. Studier som har fulgt, inkludert en bemerkelsesverdig en (“High-resolution image reconstruction with latent diffusion models from human brain activity”) fra Japan, har skissert metoder for å effektivt manipulere begrensede data til klare bilder. tekst Sammenligninger mellom tidligere arbeider og rørledningen vår. Vi bruker det ferske NSD-datasettet som involverer mer komplekse scener. However, for comparison purposes, we choose four similar images from NSD, each containing a single object “plane”, and show our reconstructions from fMRI signals in fig. b. Bilderekonstruksjon resultater fra fMRI ved vår pipeline. Fire grunnsannhetsbilder er grønt innrammet. (Bilde: Singh et al.) Dessuten avslørte studien innsikt i et viktig aspekt ved menneskelig intelligens: semantikk. "En av hovedpoengene i denne artikkelen er at visuelle prosesser er iboende semantiske," sa Lin. I følge papiret er "hjernen naturlig multimodal", det vil si at vi bruker flere informasjonsmoduser på forskjellige nivåer for å få mening fra en visuell scene, for eksempel hva som er fremtredende, eller forholdet mellom objekter i scenen. "Bare å bruke en visuell representasjon kan gjøre det vanskeligere å rekonstruere bildet," fortsatte Lin, "men å bruke en semantisk representasjon som CLIP som inkluderer tekst som beskrivelsen av bildet, er mer koherent med hvordan hjernen behandler informasjon." "Vitenskapen i dette er om strukturen til modellene kan fortelle deg noe om hvordan hjernen fungerer," la Singh til. "Og det er det vi håper å prøve å finne." I et annet eksperiment, for eksempel, fant forskerne at fMRI-hjernesignalene kodet mye overflødig informasjon - så mye at selv etter å ha maskert mer enn 80 % av fMRI-signalet, inneholdt de resulterende 10–20 % nok data til å rekonstruere et bilde innenfor samme kategori som det originale bildet, selv om de ikke matet noen bildeinformasjon inn i signalrekonstruksjonsrørledningen (de jobbet utelukkende fra fMRI-data). "Dette arbeidet representerer et ekte paradigmeskifte i nøyaktigheten og klarheten til bilderekonstruksjonsmetoder," sa Sprague. "Tidligere arbeid fokuserte på ekstremt forenklede stimuli, fordi våre modelleringstilnærminger var mye enklere. Nå, med disse nye bilderekonstruksjonsmetodene i hånden, kan vi fremme eksperimentene vi utfører innen kognitiv beregningsnevrovitenskap mot å bruke naturalistiske, realistiske stimuli uten å ofre vår evne til å generere klare konklusjoner.» For øyeblikket fortsetter rekonstruksjonen av hjernedata til "sanne" bilder å være arbeidskrevende og utenfor rekkevidde for vanlig bruk, for ikke å nevne det faktum at hver modell er spesifikk for personen hvis hjerne genererte fMRI-dataene. Men det stopper ikke forskerne fra å fundere over implikasjonene av å kunne dekode hva en person tenker, helt ned til lagene av mening som er hyperspesifikke for hvert sinn. "Det jeg synes er spennende med dette prosjektet er om det kan være mulig å bevare den kognitive tilstanden til en person, og se hvordan disse tilstandene så unikt definerer dem," sa Singh. Ifølge Sprague vil disse metodene tillate nevrovitenskapsmenn å utføre ytterligere studier som måler hvordan hjerner endrer representasjonene av stimuli - inkludert representasjoner av robuste, kompliserte scener - på tvers av endringer i oppgaver. "Dette er en kritisk utvikling som vil svare på grunnleggende spørsmål om hvordan hjerner representerer informasjon under dynamiske kognitive oppgaver, inkludert de som krever oppmerksomhet, hukommelse og beslutningstaking," sa han. Et av områdene de nå utforsker er å finne ut hva og hvor mye som deles mellom hjerner slik at AI-modeller kan konstrueres uten å måtte starte fra null hver gang. "Den underliggende ideen er at den menneskelige hjernen på tvers av mange fag deler noen skjulte latente fellestrekk," sa Christos Zangos, en doktorgradsstudent i Singhs laboratorium.

Tidstempel:

Mer fra Nanowerk