Generatiivne AI rekonstrueerib videod, mida inimesed vaatavad, lugedes nende ajutegevust

Taasavaldanud Platon

järgijaid: 0

Võimemasinaid loe meie mõtteid on viimastel aastatel pidevalt edenenud. Nüüd on teadlased kasutanud AI-video genereerimise tehnoloogiat, et anda meile aken vaimusilma.

Ajusignaalide tõlgendamise katsete peamine tõukejõud on lootus, et ühel päeval suudame pakkuda uusi suhtlusaknaid neile, kes on koomas või erinevat tüüpi halvatuse all. Kuid on ka lootusi, et tehnoloogia võib luua inimeste ja masinate vahel intuitiivsemaid liideseid, millel võib olla rakendusi ka tervetele inimestele.

Seni on enamik uuringuid keskendunud sisemonoloogi taasloomiseles AI süsteeme kasutades välja valima mis sõnu nad mõtlevad. Kõige paljutõotavamad tulemused on saadud ka invasiivsetest ajuimplantaatidest, mis ei ole tõenäoliselt enamiku inimeste jaoks praktilised.

Nüüd on aga Singapuri riikliku ülikooli ja Hongkongi Hiina ülikooli teadlased näidanud, et nad suudavad kombineerida mitteinvasiivseid aju skaneeringuid ja tehisintellekti kujutise genereerimise tehnoloogiat, et luua lühikesi videolõike, mis on silmatorkavalt sarnased klippidega, mida katsealused vaatasid. kui nende ajuandmeid koguti.

Töö on samade autorite uurimistöö laiendus avaldati eelmise aasta lõpus, kus nad näitasid, et suudavad genereerida liikumatuid pilte, mis vastavad ligikaudu objektidele näidatud piltidele. See saavutati esmalt ühe mudeli väljaõpetamisega fMRI ajuskännerite abil kogutud suurel hulgal andmetel. Seejärel kombineeriti see mudel piltide loomiseks avatud lähtekoodiga pildigeneratsiooniga AI Stable Diffusion.

Uues lehes avaldatud eeltrüki server arXiv, autorid kasutavad sarnast lähenemist, kuid kohandavad seda nii, et süsteem saaks tõlgendada ajuandmete vooge ja teisendada need videoteks, mitte fotodeks. Esiteks koolitasid nad ühte mudelit suure hulga fMRI-ga, et see saaks õppida nende aju skaneeringute üldisi omadusi. Seejärel täiendati seda nii, et see saaks töödelda järjestikuseid fMRI-skaneeringuid, mitte üksikuid, ning seejärel koolitati uuesti fMRI-skaneeringute kombinatsioone, videolõike, mis kutsusid esile selle ajutegevuse, ja tekstikirjeldusi.

Eraldi kohandasid teadlased eelkoolitatud stabiilse difusiooni mudelit, et toota videoid, mitte pilte. Seejärel treeniti uuesti samade videote ja tekstikirjelduste järgi, mille järgi oli koolitatud esimene mudel. Lõpuks kombineeriti ja viimistleti kaks mudelit fMRI-skaneeringute ja nendega seotud videote põhjal.

Saadud süsteem suutis teha värskeid fMRI-skaneeringuid, mida ta polnud varem näinud, ja genereerida videoid, mis sarnanesid suures osas inimeste klippidega.d vaatas sel ajal. Kuigi AI väljund pole kaugeltki täiuslik, oli AI väljund üldiselt üsna lähedane algsele videole, taastades täpselt rahvahulga stseene või hobusekarju ja sobides sageli värvipaletiga.

Oma süsteemi hindamiseks kasutasid teadlased videoklassifikaatorit, mille eesmärk oli hinnata, kui hästi oli mudel stseeni semantikast aru saanud – näiteks kas ta oli aru saanud, et video kujutas akvaariumis ujuvaid kalasid või teed mööda kõndivat perekonda. isegi kui kujutised olid veidi erinevad. Nende mudeli tulemus oli 85 protsenti, mis on 45 protsenti parem kui tipptasemel.

Kuigi tehisintellekti loodud videod on endiselt tõrkised, võivad autorid öelda, et sellel uurimissuunal võib lõpuks olla rakendusi nii põhilises neuroteaduses kui ka tulevikus. aju-masina liidesed. Siiski tunnistavad nad ka tehnoloogia võimalikke varjukülgi. "Oma bioloogiliste andmete privaatsuse tagamiseks ja selle tehnoloogia pahatahtliku kasutamise vältimiseks on vaja riiklikke eeskirju ja teadusringkondade jõupingutusi," kirjutavad nad.

Tõenäoliselt viitab see murele, et tehisintellekti ajuskaneerimise tehnoloogia kombinatsioon võib võimaldada inimestel pealetükkivalt salvestada teiste mõtteid ilma nende nõusolekuta. Amured olid Ka kõlas selle aasta alguses, kui teadlased kasutasid sarnast lähenemist, et sisuliselt luua töötlemata inimeste peas oleva hääle transkriptsioon, kuigi eksperdid on märkinud, et see oleks nii ebapraktiline kui mitte võimatu lähitulevikus.

Kuid olenemata sellest, kas näete seda oma privaatsuse jubeda sissetungimisena või põneva uue viisina tehnoloogiaga liidestamiseks, näib, et masinlikud mõttelugejad lähenevad tegelikkusele.

Image Credit: Claudia Dewald Alates Pixabay