Generative AI Reconstructs Videos People Are Watching By Reading Their Brain Activity

Julkaissut Platon

seuraajia: 0

Kykyty koneita lue ajatuksemme on edennyt tasaisesti viime vuosina. Nyt tutkijat ovat käyttäneet tekoälyvideon luontitekniikkaa antaakseen meille ikkunan mielen silmään.

Aivojen signaalien tulkintayritysten päätekijä on toivo, että jonain päivänä voimme tarjota uusia kommunikaatioikkunoita niille, jotka ovat koomassa tai joilla on erilaisia halvaantuneita. Mutta on myös toiveita, että teknologia voisi luoda intuitiivisempia käyttöliittymiä ihmisten ja koneiden välille, joilla voisi olla sovelluksia myös terveille ihmisille.

Tähän mennessä suurin osa tutkimuksesta on keskittynyt pyrkimyksiin luoda uudelleen sisäinen monologis Tekoälyjärjestelmiä käyttämällä valita mitä sanoja he ajattelevat. Lupaavimmat tulokset ovat myös tulleet invasiivisista aivoimplanteista, jotka eivät todennäköisesti ole käytännöllinen lähestymistapa useimmille ihmisille.

Nyt Singaporen kansallisen yliopiston ja Hongkongin kiinalaisen yliopiston tutkijat ovat kuitenkin osoittaneet, että he voivat yhdistää noninvasiiviset aivoskannaukset ja tekoälykuvan generointiteknologian luodakseen lyhyitä videopätkiä, jotka ovat hämmästyttävän samanlaisia kuin koehenkilöiden katselemat leikkeet. kun heidän aivotietonsa kerättiin.

Teos on jatkoa samojen kirjoittajien tutkimukselle julkaistiin viime vuoden lopulla, jossa he osoittivat pystyvänsä luomaan still-kuvia, jotka vastaavat suurin piirtein niitä kuvia, joita kohteille oli näytetty. Tämä saavutettiin kouluttamalla ensin yksi malli fMRI-aivoskannereilla kerätylle suurelle datamäärälle. Tämä malli yhdistettiin sitten avoimen lähdekoodin kuvasukupolven AI Stable Diffusioniin kuvien luomiseksi.

Uudessa paperissa julkaistu esipainatuspalvelin arXiv, kirjoittajat omaksuvat samanlaisen lähestymistavan, mutta mukauttavat sen niin, että järjestelmä voi tulkita aivotietovirtoja ja muuntaa ne videoiksi still-kuvien sijaan. Ensin he kouluttivat yhden mallin suurille fMRI-määrille, jotta se voisi oppia näiden aivoskannausten yleiset ominaisuudet. Tätä laajennettiin sitten, jotta se pystyi käsittelemään peräkkäisiä fMRI-skannauksia yksittäisten sijasta, ja sitten koulutettiin uudelleen fMRI-skannausten, aivotoiminnan tuottaneiden videopätkien ja tekstikuvausten yhdistelmiin.

Erikseen tutkijat mukauttivat esikoulutetun Stable Diffusion -mallin tuottamaan videota still-kuvien sijaan. Sen jälkeen sitä koulutettiin uudelleen samoilla videoilla ja tekstikuvauksilla, joihin ensimmäinen malli oli koulutettu. Lopuksi nämä kaksi mallia yhdistettiin ja hienosäädettiin yhteen fMRI-skannauksilla ja niihin liittyvillä videoilla.

Tuloksena saatu järjestelmä pystyi ottamaan uusia fMRI-skannauksia, joita se ei ollut nähnyt ennen, ja luomaan videoita, jotka muistuttivat laajalti ihmiskohteiden leikkeitä.d katsoi tuolloin. Vaikka tekoälyn tulos oli kaukana täydellisestä, se oli yleensä melko lähellä alkuperäistä videota, luoden tarkasti väkijoukkoja tai hevoslaumoja ja usein vastaamaan väripalettia.

Järjestelmänsä arvioimiseksi tutkijat käyttivät videoluokitinta, joka oli suunniteltu arvioimaan, kuinka hyvin malli oli ymmärtänyt kohtauksen semantiikan – esimerkiksi, oliko se ymmärtänyt, että video oli kaloista uimassa akvaariossa tai perheestä kävelemässä polkua pitkin. vaikka kuva olisikin hieman erilainen. Heidän mallinsa sai 85 prosenttia, mikä on 45 prosentin parannus huipputeknologiaan verrattuna.

Vaikka tekoälyn luomat videot ovat edelleen häiritseviä, kirjoittajat sanovat, että tällä tutkimuslinjalla voi lopulta olla sovelluksia sekä perusneurotieteessä että myös tulevaisuudessa. aivojen ja koneiden rajapinnat. He kuitenkin tunnustavat myös tekniikan mahdolliset haitat. "Hallituksen määräyksiä ja tutkimusyhteisöjen ponnisteluja vaaditaan, jotta voidaan varmistaa biologisten tietojen yksityisyys ja välttää tämän tekniikan haitallinen käyttö", he kirjoittavat.

Tämä on todennäköisesti osoitus huolesta siitä, että tekoälyn aivoskannaustekniikan yhdistelmä voisi antaa ihmisille mahdollisuuden tallentaa muiden ajatuksia ilman heidän suostumustaan. Ahuolet olivat Myös ilmaisi aiemmin tänä vuonna, kun tutkijat käyttivät samanlaista lähestymistapaa olennaisesti luodakseen karkeaa transkriptio ihmisten pään sisällä olevasta äänestä, vaikka asiantuntijat ovat huomauttaneet, että näin olisi epäkäytännöllistä ellei mahdotonta lähitulevaisuudessa.

Mutta katsoitpa sen karmivana yksityisyytesi loukkauksena tai jännittävänä uudenlaisena tapana liittyä teknologiaan, näyttää siltä, että koneen ajatustenlukijat lähestyvät todellisuutta.

Kuva pistetilanne: Claudia Dewald alkaen Pixabay