Generative AI Reconstructs Videos People Are Watching By Reading Their Brain Activity

Ponovno objavil Platon

Spremljevalci: 0

Sposobnostty strojev za brati naše misli v zadnjih letih vztrajno napreduje. Raziskovalci so zdaj uporabili tehnologijo generiranja videa z umetno inteligenco, da nam dajo okno v naše misli.

Glavno gonilo poskusov razlage možganskih signalov je upanje, da bomo nekega dne morda lahko ponudili nova okna komunikacije za tiste v komi ali z različnimi oblikami paralize. Obstaja pa tudi upanje, da bi tehnologija lahko ustvarila bolj intuitivne vmesnike med ljudmi in stroji, ki bi lahko imeli aplikacije tudi za zdrave ljudi.

Do zdaj se je večina raziskav osredotočala na prizadevanja za poustvarjanje notranjega monologas bolnikov z uporabo sistemov AI izbrati na katere besede mislijo. Najbolj obetavne rezultate so prinesli tudi invazivni možganski vsadki, ki za večino ljudi verjetno ne bodo praktičen pristop.

Zdaj pa so raziskovalci z Nacionalne univerze v Singapurju in Kitajske univerze v Hongkongu pokazali, da lahko združijo neinvazivna skeniranja možganov in tehnologijo za ustvarjanje slik z umetno inteligenco, da ustvarijo kratke izrezke videoposnetka, ki so neverjetno podobni posnetkom, ki so jih subjekti gledali. ko so bili zbrani podatki o njihovih možganih.

Delo je razširitev raziskav istih avtorjev objavljeno konec lanskega leta, kjer so pokazali, da lahko ustvarijo fotografije, ki se približno ujemajo s prikazanimi slikami. To je bilo doseženo s prvim usposabljanjem enega modela na velikih količinah podatkov, zbranih z uporabo fMRI skenerjev možganov. Ta model je bil nato združen z odprtokodno generacijo slik AI Stable Diffusion za ustvarjanje slik.

V novem prispevku objavljeno dne strežnik za prednatis arXiv, avtorji uberejo podoben pristop, vendar ga prilagodijo tako, da lahko sistem interpretira tokove možganskih podatkov in jih pretvori v videoposnetke namesto fotografij. Najprej so usposobili en model za velike količine fMRI, da bi se lahko naučil splošnih značilnosti teh skeniranj možganov. To je bilo nato razširjeno, tako da je lahko obdelalo zaporedje skeniranj fMRI namesto posameznih, nato pa se je znova usposobilo na kombinacijah skeniranj fMRI, video izrezkov, ki so izzvali to možgansko aktivnost, in besedilnih opisov.

Raziskovalci so ločeno prilagodili predhodno usposobljeni model stabilne difuzije za ustvarjanje videa namesto fotografij. Nato je bil ponovno uren na istih videoposnetkih in besedilnih opisih, na katerih se je uril prvi model. Nazadnje sta bila oba modela združena in natančno nastavljena skupaj na skeniranju fMRI in povezanih videoposnetkih.

Nastali sistem je lahko posnel sveže posnetke fMRI, ki jih prej ni videl, in ustvaril videoposnetke, ki so bili na splošno podobni posnetkom, ki so jih posneli ljudje.d gledal v tistem času. Čeprav daleč od popolnega ujemanja, je bil rezultat umetne inteligence na splošno precej blizu izvirnemu videoposnetku, saj je natančno poustvarjal prizore množice ali črede konj in se pogosto ujemal z barvno paleto.

Da bi ovrednotili svoj sistem, so raziskovalci uporabili klasifikator videa, ki je bil zasnovan tako, da oceni, kako dobro je model razumel semantiko prizora – na primer, ali je ugotovil, da video prikazuje ribe, ki plavajo v akvariju, ali družino, ki hodi po poti – tudi če bi bile podobe nekoliko drugačne. Njihov model je dosegel 85-odstotno oceno, kar je 45-odstotna izboljšava glede na najsodobnejšo različico.

Medtem ko so videoposnetki, ki jih ustvarja umetna inteligenca, še vedno nerodni, avtorji pravijo, da bi lahko ta linija raziskav na koncu imela aplikacije tako v osnovni nevroznanosti kot tudi v prihodnosti. vmesniki možgan-stroj. Vendar pa priznavajo tudi morebitne slabosti tehnologije. »Potrebni so vladni predpisi in prizadevanja raziskovalnih skupnosti, da se zagotovi zasebnost posameznikovih bioloških podatkov in prepreči zlonamerna uporaba te tehnologije,« pišejo.

To je verjetno znak zaskrbljenosti, da bi lahko kombinacija tehnologije skeniranja možganov z umetno inteligenco ljudem omogočila vsiljivo snemanje misli drugih brez njihove privolitve. Askrbi so bile Prav tako izraženo v začetku tega leta, ko so raziskovalci uporabili podoben pristop, da bi v bistvu ustvarili grobo prepis glasu v glavah ljudi, čeprav so strokovnjaki poudarili, da bi bilo to nepraktično, če ne nemogoče v bližnji prihodnosti.

Toda ne glede na to, ali na to gledate kot na srhljiv vdor v vašo zasebnost ali kot na vznemirljiv nov način povezovanja s tehnologijo, se zdi, da se strojni bralci misli vse bolj približujejo resničnosti.

Kreditno slike: Claudia Dewald iz pixabay