Generative AI Reconstructs Videos People Are Watching By Reading Their Brain Activity

Republicat de Platon

Urmaritori: 0

Ability de mașini să citeste-ne gandurile a progresat constant în ultimii ani. Acum, cercetătorii au folosit tehnologia de generare a videoclipurilor AI pentru a ne oferi o fereastră către ochiul minții.

Principalul motor din spatele încercărilor de a interpreta semnalele creierului este speranța că într-o zi am putea oferi noi ferestre de comunicare pentru cei aflați în comă sau cu diverse forme de paralizie. Dar există și speranțe că tehnologia ar putea crea interfețe mai intuitive între oameni și mașini, care ar putea avea aplicații și pentru oamenii sănătoși.

Până acum, majoritatea cercetărilor s-au concentrat pe eforturile de a recrea monologul interns a pacienților, folosind sisteme AI a alege la ce cuvinte se gândesc. Cele mai promițătoare rezultate au venit și din implanturile cerebrale invazive, care este puțin probabil să fie o abordare practică pentru majoritatea oamenilor.

Acum, totuși, cercetătorii de la Universitatea Națională din Singapore și de la Universitatea Chineză din Hong Kong au demonstrat că pot combina scanări neinvazive ale creierului și tehnologia de generare a imaginilor AI pentru a crea fragmente scurte de videoclipuri care sunt îngrozitor de asemănătoare cu clipurile pe care subiecții le vizionau. când le-au fost colectate datele despre creier.

Lucrarea este o extensie a cercetării aceiași autori publicată la sfârșitul anului trecut, unde au arătat că pot genera imagini statice care se potrivesc aproximativ cu imaginile pe care subiecții le-au fost afișate. Acest lucru a fost realizat prin antrenarea mai întâi a unui model pe cantități mari de date colectate folosind scanere cerebrale fMRI. Acest model a fost apoi combinat cu generarea de imagini open-source AI Stable Diffusion pentru a crea imaginile.

Într-o lucrare nouă publicat pe server de preimprimare arXiv, autorii adoptă o abordare similară, dar o adaptează astfel încât sistemul să poată interpreta fluxuri de date despre creier și să le transforme în videoclipuri, mai degrabă decât în fotografii. În primul rând, au instruit un model pe cantități mari de fMRI, astfel încât să poată afla caracteristicile generale ale acestor scanări ale creierului. Acesta a fost apoi îmbunătățit, astfel încât să poată procesa o succesiune de scanări fMRI, mai degrabă decât pe cele individuale, și apoi a fost antrenat din nou pe combinații de scanări fMRI, fragmente video care au provocat acea activitate cerebrală și descrieri de text.

Separat, cercetătorii au adaptat modelul Stable Diffusion pre-antrenat pentru a produce video mai degrabă decât imagini statice. Apoi a fost antrenat din nou pe aceleași videoclipuri și descrieri text pe care fusese antrenat primul model. În cele din urmă, cele două modele au fost combinate și ajustate împreună pe scanările fMRI și videoclipurile asociate acestora.

Sistemul rezultat a fost capabil să efectueze scanări fMRI proaspete pe care nu le-a văzut până acum și să genereze videoclipuri care semănau în linii mari cu clipurile subiecților umani.d urmărit în acel moment. Deși departe de a fi o potrivire perfectă, ieșirea AI a fost în general destul de apropiată de videoclipul original, recreând cu precizie scene de mulțime sau turme de cai și adesea potrivindu-se paleta de culori.

Pentru a-și evalua sistemul, cercetătorii au folosit un clasificator video conceput pentru a evalua cât de bine înțelesese modelul semantica scenei - de exemplu, dacă și-a dat seama dacă videoclipul era cu pești înoând într-un acvariu sau cu o familie care mergea pe o potecă - chiar dacă imaginile erau ușor diferite. Modelul lor a obținut 85 la sută, ceea ce reprezintă o îmbunătățire cu 45 la sută față de stadiul tehnicii.

În timp ce videoclipurile generate de inteligența artificială sunt încă necorespunzătoare, autorii spun că această linie de cercetare ar putea avea în cele din urmă aplicații atât în neuroștiința de bază, cât și în viitor. interfețe creier-mașină. Cu toate acestea, ei recunosc și potențialele dezavantaje ale tehnologiei. „Reglementările guvernamentale și eforturile comunităților de cercetare sunt necesare pentru a asigura confidențialitatea datelor biologice și pentru a evita orice utilizare rău intenționată a acestei tehnologii”, scriu ei.

Acesta este probabil un semn din cap la îngrijorările că combinația de tehnologie de scanare a creierului AI ar putea face posibil ca oamenii să înregistreze intruziv gândurile altora fără consimțământul lor. Aanxietăţile erau de asemenea exprimat la începutul acestui an, când cercetătorii au folosit o abordare similară pentru a crea, în esență, un brut transcrierea vocii din interiorul capetelor oamenilor, deși experții au subliniat că acest lucru ar fi impracticabil dacă nu imposibil pentru viitorul previzibil.

Dar fie că o vedeți ca o invazie înfiorătoare a vieții private sau o nouă modalitate interesantă de a interacționa cu tehnologia, se pare că cititorii minții mașini se apropie mai mult de realitate.

Credit imagine: Claudia Dewald din Pixabay