Generative AI Reconstructs Videos People Are Watching By Reading Their Brain Activity

Opublikowane ponownie przez Plato

Obserwuje: 0

zdolnośćty maszyn do czytać w naszych myślach w ostatnich latach systematycznie się rozwija. Teraz naukowcy wykorzystali technologię generowania wideo AI, aby dać nam wgląd w umysł.

Głównym motorem prób interpretacji sygnałów mózgowych jest nadzieja, że pewnego dnia będziemy w stanie zaoferować nowe okna komunikacji dla osób w śpiączce lub z różnymi formami paraliżu. Ale są też nadzieje, że technologia może stworzyć bardziej intuicyjne interfejsy między ludźmi a maszynami, które mogą mieć również zastosowania dla zdrowych ludzi.

Jak dotąd większość badań koncentrowała się na próbach odtworzenia monologu wewnętrznegos pacjentów z wykorzystaniem systemów AI wybrać o jakich słowach myślą. Najbardziej obiecujące wyniki pochodzą również z inwazyjnych implantów mózgowych, które raczej nie będą praktycznym podejściem dla większości ludzi.

Teraz jednak naukowcy z National University of Singapore i Chinese University of Hong Kong wykazali, że mogą łączyć nieinwazyjne skanowanie mózgu i technologię generowania obrazów AI, aby tworzyć krótkie fragmenty wideo, które są niesamowicie podobne do klipów oglądanych przez badanych. kiedy zebrano dane ich mózgów.

Praca jest rozwinięciem badań tych samych autorów opublikowane pod koniec ubiegłego roku, gdzie pokazali, że mogą generować nieruchome obrazy, które z grubsza pasują do pokazanych obrazów. Osiągnięto to poprzez uczenie jednego modelu na dużych ilościach danych zebranych za pomocą skanerów mózgu fMRI. Model ten został następnie połączony z generacją obrazów AI Stable Diffusion z otwartym kodem źródłowym w celu utworzenia obrazów.

W nowej pracy opublikowane na serwer preprint arXiv, autorzy stosują podobne podejście, ale dostosowują je tak, aby system mógł interpretować strumienie danych mózgowych i konwertować je na filmy, a nie na zdjęcia. Najpierw przeszkolili jeden model na dużej ilości fMRI, aby mógł poznać ogólne cechy tych skanów mózgu. Zostało to następnie rozszerzone, aby mogło przetwarzać kolejne skany fMRI, a nie pojedyncze, a następnie ponownie trenowane na kombinacjach skanów fMRI, fragmentach wideo, które wywołały tę aktywność mózgu, oraz opisach tekstowych.

Oddzielnie naukowcy dostosowali wstępnie wytrenowany model stabilnej dyfuzji do tworzenia wideo, a nie nieruchomych obrazów. Następnie został ponownie przeszkolony na tych samych filmach i opisach tekstowych, na których był szkolony pierwszy model. Na koniec oba modele połączono i dopracowano razem na skanach fMRI i powiązanych z nimi filmach.

Powstały system był w stanie wykonać świeże skany fMRI, których wcześniej nie widział, i wygenerować filmy, które w dużej mierze przypominały klipy, które badani ludzied oglądałem w tym czasie. Choć dalekie od idealnego dopasowania, wynik sztucznej inteligencji był ogólnie bardzo zbliżony do oryginalnego wideo, dokładnie odtwarzając sceny tłumu lub stada koni i często dopasowując paletę kolorów.

Aby ocenić swój system, naukowcy wykorzystali klasyfikator wideo zaprojektowany w celu oceny, jak dobrze model zrozumiał semantykę sceny – na przykład, czy zdał sobie sprawę, że wideo przedstawia rybę pływającą w akwarium lub rodzinę idącą ścieżką… nawet jeśli obraz był nieco inny. Ich model uzyskał 85 procent, co stanowi 45 procentowy wzrost w stosunku do najnowocześniejszego modelu.

Chociaż filmy generowane przez sztuczną inteligencję wciąż są wadliwe, autorzy twierdzą, że ten kierunek badań może ostatecznie znaleźć zastosowanie zarówno w podstawowej neuronauce, jak i przyszłości interfejsy mózg-maszyna. Jednak dostrzegają również potencjalne wady tej technologii. „Regulacje rządowe i wysiłki środowisk badawczych są wymagane, aby zapewnić prywatność danych biologicznych danej osoby i uniknąć złośliwego wykorzystania tej technologii” – piszą.

Jest to prawdopodobnie ukłon w stronę obaw, że połączenie technologii skanowania mózgu AI może umożliwić ludziom natrętne rejestrowanie myśli innych osób bez ich zgody. Aniepokoje były również wyrażone na początku tego roku, kiedy naukowcy zastosowali podobne podejście, aby zasadniczo stworzyć szorstki transkrypcja głosu w ludzkich głowach, choć eksperci wskazywali, że tak się stanie niepraktyczne, jeśli nie niemożliwe w przewidywalnej przyszłości.

Ale niezależnie od tego, czy postrzegasz to jako przerażającą inwazję na twoją prywatność, czy ekscytujący nowy sposób łączenia się z technologią, wydaje się, że czytniki umysłu maszyny zbliżają się do rzeczywistości.

Kredytowych Image: Klaudia Dewald od Pixabay