Generative AI Reconstructs Videos People Are Watching By Reading Their Brain Activity

Neuauflage von Plato

Verfolger: 0

Die FähigkeitAnzahl der Maschinen lesen Sie unsere Gedanken hat sich in den letzten Jahren stetig weiterentwickelt. Jetzt haben Forscher KI-Videogenerierungstechnologie genutzt, um uns einen Einblick in das geistige Auge zu verschaffen.

Der Hauptgrund für Versuche, Gehirnsignale zu interpretieren, ist die Hoffnung, dass wir eines Tages neue Kommunikationsfenster für Menschen im Koma oder mit verschiedenen Formen von Lähmungen bieten können. Es besteht aber auch die Hoffnung, dass die Technologie intuitivere Schnittstellen zwischen Mensch und Maschine schaffen könnte, die auch für gesunde Menschen Anwendung finden könnten.

Bisher konzentrierten sich die meisten Forschungsarbeiten auf Bemühungen, den internen Monolog nachzubildens von Patienten mithilfe von KI-Systemen auswählen an welche Wörter sie denken. Die vielversprechendsten Ergebnisse wurden auch mit invasiven Gehirnimplantaten erzielt, die für die meisten Menschen wahrscheinlich kein praktischer Ansatz sind.

Jetzt haben Forscher der National University of Singapore und der Chinese University of Hong Kong jedoch gezeigt, dass sie nicht-invasive Gehirnscans und KI-Bilderzeugungstechnologie kombinieren können, um kurze Videoausschnitte zu erstellen, die den Clips, die die Probanden angesehen haben, unheimlich ähnlich sind als ihre Gehirndaten gesammelt wurden.

Die Arbeit ist eine Erweiterung der Forschung derselben Autoren Ende letzten Jahres veröffentlicht, wo sie zeigten, dass sie Standbilder erzeugen konnten, die in etwa den Bildern entsprachen, die den Probanden gezeigt wurden. Dies wurde erreicht, indem zunächst ein Modell anhand großer Datenmengen trainiert wurde, die mit fMRT-Gehirnscannern gesammelt wurden. Dieses Modell wurde dann mit der Open-Source-Bildgenerierung AI Stable Diffusion kombiniert, um die Bilder zu erstellen.

In einem neuen Papier veröffentlicht auf der Preprint-Server arXiv, Die Autoren verfolgen einen ähnlichen Ansatz, passen ihn jedoch so an, dass das System Gehirndatenströme interpretieren und in Videos statt Standbilder umwandeln kann. Zunächst trainierten sie ein Modell mit großen Mengen an fMRT, damit es die allgemeinen Merkmale dieser Gehirnscans erlernen konnte. Dies wurde dann erweitert, sodass es eine Folge von fMRT-Scans statt einzelner Scans verarbeiten konnte, und dann erneut auf Kombinationen von fMRT-Scans, den Videoausschnitten, die diese Gehirnaktivität hervorriefen, und Textbeschreibungen trainiert.

Unabhängig davon passten die Forscher das vorab trainierte Stable Diffusion-Modell an, um Videos statt Standbilder zu erzeugen. Anschließend wurde es erneut mit denselben Videos und Textbeschreibungen trainiert, mit denen das erste Modell trainiert worden war. Schließlich wurden die beiden Modelle anhand von fMRT-Scans und den dazugehörigen Videos kombiniert und feinabgestimmt.

Das resultierende System war in der Lage, neue fMRT-Scans aufzunehmen, die es zuvor noch nicht gesehen hatte, und Videos zu erzeugen, die den Clips menschlicher Probanden weitgehend ähneltend habe damals zugeschaut. Auch wenn die Ausgabe der KI bei weitem nicht perfekt mit dem Originalvideo übereinstimmte, stellte sie Szenen von Menschenmengen oder Pferdeherden genau nach und stimmte oft mit der Farbpalette überein.

Um ihr System zu bewerten, verwendeten die Forscher einen Videoklassifikator, der beurteilen sollte, wie gut das Modell die Semantik der Szene verstanden hatte – zum Beispiel, ob es erkannt hatte, dass es sich bei dem Video um schwimmende Fische in einem Aquarium oder um eine Familie handelte, die einen Weg entlangging. auch wenn die Bilder etwas anders waren. Ihr Modell erzielte eine Punktzahl von 85 Prozent, was einer Verbesserung von 45 Prozent gegenüber dem Stand der Technik entspricht.

Während die von der KI generierten Videos immer noch fehlerhaft sind, sagen die Autoren, dass diese Forschungsrichtung letztendlich sowohl in der Grundlagenforschung als auch in der Zukunft Anwendung finden könnte Gehirn-Maschine-Schnittstellen. Allerdings erkennen sie auch mögliche Nachteile der Technologie an. „Es sind staatliche Vorschriften und Anstrengungen von Forschungsgemeinschaften erforderlich, um die Privatsphäre der eigenen biologischen Daten zu gewährleisten und jede böswillige Nutzung dieser Technologie zu verhindern“, schreiben sie.

Dies ist wahrscheinlich eine Anspielung auf Bedenken, dass die Kombination der KI-Gehirnscan-Technologie es Menschen ermöglichen könnte, die Gedanken anderer ohne deren Zustimmung aufdringlich aufzuzeichnen. AÄngste waren ebenfalls wurde Anfang dieses Jahres geäußert, als Forscher einen ähnlichen Ansatz verwendeten, um im Wesentlichen einen Rohentwurf zu erstellen Abschrift der Stimme in den Köpfen der Menschen, obwohl Experten darauf hingewiesen haben, dass dies der Fall sein würde unpraktisch, wenn nicht unmöglich für die absehbare Zukunft.

Aber egal, ob Sie es als einen gruseligen Eingriff in Ihre Privatsphäre oder als eine aufregende neue Art der Interaktion mit Technologie betrachten, es scheint, dass maschinelle Gedankenleser der Realität immer näher kommen.

Bild-Kredit: Claudia Dewald für Pixabay