AI Generatif Merekonstruksi Video yang Ditonton Orang Dengan Membaca Aktivitas Otaknya

Diterbitkan Ulang Oleh Plato

Followers: 0

Kemampuanty mesin untuk membaca pikiran kita telah terus berkembang dalam beberapa tahun terakhir. Sekarang, para peneliti telah menggunakan teknologi pembuatan video AI untuk memberi kita jendela ke mata pikiran.

Pendorong utama di balik upaya menafsirkan sinyal otak adalah harapan bahwa suatu hari nanti kita mungkin dapat menawarkan jendela komunikasi baru bagi mereka yang koma atau dengan berbagai bentuk kelumpuhan. Namun ada juga harapan bahwa teknologi tersebut dapat menciptakan antarmuka yang lebih intuitif antara manusia dan mesin yang juga dapat memiliki aplikasi untuk orang sehat.

Sejauh ini, sebagian besar penelitian berfokus pada upaya menciptakan kembali monolog internals pasien, menggunakan sistem AI memilih kata-kata apa yang mereka pikirkan. Hasil yang paling menjanjikan juga datang dari implan otak invasif yang tidak mungkin menjadi pendekatan praktis bagi kebanyakan orang.

Namun sekarang, para peneliti dari National University of Singapore dan Chinese University of Hong Kong telah menunjukkan bahwa mereka dapat menggabungkan pemindaian otak non-invasif dan teknologi pembuatan gambar AI untuk membuat cuplikan pendek video yang sangat mirip dengan klip yang ditonton subjek. ketika data otak mereka dikumpulkan.

Karya tersebut merupakan perpanjangan dari penelitian penulis yang sama diterbitkan akhir tahun lalu, di mana mereka menunjukkan bahwa mereka dapat menghasilkan gambar diam yang kira-kira cocok dengan gambar yang ditunjukkan subjek. Hal ini dicapai dengan terlebih dahulu melatih satu model pada sejumlah besar data yang dikumpulkan menggunakan pemindai otak fMRI. Model ini kemudian digabungkan dengan AI Stable Diffusion generasi gambar sumber terbuka untuk membuat gambar.

Di kertas baru diterbitkan di server pracetak arXiv, penulis mengambil pendekatan serupa, tetapi mengadaptasinya sehingga sistem dapat menafsirkan aliran data otak dan mengubahnya menjadi video, bukan gambar diam. Pertama, mereka melatih satu model fMRI dalam jumlah besar sehingga dapat mempelajari fitur umum dari pemindaian otak ini. Ini kemudian ditambah sehingga bisa memproses suksesi pemindaian fMRI daripada satu per satu, dan kemudian dilatih lagi pada kombinasi pemindaian fMRI, cuplikan video yang memunculkan aktivitas otak tersebut, dan deskripsi teks.

Secara terpisah, para peneliti mengadaptasi model Difusi Stabil pra-pelatihan untuk menghasilkan video daripada gambar diam. Kemudian dilatih lagi pada video dan deskripsi teks yang sama dengan model pertama yang telah dilatih. Terakhir, kedua model digabungkan dan disesuaikan bersama pada pemindaian fMRI dan video terkait.

Sistem yang dihasilkan mampu mengambil pindaian fMRI baru yang belum pernah dilihat sebelumnya dan menghasilkan video yang sangat mirip dengan klip yang diambil subjek manusia.d sedang menonton pada saat itu. Meskipun jauh dari kecocokan yang sempurna, keluaran AI secara umum cukup mirip dengan video aslinya, secara akurat menciptakan kembali pemandangan keramaian atau kawanan kuda dan sering kali cocok dengan palet warna.

Untuk mengevaluasi sistem mereka, para peneliti menggunakan pengklasifikasi video yang dirancang untuk menilai seberapa baik model memahami semantik adegan—misalnya, apakah model menyadari bahwa video itu adalah ikan yang berenang di akuarium atau keluarga yang sedang berjalan menyusuri jalan setapak— bahkan jika citra itu sedikit berbeda. Model mereka mendapat skor 85 persen, yang merupakan peningkatan 45 persen dari yang canggih.

Sementara video yang dihasilkan AI masih bermasalah, penulis mengatakan bahwa penelitian ini pada akhirnya dapat diterapkan baik dalam ilmu saraf dasar maupun di masa depan. antarmuka otak-mesin. Namun, mereka juga mengakui potensi kerugian teknologi. “Peraturan pemerintah dan upaya dari komunitas riset diperlukan untuk memastikan privasi data biologis seseorang dan menghindari penggunaan berbahaya dari teknologi ini,” tulis mereka.

Hal itu kemungkinan besar menunjukkan kekhawatiran bahwa kombinasi teknologi pemindaian otak AI dapat memungkinkan orang merekam pikiran orang lain secara intrusif tanpa persetujuan mereka. Akecemasan itu juga disuarakan awal tahun ini ketika para peneliti menggunakan pendekatan serupa untuk membuat kasar transkrip suara di dalam kepala orang-orang, meskipun para ahli telah menunjukkan bahwa ini akan terjadi tidak praktis jika bukan tidak mungkin untuk masa mendatang.

Tetapi apakah Anda melihatnya sebagai pelanggaran privasi Anda yang menyeramkan atau cara baru yang menarik untuk berinteraksi dengan teknologi, tampaknya pembaca pikiran mesin semakin mendekati kenyataan.

Gambar Kredit: Claudia Dewald dari Pixabay