Peneliti menggunakan kecerdasan buatan untuk memburu kecerdasan manusia

10 Apr 2023 (Berita Nanowerk) Otak adalah sesuatu yang menakjubkan dan misterius: tiga pon jaringan lunak agar-agar yang melaluinya kita berinteraksi dengan dunia, menghasilkan ide dan membangun makna dan representasi. Memahami di mana dan bagaimana hal ini terjadi telah lama menjadi salah satu tujuan mendasar ilmu saraf. Dalam beberapa tahun terakhir, para peneliti telah beralih ke kecerdasan buatan untuk memahami aktivitas otak yang diukur dengan fMRI, menggunakan model AI pada data dalam upaya untuk memahami, dengan semakin spesifik, apa yang dipikirkan orang dan seperti apa pemikiran tersebut di otak mereka. Tim interdisipliner di UC Santa Barbara termasuk di antara mereka yang mendorong batasan tersebut, dengan metode yang menerapkan pembelajaran mendalam pada data fMRI untuk menciptakan rekonstruksi kompleks tentang apa yang dilihat oleh subjek penelitian. “Ada beberapa proyek yang mencoba menerjemahkan sinyal fMRI menjadi gambar, terutama karena para ahli saraf ingin memahami bagaimana otak memproses informasi visual,” kata Sikun Lin, penulis utama makalah yang muncul dalam konferensi NeurIPS baru-baru ini pada November 2022 (“Mind Reader: Reconstructing complex images from brain activities”). Menurut Lin, profesor ilmu komputer UCSB Ambuj Singh dan ahli saraf kognitif Thomas Sprague, gambar yang dihasilkan oleh penelitian ini bersifat fotorealistik dan secara akurat mencerminkan gambar “kebenaran dasar” asli. Mereka mencatat bahwa rekonstruksi sebelumnya tidak menghasilkan gambar dengan tingkat ketelitian yang sama. Kunci dari pendekatan mereka adalah bahwa selain gambar, lapisan informasi ditambahkan melalui deskripsi tekstual, sebuah langkah yang menurut Lin dilakukan untuk menambahkan data guna melatih model pembelajaran mendalam mereka. Berdasarkan kumpulan data yang tersedia untuk umum, mereka menggunakan CLIP (Contrastive Language-Image Pre-training) untuk mengkodekan deskripsi teks objektif dan berkualitas tinggi yang dipasangkan dengan gambar yang diamati, dan kemudian memetakan data fMRI dari gambar yang diamati tersebut ke ruang CLIP. . Dari sana mereka menggunakan keluaran dari model pemetaan sebagai kondisi untuk melatih model generatif guna merekonstruksi gambar. Rekonstruksi yang dihasilkan sangat mirip dengan gambar asli yang dilihat oleh subjek – bahkan lebih dekat dibandingkan upaya sebelumnya untuk merekonstruksi gambar dari data fMRI. Penelitian berikutnya, termasuk yang terkenal (“High-resolution image reconstruction with latent diffusion models from human brain activity”) dari Jepang, telah menguraikan metode untuk memanipulasi data terbatas secara efisien menjadi gambar yang jelas. Perbandingan antara pekerjaan sebelumnya dan saluran pipa kami. Kami menggunakan kumpulan data NSD terbaru yang melibatkan adegan yang lebih kompleks. However, for comparison purposes, we choose four similar images from NSD, each containing a single object “plane”, and show our reconstructions from fMRI signals in fig. b. Hasil rekonstruksi gambar dari fMRI melalui jalur pipa kami. Empat gambar kebenaran dasar berbingkai hijau. (Gambar: Singh dkk.) Terlebih lagi, penelitian ini mengungkapkan wawasan tentang aspek penting kecerdasan manusia: semantik. “Salah satu inti utama dari makalah ini adalah bahwa proses visual pada dasarnya bersifat semantik,” kata Lin. Menurut makalah tersebut, “otak secara alami bersifat multimodal,” yaitu, kita menggunakan berbagai mode informasi pada tingkat yang berbeda untuk mendapatkan makna dari suatu pemandangan visual, seperti apa yang menonjol, atau hubungan antar objek dalam pemandangan tersebut. “Menggunakan representasi visual saja mungkin mempersulit rekonstruksi gambar,” lanjut Lin, “tetapi menggunakan representasi semantik seperti CLIP yang menggabungkan teks seperti deskripsi gambar, lebih koheren dengan cara otak memproses informasi.” “Ilmu pengetahuan dalam hal ini adalah apakah struktur model dapat memberi tahu Anda sesuatu tentang cara kerja otak,” tambah Singh. “Dan itulah yang ingin kami coba temukan.” Dalam percobaan lain, misalnya, para peneliti menemukan bahwa sinyal otak fMRI mengkodekan banyak informasi yang berlebihan – sedemikian rupa sehingga bahkan setelah menutupi lebih dari 80% sinyal fMRI, 10-20% yang dihasilkan berisi data yang cukup untuk merekonstruksi sebuah gambar. dalam kategori yang sama dengan gambar asli, meskipun gambar tersebut tidak memasukkan informasi gambar apa pun ke dalam saluran rekonstruksi sinyal (gambar tersebut hanya bekerja dari data fMRI). “Pekerjaan ini mewakili perubahan paradigma yang sebenarnya dalam keakuratan dan kejelasan metode rekonstruksi gambar,” kata Sprague. “Pekerjaan sebelumnya berfokus pada rangsangan yang sangat sederhana, karena pendekatan pemodelan kami jauh lebih sederhana. Sekarang, dengan metode rekonstruksi gambar baru ini, kita dapat memajukan eksperimen yang kita lakukan dalam ilmu saraf komputasi kognitif menuju penggunaan rangsangan yang naturalistik dan realistis tanpa mengorbankan kemampuan kita untuk menghasilkan kesimpulan yang jelas.” Saat ini, rekonstruksi data otak menjadi gambar yang “asli” masih membutuhkan banyak tenaga dan berada di luar jangkauan penggunaan sehari-hari, belum lagi fakta bahwa setiap model dikhususkan untuk orang yang otaknya menghasilkan data fMRI. Namun hal ini tidak menghentikan para peneliti untuk memikirkan implikasi dari kemampuan memecahkan kode apa yang dipikirkan seseorang, hingga ke lapisan makna yang sangat spesifik untuk setiap pikiran. “Apa yang menurut saya menarik dari proyek ini adalah apakah mungkin untuk melestarikan kondisi kognitif seseorang, dan melihat bagaimana kondisi ini mendefinisikan mereka secara unik,” kata Singh. Menurut Sprague, metode ini akan memungkinkan ahli saraf untuk melakukan penelitian lebih lanjut yang mengukur bagaimana otak mengubah representasi rangsangan – termasuk representasi adegan yang kuat dan rumit – di seluruh perubahan tugas. “Ini adalah perkembangan kritis yang akan menjawab pertanyaan mendasar tentang bagaimana otak merepresentasikan informasi selama tugas-tugas kognitif yang dinamis, termasuk yang membutuhkan perhatian, ingatan, dan pengambilan keputusan,” katanya. Salah satu bidang yang mereka jelajahi sekarang adalah mencari tahu apa dan berapa banyak yang dibagi di antara otak sehingga model AI dapat dibangun tanpa harus memulai dari nol setiap saat. “Gagasan mendasarnya adalah bahwa otak manusia pada banyak subjek memiliki beberapa kesamaan laten yang tersembunyi,” kata Christos Zangos, seorang mahasiswa doktoral peneliti di laboratorium Singh.

• Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
• Platoblockchain. Intelijen Metaverse Web3. Pengetahuan Diperkuat. Akses Di Sini.
• Sumber: https://www.nanowerk.com/news2/robotics/newsid=62778.php