Jaringan saraf terbuka: persimpangan AI dan web3

oleh Rishin Sharma & Jake Brukhman.

Terima kasih khusus kepada semua orang yang memberikan umpan balik pada bagian ini, termasuk Nick Yakovenko, David Pakman, Jan Coppens, AC, Evan Feng, Adi Sideman.

Sumber: Gambar yang dihasilkan AI dari Lexica.art, mesin pencari difusi yang stabil

Inovasi teknologi tidak pernah berhenti, dan ini terutama berlaku untuk kecerdasan buatan. Selama beberapa tahun terakhir, kami telah melihat popularitas model pembelajaran mendalam muncul kembali sebagai pelopor dalam AI. Disebut juga sebagai jaringan saraf, model-model ini terdiri dari lapisan-lapisan simpul yang saling berhubungan erat yang meneruskan informasi satu sama lain, secara kasar meniru konstruksi otak manusia. Pada awal 2010-an, model paling canggih memiliki jutaan parameter, model yang sangat diawasi digunakan untuk analisis dan klasifikasi sentimen tertentu. Model tercanggih saat ini seperti studio impian, GPT-3, DALL-E2, dan Gambar mendekati satu triliun parameter dan menyelesaikan tugas-tugas kompleks dan bahkan kreatif yang menyaingi pekerjaan manusia. Ambil, misalnya, gambar tajuk atau ringkasan posting blog ini. Keduanya diproduksi oleh kecerdasan buatan. Kami baru mulai melihat implikasi sosial dan budaya dari model-model ini ketika mereka membentuk cara kami mempelajari hal-hal baru, berinteraksi satu sama lain, dan mengekspresikan diri secara kreatif.

Namun, sebagian besar pengetahuan teknis, kumpulan data utama, dan kemampuan komputasi untuk melatih jaringan saraf besar saat ini adalah sumber tertutup dan dilindungi oleh perusahaan “Big Tech” seperti Google dan Meta. Sementara replika model open source seperti GPT-NeoX, DALLE-mega, dan BERKEMBANG telah dipelopori oleh organisasi termasuk StabilitasAI, Eleuther AI, dan MemelukWajah, web3 siap untuk meningkatkan AI open source lebih banyak lagi.

“Lapisan infrastruktur web3 untuk AI dapat memperkenalkan elemen pengembangan sumber terbuka, kepemilikan dan tata kelola komunitas, dan akses universal yang menciptakan model dan efisiensi baru dalam mengembangkan teknologi baru ini."

Selanjutnya, banyak kasus penggunaan penting untuk web3 akan ditingkatkan dengan adopsi teknologi AI. Dari NFT seni generatif untuk lanskap metaversal, AI akan menemukan banyak kasus penggunaan di web3. AI open source cocok dengan etos web3 yang terbuka, terdesentralisasi, dan terdemokratisasi dan mewakili alternatif AI yang disediakan oleh Big Tech, yang kemungkinan tidak akan dibuka dalam waktu dekat.

Model pondasi adalah jaringan saraf yang dilatih pada kumpulan data ekstensif untuk melakukan tugas yang biasanya memerlukan perilaku manusia yang cerdas. Model-model ini telah menciptakan beberapa hasil yang mengesankan.

Model bahasa seperti OpenAI's GPT-3, LaMDA Google, dan NLG Megatron-Turing Nvidia memiliki kemampuan untuk memahami dan menghasilkan bahasa alami, meringkas dan mensintesis teks, dan bahkan menulis kode komputer.

DALLE-2 adalah milik OpenAI model difusi teks-ke-gambar yang dapat menghasilkan gambar unik dari teks tertulis. Divisi AI Google DeepMind telah menghasilkan model pesaing termasuk PaLM, model bahasa parameter 540B, dan Imagen, model pembuatan gambarnya sendiri yang mengungguli DALLE-2 di DrawBench dan COCO FID Benchmarks. Imagen terutama menghasilkan hasil yang lebih fotorealistik dan memiliki kemampuan mengeja.

Model pembelajaran penguatan seperti Google AlphaGo telah mengalahkan juara dunia go manusia sambil menemukan strategi baru dan teknik bermain yang belum muncul dalam sejarah tiga ribu tahun permainan.

Perlombaan untuk membangun model fondasi yang kompleks telah dimulai dengan Big Tech di garis depan inovasi. Sama menariknya dengan kemajuan bidang, ada tema utama yang menjadi perhatian.

Selama dekade terakhir, ketika model AI menjadi lebih canggih, mereka juga menjadi semakin tertutup untuk umum.

Raksasa teknologi berinvestasi besar-besaran untuk memproduksi model seperti itu dan mempertahankan data dan kode sebagai teknologi berpemilik sambil mempertahankan parit kompetitif mereka melalui keunggulan skala ekonomi untuk pelatihan dan komputasi model.

Untuk pihak ketiga mana pun, memproduksi model fondasi adalah proses intensif sumber daya dengan tiga hambatan utama: data, menghitung, dan monetisasi.

Di sinilah kita melihat terobosan awal tema web3 dalam memecahkan beberapa masalah ini.

Kumpulan data berlabel sangat penting untuk membangun model yang efektif. Sistem AI belajar dengan membuat generalisasi dari contoh-contoh dalam kumpulan data dan terus meningkat saat dilatih dari waktu ke waktu. Namun, kompilasi dan pelabelan kumpulan data yang berkualitas memerlukan pengetahuan dan pemrosesan khusus selain sumber daya komputasi. Perusahaan teknologi besar sering kali memiliki tim data internal yang khusus bekerja dengan kumpulan data kepemilikan yang besar dan sistem IP untuk melatih model mereka, dan memiliki sedikit insentif untuk membuka akses ke produksi atau distribusi data mereka.

Sudah ada komunitas yang membuat pelatihan model terbuka dan dapat diakses oleh komunitas peneliti global. Berikut beberapa contohnya:

1. Perayapan Umum, repositori publik dari sepuluh tahun data internet, dapat digunakan untuk pelatihan umum. (Meskipun penelitian menunjukkan yang lebih tepat, kumpulan data yang dikupas dapat meningkatkan pengetahuan lintas domain umum dan kemampuan generalisasi hilir model.)
2. LAION adalah organisasi nirlaba yang bertujuan untuk membuat model dan set data pembelajaran mesin skala besar tersedia untuk masyarakat umum dan dirilis LAION5B, 5.85 miliar kumpulan data gambar-teks yang difilter CLIP yang setelah dirilis menjadi kumpulan data gambar-teks terbesar yang dapat diakses secara terbuka di dunia.
3. Eleuther AI adalah kolektif terdesentralisasi yang merilis salah satu kumpulan data teks sumber terbuka terbesar yang disebut Tumpukan. The Pile adalah kumpulan data bahasa Inggris 825.18 GiB untuk pemodelan bahasa yang menggunakan 22 sumber data berbeda.

Saat ini, komunitas-komunitas ini diorganisir secara informal dan mengandalkan kontribusi dari basis sukarelawan yang luas. Untuk meningkatkan upaya mereka, hadiah token dapat digunakan sebagai mekanisme untuk membuat kumpulan data sumber terbuka. Token dapat dipancarkan berdasarkan kontribusi, seperti memberi label kumpulan data gambar teks besar, dan komunitas DAO dapat memvalidasi klaim tersebut. Pada akhirnya, model besar dapat mengeluarkan token dari kumpulan umum, dan pendapatan hilir dari produk yang dibangun di atas model tersebut dapat bertambah ke nilai token. Dengan cara ini kontributor kumpulan data dapat memegang saham dalam model besar melalui token mereka dan peneliti akan dapat memonetisasi sumber daya bangunan di tempat terbuka.

Mengkompilasi kumpulan data open source yang dibangun dengan baik sangat penting untuk memperluas aksesibilitas penelitian untuk model besar dan meningkatkan kinerja model. Kumpulan data gambar teks dapat diperluas dengan meningkatkan ukuran dan filter untuk berbagai jenis gambar untuk hasil yang lebih disempurnakan. Kumpulan data non-Inggris akan diperlukan untuk melatih model bahasa alami yang dapat digunakan oleh populasi yang tidak berbahasa Inggris. Seiring waktu, kami dapat mencapai hasil ini lebih cepat dan lebih terbuka menggunakan pendekatan web3.

Komputasi yang diperlukan untuk melatih jaringan saraf skala besar adalah salah satu hambatan terbesar dalam model fondasi. Selama dekade terakhir, permintaan untuk komputasi dalam pelatihan model AI telah dua kali lipat setiap 3.4 bulan. Selama periode ini, model AI telah beralih dari pengenalan gambar ke penggunaan algoritme pembelajaran penguatan hingga mengalahkan juara manusia dalam game strategi dan memanfaatkan transformer untuk melatih model bahasa. Misalnya, GPT-3 OpenAI memiliki 175 miliar parameter dan membutuhkan 3,640 petaFLOPS-hari untuk dilatih. Ini akan memakan waktu dua minggu pada superkomputer tercepat di dunia dan lebih dari satu milenium untuk laptop standar untuk menghitung. Karena ukuran model terus bertambah, komputasi tetap menjadi hambatan dalam kemajuan bidang ini.

Superkomputer AI memerlukan perangkat keras khusus yang dioptimalkan untuk melakukan operasi matematika yang diperlukan untuk melatih jaringan saraf, seperti Unit Pemrosesan Grafis (GPU) atau Sirkuit Terpadu Khusus Aplikasi (ASIC). Saat ini, sebagian besar perangkat keras yang dioptimalkan untuk jenis komputasi ini dikendalikan oleh beberapa penyedia layanan cloud oligopolistik seperti Google Cloud, Amazon Web Services, Microsoft Azure, dan IBM Cloud.

Ini adalah persimpangan besar berikutnya di mana kita melihat alokasi komputasi terdesentralisasi melalui jaringan publik dan terbuka mendapatkan daya tarik. Tata kelola yang terdesentralisasi dapat digunakan untuk mendanai dan mengalokasikan sumber daya untuk melatih proyek berbasis masyarakat. Selanjutnya, model pasar terdesentralisasi dapat diakses secara terbuka di seluruh geografi sehingga setiap peneliti dapat mengakses sumber daya komputasi. Bayangkan sebuah sistem bounty yang mendanai pelatihan model crowdfund dengan mengeluarkan token. Crowdfunding yang berhasil akan menerima komputasi yang diprioritaskan untuk model mereka dan mendorong inovasi di mana ada permintaan tinggi. Misalnya, jika ada permintaan yang signifikan dari DAO untuk menghasilkan model GPT Spanyol atau Hindi untuk melayani sebagian besar populasi, penelitian dapat difokuskan pada domain tersebut.

Perusahaan sudah menyukainya GenSyn sedang mengerjakan peluncuran protokol untuk memberi insentif dan mengoordinasikan akses perangkat keras alternatif, hemat biaya, dan berbasis cloud untuk komputasi pembelajaran mendalam. Seiring waktu, jaringan komputasi global terdesentralisasi bersama yang dibangun dengan infrastruktur web3 akan menjadi lebih hemat biaya untuk diskalakan dan melayani kami dengan lebih baik saat kami bersama-sama menjelajahi batas kecerdasan buatan.

Kumpulan data dan komputasi akan memungkinkan tesis ini: model AI open source. Selama beberapa tahun terakhir, model besar menjadi semakin pribadi karena investasi sumber daya yang diperlukan untuk memproduksinya telah mendorong proyek menjadi sumber tertutup.

Ambil OpenAI. OpenAI didirikan pada tahun 2015 sebagai laboratorium penelitian nirlaba dengan misi menghasilkan kecerdasan umum buatan untuk kepentingan seluruh umat manusia, sangat kontras dengan para pemimpin AI saat itu, Google dan Facebook. Seiring waktu, persaingan ketat dan tekanan untuk pendanaan telah mengikis cita-cita transparansi dan kode sumber terbuka saat OpenAI beralih ke model mencari keuntungan dan menandatangani secara besar-besaran Kesepakatan komersial senilai $1 miliar dengan Microsoft. Selanjutnya, kontroversi baru-baru ini telah mengelilingi model teks-ke-gambar mereka, DALLE-2, untuk penyensorannya yang digeneralisasikan. (Misalnya, DALLE-2 telah melarang istilah 'pistol, 'eksekusi, 'serangan', 'Ukraina', dan gambar selebritas; sensor kasar semacam itu mencegah permintaan seperti 'Lebron James menyerang keranjang' atau 'programmer yang mengeksekusi baris kode'.) Akses ke beta pribadi untuk model ini memiliki bias geografis implisit bagi pengguna Barat untuk memotong petak besar populasi global dari berinteraksi dan menginformasikan model ini.

Ini bukan bagaimana kecerdasan buatan harus disebarluaskan: dijaga, diawasi, dan dilestarikan oleh beberapa perusahaan teknologi besar. Seperti halnya dengan blockchain, teknologi baru harus diterapkan secara merata sehingga manfaatnya tidak terkonsentrasi di antara segelintir orang yang memiliki akses. Kemajuan gabungan dalam kecerdasan buatan harus dimanfaatkan secara terbuka di berbagai industri, geografi, dan komunitas untuk secara kolektif menemukan kasus penggunaan yang paling menarik dan mencapai konsensus tentang penggunaan AI yang adil. Menjaga model fondasi tetap open source dapat memastikan bahwa penyensoran dapat dicegah dan bias dipantau secara hati-hati di bawah pandangan publik.

Dengan struktur token untuk model fondasi umum, dimungkinkan untuk mengumpulkan kumpulan kontributor yang lebih besar yang dapat memonetisasi pekerjaan mereka sambil merilis kode open source. Proyek seperti OpenAI yang dibangun dengan tesis open source harus beralih ke perusahaan yang didanai berdiri sendiri untuk bersaing memperebutkan bakat dan sumber daya. Web3 memungkinkan proyek sumber terbuka menjadi sama menguntungkan secara finansial dan lebih jauh menyaingi proyek-proyek yang dipimpin oleh investasi swasta oleh Big Tech. Selanjutnya, para inovator yang membangun produk di atas model open source dapat membangun dengan keyakinan bahwa ada transparansi dalam AI yang mendasarinya. Efek hilir dari ini adalah adopsi yang cepat dan masuk ke pasar untuk kasus penggunaan kecerdasan buatan yang baru. Di ruang web3, ini termasuk aplikasi keamanan yang melakukan analisis prediktif untuk kerentanan kontrak pintar dan tarikan karpet, generator gambar yang dapat digunakan untuk mencetak NFT dan membuat lanskap metaverse, kepribadian AI digital yang dapat eksis secara on-chain untuk mempertahankan kepemilikan individu, dan banyak lagi.

Kecerdasan buatan adalah salah satu teknologi dengan kemajuan tercepat saat ini yang akan memiliki implikasi besar pada masyarakat kita secara keseluruhan. Saat ini, bidang tersebut didominasi oleh teknologi besar karena investasi keuangan dalam bakat, data, dan komputasi menciptakan parit yang signifikan untuk pengembangan sumber terbuka. Integrasi web3 ke dalam lapisan infrastruktur AI adalah langkah penting yang harus diambil untuk memastikan bahwa sistem kecerdasan buatan dibangun dengan cara yang adil, terbuka, dan dapat diakses. Kami sudah melihat model terbuka mengambil posisi inovasi publik yang cepat di ruang terbuka seperti Twitter dan HuggingFace dan kripto dapat meningkatkan upaya ini untuk bergerak maju.

Inilah yang dicari oleh tim CoinFund di persimpangan AI dan kripto:

1. Tim dengan kecerdasan buatan terbuka sebagai inti dari misi mereka
2. Komunitas yang mengkurasi sumber daya publik seperti data dan komputasi untuk membantu membangun model AI
3. Produk yang memanfaatkan AI untuk menghadirkan kreativitas, keamanan, dan inovasi ke adopsi arus utama

Jika Anda sedang membangun proyek di persimpangan AI dan web3, mengobrol dengan kami dengan menghubungi CoinFund di Twitter atau email rishin@coinfund.io or jake@coinfund.io.