Bio Eats World: Menggunakan AI untuk Membawa Bio Lebih Jauh

Dalam episode ini, Vijay Pande berbincang dengan Jakob Uszkoreit, salah satu pendiri dan CEO Inceptive. Bersama-sama, mereka mendiskusikan semua hal tentang AI.

Kami menerbitkan transkrip secara lengkap di bawah ini, jika Anda ingin membaca bersama.

***

Olivia Webb: Halo, dan selamat datang di Bio Eats World, podcast di persimpangan bio, perawatan kesehatan, dan teknologi. Saya Olivia Webb, pimpinan editorial untuk Bio + Health di a16z. Dalam episode ini, kami berbincang dengan Jakob Uszkoreit, mantan Google Brain, dan salah satu pendiri Inceptive. Jakob juga salah satu penulis makalah penelitian AI seminal Attention is All You Need, yang akan kami tautkan di catatan acara. Jakob duduk bersama Vijay Pande, mitra pendiri a16z Bio + Health untuk membicarakan semua hal tentang AI: mulai dari masanya di Google Brain, hingga cara manusia dan komputer memproses bahasa, hingga keyakinan Inceptive pada janji RNA, dan bagaimana Jakob percaya kita sedang memasuki wilayah titik belok dengan AI.

Ini adalah episode yang tidak ingin Anda lewatkan—tetapi juga merupakan diskusi tingkat pascasarjana tentang AI, jadi kami akan menerbitkan transkrip bersama episode tersebut. Mari kita mulai.

Algoritma yang berlaku

Vijay Panda: Jadi Jakob, terima kasih banyak telah hadir di Bio Eats World. Senang rasanya memilikimu.

Jakob Uszkoreit: Senang berada di sini. Terima kasih sudah menerima saya.

Vijay Panda: Terutama karena Anda memiliki kisah yang sangat menarik sebagai ilmuwan komputer, pengusaha, dan pendiri, saya ingin Anda memandu kami melalui perjalanan karier Anda, mulai dari mana pun Anda mau, tetapi apa yang membawa Anda ke Google Brain mungkin adalah tempat yang bagus untuk memulai .

Jakob Uszkoreit: Saya ingat sampai batas tertentu, eh, menghadapi masalah pembelajaran mesin ini, mungkin dalam arti luas, [dan] pemahaman bahasa, agak lebih spesifik, sebagai masalah yang terjadi dalam keluarga. Jadi ayah saya adalah seorang ilmuwan komputer dan ahli bahasa komputasi dan, Anda tahu, hal-hal yang tumbuh seperti mesin Turing belum tentu merupakan konsep yang sepenuhnya asing sejak awal.

Vijay Panda: Ya, kedengarannya seperti percakapan meja makan, sebenarnya.

Jakob Uszkoreit: Mereka adalah percakapan meja makan. Dan terutama finite automata, dan bagaimana mereka benar-benar berhubungan dengan mesin penjual otomatis, Anda tahu, adalah topik umum. Semakin tua saya, semakin saya ingin memastikan bahwa saya benar-benar melakukan sesuatu yang berbeda. Jadi saya akhirnya melihat sedikit ke dalam matematika murni dan bidang terkait di sana. [Saya] benar-benar fokus sedikit pada pengoptimalan, pada algoritme pengoptimalan, algoritme secara keseluruhan, teori kompleksitas yang lebih luas, sebelum menyadari bahwa mungkin itu bukan hal yang paling praktis dan hal yang paling dapat diterapkan, yang, Anda tahu, telah menjadi semacam sedikit benang merah sepanjang karir saya. Dan kemudian benar-benar menemukan magang Google pada tahun 2005.

Saya diberi beberapa pilihan berbeda [mengenai] proyek penelitian seperti apa yang akan diikuti, [dan] di antaranya adalah upaya visi komputer yang berbeda, tetapi juga proyek penerjemahan mesin yang pada dasarnya menjadi Google Terjemahan. Tepat sekitar waktu itu, atau hanya sedikit sebelumnya, [Translate] meluncurkan produk pertamanya yang benar-benar diberdayakan oleh sistem internal Google yang dikembangkan dan dalam arti tertentu, yang membuat saya kecewa, ternyata Google Translate di waktu sejauh ini memiliki masalah algoritma skala besar yang paling menarik.

Saat itu, sangat menarik untuk dilihat, karena yang meyakinkan saya untuk kemudian membatalkan PhD saya dan benar-benar kembali ke Google setelah magang itu, benar-benar menjadi bukti selama saya di sana bahwa jika Anda ingin mengerjakan sesuatu di pembelajaran mesin yang tidak hanya menarik dan katakanlah secara intelektual dan ilmiah, mengasyikkan, menantang, dan merangsang, tetapi juga memiliki harapan yang sangat tinggi untuk segera menggerakkan jarum dalam industri dan produk. Memang, sekitar waktu itu, tidak banyak tempat di dunia. Dan mereka pasti bukan laboratorium akademik pada saat itu, tetapi sangat banyak tempat seperti Google. Dan Google di sana dan kemudian sebenarnya sangat terdepan dalam hal ini. Jadi, Anda tahu, pada saat itu saya pikir itu luar biasa untuk menjalankan algoritme pengelompokan skala besar pertama saya pada seribu mesin, dan itu benar-benar tidak mungkin dilakukan di tempat lain.

Vijay Panda: Saat Anda berbicara dengan kolega senior kami, ada banyak romantisme masa kejayaan Bell Labs, dan saya selalu bertanya-tanya apakah Google Brain mungkin salah satu varian terdekat saat ini. Seperti apa lingkungannya?

Jakob Uszkoreit: Jadi saya merasa sebenarnya antara saat itu dan saat Google Brain benar-benar dimulai, yaitu sekitar lima tahun kemudian, ada perubahan yang signifikan. Sebelum Brain and Translate dimulai, itu jauh lebih didorong oleh produk yang benar-benar membuat perbedaan daripada yang saya yakini Bell Labs. Dan kami memiliki banyak alumni Bell Labs, tentu saja, di antara kami, tetapi itu jauh lebih termotivasi oleh penerapan langsung.

Yang bagi saya sebenarnya sangat luar biasa untuk disaksikan, bagaimana terjemahan mesin berubah [dari sesuatu yang] bagus untuk ditertawakan di sebuah pesta, secara harfiah. Jika mereka bertanya kepada Anda, di mana Anda bekerja? Dan Anda berkata, Google. Dan kemudian mereka berkata, apa yang kamu lakukan di sana? Dan mereka terkesan pada awalnya. Lalu Anda berkata, oh, saya bekerja di Google Terjemahan. Dan kemudian mereka tertawa dan bertanya, apakah ini akan berhasil? Saya kira tidak demikian. Tetapi kemudian pada saat yang sama, saya akan mengatakan bahwa gelombang pembelajaran mesin, gelombang pembelajaran mesin renaisans pra-dalam, mulai mendatar. Anda tahu, pembelajaran mendalam adalah sesuatu yang pernah saya lakukan sebelumnya di sekolah, dan saya menyukainya, tetapi itu bukanlah sesuatu yang benar-benar dapat Anda terapkan pada masa itu.

Vijay Panda: Ya, terutama karena Anda tidak memiliki skala akademisi untuk melakukan kalkulasi yang perlu Anda lakukan.

Jakob Uszkoreit: Tentu bukan di dunia akademis, tapi bahkan di Google. Meskipun pada saat itu, di Translate, sebenarnya, fitur pembeda yang paling menarik adalah, menurut saya, kami benar-benar percaya pada kekuatan absolut data pada akhirnya.

Jadi kami mencoba untuk tidak membuat algoritme yang lebih rumit dan canggih, tetapi menyederhanakan dan menskalakannya sebanyak mungkin, lalu memungkinkannya untuk melatih lebih banyak data. Tapi kami baru saja mencapai langit-langit di sana. Penyederhanaan yang harus Anda buat untuk menskalakannya ke skala Google saat itu, itulah tujuan kami sebenarnya. Tapi kemudian, dan itu adalah salah satu dari gerakan pendulum ini, berayun kembali, dari akademisi, sekelompok orang dengan banyak GPU — pembelajaran mendalam kembali dalam arti tertentu dengan sepenuh hati. Dan tiba-tiba lingkungan beradaptasi, karena tidak jelas jalur langsung apa yang akan diskalakan ke produksi.

Maka seluruh lingkungan bergeser dari yang lebih berorientasi pada aplikasi dan produk, menjadi sesuatu yang setidaknya terasa selama beberapa tahun, jauh lebih akademis. Ini masih sedikit berbeda dari laboratorium akademik karena kami mampu membeli lebih banyak GPU, tetapi jauh lebih sejalan, dalam arti tertentu, dengan gagasan ini, didorong oleh publikasi, didorong oleh lompatan daripada langkah. [Itu] berubah menjadi [lingkungan] yang sangat, sangat produktif—dan sangat menakjubkan—tetapi jauh lebih terbuka.

Perhatianlah yang Anda butuhkan

Vijay Panda: Nah, tahukah Anda, berbicara tentang publikasi, tempat yang wajar untuk dipikirkan adalah saat Anda dan tim menerbitkan Attention is All You Need. Dan, tahukah Anda, itu adalah makalah penting untuk begitu banyak AI generatif sejak saat itulah algoritme transformator pertama kali ditata.

Jakob Uszkoreit: Dua tahun sebelum menerbitkan makalah itu, kami menyadari [bahwa] apa yang kemudian menjadi yang paling canggih untuk masalah seperti terjemahan mesin, atau [apa] yang muncul sebagai yang canggih, yaitu berbasis LSTM atau RNN , Seq2Seq secara keseluruhan sebagai paradigma pelatihan dan sebagai penyiapan, tetapi juga sebagai arsitektur jaringan—memiliki masalah yang luar biasa bahkan pada GPU paling modern saat itu, terkait penskalaan dalam hal data.

Misalnya, sistem terjemahan mesin saraf pertama yang diluncurkan Google, GNMT, sebenarnya, setahu saya, tidak pernah benar-benar melatih semua data pelatihan yang kami miliki, yang sebelumnya telah kami tambang untuk sistem statistik berbasis frasa. Dan itu karena algoritme tidak menskalakan dengan baik dalam hal jumlah data. Singkat cerita, kami saat itu tidak mencari terjemahan mesin, tetapi masalah di mana, secara internal di Google, kami memiliki lebih banyak data pelatihan yang tersedia. Jadi ini adalah masalah yang muncul dari pencarian, di mana pada dasarnya Anda memiliki tiga atau empat urutan besarnya. Anda tahu, sekarang tidak ada miliaran kata lagi, tetapi triliunan dengan mudah, dan tiba-tiba kami menemukan pola ini di mana jaringan feedforward sederhana, meskipun mereka membuat asumsi penyederhanaan yang konyol seperti, itu hanya sekumpulan kata, atau hanya sekumpulan bigram , dan Anda menghitung rata-rata mereka dan mengirimkannya melalui MNLP besar, mereka benar-benar mengungguli RNN dan LSTM, setidaknya saat dilatih dengan lebih banyak data.

[Dan mereka] n-kali lebih cepat, dengan mudah 10, 20 kali lebih cepat, untuk berlatih. Jadi Anda bisa melatih mereka dengan lebih banyak data. Dalam beberapa kasus, [mereka] seratus kali lebih cepat untuk dilatih. Jadi kami terus secara konsisten benar-benar berakhir dengan model yang lebih sederhana dan yang tidak dapat mengungkapkan atau menangkap fenomena tertentu yang kami tahu pasti umum dalam bahasa.
Namun, Anda tahu, intinya, mereka lebih murah untuk dilatih dan [mereka] tampil lebih baik.

Vijay Panda: Mari kita beri contoh untuk orang yang tidak terbiasa. Jadi, untuk sekumpulan kata, jika saya berkata, tunjukkan semua restoran terdekat kecuali Italia, itu akan menunjukkan semua restoran Italia, bukan?

Jakob Uszkoreit: Tepat. Bahkan, apa yang Anda katakan mungkin dapat disusun ulang, untuk menunjukkan kepada saya semua restoran Italia kecuali di dekatnya. Itu hanya sup kata-kata dan Anda dapat menyusunnya kembali menjadi sesuatu yang pasti berarti sesuatu yang berbeda.

Vijay Panda: Ya.

Jakob Uszkoreit: Dan kemudian Anda memperkirakan mendapatkan struktur dan mendapatkan fenomena yang lebih global dengan memasukkan bigram. Jadi pada dasarnya kelompok dua kata berurutan dan hal-hal seperti itu. Tapi jelas bahwa, tentu saja dalam bahasa seperti bahasa Jerman, di mana pada dasarnya Anda bisa meletakkan kata kerja di akhir kalimat…

Vijay Panda: Dan itu mengubah keseluruhan artinya, bukan?

Jakob Uszkoreit: Mengubah semua arti, tepatnya, ya. Berapa pun ukuran n-gram Anda—atau kelompok kata kecil Anda—pada akhirnya Anda tidak akan berhasil. Dan menjadi jelas bagi kami bahwa harus ada cara berbeda yang tidak memerlukan perulangan panjang RNN, atau perulangan dalam urutan, katakanlah kata atau piksel, tetapi yang benar-benar memproses masukan dan keluaran dengan cara yang lebih paralel dan benar-benar pada akhirnya memenuhi kekuatan perangkat keras akselerator modern.

Vijay Panda: Coba pikirkan, seperti sekantong kata adalah kata-kata dalam urutan acak. LSTM, atau ingatan jangka pendek yang panjang, mungkin memberi Anda semacam [kemampuan untuk] melihat [ke] masa lalu sedikit, bukan? Tetapi transformer melakukan sesuatu yang sangat berbeda. Bagaimana transformer membawanya ke level selanjutnya?

Jakob Uszkoreit: Selalu ada dua cara untuk melihat ini. Salah satunya adalah melalui lensa efisiensi, tetapi cara lain yang mungkin sedikit lebih intuitif adalah dengan melihatnya dari segi, Anda tahu, seberapa banyak konteks yang dapat Anda pertahankan. Dan seperti yang Anda katakan, LSTM, atau jaringan saraf berulang secara umum, mereka bergerak melalui input mereka selangkah demi selangkah, secara umum, dan sementara mereka, secara teori, mampu mempertahankan jendela konteks panjang yang sewenang-wenang ke dalam input — masa lalu — apa yang terjadi dalam praktiknya adalah sebenarnya sangat sulit bagi mereka untuk mengidentifikasi peristiwa, katakanlah kata atau piksel, yang sangat jauh di masa lalu yang benar-benar memengaruhi makna di penghujung hari. Mereka cenderung fokus pada hal-hal yang ada di sekitarnya.

Trafo, di sisi lain, pada dasarnya hanya membalikkannya dan berkata, tidak, di setiap langkah yang kami lakukan tidak bergerak melalui input. Di setiap langkah, kami melihat keseluruhan input atau output, dan pada dasarnya kami secara bertahap merevisi representasi setiap kata atau setiap piksel atau setiap tambalan atau setiap bingkai video, karena pada dasarnya kami bergerak, bukan di ruang input , tetapi dalam ruang representasi.

Vijay Panda: Ya.

Jakob Uszkoreit: Dan ide itu memiliki beberapa kelemahan dalam hal bagaimana Anda akan menyesuaikannya dengan perangkat keras modern, tetapi dibandingkan dengan jaringan saraf yang berulang, ide ini terutama memiliki kelebihan karena sekarang Anda tidak benar-benar terikat untuk menghitung representasi secara berurutan, katakanlah, kata demi kata. Apa yang Anda terikat adalah, sungguh, seberapa baik mereka seharusnya? Berapa banyak lapisan pemrosesan paralel semacam ini dari semua posisi di mana semuanya, di mana semua pasang kata atau semua pasang tambalan gambar dapat langsung berinteraksi? Berapa banyak revisi dari representasi ini yang sebenarnya dapat saya "beli"?

Vijay Panda: Yang sangat menarik juga adalah bahwa jelas inspirasinya adalah bahasa alami, tetapi ada banyak struktur yang ingin Anda masukkan di mana Anda tidak ingin hanya mempelajarinya secara berurutan, seperti urutan DNA—dan kita akan masuk ke biologi cukup cepat—bahwa Anda ingin memiliki model dari semuanya.

Agak lucu dengan bahasa. Ketika saya berbicara atau ketika saya mendengarkan Anda, saya memproses setiap kata, tetapi pada akhirnya saya harus tidak hanya mengubah kata-kata menjadi makna individu, tetapi saya harus mengembangkan representasi ini. Ya? Saya berharap kita bisa melakukannya seperti transformer. Dan mungkin triknya adalah LSTM lebih dekat dengan cara kita manusia melakukannya, dan transformer mungkin memang cara yang seharusnya kita lakukan, atau saya harap kita bisa melakukannya.

Jakob Uszkoreit: Secara sepintas, menurut saya itu benar, meskipun pada akhirnya—argumen introspektif seperti ini tidak kentara dan rumit.

Jadi saya kira banyak dari kita mengetahui fenomena di mana Anda berteriak atau berteriak dengan seseorang yang mencoba mengomunikasikan sesuatu di seberang jalan yang sibuk. Jadi Anda mendengar sesuatu yang mereka katakan, dan itu bukan rangkaian kata yang singkat, dan pada dasarnya Anda tidak mengerti apa-apa. Tapi kemudian seperti setengah detik kemudian, Anda tiba-tiba mengerti seluruh kalimatnya. Ini sebenarnya mengisyaratkan fakta bahwa sementara kita dipaksa untuk menulis dan mengucapkan bahasa secara berurutan — hanya karena panah waktu — tidak begitu jelas apakah pemahaman kita yang lebih dalam benar-benar berjalan dengan cara yang berurutan itu.

Membangun tim

Vijay Panda: Jika ada yang mempelajari bahkan hanya kertas Attention is All You Need atau cara kerja trafo, ada banyak bagian di dalamnya. Dan sepertinya sekarang sudah melewati titik di mana satu orang dapat secara efektif melakukan pekerjaan itu sendiri dalam waktu singkat.

Jakob Uszkoreit: Benar.

Vijay Panda: Jadi sekarang Anda benar-benar membutuhkan tim untuk melakukan hal-hal semacam ini. Apa sosiologi itu? Bagaimana hal seperti itu bisa terjadi?

Jakob Uszkoreit: Kasus khusus ini, menurut saya pribadi, adalah contoh yang sangat bagus dari sesuatu yang lebih cocok, katakanlah, pendekatan industri untuk penelitian ilmiah, dengan sangat baik. Karena kamu benar sekali. Ini bukanlah satu-satunya percikan imajinasi dan kreativitas yang memicu semuanya.

Itu benar-benar sejumlah besar kontribusi yang semuanya diperlukan, pada akhirnya. Memiliki sebuah lingkungan, sebuah perpustakaan—yang kemudian juga menjadi sumber terbuka, dengan nama Tensor2Tensor—yang sebenarnya termasuk implementasi. Dan bukan sembarang implementasi, tetapi implementasi yang sangat bagus, implementasi cepat dari semua jenis trik pembelajaran mendalam.
Tetapi juga sampai ke mekanisme perhatian yang keluar dari publikasi sebelumnya — seperti model perhatian yang dapat didekomposisi [yang] diterbitkan sebelumnya — tetapi kemudian sebenarnya digabungkan dengan peningkatan dan inovasi, penemuan seputar pengoptimalan. Anda tidak akan menemukan orang, menurut saya, yang benar-benar merupakan salah satu pakar terkemuka dunia dalam semua hal ini secara bersamaan dan yang benar-benar memiliki hasrat yang sama tentang semua aspek ini.

Vijay Panda: Dan terutama ada ide awalnya, ada penerapannya, ada penskalaannya. Untuk mencapai skala seperti itu di tempat lain selain di perusahaan besar, saat ini, mungkin tidak layak dilakukan hanya karena biayanya.

Jakob Uszkoreit: Saya akan berpikir sebenarnya mungkin aspek perusahaan besar tidak terlalu penting.

Vijay Panda: Ya?

Jakob Uszkoreit: Aspek perusahaan adalah salah satu yang saya hargai lebih tinggi. Perusahaan besar tentu tidak ada salahnya jika Anda membutuhkan ribuan TPU atau GPU atau apa pun. Kantong dalam tidak ada salahnya untuk barang semacam ini. Tetapi pada saat yang sama, saya percaya struktur insentif seputar penelitian eksploratif semacam ini di industri jauh lebih cocok untuk proyek semacam ini. Dan saya pikir itu sebenarnya sesuatu yang kami lihat, melihat proyek AI generatif secara keseluruhan.

Vijay Panda: Ya. Dan menurut Anda, itu bisa menjadi startup.

Jakob Uszkoreit: Itu pasti bisa menjadi startup. Dan saya pikir kita melihat sekarang bahwa menggunakan perangkat keras akselerator setidaknya menjadi lebih terjangkau. Dan ada startup yang sangat bersaing dalam hal AI generatif yang ditargetkan pada pembuatan gambar atau pembuatan teks.

Melompat ke ilmu kehidupan

Vijay Panda: Saya ingin beralih ke apa yang Anda lakukan sekarang. Anda adalah CEO Inceptive, sebuah perusahaan yang menerapkan biologi AI ke RNA untuk terapi RNA. Bagaimana Anda beralih ke ilmu kehidupan? Secara dangkal, berbicara tentang model bahasa di sekitar [meja] makan malam dan kemudian di sekitar kafetaria Google… sepertinya itu adalah lompatan ke terapi generasi berikutnya. Bagaimana itu semua bisa terjadi?

Jakob Uszkoreit: Saya sangat setuju. Ini adalah pengalaman belajar yang luar biasa, dari akhir saya. Untuk beberapa waktu sekarang, biologi mengejutkan saya sebagai masalah di mana tampaknya tidak terbayangkan bahwa ada batasan sejauh mana kita dapat melangkah dalam hal, katakanlah, pengembangan obat dan desain langsung dengan biologi tradisional sebagai tulang punggung bagaimana kita pergi tentang merancang — atau menemukan metode untuk merancang — obat-obatan masa depan.

Tampaknya pembelajaran yang mendalam, khususnya, pada skala, karena banyak alasan, berpotensi menjadi alat yang sangat tepat di sini. Dan salah satu alasan itu sebenarnya adalah sesuatu yang seringkali tidak dianggap sebagai keuntungan, yaitu fakta bahwa kotak hitam besar inilah yang bisa Anda lemparkan ke sesuatu. Dan tidak benar bahwa Anda bisa membuangnya begitu saja. Itu adalah sesuatu yang Anda harus tahu cara membuangnya.

Vijay Panda: Dan itu juga tidak sepenuhnya hitam. Kita bisa berdebat tentang itu nanti.

Jakob Uszkoreit: Iya benar sekali. Tepat. Namun, pada akhirnya, kembali ke analogi bahasa, kita tidak pernah berhasil sepenuhnya, dalam pengertian itu, memahami dan membuat konsep bahasa sejauh yang dapat Anda klaim, oh, sekarang saya akan pergi dan memberi tahu Anda teori di balik bahasa ini, dan setelah itu Anda akan dapat menerapkan algoritme yang "memahaminya". Kami belum pernah sampai ke titik itu. Sebaliknya, kami harus membatalkan dan mundur selangkah dan, menurut pendapat saya, sampai batas tertentu, mengakui pada diri kami sendiri bahwa itu mungkin bukan pendekatan yang paling pragmatis. Sebaliknya, kita harus mencoba pendekatan yang tidak memerlukan tingkat pemahaman konseptual tersebut. Dan saya pikir hal yang sama mungkin berlaku untuk bagian biologi.

Menggunakan AI untuk membawa bio lebih jauh

Vijay Panda: Ini menarik, kita pernah membicarakan hal-hal seperti ini sebelumnya. Anda berpikir tentang abad terakhir, [yang] merupakan abad fisika dan kalkulus. Ada mentalitas tertentu di mana ada cara Anda dapat memiliki penyederhanaan yang sangat elegan dari hal-hal yang Anda dapat memiliki satu persamaan seperti persamaan medan Einstein yang menjelaskan begitu banyak, dan itu adalah persamaan yang sangat sederhana dalam bahasa yang sangat kompleks. Anda telah berbicara tentang bagaimana pendekatan Feynman, hampir seperti sosiologi fisika, mungkin tidak berlaku di sini dalam biologi, bukan?

Jakob Uszkoreit: Itu mungkin tidak berlaku, setidaknya karena dua alasan yang bisa saya lihat saat ini. Nomor satu adalah terlalu banyak pemain yang terlibat. Dan meskipun benar bahwa mungkin kita bisa mereduksi semuanya menjadi persamaan Schrodinger dan menyelesaikannya, kebetulan saja, tidak hanya sulit secara komputasi, tetapi juga kita harus tahu tentang semua pemain yang berbeda ini, dan saat ini kita tidak . Bahkan tidak dekat. Jadi itu satu aspek.

Dan kemudian yang kedua pada dasarnya adalah ketidakmampuan secara komputasi, di mana pengurangan, dalam arti tertentu, telah berjalan sejauh itu, sementara mengembalikan semuanya ke satu hal, itu tidak membantu kita karena pendekatan komputasi kita pada dasarnya menggunakan dasar-dasar untuk membuat prediksi terlalu lambat untuk membuat prediksi untuk sistem yang cukup besar untuk benar-benar penting bagi kehidupan.

Vijay Panda: Ya. Jadi ini bukan persamaan n-body, tapi masih ada kesan formalisme—mungkin ini lebih formalisme berbasis data atau lebih formalisme Bayesian. Bagaimana hal itu memberi masukan pada apa yang ingin Anda lakukan? Bagaimana cara menerapkan AI dan jenis algoritme baru lainnya?

Jakob Uszkoreit: Saya pikir ada beberapa aspek yang berbeda. Pada akhirnya, salah satu kesimpulan besar menurut saya dari apa yang saat ini kami lihat di AI generatif adalah bahwa kami tidak lagi harus melatih data yang tidak hanya bersih sempurna, tetapi juga tepat dari domain dan dari jenis tugas yang nantinya ingin Anda tangani. Namun sebaliknya, itu mungkin sebenarnya lebih bermanfaat atau bahkan satu-satunya cara yang sejauh ini kami temukan untuk benar-benar mencoba melatih semua yang Anda temukan yang bahkan terkait dari jarak jauh. Dan kemudian gunakan informasi yang diperoleh secara efektif dari data tersebut untuk berakhir dengan apa yang disebut model dasar, yang kemudian Anda dapat menyempurnakan semua jenis tugas tertentu menggunakan jumlah data bersih yang jauh lebih kecil dan lebih mudah diatur.

Saya pikir kita sedikit meremehkan apa yang harus kita ketahui tentang fenomena secara luas. Untuk membangun model bahasa besar yang sangat bagus, Anda harus memahami bahwa ada hal yang disebut internet dan memiliki banyak teks di dalamnya. Anda harus memahami sedikit, sebenarnya, tentang bagaimana menemukan teks ini, apa yang bukan teks, dan sebagainya, untuk kemudian pada dasarnya menyaring darinya data pelatihan yang kemudian Anda gunakan.

Saya percaya akan ada tantangan yang sangat mirip di sekitar biologi. Pertanyaan besarnya adalah: eksperimen apa yang dapat kita skalakan sedemikian rupa sehingga kita dapat mengamati kehidupan pada skala yang cukup dengan ketelitian yang cukup—tetapi dengan spesifisitas yang jauh lebih sedikit sambil tetap mengingat masalah yang pada akhirnya ingin Anda pecahkan—sehingga kita dapat pada dasarnya mengambil dari data yang kita butuhkan untuk mulai membangun model fondasi ini, yang kemudian dapat kita gunakan, disesuaikan dan direkayasa secara khusus, untuk benar-benar mendekati masalah yang ingin kita atasi.

Bagian pembuatan data tentu saja salah satunya. Arsitektur dan secara efektif memiliki model dan arsitektur jaringan yang meniru apa yang kita ketahui, tentang, katakanlah, fisika di bawahnya, akan tetap menjadi cara yang sangat ampuh untuk benar-benar menghemat perhitungan dan juga mengurangi nafsu makan yang masih besar untuk data yang harus dimiliki model ini. , ke tingkat yang layak. Jadi satu hal yang menurut saya menarik untuk dicatat adalah bahwa banyak aplikasi model saat ini, katakanlah transformer, yang [telah] ditemukan memiliki skala yang cukup baik dalam modalitas lain, domain lain, bahasa, visi, pembuatan gambar, dll., dll., dan menerapkannya pada biologi pada dasarnya mengabaikan fakta bahwa kita tahu bahwa ada yang namanya waktu, dan bahwa hukum fisika, setidaknya sepanjang pengetahuan kita, tampaknya tidak berubah begitu saja lembur.

Proses pelipatan protein, mengabaikan fakta bahwa ada berton-ton pemain—pendamping dan lainnya—sebenarnya, dalam arti tertentu, merupakan masalah yang dipisahkan secara arbitrer dari sisa kinetika protein. Ini sama banyaknya dengan kinetika sisa kinetika, atau sisa umur protein itu, dari molekul itu. Jadi mengapa kita mencoba melatih model secara khusus untuk satu dan, setidaknya berpotensi, mengabaikan data yang mungkin kita miliki tentang yang lain? Dalam hal ini, mungkin lebih spesifik, apakah beberapa model prediksi struktur protein yang kita miliki saat ini, apakah mereka sudah mempelajari sesuatu tentang kinetika secara implisit karena fakta bahwa mereka perlahan mulai merangkul, Anda tahu, keberadaan waktu?

Mengembangkan arsitektur baru

Vijay Panda: Salah satu hal menarik yang saya pikirkan tentang posisi Anda saat ini adalah, dengan beberapa pengecualian langka, sebagian besar jaringan saraf dalam atau jenis AI lainnya dalam biologi terasa seperti mengambil sesuatu yang ditemukan di tempat lain dan membawanya ke sana. Seperti kita akan menggunakan jaring saraf konvolusional untuk gambar. Mungkin untuk molekul kecil… di lab saya di Stanford, kami menggunakan jaringan saraf graf dan beberapa jaringan saraf konvolusional. Tetapi untuk benar-benar mengembangkan algoritme secara eksplisit untuk masalah biologis cukup jarang. Dan saya selalu berasumsi itu karena sulit untuk memiliki keahlian tim yang kuat dalam domain biologi dan dalam domain ilmu komputer. Tapi saya ingin tahu untuk mengambil pendapat Anda. Atau jarang sekali mengembangkan arsitektur baru?

Jakob Uszkoreit: Yah, saya pikir, pada akhirnya, apa yang kita lihat adalah bahwa arsitektur baru, sementara dimotivasi oleh masalah tertentu, jika mereka benar-benar membuat perbedaan, maka mereka cenderung juga dapat diterapkan di tempat lain. Itu tidak, di sisi lain, berarti bahwa, dalam perjalanan ke sana, memilih dengan hati-hati apa aplikasi dan domain yang memotivasi tidak akan membuat perbedaan besar. Dan saya pikir itu pasti.

Saya merasa salah satu tantangan utama di sini adalah kita belum berada dalam rezim biologi di mana kita memiliki berbondong-bondong data, meskipun, dibandingkan dengan apa yang kita miliki beberapa waktu lalu, itu luar biasa. Tapi kami belum berada dalam rezim itu di mana itu hanya duduk-duduk di web yang setara, dan kami dapat memfilternya sedikit, mengunduhnya, dan menyelesaikannya. Namun sebaliknya, saya pikir kita harus membuatnya dalam skala yang cukup besar. Dan itu tidak akan dilakukan oleh para ahli deep learning, setidaknya tidak oleh sebagian besar dari mereka.

Dan saya percaya itu harus terjadi bersamaan dengan kemudian juga benar-benar memahami kekhasan data tersebut, bukan? Jenis kebisingan yang Anda temui di sana. Fakta bahwa ini sebenarnya dibuat di kumpulan berskala sangat besar, eksperimen throughput tinggi, tetapi tetap saja, eksperimen yang dijalankan pada hari yang berbeda oleh eksperimen yang berbeda dan seterusnya. Dan di mana orang-orang dengan latar belakang pembelajaran yang lebih mendalam bekerja cukup dekat dengan orang-orang dengan latar belakang biologi, cukup belajar tentang apa yang kita ketahui tentang fenomena yang mendasarinya, [mereka] pada dasarnya akan terinspirasi untuk mencoba pendekatan baru yang menarik.

Vijay Panda: Yah, saya suka ketika Anda berbicara tentang contoh makalah Perhatian Adalah Yang Anda Butuhkan, tentang bagaimana Anda ingin mendapatkan kelompok orang yang beragam ini yang hasratnya, Anda tahu, cukup ortogonal satu sama lain. Dan dalam arti tertentu, ketika Anda melakukan ini dalam biologi dan terutama untuk apa yang Anda lakukan di Inceptive, Anda juga harus melakukan semua pekerjaan ini untuk menghasilkan data. Dan menghasilkan data benar-benar berarti, secara eksplisit, menjalankan eksperimen biologis dalam skala besar. Bagian masukan itu sendiri sangat mahal dan sangat teknis, dan seperti yang Anda katakan, ada banyak kesalahan. Tapi sepertinya Anda sedang membangun di atas budaya yang telah Anda lakukan sebelumnya dan sekarang hanya lebih banyak ahli dengan minat yang berbeda yang berkoordinasi dengan cara yang analog.

Jakob Uszkoreit: Saya sangat membutuhkan, [dan] orang membutuhkan itu. Ini, sejauh yang saya tahu, jalan yang paling menjanjikan. [Ini untuk] tidak bertujuan untuk, dalam arti tertentu, model pipa, di mana data tertentu di laboratorium tempat mereka dibuat, dengan pengetahuan terbaik kami, tentang aspek kehidupan yang mendasarinya. Dan kemudian mulai menjalankan pendekatan pembelajaran mendalam yang ada di atasnya dan kemudian menyesuaikannya. Tetapi alih-alih benar-benar memiliki orang-orang yang, dalam arti tertentu, mereka mungkin termasuk orang pertama yang benar-benar bekerja dalam disiplin yang saat ini belum memiliki nama yang bagus.

Mungkin penyebut yang paling tidak umum adalah keingintahuan yang melampaui apa yang Anda ketahui, apa yang telah Anda pelajari sebelumnya, dan apa yang mungkin menghabiskan sebagian besar waktu Anda untuk melakukannya. Kami menemukan bahwa seperti di banyak bidang lain, yang sebenarnya kami kejar adalah sekelompok orang dengan latar belakang yang sangat beragam, tetapi memiliki rasa ingin tahu yang sama.

Kemana AI pergi?

Vijay Panda: Menurut Anda di mana AI saat ini untuk masalah yang lebih sulit, untuk desain obat, perawatan kesehatan, dan sebagainya? Apa yang harus dilakukan? Kapan itu akan sampai di sana?

Jakob Uszkoreit: Saya berharap—dan selalu sangat berbahaya untuk membuat prediksi tentang masa depan—saya akan sangat terkejut jika dalam tiga tahun ke depan kita tidak benar-benar mulai melihat titik [infleksi] yang terjadi terkait dengan efek dunia nyata dari pembelajaran mesin, pembelajaran mendalam skala besar dalam pengembangan obat, desain obat. Di mana tepatnya mereka akan menjadi yang pertama, tentu saja, saya yakin banyak dari mereka akan terjadi di sekitar RNA, terapi RNA, dan vaksin. Itu pasti bukan satu-satunya area yang terpengaruh oleh ini, tapi saya pasti berpikir kita sedang menuju ke wilayah titik belok.

Vijay Panda: Anda membuat poin yang menarik. Apa bedanya dengan RNA? Karena menurut saya ini sangat menarik, bukan hanya karena Anda beralih dari Google Brain ke biologi, tetapi Anda beralih ke RNA secara khusus. Apa yang membuat Anda tertarik pada RNA, terutama dari sudut pandang AI atau ML?

Jakob Uszkoreit: Satu hal yang menarik tentang RNA adalah kombinasi antara, seperti yang telah kita lihat, penerapan yang sangat luas—walaupun masih sempit dalam arti indikasi tunggal—namun hanya dengan melihat gelombang proses persetujuan yang sedang dan sudah dimulai ini, cukup menarik. jelas bahwa penerapannya sangat, sangat luas, ditambah dengan — ini agak ambigu — masalah sederhana secara struktural. Dan secara struktural sederhana bukan dalam kalimat bahwa prediksi struktural RNA itu sederhana, tetapi secara struktural sederhana dalam arti bahwa itu adalah biopolimer dengan empat basa berbeda. Kami tidak berbicara tentang lebih dari 20 asam amino. Itu adalah sesuatu yang dapat diproduksi dengan cukup efektif.

Ada beberapa tantangan di sana, tetapi sintesis adalah sesuatu yang dapat diskalakan dan diskalakan dengan cepat, dan hal-hal ini bersatu benar-benar untuk memungkinkan putaran umpan balik cepat yang saya kira sering disinggung, tetapi sangat jarang, setidaknya dari apa yang saya ketahui, benar-benar diimplementasikan dan dapat diterapkan pada akhir hari.

Vijay Panda: Ya, bisa dibilang mungkin itu putaran umpan balik yang lebih cepat, terutama untuk cara Anda mengejarnya.

Jakob Uszkoreit: Ya. Dan mengingat bahwa saya yakin kami perlu membuat bagian terbesar dari data untuk melatih model yang kami latih, kami benar-benar menginvestasikan Inceptive untuk membuat data tersebut dalam skala besar. Dan saya akan mengatakan skala yang cukup masif, mengingat bahwa RNA tampaknya merupakan kombinasi terbaik dalam hal kesederhanaan struktural, tetapi juga skalabilitas sintesis dan eksperimen ini. Ada potensi besar di sini yang sejauh ini belum dimanfaatkan.

Vijay Panda: Ya, dan saya pikir secara khusus kemampuan untuk memiliki siklus yang cepat ini, baik praklinis dan oleh karena itu sampai ke klinik lebih cepat dan berada di klinik [untuk waktu yang lebih singkat].

Jakob Uszkoreit: Sangat. Itu benar-benar yang kami harapkan. Kami juga melihat mungkin petunjuk awal yang menunjukkan bahwa itu mungkin terjadi dan kami tentu saja, sangat, sangat bersemangat.

Vijay Panda: Memikirkan 10 tahun terakhir sungguh luar biasa lho, 2012 sampai sekarang. Menurut Anda 10 tahun ke depan seperti apa? Menurut Anda di mana kita 10 tahun dari sekarang dengan AI? Baik secara luas atau khusus untuk bio?

Jakob Uszkoreit: Saya pikir jika benar kita memasuki wilayah titik belok ini, ketika kita melihat ke belakang 10 tahun dari sekarang, itu akan tampak seperti sebuah revolusi setidaknya sebesar dan seluas yang kita pikir telah kita lihat di masa lalu. 10 tahun terakhir. Setidaknya. Sekarang saya pikir akan ada perbedaan penting, dan itu tidak begitu jelas seberapa luas revolusi yang telah kita saksikan dalam 10 tahun terakhir mempengaruhi kehidupan setiap orang. Ada area tertentu, mesin pencari atau tulisan berbantuan, dll., yang terbukti, tetapi tidak jelas seberapa luas penerapan revolusi ini. Saya percaya itu sangat banyak, tetapi kami belum melihatnya. Saya pikir revolusi yang akan kita lihat secara khusus seputar bio selama 10 tahun ke depan, atau yang akan kita lihat kembali 10 tahun dari sekarang, akan sangat berbeda dalam hal dampaknya yang mendalam pada semua kehidupan kita. .

Bahkan mengesampingkan desain obat dan aplikasi penemuan, ada aplikasi luar biasa di dalam dan di sekitar penemuan ilmiah di mana Anda sekarang dapat membayangkan bahwa, dengan antarmuka web, pada dasarnya Anda dapat memiliki molekul yang dirancang pada organisme tertentu dengan kemungkinan sangat tinggi. jawab pertanyaan tertentu, menghasilkan pembacaan yang lebih andal daripada, Anda tahu, apa yang sebelumnya bisa Anda dapatkan. Jadi, bahkan mengabaikan seluruh jenis kerumitan tentang bagaimana hal ini akan memengaruhi, pada akhirnya, pasien dan semua orang, cukup jelas, menurut saya, bahwa alat ini hanya akan mempercepat bidang seperti biologi dengan cepat.

Vijay Panda: Itu sepertinya tempat yang bagus untuk mengakhirinya. Terima kasih banyak Jakob sudah bergabung di Bio Eats World.

Jakob Uszkoreit: Terima kasih banyak sudah memilikinya.

Olivia Webb: Terima kasih telah bergabung dengan Bio Eats World. Bio Eats World dipandu dan diproduksi oleh saya, Olivia Webb, dengan bantuan tim Bio + Health di a16z dan diedit oleh Phil Hegseth. Bio Eats World adalah bagian dari jaringan podcast a16z.

Jika Anda memiliki pertanyaan tentang episode atau ingin menyarankan topik untuk episode mendatang, silakan kirim email Last but not least, jika Anda menikmati Bio Eats World, silakan beri kami peringkat dan ulasan di mana pun Anda mendengarkan podcast.

Harap perhatikan bahwa konten di sini hanya untuk tujuan informasi, tidak boleh dianggap sebagai nasihat hukum, bisnis, pajak, atau investasi, atau digunakan untuk mengevaluasi investasi atau keamanan apa pun, dan tidak ditujukan kepada investor atau calon investor mana pun dalam dana a16z mana pun . Untuk detail lebih lanjut, silakan lihat a16z.com/disclosures.

***

Pandangan yang diungkapkan di sini adalah pandangan individu AH Capital Management, LLC (“a16z”) yang dikutip dan bukan pandangan a16z atau afiliasinya. Informasi tertentu yang terkandung di sini telah diperoleh dari sumber pihak ketiga, termasuk dari perusahaan portofolio dana yang dikelola oleh a16z. Meskipun diambil dari sumber yang dipercaya dapat dipercaya, a16z belum memverifikasi informasi tersebut secara independen dan tidak membuat pernyataan tentang keakuratan informasi yang bertahan lama atau kesesuaiannya untuk situasi tertentu. Selain itu, konten ini mungkin termasuk iklan pihak ketiga; a16z belum meninjau iklan tersebut dan tidak mendukung konten iklan apa pun yang terkandung di dalamnya.

Konten ini disediakan untuk tujuan informasi saja, dan tidak boleh diandalkan sebagai nasihat hukum, bisnis, investasi, atau pajak. Anda harus berkonsultasi dengan penasihat Anda sendiri mengenai hal-hal itu. Referensi ke sekuritas atau aset digital apa pun hanya untuk tujuan ilustrasi, dan bukan merupakan rekomendasi investasi atau penawaran untuk menyediakan layanan konsultasi investasi. Selanjutnya, konten ini tidak ditujukan atau dimaksudkan untuk digunakan oleh investor atau calon investor mana pun, dan dalam keadaan apa pun tidak dapat diandalkan saat membuat keputusan untuk berinvestasi dalam dana yang dikelola oleh a16z. (Penawaran untuk berinvestasi dalam dana a16z hanya akan dilakukan dengan memorandum penempatan pribadi, perjanjian berlangganan, dan dokumentasi lain yang relevan dari dana tersebut dan harus dibaca secara keseluruhan.) Setiap investasi atau perusahaan portofolio yang disebutkan, dirujuk, atau dijelaskan tidak mewakili semua investasi dalam kendaraan yang dikelola oleh a16z, dan tidak ada jaminan bahwa investasi tersebut akan menguntungkan atau bahwa investasi lain yang dilakukan di masa depan akan memiliki karakteristik atau hasil yang serupa. Daftar investasi yang dilakukan oleh dana yang dikelola oleh Andreessen Horowitz (tidak termasuk investasi yang penerbitnya tidak memberikan izin kepada a16z untuk mengungkapkan secara publik serta investasi yang tidak diumumkan dalam aset digital yang diperdagangkan secara publik) tersedia di https://a16z.com/investments /.

Bagan dan grafik yang disediakan di dalamnya hanya untuk tujuan informasi dan tidak boleh diandalkan saat membuat keputusan investasi apa pun. Kinerja masa lalu tidak menunjukkan hasil di masa depan. Konten berbicara hanya pada tanggal yang ditunjukkan. Setiap proyeksi, perkiraan, prakiraan, target, prospek, dan/atau pendapat yang diungkapkan dalam materi ini dapat berubah tanpa pemberitahuan dan mungkin berbeda atau bertentangan dengan pendapat yang diungkapkan oleh orang lain. Silakan lihat https://a16z.com/disclosures untuk informasi penting tambahan.

• Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
• Platoblockchain. Intelijen Metaverse Web3. Pengetahuan Diperkuat. Akses Di Sini.
• Sumber: https://a16z.com/2023/01/11/bio-eats-world-using-ai-to-take-bio-farther/