Bio Dünyayı Yiyor: Bio'yu Daha İleriye Taşımak için Yapay Zekayı Kullanma

Bu bölümde Vijay Pande, Inception'ın kurucu ortağı ve CEO'su Jakob Uszkoreit ile konuşuyor. Birlikte, AI ile ilgili her şeyi tartışıyorlar.

Devamını okumak isterseniz diye transkripti tam olarak aşağıda yayınlıyoruz.

***

Olivia Webb: Merhaba, biyo, sağlık ve teknolojinin kesiştiği bir podcast olan Bio Eats World'e hoş geldiniz. Ben Olivia Webb, a16z'de Bio + Health'in yazı işleri müdürüyüm. Bu bölümde, eski Google Brain ve Inception'ın kurucu ortağı Jakob Uszkoreit ile konuştuk. Jakob ayrıca, gösteri notlarında bağlantısını vereceğimiz ufuk açıcı yapay zeka araştırma makalesi Dikkat Tek İhtiyacınız Olan Dikkat'in yazarlarından biridir. Jakob, a16z Bio + Health'in kurucu ortağı Vijay Pande ile bir araya gelerek yapay zeka ile ilgili her şey hakkında konuştu: Google Brain'de geçirdiği zamandan, insanların ve bilgisayarların dili nasıl işlediğine, Inception'ın RNA vaadine olan inancına ve Jakob'un bize nasıl inandığına kadar. AI ile bükülme noktası bölgesine giriyoruz.

Bu kaçırmak istemeyeceğiniz bir bölüm ama aynı zamanda yapay zeka üzerine lisansüstü düzeyde bir tartışma olduğu için bölümün yanında bir transkript yayınlayacağız. Başlayalım.

uygulanabilir algoritmalar

Vijay Pande: Jakob, Bio Eats World'de olduğun için çok teşekkür ederim. Sana sahip olmak harika.

Jakob Uszkoreit: Burada olmak harika. Beni kabul ettiğin için teşekkürler.

Vijay Pande: Özellikle bir bilgisayar bilimcisi, girişimci ve kurucu olarak büyüleyici bir hikayeniz olduğu için, istediğiniz yerden başlayarak kariyer yolculuğunuzda bize eşlik etmenizi çok isterim, ancak sizi Google Brain'e getiren şey muhtemelen başlamak için güzel bir yer. .

Jakob Uszkoreit: Bir dereceye kadar gerçekten, uh, bu makine öğrenimi sorunuyla, belki de en geniş anlamıyla [ve] dil anlayışıyla, biraz daha spesifik olarak, aileden gelen bir sorun olarak karşılaştığımı hatırlıyorum. Yani babam bir bilgisayar bilimcisi ve hesaplamalı dilbilimci ve bilirsiniz, Turing makineleri gibi büyümekte olan şeyler, oldukça erken zamanlarda tamamen yabancı kavramlar olmak zorunda değildi.

Vijay Pande: Evet, aslında yemek masası sohbeti olmuş gibi görünüyor.

Jakob Uszkoreit: Bunlar yemek masası sohbetleriydi. Ve özellikle sonlu otomatlar ve bunların otomatlarla gerçekte nasıl bir ilişkisi olduğu, bilirsiniz, ortak konulardı. Yaşlandıkça, aslında farklı bir şey yaptığımdan emin olmak istedim. Ve böylece saf matematik ve oradaki ilgili alanlara biraz baktım. [Ben] gerçekten optimizasyona, optimizasyon algoritmalarına, genel olarak algoritmalara, daha geniş anlamda karmaşıklık teorisine odaklandım, bunun belki de en pratik şey ve en uygulanabilir şey olmadığını fark etmeden önce, bilirsiniz, bir tür hale geldi kariyerim boyunca biraz kırmızı bir iplik. Ve sonra kelimenin tam anlamıyla 2005'te bir Google stajyerliğiyle karşılaştım.

Ne tür araştırma projelerine katılacağım [ile ilgili] bana birkaç farklı seçenek verildi [ve] bunların arasında farklı bilgisayarla görme çabaları vardı, ama aynı zamanda temelde Google Translate olan makine çevirisi projesi de vardı. Tam o sıralarda veya bundan kısa bir süre önce, [Translate], gücünü gerçekten Google'ın geliştirdiği dahili sistemlerinden alan ilk ürününü piyasaya sürdü ve bir anlamda, beni dehşete düşürerek, Google Çeviri'nin şu anda Google Translate olduğu ortaya çıktı. zaman açık ara en ilginç büyük ölçekli algoritma problemlerine sahipti.

O zamanlar bunu görmek gerçekten ilginçti, çünkü beni doktoramı yarıda bırakmaya ve o stajdan sonra Google'a geri dönmeye ikna eden şey, orada geçirdiğim süre boyunca gerçekten de şuydu ki, eğer bir şey üzerinde çalışmak istiyorsanız makine öğrenimi sadece ilginç ve diyelim ki entelektüel ve bilimsel olarak heyecan verici, zorlu ve teşvik edici değildi, aynı zamanda endüstride ve ürünlerde iğneyi hemen hareket ettirme konusunda gerçekten büyük umutlar besliyordu. Gerçekten, o sıralarda, dünyada çok fazla yer yoktu. Ve o zamanlar kesinlikle akademik laboratuvarlar değillerdi, Google gibi yerlerdi. Ve Google orada ve o zamanlar aslında bunun ön saflarındaydı. Ve bilirsiniz, o zamanlar ilk büyük ölçekli kümeleme algoritmalarımı bin makinede çalıştırmanın harika olduğunu düşündüm ve bunu başka bir yerde yapmak kesinlikle imkansızdı.

Vijay Pande: Kıdemli meslektaşlarımızla konuştuğunuzda, Bell Labs'ın altın çağında çok fazla romantizm var ve Google Brain'in bugünün en yakın değişkenlerinden biri olup olmadığını hep merak etmişimdir. Ortam nasıldı?

Jakob Uszkoreit: Yani aslında o zaman ile Google Brain'in gerçekten başladığı zaman arasında, yani yaklaşık beş yıl sonra, önemli bir değişim olduğunu hissediyorum. Brain and Translate başlamadan önce, Bell Labs'ın olduğuna inandığımdan çok daha fazla gerçekten fark yaratan ürünler tarafından yönlendiriliyordu. Ve elbette aramızda çok sayıda Bell Labs mezunu vardı, ancak doğrudan uygulanabilirlik çok daha motive ediciydi.

Makine çevirisinin bir partide gülmek için iyi olan [bir şeyden] tam anlamıyla nasıl dönüştüğüne tanık olmak benim için gerçekten şaşırtıcıydı. Sana sorsalar nerede çalışıyorsun? Ve Google dedin. Sonra dediler ki, orada ne yapıyorsun? Ve ilk başta etkilendiler. Sonra sen, ah, ben Google Çeviri üzerinde çalışıyorum dedin. Sonra güldüler ve sordular, bu hiç işe yarayacak mı? Öyle düşünmüyorum. Ama aynı zamanda, makine öğreniminin derin öğrenme öncesi rönesans dalgası olan makine öğrenimi dalgasının düzleşmeye başladığını söyleyebilirim. Biliyorsunuz, derin öğrenme daha önce okulda yaptığım bir şeydi ve hoşuma gidiyordu ama o günlerde gerçekten uygulayabileceğiniz bir şey değildi.

Vijay Pande: Evet, özellikle de akademide yapman gereken hesaplamaları yapacak ölçeğe sahip olmadığın için.

Jakob Uszkoreit: Kesinlikle akademide değil, Google'da bile. O zamanlar Translate'de aslında en ilginç ayırt edici özellik, diyebilirim ki, günün sonunda verilerin mutlak gücüne gerçekten inanıyor olmamızdı.

Bu nedenle, daha karmaşık, daha sofistike algoritmalar yapmaya değil, bunun yerine onları mümkün olduğunca basitleştirip ölçeklendirmeye ve ardından daha fazla veri üzerinde eğitim vermelerini sağlamaya çalışıyorduk. Ama orada bir tavana çarptık. Bunları Google'ın o zamanki ölçeğine ölçeklendirmek için yapmanız gereken basitleştirmeler, gerçekten amacımız buydu. Ama sonra, ve bu bir tür sarkaç hareketlerinden biriydi, akademiden geri salınıyordu, bir grup GPU'lu bir grup insan - derin öğrenme belli bir anlamda intikamla geri geldi. Ve çevre birdenbire adapte oldu, çünkü üretime giden doğrudan yolun ne olacağı belli değildi.

Ve böylece tüm ortam, daha uygulama ve ürün odaklı olmaktan, en azından birkaç yıl boyunca çok daha akademik hissettiren bir şeye dönüştü. Hâlâ akademik laboratuvarlardan biraz farklı çünkü çok daha fazla GPU'yu karşılayabiliyorduk, ancak belirli bir anlamda, bu yayınlar tarafından yönlendirilme, adımlar yerine sıçramalar tarafından yönlendirilme fikriyle çok daha uyumlu. [Bu] çok, çok üretken ve gerçekten şaşırtıcı ama çok daha açık uçlu bir [ortama] dönüştü.

Tek ihtiyacınız olan dikkat

Vijay Pande: Biliyorsunuz, yayınlardan bahsetmişken, düşünmek için doğal bir yer, sizin ve ekibin "Dikkat Tek İhtiyacın Olandır" yayınını yayınladığı zamandır. Ve bilirsiniz, dönüştürücü algoritması ilk kez ortaya konduğundan beri bu, üretken yapay zekanın çoğu için ufuk açıcı bir makale oldu.

Jakob Uszkoreit: Bu makaleyi yayınlamadan iki yıl önce, o zamanlar makine çevirisi gibi problemler için neyin en son teknoloji olduğunu veya en son teknoloji olarak ortaya çıkan [ne] olduğunu, yani LSTM veya RNN tabanlı olduğunu fark ettik. , Seq2Seq genel olarak bir eğitim paradigması ve bir kurulum olarak, ama aynı zamanda bir ağ mimarisi olarak - veri açısından ölçeklendirme söz konusu olduğunda, zamanın en modern GPU'larında bile inanılmaz sorunlar yaşıyordu.

Örneğin, Google'ın başlattığı ilk nöral makine çevirisi sistemi olan GNMT, bildiğim kadarıyla, hiçbir zaman ifade tabanlı istatistiksel sistemler için daha önce çıkarmış olduğumuz mevcut tüm eğitim verileri üzerinde gerçekten eğitilmedi. Bunun nedeni, algoritmaların veri miktarı açısından iyi ölçeklenmemesiydi. Yani, uzun lafın kısası, o zamanlar makine çevirisine değil, Google'da dahili olarak daha büyük miktarda eğitim verisine sahip olduğumuz sorunlara bakıyorduk. Yani bunlar, temelde başka bir üç veya dört büyüklük mertebesine sahip olduğunuz aramadan çıkan problemlerdi. Biliyorsunuz, artık milyarlarca kelime yok, kolayca trilyonlarca kelime var ve birdenbire basit ileri beslemeli ağların olduğu bu modelle karşılaştık, her ne kadar saçma basitleştirici varsayımlar yapmış olsalar da, sadece bir kelime çuvalı, ya da sadece bir bigram çuvalı. , ve onları bir şekilde ortalıyorsunuz ve onları büyük bir MNLP aracılığıyla gönderiyorsunuz, aslında en azından daha fazla veri üzerinde eğitildiklerinde RNN'lerden ve LSTM'lerden daha iyi performans gösterdiler.

[Ve] n kat daha hızlıydılar, kolayca 10, 20 kat daha hızlıydılar. Ve böylece onları çok daha fazla veri konusunda eğitebilirsiniz. Bazı durumlarda, eğitmek için yüz kat daha hızlıydılar. Ve böylece sürekli olarak daha basit olan ve dilde kesinlikle yaygın olduğunu bildiğimiz belirli olguları ifade edemeyen veya yakalayamayan modellerle sonuçlanmaya devam ettik.
Ve yine de, bilirsiniz, sonuçta, onları eğitmek daha ucuzdu ve [onlar] daha iyi performans gösterdiler.

Vijay Pande: Bilmeyenler için bir örnek verelim. Yani, bir sürü kelime için, bana İtalyan hariç yakındaki tüm restoranları göster dersem, size tüm İtalyan restoranlarını gösterir, değil mi?

Jakob Uszkoreit: Aynen öyle. Aslında, söyledikleriniz muhtemelen yeniden sıralanabilir, bana yakındakiler dışındaki tüm İtalyan restoranlarını gösterebilir. Bu sadece bir kelime çorbası ve onu kesinlikle farklı bir anlama gelen bir şeye yeniden sıralayabilirsiniz.

Vijay Pande: Evet.

Jakob Uszkoreit: Ve sonra bigramlar koyarak yapıya ulaşmaya ve daha küresel olgulara ulaşmaya yaklaşırsınız. Yani temelde iki ardışık kelimeden oluşan gruplar ve bunun gibi şeyler. Ama şurası açık ki, kesinlikle Almanca gibi fiilleri bir cümlenin sonuna koyabileceğiniz dillerde...

Vijay Pande: Ve tüm anlamı değiştirir, değil mi?

Jakob Uszkoreit: Tüm anlamı değiştirir, tam olarak, evet. N-gramlarınızın veya küçük kelime gruplarınızın boyutu ne olursa olsun, sonunda başarılı olamayacaksınız. Ve bizim için açık hale geldi ki, RNN'nin uzunluk olarak yinelenmesini veya sözgelimi sözcükler veya pikseller dizisinde yinelenmesini gerektirmeyen, ancak aslında girdileri ve çıktıları daha paralel bir şekilde ve gerçekten işleyen farklı bir yol olması gerektiği ortaya çıktı. nihayetinde modern hızlandırıcı donanımının güçlü yönlerini karşılar.

Vijay Pande: Bir kelime torbasının rastgele sıralanmış kelimeler olması gibi düşünün. LSTM veya uzun kısa süreli bellek, belki size bir tür geçmişe bakma [yeteneği] verir, değil mi? Ancak transformatörler kökten farklı bir şey yapar. Transformatörler bunu bir sonraki seviyeye nasıl taşıyor?

Jakob Uszkoreit: Buna bakmanın her zaman iki yolu vardır. Biri verimlilik merceğinden geçiyor, ancak belki biraz daha sezgisel olan diğer yol, ona bağlamı ne kadar koruyabileceğiniz açısından bakmaktır. Ve sizin de söylediğiniz gibi, LSTM'ler veya genel olarak tekrarlayan sinir ağları, girdileri arasında adım adım, genel olarak hareket ederler ve teoride, girdilere - geçmişe - ne olduğuna dair keyfi olarak uzun bağlam pencereleri tutabilirler. Uygulamada, geçmişte çok uzak olan ve günün sonunda anlamı gerçekten etkileyen olayları, örneğin sözcükleri veya pikselleri tanımlamalarının aslında çok zor olmasıdır. Etrafta olan şeylere odaklanma eğilimindedirler.

Öte yandan transformatör, temelde bunu tersine çevirir ve hayır, yaptığımız her adımda girişte hareket etmediğini söyler. Her adımda, girdi veya çıktının tamamına bakıyoruz ve temel olarak giriş alanında değil, temelde hareket ettikçe, her kelimenin veya her pikselin veya her yama veya videonun her karesinin temsillerini kademeli olarak revize ediyoruz. , ancak temsil uzayında.

Vijay Pande: Evet.

Jakob Uszkoreit: Ve bu fikrin, onu modern donanıma nasıl sığdıracağınız konusunda bazı dezavantajları vardı, ancak yinelenen sinir ağlarıyla karşılaştırıldığında, öncelikle avantajları vardı çünkü artık temsilleri kelime kelime sıralı olarak hesaplamak zorunda değilsiniz. Bağlandığınız şey, gerçekten, ne kadar iyi olmaları gerektiğidir. Her şeyin, tüm kelime çiftlerinin veya tüm görüntü yama çiftlerinin hemen etkileşime girebildiği tüm konumların bu tür paralel işlemesinin kaç katmanı var? Bu temsillerin kaç revizyonunu gerçekten "karşılayabilirim"?

Vijay Pande: Gerçekten ilginç olan şey de, ilhamın doğal dil olduğu, ancak bir DNA dizisi gibi sırayla çalışmak istemediğiniz yerlere girmek isteyebileceğiniz pek çok yapı olduğudur - ve şimdi biyolojiye gireceğiz. çok yakında - her şeyin bir modeline sahip olmak isteyeceksiniz.

Dil konusunda biraz komik. Konuşurken ya da sizi dinlerken, her kelimeyi işliyorum, ama nihayetinde kelimeleri tek tek anlamlara dönüştürmekle kalmamalı, aynı zamanda bu temsili bir şekilde geliştirmeliyim. Evet? Keşke trafoların yaptığı gibi yapabilsek. Ve belki de işin püf noktası, LSTM'lerin biz insanların yaptığına daha yakın olması ve transformatörlerin belki de tam da bizim yapmamız gereken yol olması ya da keşke yapabilseydik.

Jakob Uszkoreit: Yüzeysel olarak, bunun doğru olduğunu düşünüyorum, ancak günün sonunda - bunun gibi iç gözlemsel argümanlar incelikli ve aldatıcıdır.

Sanırım çoğumuz, işlek bir caddenin karşısında bir şeyler iletmeye çalışan biriyle bağırdığınız veya bağırdığınız bu fenomeni biliyoruz. Ve böylece söyledikleri bir şeyi duyarsınız ve bu kısa bir kelime dizisi değildir ve temelde hiçbir şey anlamazsınız. Ama sonra, yarım saniye gibi bir süre sonra, bir anda tüm cümleyi anladın. Aslında, dili sıralı bir şekilde yazmaya ve telaffuz etmeye zorlandığımız halde - sadece zamanın oku nedeniyle - daha derin anlayışımızın gerçekten bu sıralı şekilde işlediğinin o kadar net olmadığı gerçeğine işaret ediyor.

Takım kurmak

Vijay Pande: Herhangi biri sadece Dikkat Tek İhtiyacınız Olan kağıt veya bir transformatörün nasıl çalıştığını incelerse, içinde pek çok bölüm vardır. Ve görünüşe göre artık bir kişinin bu işi herhangi bir kısa sürede kendi başına etkili bir şekilde yapabileceği noktayı çoktan geçmiş gibi görünüyor.

Jakob Uszkoreit: Kesinlikle.

Vijay Pande: Yani şimdi bu tür şeyleri yapmak için gerçekten bir insan ekibine ihtiyacınız var. Bunun sosyolojisi nedir? Böyle bir şey nasıl olur?

Jakob Uszkoreit: Kişisel olarak bu özel vakanın, diyelim ki, bilimsel araştırmaya endüstriyel bir yaklaşıma son derece iyi uyan bir şeyin gerçekten harika bir örneği olduğunu düşünüyorum. Çünkü kesinlikle haklısın. Her şeyi başlatan tek büyük hayal gücü ve yaratıcılık kıvılcımı bu değildi.

Nihayetinde hepsi gerekli olan gerçekten bir sürü katkıydı. Bir ortama, daha sonra Tensor2Tensor adıyla açık kaynaklı olan ve aslında uygulamaları içeren bir kitaplığa sahip olmak. Ve herhangi bir uygulama değil, istisnai derecede iyi uygulamalar, her türlü derin öğrenme numarasının hızlı uygulamaları.
Ama aynı zamanda, önceki yayınlardan çıkan - daha önce yayınlanan ayrıştırılabilir dikkat modeli gibi - ama daha sonra iyileştirmeler ve yeniliklerle, optimize ediciler etrafındaki icatlarla fiilen birleştirilen bu dikkat mekanizmalarına kadar. Bence, bunların hepsinde aynı anda gerçekten dünyanın önde gelen uzmanları arasında yer alan ve aynı zamanda tüm bu yönler hakkında gerçekten benzer şekilde tutkulu olan insanlar bulamazsınız.

Vijay Pande: Ve özellikle ilk fikir var, bunun uygulanması var, ölçeklenmesi var. Bu tür bir ölçeğe şu anda büyük bir şirket dışında başka bir yerde ulaşmak, muhtemelen sadece maliyet nedeniyle mümkün değildir.

Jakob Uszkoreit: Aslında belki de büyük şirket yönünün o kadar da önemli olmadığını düşünürdüm.

Vijay Pande: Evet?

Jakob Uszkoreit: Şirket yönü, daha çok değer vereceğim bir yönüdür. Binlerce ve binlerce TPU'ya veya GPU'ya veya sahip olduğunuz şeye ihtiyacınız varsa, büyük şirket kesinlikle zarar vermez. Bu tür şeyler için derin cepler asla zarar vermez. Ama aynı zamanda, endüstride bu tür keşifsel araştırmaların etrafındaki teşvik yapısının bu tür projeler için çok daha uygun olduğuna inanıyorum. Ve bence bu, genel olarak üretken AI projelerine baktığımızda gördüğümüz bir şey.

Vijay Pande: Evet. Ve sizin açınızdan, bu bir startup olabilir.

Jakob Uszkoreit: Kesinlikle bir startup olabilir. Ve sanırım artık hızlandırıcı donanım kullanmanın en azından daha uygun fiyatlı hale geldiğini görüyoruz. Görüntü oluşturmayı veya metin oluşturmayı hedefleyen üretken yapay zeka söz konusu olduğunda çok fazla rekabet eden girişimler var.

Yaşam bilimlerine geçiş

Vijay Pande: Şu anda yaptığınız şeye geçiş yapmayı çok isterim. RNA terapötikleri için yapay zekayı RNA biyolojisine uygulayan bir şirket olan Inception'ın CEO'susunuz. Yaşam bilimlerine geçişiniz nasıl oldu? Yüzeysel olarak, yemek [masasında] ve ardından Google kafeteryasında dil modellerinden bahsetmek… Görünüşe göre bu, yeni nesil terapötiklere bir sıçrama olabilir. Tüm bunlar nasıl oldu?

Jakob Uszkoreit: Daha fazla anlaşamadım. Benim açımdan harika bir öğrenme deneyimi. Uzunca bir süredir biyoloji, örneğin ilaç geliştirme ve geleneksel biyolojinin bel kemiği olduğu doğrudan tasarım açısından ne kadar ileri gidebileceğimizin akıl almaz görünmediği bir sorun olarak beni şaşırttı. geleceğin ilaçlarını tasarlamaya veya tasarlama yöntemlerini keşfetmeye devam edin.

Görünüşe göre derin öğrenme, özellikle ölçekli, birçok nedenden dolayı, burada potansiyel olarak gerçekten uygun bir araç. Ve bu sebeplerden biri aslında çoğu zaman bir avantaj olarak faturalandırılmayan bir şeydir, bu da bir şeye öylece fırlatabileceğiniz bu büyük kara kutu olduğu gerçeğidir. Ve öylece fırlatabileceğin doğru değil. Nasıl atılacağını bilmen gereken bir şey.

Vijay Pande: Ve tam olarak siyah da değil. Bunu daha sonra tartışabiliriz.

Jakob Uszkoreit: Evet kesinlikle. Aynen öyle. Ama günün sonunda, dil analojisine geri dönersek, dili bu anlamda tam olarak anlamayı ve kavramsallaştırmayı hiçbir zaman sizin iddia edebileceğiniz ölçüde başaramadık, ah, şimdi gidip size anlatacağım. dilin arkasındaki bu teori ve ardından onu "anlayan" bir algoritma uygulayabileceksiniz. Biz hiç o noktaya gelmedik. Bunun yerine, iptal edip bir adım geri gitmemiz ve bence bir dereceye kadar bunun en pragmatik yaklaşım olmayabileceğini kendimize kabul etmemiz gerekiyordu. Bunun yerine, o düzeyde bir kavramsal anlayış gerektirmeyen yaklaşımları denemeliyiz. Bence aynısı biyolojinin bazı bölümleri için de geçerli olabilir.

Biyografiyi daha ileriye götürmek için yapay zekayı kullanma

Vijay Pande: İlginç, daha önce böyle şeylerden bahsetmiştik. Geçen yüzyılı düşünürsünüz, daha çok fizik ve matematik yüzyılıydı. Orada, Einstein'ın alan denklemleri gibi pek çok şeyi açıklayan tek bir denkleme sahip olabileceğiniz şeyleri çok zarif bir şekilde basitleştirmenin bir yolunun olduğu belirli bir zihniyet var ve bu, çok karmaşık bir dilde çok basit bir denklem. Neredeyse fizik sosyolojisi gibi olan Feynman yaklaşımının burada biyolojiye nasıl uygulanamayacağından bahsettiniz, değil mi?

Jakob Uszkoreit: Bu noktada görebildiğim en az iki nedenden dolayı geçerli olmayabilir. Birincisi, dahil olan çok fazla oyuncu var. Ve belki de hepsini Schrödinger'in denklemine indirgeyebileceğimiz ve çözebileceğimiz doğru olsa da, bu öyle oluyor ki, sadece karmaşık hesaplamalar değil, aynı zamanda tüm bu farklı oyuncular hakkında bilgi sahibi olmamız gerekecek ve şu anda bilmiyoruz. . Yakınında bile değil. Yani bu bir yönü.

Ve ikincisi, temel olarak, hesaplamanın inatçılığıdır, burada indirgeme, belirli bir anlamda, o kadar ileri gitti ki, her şeyi tek bir şeye geri getirirken, bize yardımcı olmuyor çünkü hesaplama yaklaşımlarımız temelde kullanmak için tahminlerde bulunmak için gereken bu temeller, yaşam için gerçekten önemli olacak kadar büyük sistemler için bu tahminleri yapmak için çok yavaş.

Vijay Pande: Evet. Yani bu bir n-cisim denklemi değil, ama yine de bir biçimcilik duygusu var - belki daha çok veriye dayalı bir biçimcilik ya da daha fazla Bayesçi biçimcilik. Bu, yapmak isteyeceğiniz şeyi nasıl besliyor? Bu, AI ve diğer yeni algoritma türlerinin uygulanmasını nasıl besliyor?

Jakob Uszkoreit: Bence birkaç farklı yönü var. Günün sonunda, üretken yapay zekada şu anda gördüklerimizden bence en büyük çıkarımlardan biri, artık yalnızca tamamen temiz değil, aynı zamanda tam olarak alandan gelen veriler üzerinde eğitim yapmak zorunda kalmamamızdır. ve daha sonra üstesinden gelmek isteyeceğiniz türden görevlerden. Ancak bunun yerine, aslında daha faydalı olabilir veya hatta şimdiye kadar bulduğumuz tek yol, uzaktan bile olsa bulduğunuz her şey üzerinde gerçekten eğitim almaya çalışmak olabilir. Ve daha sonra, çok daha küçük, çok daha izlenebilir miktarlarda daha temiz veriler kullanarak her türlü belirli göreve ince ayar yapabileceğiniz sözde temel modelleri elde etmek için bu verilerden toplanan bilgileri etkili bir şekilde kullanın.

Genel olarak fenomenler hakkında bilmemiz gerekenleri biraz hafife aldığımızı düşünüyorum. Çok iyi bir geniş dil modeli oluşturmak için, internet denen bir şey olduğunu ve içinde çok fazla metin olduğunu anlamalısınız. Aslında, bu metni nasıl bulacağınız, neyin metin olmadığı vb. hakkında biraz bilgi sahibi olmanız gerekir, böylece daha sonra kullandığınız eğitim verilerini temel olarak ondan damıtabilirsiniz.

Biyoloji etrafında çok doğrudan benzer zorluklar olacağına inanıyorum. Asıl soru şudur: Yaşamı yeterli ölçekte, hemen hemen yeterli bir doğrulukla gözlemleyebileceğimiz şekilde ölçeklendirebileceğimiz deneyler nelerdir? temel olarak, bu temel modelleri oluşturmaya başlamak için ihtiyacımız olan ve daha sonra ele almak istediğimiz sorunlara gerçekten yaklaşmak için ince ayarlı ve özel olarak tasarlanmış verileri kullanabiliriz.

Veri oluşturma kısmı kesinlikle bunlardan biri. Altta yatan fizik hakkında bildiklerimizi taklit eden mimariler ve etkili bir şekilde modellere ve ağ mimarilerine sahip olmak, hesaplamayı gerçekten kurtarmanın ve ayrıca bu modellerin sahip olması gereken verilere yönelik hâlâ muazzam iştahı azaltmanın inanılmaz derecede güçlü bir yolu olmaya devam edecek. , yapılabilir bir seviyeye. Ve aslında not etmenin ilginç olduğuna inandığım bir şey şu ki, diğer modalitelerde, diğer alanlarda, dilde, vizyonda, görüntü oluşturmada oldukça iyi ölçeklendiği tespit edilen, örneğin transformatörler gibi modellerin mevcut uygulamalarının çoğu, vb. ve bunları biyolojiye uygulamak, zaman diye bir şeyin var olduğunu bildiğimiz ve fizik yasalarının, en azından bildiğimiz kadarıyla, öylece değişmiyor gibi göründüğü gerçeğini temelde göz ardı eder. mesai.

Bir protein katlama süreci, tonlarca oyuncunun (şaperonlar ve benzeri şeyler) olduğu gerçeğini göz ardı ederek, aslında, bir anlamda, protein kinetiğinin geri kalanından oldukça keyfi bir şekilde ayrılmış bir problemdir. Bu, o proteinin, o molekülün kinetiğinin geri kalanı veya o proteinin ömrünün geri kalanı kadar kinetiktir. Öyleyse neden modelleri özellikle biri için eğitmeye çalışıyoruz ve en azından potansiyel olarak diğeri hakkında sahip olabileceğimiz verileri görmezden geliyoruz? Bu durumda, belki daha spesifik olarak, bugün sahip olduğumuz protein yapı tahmin modellerinden bazıları, zamanın varlığını yavaş yavaş benimsemeye başladıkları için kinetik hakkında dolaylı olarak bir şeyler mi öğreniyorlar?

Yeni mimariler geliştirmek

Vijay Pande: Şu anda nerede durduğunuzu düşündüğüm ilginç şeylerden biri, birkaç nadir istisna dışında, derin sinir ağlarının veya biyolojideki diğer yapay zeka türlerinin çoğunun, başka bir yerde icat edilmiş bir şeyi alıp taşıyormuş gibi hissetmesidir. Sanki görüntüler için evrişimli sinir ağları kullanacağız. Belki küçük moleküller için… Stanford'daki laboratuvarımda, grafik sinir ağları ve çeşitli evrişimli sinir ağları kullandık. Ancak gerçekten biyolojik problem için açıkça bir algoritma geliştirmek oldukça nadirdir. Ve her zaman bunun, biyoloji alanında ve bilgisayar bilimi alanında güçlü bir ekibin becerilerine sahip olmanın zor olmasından kaynaklandığını varsaydım. Ama senin fikrini almayı merak ediyorum. Yoksa ilk etapta yeni mimariler geliştirmek nadir midir?

Jakob Uszkoreit: Bence, günün sonunda gördüğümüz şey, yeni mimariler, belirli problemlerle motive olurken, gerçekten bir fark yaratırlarsa, o zaman başka yerlerde de uygulanabilir olma eğilimindedirler. Öte yandan bu, oraya giderken motive edici uygulamaların ve alanların ne olduğunu dikkatlice seçmenin büyük bir fark yaratmayacağı anlamına gelmez. Ve bence kesinlikle öyle.

Buradaki en önemli zorluklardan birinin, bir süre önce sahip olduğumuzla karşılaştırıldığında inanılmaz olmasına rağmen, biyolojide henüz yığınla veriye sahip olduğumuz bir rejimde olmamamız olduğunu hissediyorum. Ancak henüz bunun web'in eşdeğerinde olduğu bir rejimde değiliz ve onu biraz filtreleyebilir, indirebilir ve işimizi bitirebiliriz. Ama bunun yerine, onu oldukça büyük bir ölçüde yaratmamız gerektiğini düşünüyorum. Ve bu derin öğrenme uzmanları tarafından yapılmayacak, en azından çoğu tarafından yapılmayacak.

Ve bunun, aynı zamanda söz konusu verilerin özelliklerini gerçekten anlamayla uyumlu olması gerektiğine inanıyorum, değil mi? Orada karşılaştığınız gürültü türleri. Bunların aslında çok büyük ölçekli havuzlarda oluşturulmuş olması, yüksek verimli deneyler ama yine de farklı günlerde farklı deneyciler tarafından yürütülen deneyler vb. Ve daha derin bir öğrenme geçmişine sahip kişiler, biyoloji geçmişine sahip kişilerle yeterince yakından çalıştıklarında, altta yatan fenomen hakkında bildiklerimizi yeterince öğrendiklerinde, temelde ilginç yeni yaklaşımları denemek için ilham alacaklar.

Vijay Pande: Pekala, Sadece Dikkat Tek İhtiyacınız Olan makale örneğinden, tutkuları birbirinden oldukça ortogonal olan bu farklı insan grubunu nasıl elde etmek istediğinizden bahsetmeniz hoşuma gitti. Ve bir bakıma, bunu biyolojide yaptığınızda ve özellikle Inception'da yaptığınız şey için, tüm bu işi veri üretmeye de harcamanız gerekir. Ve veriyi oluşturmak gerçekten, çok açık olmak gerekirse, geniş ölçekte biyolojik deneyler yapmak anlamına gelir. Girdi kısmının kendisi çok pahalı ve çok teknik ve sizin de dediğiniz gibi pek çok yanlış yol var. Ama daha önce yaptığınız kültürün üzerine inşa ediyormuşsunuz gibi geliyor ve şimdi sadece benzer bir şekilde koordine eden farklı tutkulara sahip daha fazla uzman var.

Jakob Uszkoreit: Gerçekten ihtiyacım var, [ve] insanların buna ihtiyacı var. Bu, söyleyebileceğim kadarıyla, en umut verici yol. Belirli bir anlamda, hayatın temelinde yatan yönler hakkında elimizdeki en iyi bilgilere dayanarak, yaratıldıkları laboratuvardaki belirli verilerin yer aldığı bir boru hattı modelini hedeflememek [değildir]. Ve sonra üzerinde mevcut derin öğrenme yaklaşımlarını çalıştırmaya başlayın ve ardından bunları değiştirin. Ama bunun yerine, gerçekten, bir anlamda, şu anda henüz büyük bir isme sahip olmayan bir disiplinde gerçekten çalışan ilk insanlar arasında olabilecek insanlara gerçekten sahip olmak.

Belki de en az ortak payda, bildiklerinizin, daha önce öğrendiklerinizin ve belki de zamanınızın çoğunu yaparak geçirdiğiniz şeylerin ötesine geçen meraktır. Diğer pek çok alanda olduğu gibi, aslında peşinde olduğumuz şeyin çok farklı geçmişlere sahip, ancak aynı merakı paylaşan bir grup insan olduğunu görüyoruz.

AI nereye gidiyor?

Vijay Pande: İlaç tasarımı, sağlık hizmetleri vb. gibi daha zor sorunlar için yapay zekanın şu anda nerede olduğunu düşünüyorsunuz? Ne yapılması gerekiyor? Oraya ne zaman varacak?

Jakob Uszkoreit: Gelecekle ilgili tahminlerde bulunmak her zaman çok tehlikelidir. Gerçek dünya etkileri söz konusu olduğunda önümüzdeki üç yıl içinde gerçekten bir [bükülme] noktasının olduğunu görmeye başlamazsak çok şaşırırım. makine öğrenimi, ilaç geliştirmede büyük ölçekli derin öğrenme, ilaç tasarımı. Tam olarak ilk olacakları yerde, elbette, birçoğunun RNA, RNA terapötikleri ve aşılar etrafında olacağına inanıyorum. Bundan etkilenen tek alan kesinlikle bu olmayacak, ancak kesinlikle bükülme noktası bölgesine gittiğimizi düşünüyorum.

Vijay Pande: İlginç bir noktaya değindin. RNA'nın farkı nedir? Çünkü bence özellikle ilginç, sadece Google Brain'den biyolojiye değil, özel olarak RNA'ya da geçtiniz. Özellikle yapay zeka veya makine öğrenimi açısından sizi RNA'ya çeken nedir?

Jakob Uszkoreit: RNA ile ilgili ilginç olan bir şey, gördüğümüz gibi, çok geniş uygulanabilirlik arasındaki kombinasyondur - tek bir gösterge anlamında hala dar olsa da - ama sadece başlayan ve başlamış olan bu onay süreçleri dalgasına bakıldığında, oldukça Uygulanabilirliğin çok, çok geniş olduğu açıktır ve yapısal olarak basit bir sorunla birlikte - bu biraz belirsizdir. Ve yapısal olarak basit, RNA yapısal tahmininin basit olduğu cümlesinde değil, ama dört farklı bazlı bir biyopolimer olması anlamında yapısal olarak basit. 20'den fazla amino asitten bahsetmiyoruz. Oldukça etkili bir şekilde üretilebilen bir şey.

Orada bazı zorluklar var, ancak sentez ölçeklenebilen ve hızla ölçeklenen bir şeydir ve bunlar gerçekten bir araya gelerek, sanırım sık sık ima edilen, ancak çok nadiren, en azından bildiğim kadarıyla, gerçekten uygulanan bu hızlı geri bildirim döngüsünü mümkün kılar. ve günün sonunda uygulanabilir.

Vijay Pande: Evet, tartışmasız muhtemelen daha hızlı bir geri bildirim döngüsü, özellikle de peşinden gitme şeklin için.

Jakob Uszkoreit: Evet. Ve eğitmekte olduğumuz modelleri eğitmek için verilerin aslan payını oluşturmamız gerektiğine inandığım için, bu tür verileri ölçekte oluşturmak için Inspective'e gerçekten yatırım yapıyoruz. Ve yapısal basitlik söz konusu olduğunda, aynı zamanda sentezin ve bu deneyin ölçeklenebilirliği söz konusu olduğunda RNA'nın açık ara en iyi kombinasyon olduğu düşünülürse, nispeten oldukça büyük bir ölçek diyebilirim. Burada şimdiye kadar kullanılmayan büyük bir potansiyel var.

Vijay Pande: Evet ve bence özellikle potansiyel olarak bu hızlı döngülere sahip olma yeteneği, hem bir tür preklinik hem de bu nedenle kliniğe daha hızlı gitme ve [daha kısa bir süre için] klinikte olma.

Jakob Uszkoreit: Kesinlikle. Gerçekten umduğumuz şey bu. Ayrıca, durumun böyle olabileceğine ve elbette, gerçekten, gerçekten heyecanlandığımıza dair erken ipuçları da görüyoruz.

Vijay Pande: Son 10 yılı düşünmek inanılmazdı, bilirsiniz, 2012'den bugüne. Sizce önümüzdeki 10 yıl nasıl olur? AI ile bundan 10 yıl sonra nerede olduğumuzu düşünüyorsunuz? Genel olarak mı yoksa özellikle biyo için mi?

Jakob Uszkoreit: Bence bu dönüm noktası bölgesine girdiğimiz gerçekten doğruysa, bundan 10 yıl sonra geriye dönüp baktığımızda, en az 10'de gördüğümüzü düşündüğümüz kadar büyük ve kapsamlı bir devrim gibi görünecek. son 10 yıl En sonunda. Şimdi çok önemli bir fark olacağını düşünüyorum ve bu, son 10 yılda tanık olduğumuz devrimin herkesin hayatını ne kadar geniş ölçüde etkilediğinin o kadar net olmaması. Belli alanlar var, arama motorları veya yardımlı yazma vb. Var, ancak bu devrimin ne kadar geniş çapta uygulanabilir olduğu net değil. Çok öyle olduğuna inanıyorum ama henüz göremiyoruz. Önümüzdeki 10 yıl içinde özellikle biyoloji etrafında göreceğimiz veya bundan XNUMX yıl sonra geriye bakacağımız devrimin, hepimizin hayatları üzerindeki derin etkisi açısından gerçekten farklı olacağını düşünüyorum. .

İlaç tasarımı ve keşif uygulamalarını bir kenara bıraksak bile, bilimsel keşif içinde ve çevresinde o kadar harika uygulamalar var ki, artık bir web arayüzüyle, temel olarak belirli organizmalarda çok yüksek olasılıkla olacak şekilde tasarlanmış moleküllere sahip olabileceğinizi hayal edebilirsiniz. belirli soruları yanıtlayarak, daha önce elde edebileceğinizden daha güvenilir okumalar üretin. Dolayısıyla, bunun nihayetinde hastaları ve herkesi nasıl etkileyeceğine dair tüm karmaşıklığı dışarıda bıraksak bile, bence bu araçların biyoloji gibi alanları hızla hızlandıracağı oldukça açık.

Vijay Pande: Bunu bitirmek için harika bir yer gibi görünüyor. Bio Eats World'e katıldığın için çok teşekkür ederim Jakob.

Jakob Uszkoreit: Beni kabul ettiğiniz için çok teşekkür ederim.

Olivia Webb: Bio Eats World'e katıldığınız için teşekkür ederiz. Bio Eats World, a16z'deki Bio + Health ekibinin yardımıyla, Olivia Webb tarafından sunulmakta ve yapımcılığını üstlenmekte ve Phil Hegseth tarafından düzenlenmektedir. Bio Eats World, a16z podcast ağının bir parçasıdır.

Bölüm hakkında sorularınız varsa veya gelecekteki bir bölüm için konu önermek istiyorsanız, lütfen e-posta gönderin. Son olarak, Bio Eats World'den keyif alıyorsanız, lütfen podcast'leri dinlediğiniz her yerde bize bir puan verin ve yorum yapın.

Buradaki içeriğin yalnızca bilgilendirme amaçlı olduğunu, hukuk, iş, vergi veya yatırım tavsiyesi olarak alınmaması veya herhangi bir yatırım veya menkul kıymeti değerlendirmek için kullanılmaması gerektiğini ve herhangi bir a16z fonundaki yatırımcılara veya potansiyel yatırımcılara yönelik olmadığını lütfen unutmayın. . Daha fazla ayrıntı için lütfen a16z.com/disclosures adresine bakın.

***

Burada ifade edilen görüşler, alıntı yapılan bireysel AH Capital Management, LLC (“a16z”) personelinin görüşleridir ve a16z veya iştiraklerinin görüşleri değildir. Burada yer alan belirli bilgiler, a16z tarafından yönetilen fonların portföy şirketleri de dahil olmak üzere üçüncü taraf kaynaklardan elde edilmiştir. a16z, güvenilir olduğuna inanılan kaynaklardan alınmış olsa da, bu tür bilgileri bağımsız olarak doğrulamamıştır ve bilgilerin kalıcı doğruluğu veya belirli bir duruma uygunluğu hakkında hiçbir beyanda bulunmaz. Ayrıca, bu içerik üçüncü taraf reklamlarını içerebilir; a16z, bu tür reklamları incelememiştir ve burada yer alan herhangi bir reklam içeriğini onaylamaz.

Bu içerik yalnızca bilgilendirme amaçlıdır ve yasal, ticari, yatırım veya vergi tavsiyesi olarak kullanılmamalıdır. Bu konularda kendi danışmanlarınıza danışmalısınız. Herhangi bir menkul kıymete veya dijital varlığa yapılan atıflar yalnızca açıklama amaçlıdır ve yatırım tavsiyesi veya yatırım danışmanlığı hizmetleri sağlama teklifi teşkil etmez. Ayrıca, bu içerik herhangi bir yatırımcıya veya muhtemel yatırımcılara yönelik değildir veya bu içerik tarafından kullanılması amaçlanmamıştır ve a16z tarafından yönetilen herhangi bir fona yatırım yapma kararı verilirken hiçbir koşulda bu içeriğe güvenilemez. (Bir a16z fonuna yatırım yapma teklifi, yalnızca tahsisli satış mutabakatı, abonelik sözleşmesi ve bu tür bir fonun diğer ilgili belgeleri ile yapılacaktır ve bunların tamamı okunmalıdır.) Bahsedilen, atıfta bulunulan veya atıfta bulunulan herhangi bir yatırım veya portföy şirketi veya a16z tarafından yönetilen araçlara yapılan tüm yatırımları temsil etmemektedir ve yatırımların karlı olacağına veya gelecekte yapılacak diğer yatırımların benzer özelliklere veya sonuçlara sahip olacağına dair hiçbir garanti verilemez. Andreessen Horowitz tarafından yönetilen fonlar tarafından yapılan yatırımların bir listesi (ihraççının a16z'nin kamuya açıklanmasına izin vermediği yatırımlar ve halka açık dijital varlıklara yapılan habersiz yatırımlar hariç) https://a16z.com/investments adresinde bulunabilir. /.

İçerisinde yer alan çizelgeler ve grafikler yalnızca bilgilendirme amaçlıdır ve herhangi bir yatırım kararı verirken bunlara güvenilmemelidir. Geçmiş performans gelecekteki sonuçların göstergesi değildir. İçerik yalnızca belirtilen tarih itibariyle konuşur. Bu materyallerde ifade edilen tüm tahminler, tahminler, tahminler, hedefler, beklentiler ve/veya görüşler önceden bildirilmeksizin değiştirilebilir ve farklı olabilir veya başkaları tarafından ifade edilen görüşlere aykırı olabilir. Ek önemli bilgiler için lütfen https://a16z.com/disclosures adresine bakın.

• SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
• Plato blok zinciri. Web3 Metaverse Zekası. Bilgi Güçlendirildi. Buradan Erişin.
• Kaynak: https://a16z.com/2023/01/11/bio-eats-world-using-ai-to-take-bio-farther/