बायो ईट्स वर्ल्ड: बायो फादर लेने के लिए एआई का उपयोग करना

बायो ईट्स वर्ल्ड: बायो फादर लेने के लिए एआई का उपयोग करना

समय टिकट: 11 जनवरी, 2023 शाम 2:35 बजे
स्रोत नोड: 1896777

इस कड़ी में, विजय पांडे ने इंसेप्टिव के सह-संस्थापक और सीईओ जैकब उस्ज़कोरिट से बात की। साथ में, वे एआई की सभी चीजों पर चर्चा करते हैं।

यदि आप साथ में पढ़ना चाहते हैं तो हम नीचे प्रतिलेख को पूर्ण रूप से प्रकाशित कर रहे हैं।

***

ओलिविया वेब: नमस्ते, बायो ईट्स वर्ल्ड में आपका स्वागत है, बायो, हेल्थकेयर और टेक के इंटरसेक्शन पर एक पॉडकास्ट। मैं ओलिविया वेब हूं, बायो + हेल्थ के लिए a16z पर संपादकीय नेतृत्व। इस कड़ी में, हमने Google Brain के पूर्व और Inceptive के सह-संस्थापक जैकब उस्ज़कोरिट के साथ बात की। जेकोब सेमिनल एआई शोध पत्र अटेंशन इज़ ऑल यू नीड के लेखकों में से एक हैं, जिसे हम शो नोट्स में लिंक करेंगे। Jakob विजय पांडे के साथ बैठे, a16z Bio + Health के संस्थापक पार्टनर AI के बारे में बात करने के लिए सभी चीज़ों के बारे में बात करने के लिए: Google Brain में उनके समय से लेकर मानव और कंप्यूटर भाषा को कैसे प्रोसेस करते हैं, RNA के वादे में Inceptive के विश्वास तक, और Jakob हम पर कैसे विश्वास करते हैं एआई के साथ विभक्ति बिंदु क्षेत्र में प्रवेश कर रहे हैं।

यह एक ऐसा एपिसोड है जिसे आप मिस नहीं करना चाहते हैं - लेकिन यह एआई पर स्नातक स्तर की चर्चा भी है, इसलिए हम एपिसोड के साथ एक प्रतिलेख प्रकाशित करेंगे। आएँ शुरू करें।

लागू एल्गोरिदम

विजय पांडे: तो जैकब, बायो ईट्स वर्ल्ड पर बने रहने के लिए आपका बहुत-बहुत धन्यवाद। आपको पाकर बहुत अच्छा लगा।

जैकब उस्ज़कोरिट: यहाँ होना बहुत अच्छा है। मुझे रखने के लिए धन्यवाद।

विजय पांडे: विशेष रूप से चूंकि आपके पास एक कंप्यूटर वैज्ञानिक और उद्यमी और संस्थापक के रूप में ऐसी आकर्षक कहानी है, मुझे अच्छा लगेगा कि आप हमें अपनी करियर यात्रा के बारे में बताएं, जहां भी आप चाहते हैं, शुरू करें, लेकिन जो आपको Google ब्रेन तक पहुंचा, वह शायद शुरू करने के लिए एक अच्छी जगह है .

जैकब उस्ज़कोरिट: मुझे कुछ हद तक याद है, उह, मशीन सीखने की इस समस्या का सामना करना, शायद व्यापक अर्थों में, [और] भाषा की समझ, कुछ और विशेष रूप से, एक ऐसे मुद्दे के रूप में जो परिवार में चलता है। तो मेरे पिताजी एक कंप्यूटर वैज्ञानिक और कम्प्यूटेशनल भाषाविद् हैं और, आप जानते हैं, ट्यूरिंग मशीनों जैसी चीजों को बढ़ाना जरूरी नहीं कि काफी पहले पूरी तरह से विदेशी अवधारणाएं थीं।

विजय पांडे: हाँ, ऐसा लगता है कि यह वास्तव में खाने की मेज पर बातचीत हो सकती है।

जैकब उस्ज़कोरिट: वे डिनर टेबल वार्तालाप थे। और इसलिए विशेष रूप से परिमित ऑटोमेटा, और वे वास्तव में वेंडिंग मशीनों से कैसे संबंधित हैं, क्या आप जानते हैं, सामान्य विषय थे। मैं जितना बड़ा होता गया, उतना ही मैं यह सुनिश्चित करना चाहता था कि मैं वास्तव में कुछ अलग कर रहा हूं। और इसलिए मैंने शुद्ध गणित और संबंधित क्षेत्रों में काफी कुछ देखा। [I] वास्तव में अनुकूलन पर काफी ध्यान केंद्रित किया, अनुकूलन एल्गोरिदम पर, एल्गोरिदम समग्र रूप से, अधिक मोटे तौर पर जटिलता सिद्धांत पर, यह महसूस करने से पहले कि शायद यह सबसे व्यावहारिक बात नहीं थी और सबसे अधिक लागू होने वाली चीज, जो आप जानते हैं, एक तरह की बन गई है मेरे पूरे करियर में एक लाल धागा। और फिर सचमुच 2005 में एक Google इंटर्नशिप पर ठोकर खाई।

मुझे कुछ अलग विकल्प दिए गए [जैसे] किस तरह की शोध परियोजनाओं में शामिल होना है, [और] उनमें से अलग-अलग कंप्यूटर दृष्टि प्रयास थे, लेकिन मशीन अनुवाद परियोजना भी जो मूल रूप से Google अनुवाद बन गई। ठीक उस समय के आसपास, या उससे थोड़ा पहले, [अनुवाद] ने अपना पहला उत्पाद लॉन्च किया जो वास्तव में Google के आंतरिक सिस्टम द्वारा संचालित था जिसे विकसित किया गया था और एक निश्चित अर्थ में, मेरी निराशा के लिए, यह पता चला कि Google अनुवाद पर अब तक के समय में सबसे दिलचस्प बड़े पैमाने पर एल्गोरिदम की समस्याएं थीं।

उस समय, वास्तव में यह देखना वास्तव में दिलचस्प था, क्योंकि जिस चीज ने मुझे अपनी पीएचडी को रद्द करने और उस इंटर्नशिप के बाद वास्तव में Google पर वापस आने के लिए राजी किया, वह वास्तव में मेरे समय में स्पष्ट हो गया था कि यदि आप किसी चीज़ पर काम करना चाहते हैं मशीन लर्निंग जो न केवल दिलचस्प था और मान लें कि बौद्धिक और वैज्ञानिक रूप से, रोमांचक, चुनौतीपूर्ण और उत्तेजक था, लेकिन उद्योग और उत्पादों में सुई को तुरंत स्थानांतरित करने की भी वास्तव में उच्च उम्मीदें थीं। वास्तव में, उस समय के आसपास, दुनिया में बहुत अधिक स्थान नहीं थे। और वे निश्चित रूप से उस समय शैक्षणिक प्रयोगशाला नहीं थे, लेकिन बहुत हद तक Google जैसे स्थान थे। और वहां Google वास्तव में इसमें सबसे आगे था। और इसलिए, आप जानते हैं, उस समय मैंने सोचा था कि मेरे पहले बड़े पैमाने के क्लस्टरिंग एल्गोरिदम को एक हजार मशीनों पर चलाना आश्चर्यजनक था, और कहीं और ऐसा करना बिल्कुल असंभव था।

विजय पांडे: जब आप हमारे वरिष्ठ सहयोगियों से बात करते हैं, तो बेल लैब्स के दिनों में बहुत रोमांटिकता होती है, और मुझे हमेशा आश्चर्य होता है कि क्या Google ब्रेन आज के करीबी वेरिएंट में से एक हो सकता है। कैसा माहौल था?

जैकब उस्ज़कोरिट: इसलिए मुझे लगता है कि वास्तव में उस समय और जब Google ब्रेन वास्तव में शुरू हुआ था, जो कि लगभग पांच साल बाद शुरू हुआ था, एक महत्वपूर्ण बदलाव आया था। Brain and Translate शुरू होने से पहले, यह उन उत्पादों द्वारा बहुत अधिक संचालित था, जो वास्तव में मेरे विचार से बेल लैब्स से भिन्न थे। और बेशक हमारे बीच बेल लैब्स के पूर्व छात्रों की अच्छी संख्या थी, लेकिन यह प्रत्यक्ष प्रयोज्यता से कहीं अधिक प्रेरित था।

वास्तव में मेरे लिए वास्तव में आश्चर्यजनक था कि कैसे मशीनी अनुवाद [किसी चीज़ से] एक पार्टी में हंसी के लिए अच्छा था, सचमुच। अगर उन्होंने आपसे पूछा, आप कहां काम करते हैं? और आपने कहा, गूगल। और फिर उन्होंने कहा, तुम वहां क्या करते हो? और वे सबसे पहले प्रभावित हुए। और फिर आपने कहा, ओह, मैं गूगल ट्रांसलेट पर काम करता हूं। और फिर उन्होंने हंसकर पूछा, क्या यह कभी काम करेगा? मुझे ऐसा नहीं लगता। लेकिन फिर उसी समय, मैं कहूंगा कि मशीन लर्निंग की लहर, मशीन लर्निंग की प्री-डीप लर्निंग पुनर्जागरण लहर, स्थिर होने लगी। आप जानते हैं, डीप लर्निंग कुछ ऐसा था जो मैंने पहले स्कूल में किया था, और मुझे यह पसंद आया, लेकिन यह कुछ ऐसा नहीं था जिसे आप वास्तव में उन दिनों लागू कर सकते थे।

विजय पांडे: हाँ, विशेष रूप से इसलिए क्योंकि आपके पास गणना करने के लिए अकादमिक क्षेत्र में पैमाना नहीं था।

जैकब उस्ज़कोरिट: निश्चित रूप से अकादमिया में नहीं, बल्कि Google में भी। भले ही उस समय, अनुवाद में, वास्तव में, सबसे दिलचस्प विशिष्ट विशेषता थी, मैं कहूंगा, हम वास्तव में दिन के अंत में डेटा की पूर्ण शक्ति में विश्वास करते थे।

इसलिए हम अधिक जटिल, अधिक परिष्कृत एल्गोरिदम बनाने की कोशिश नहीं कर रहे थे, बल्कि उन्हें जितना संभव हो उतना सरल और स्केल कर रहे थे और फिर उन्हें अधिक से अधिक डेटा पर प्रशिक्षित करने में सक्षम बना रहे थे। लेकिन हमने वहां सिर्फ एक सीलिंग मारी। Google के पैमाने पर उन्हें स्केल करने के लिए आपको जो सरलीकरण करना था, वह वास्तव में हमारा उद्देश्य था। लेकिन फिर, और वह इन पेंडुलम आंदोलनों में से एक था, वापस झूलते हुए, अकादमिक से बाहर, जीपीयू के एक समूह के साथ लोगों का एक समूह-गहन शिक्षा एक निश्चित अर्थ में प्रतिशोध के साथ वापस आ गई। और अचानक पर्यावरण अनुकूलित हो गया, क्योंकि यह स्पष्ट नहीं था कि उत्पादन के पैमाने पर सीधा रास्ता क्या होगा।

और इसलिए पूरा वातावरण अधिक अनुप्रयोग और उत्पाद उन्मुख होने से स्थानांतरित हो गया, कुछ ऐसा जो कम से कम कुछ वर्षों के लिए महसूस किया गया, बहुत अधिक अकादमिक। यह अभी भी अकादमिक प्रयोगशालाओं की तुलना में थोड़ा अलग है क्योंकि हम अधिक जीपीयू का खर्च उठा सकते हैं, लेकिन एक निश्चित अर्थ में, इस विचार के साथ, [होने] प्रकाशनों द्वारा संचालित, चरणों के बजाय छलांग द्वारा संचालित। [यह] एक बहुत ही उत्पादक-और वास्तव में आश्चर्यजनक-लेकिन अधिक खुले अंत [पर्यावरण] में बदल गया।

ध्यान आप सभी की जरूरत है

विजय पांडे: ठीक है, आप जानते हैं, प्रकाशनों के बारे में बात करना, सोचने का एक स्वाभाविक स्थान है जब आप और टीम ने अटेंशन इज ऑल यू नीड प्रकाशित किया। और, आप जानते हैं, कि इतने सारे जनरेटिव एआई के लिए यह एक ऐसा सेमिनल पेपर रहा है, जब ट्रांसफॉर्मर एल्गोरिथम पहली बार निर्धारित किया गया था।

जैकब उस्ज़कोरिट: उस पेपर को प्रकाशित करने से दो साल पहले, हमने महसूस किया [कि] मशीन अनुवाद जैसी समस्याओं के लिए अत्याधुनिक क्या था, या [क्या] अत्याधुनिक के रूप में उभर रहा था, अर्थात् एलएसटीएम या आरएनएन-आधारित , Seq2Seq समग्र रूप से एक प्रशिक्षण प्रतिमान के रूप में और एक सेटअप के रूप में, लेकिन एक नेटवर्क आर्किटेक्चर के रूप में भी - उस समय के सबसे आधुनिक जीपीयू पर भी अविश्वसनीय मुद्दे थे, जब डेटा के संदर्भ में स्केलिंग की बात आई थी।

उदाहरण के लिए, Google द्वारा लॉन्च किया गया पहला न्यूरल मशीन ट्रांसलेशन सिस्टम, GNMT, वास्तव में, मेरी जानकारी के लिए, हमारे पास उपलब्ध सभी प्रशिक्षण डेटा पर वास्तव में प्रशिक्षित नहीं था, जिसे हमने पहले वाक्यांश-आधारित सांख्यिकीय प्रणालियों के लिए खनन किया था। और ऐसा इसलिए था क्योंकि डेटा की मात्रा के मामले में एल्गोरिदम ठीक से स्केल नहीं कर पाए थे। तो, लंबी कहानी संक्षेप में, हम उस समय देख रहे थे, मशीनी अनुवाद पर नहीं, बल्कि समस्याओं पर, जहां आंतरिक रूप से Google में, हमारे पास बड़ी मात्रा में प्रशिक्षण डेटा उपलब्ध था। तो ये वो समस्याएं थीं जो खोज से निकलीं, जहां आपके पास मूल रूप से परिमाण के तीन या चार आदेश हैं। आप जानते हैं, अब अरबों शब्द नहीं हैं, बल्कि खरब आसानी से हैं, और अचानक हमें इस पैटर्न का सामना करना पड़ा, जहां सरल फीडफॉर्वर्ड नेटवर्क, भले ही उन्होंने हास्यास्पद सरल धारणाएं बनाईं, जैसे कि यह सिर्फ शब्दों का एक बैग है, या यह सिर्फ बिग्राम का एक बैग है , और आप उनका औसत निकालते हैं और आप उन्हें एक बड़े MNLP के माध्यम से भेजते हैं, वे वास्तव में RNN और LSTM से बेहतर प्रदर्शन करते हैं, कम से कम जब अधिक डेटा पर प्रशिक्षित किया जाता है।

[और वे] ट्रेन करने के लिए n-गुना तेज, आसानी से 10, 20 गुना तेज थे। और इसलिए आप उन्हें और अधिक डेटा पर प्रशिक्षित कर सकते हैं। कुछ मामलों में, [वे] प्रशिक्षित करने के लिए सौ गुना तेज थे। और इसलिए हम लगातार वास्तव में उन मॉडलों के साथ समाप्त होते रहे जो सरल थे और जो कुछ घटनाओं को व्यक्त या कैप्चर नहीं कर सकते थे जो हम जानते हैं कि भाषा में निश्चित रूप से सामान्य हैं।
और फिर भी, आप जानते हैं, नीचे की रेखा, वे प्रशिक्षित करने के लिए सस्ता थे और [उन्होंने] बेहतर प्रदर्शन किया।

विजय पांडे: आइए उन लोगों के लिए एक उदाहरण दें जो परिचित नहीं हैं। तो, शब्दों के एक बैग के लिए, अगर मैंने कहा, मुझे इटालियन को छोड़कर आस-पास के सभी रेस्तरां दिखाओ, यह आपको सभी इटालियन रेस्तरां दिखाएगा, है ना?

जैकब उस्ज़कोरिट: बिल्कुल। वास्तव में, आपने जो कहा वह शायद फिर से क्रमित किया जा सकता है, मुझे आस-पास के अलावा सभी इतालवी रेस्तरां दिखाने के लिए। यह सिर्फ शब्दों का एक सूप है और आप इसे किसी ऐसी चीज़ में बदल सकते हैं जिसका निश्चित रूप से कुछ अलग मतलब है।

विजय पांडे: हां.

जैकब उस्ज़कोरिट: और फिर आप संरचना पर पहुंचने और बिग्राम में डालकर अधिक वैश्विक घटनाओं को प्राप्त करने का अनुमान लगाते हैं। तो मूल रूप से लगातार दो शब्दों और इस तरह की चीजों का समूह। लेकिन यह स्पष्ट है कि, निश्चित रूप से जर्मन जैसी भाषाओं में, जहाँ आप मूल रूप से क्रिया को वाक्य के बिल्कुल अंत में रख सकते हैं...

विजय पांडे: और यह पूरे अर्थ को बदल देता है, है ना?

जैकब उस्ज़कोरिट: सभी अर्थ बदल देता है, बिल्कुल, हाँ। कोई फर्क नहीं पड़ता कि आपके एन-ग्राम का आकार - या आपके छोटे शब्द समूह - क्या हैं, आप अंततः सफल नहीं होंगे। और यह हमारे लिए स्पष्ट हो गया कि एक अलग तरीका होना चाहिए जिसके लिए लंबाई में आरएनएन की पुनरावृत्ति की आवश्यकता नहीं है, या शब्दों या पिक्सेल के क्रम में पुनरावृत्ति की आवश्यकता नहीं है, लेकिन यह वास्तव में इनपुट और आउटपुट को अधिक समानांतर तरीके से संसाधित करता है और वास्तव में अंततः आधुनिक त्वरक हार्डवेयर की ताकत को पूरा करता है।

विजय पांडे: इसके बारे में सोचो, जैसे शब्दों का एक बैग यादृच्छिक क्रम में शब्द है। LSTM, या लंबी शॉर्ट-टर्म मेमोरी, शायद आपको कुछ प्रकार की [क्षमता] देखने [में] थोड़ा अतीत देती है, है ना? लेकिन ट्रांसफॉर्मर मौलिक रूप से कुछ अलग करते हैं। ट्रांसफॉर्मर इसे अगले स्तर तक कैसे ले जाते हैं?

जैकब उस्ज़कोरिट: इसे देखने के हमेशा दो तरीके होते हैं। एक दक्षता के लेंस के माध्यम से है, लेकिन दूसरा तरीका जो शायद थोड़ा अधिक सहज ज्ञान युक्त है, इसे इस संदर्भ में देखना है, आप जानते हैं, आप कितना संदर्भ बनाए रख सकते हैं। और जैसा आपने कहा, LSTM, या सामान्य रूप से आवर्तक तंत्रिका नेटवर्क, वे अपने इनपुट के माध्यम से चरण-दर-चरण, मोटे तौर पर बोलते हैं, और जबकि वे, सिद्धांत रूप में, मनमाने ढंग से लंबे संदर्भ विंडो को इनपुट में बनाए रखने में सक्षम हैं - अतीत-क्या व्यवहार में ऐसा होता है कि वास्तव में उनके लिए घटनाओं की पहचान करना, शब्द या पिक्सेल कहना बहुत मुश्किल होता है, जो अतीत में बहुत दूर हैं जो वास्तव में दिन के अंत में अर्थ को प्रभावित करते हैं। वे आस-पास की चीजों पर ध्यान केंद्रित करते हैं।

दूसरी ओर, ट्रांसफॉर्मर, मूल रूप से बस उसे अपने सिर पर घुमाता है और कहता है, नहीं, हर कदम पर हम जो कर रहे हैं वह इनपुट के माध्यम से नहीं चल रहा है। हर कदम पर, हम इनपुट या आउटपुट की संपूर्णता को देख रहे हैं, और हम मूल रूप से हर शब्द या हर पिक्सेल या हर पैच या वीडियो के हर फ्रेम के प्रतिनिधित्व को संशोधित कर रहे हैं, जैसा कि हम मूल रूप से चलते हैं, इनपुट स्पेस में नहीं , लेकिन प्रतिनिधित्व स्थान में।

विजय पांडे: हां.

जैकब उस्ज़कोरिट: और उस विचार में कुछ कमियां थीं कि आप इसे आधुनिक हार्डवेयर पर कैसे फिट करेंगे, लेकिन आवर्तक तंत्रिका नेटवर्क की तुलना में, इसके मुख्य रूप से फायदे थे क्योंकि अब आप वास्तव में क्रमिक रूप से गणना करने के लिए बाध्य नहीं थे, कहते हैं, शब्द के लिए शब्द। आप किससे बंधे हुए थे, वास्तव में, उन्हें कितना अच्छा होना चाहिए? इस तरह की सभी स्थितियों के समानांतर प्रसंस्करण की कितनी परतें हैं जहां सब कुछ, जहां शब्दों के सभी जोड़े या छवि पैच के सभी जोड़े तुरंत बातचीत कर सकते हैं? मैं वास्तव में इन प्रतिनिधित्वों के कितने संशोधन "बर्दाश्त" कर सकता हूँ?

विजय पांडे: वास्तव में दिलचस्प बात यह भी है कि स्पष्ट रूप से प्रेरणा प्राकृतिक भाषा है, लेकिन ऐसी कई संरचनाएं हैं जिन्हें आप इनपुट करना चाहते हैं जहां आप इसे अनुक्रमिक रूप से अध्ययन नहीं करना चाहते हैं, जैसे डीएनए अनुक्रम- और हम जीव विज्ञान में शामिल होंगे जल्द ही - कि आप पूरी चीज़ का एक मॉडल बनाना चाहते हैं।

यह भाषा के साथ अजीब तरह का है। जब मैं बोल रहा हूं या जब मैं आपको सुन रहा हूं, मैं प्रत्येक शब्द को संसाधित कर रहा हूं, लेकिन अंततः मुझे शब्दों को अलग-अलग अर्थों में टोकन नहीं देना है, लेकिन मुझे इस प्रतिनिधित्व को विकसित करना है। हाँ? काश हम इसे ट्रांसफॉर्मर की तरह कर पाते। और शायद यही ट्रिक है कि LSTM उस तरह के करीब हैं जैसे हम इंसान करते हैं, और ट्रांसफॉर्मर शायद ठीक उसी तरह हैं जिस तरह से हमें करना चाहिए, या काश हम ऐसा कर पाते।

जैकब उस्ज़कोरिट: सतही तौर पर, मुझे लगता है कि यह सच है, हालांकि दिन के अंत में - इस तरह के आत्मविश्लेषी तर्क सूक्ष्म और पेचीदा हैं।

तो मुझे लगता है कि हम में से कई इस घटना को जानते हैं जहां आप किसी व्यस्त सड़क पर कुछ संवाद करने की कोशिश कर रहे किसी व्यक्ति के साथ चिल्ला रहे हैं या चिल्ला रहे हैं। और इसलिए आप कुछ सुनते हैं जो वे कहते हैं, और यह शब्दों का एक छोटा क्रम नहीं है, और आप मूल रूप से कुछ भी नहीं समझते हैं। लेकिन फिर आधे सेकेंड की तरह अचानक आपको पूरा वाक्य समझ में आ गया। यह वास्तव में इस तथ्य की ओर इशारा करता है कि जब हम भाषा को क्रमिक तरीके से लिखने और उच्चारण करने के लिए मजबूर होते हैं - सिर्फ समय के तीर के कारण - यह इतना स्पष्ट नहीं है कि हमारी गहरी समझ वास्तव में उस अनुक्रमिक तरीके से चलती है।

एक टीम का निर्माण

विजय पांडे: अगर कोई अध्ययन भी करता है तो सिर्फ अटेंशन इज ऑल यू नीड पेपर या ट्रांसफार्मर कैसे काम करता है, इसके बहुत सारे हिस्से हैं। और ऐसा लगता है कि यह शायद अब उस बिंदु से आगे निकल गया है जहां एक व्यक्ति किसी भी कम समय में उस काम को प्रभावी ढंग से स्वयं कर सकता है।

जैकब उस्ज़कोरिट: पूर्ण रूप से।

विजय पांडे: तो अब आपको वास्तव में इस प्रकार के काम करने के लिए लोगों की एक टीम की आवश्यकता है। इसका क्या समाजशास्त्र है? ऐसा कुछ कैसे होता है?

जैकब उस्ज़कोरिट: यह विशेष मामला, मैं व्यक्तिगत रूप से महसूस करता हूं, वास्तव में किसी चीज का एक अद्भुत उदाहरण है जो वैज्ञानिक अनुसंधान के लिए औद्योगिक दृष्टिकोण, असाधारण रूप से अच्छी तरह से फिट बैठता है। क्योंकि तुम बिलकुल सही हो। यह कल्पना और रचनात्मकता की एक बड़ी चिंगारी नहीं थी जो इसे बंद कर देती है।

यह वास्तव में योगदान का एक पूरा समूह था जो अंततः सभी आवश्यक थे। एक वातावरण, एक पुस्तकालय - जो बाद में Tensor2Tensor के नाम से भी खुला हुआ था - जिसमें वास्तव में कार्यान्वयन शामिल थे। और न केवल कोई कार्यान्वयन, बल्कि असाधारण रूप से अच्छा कार्यान्वयन, सभी प्रकार की गहन शिक्षण तरकीबों का तेजी से कार्यान्वयन।
लेकिन फिर भी इन ध्यान तंत्रों के लिए सभी तरह से जो पिछले प्रकाशनों से निकले थे - जैसे डीकंपोज़ेबल ध्यान मॉडल [जो] पहले प्रकाशित हुआ था - लेकिन फिर वास्तव में सुधार और नवाचारों, ऑप्टिमाइज़र के आसपास के आविष्कारों के साथ संयुक्त थे। मुझे लगता है कि आपको ऐसे लोग नहीं मिलेंगे, जो इन सभी में एक साथ दुनिया के अग्रणी विशेषज्ञों में से हैं और जो वास्तव में इन सभी पहलुओं के बारे में समान रूप से भावुक हैं।

विजय पांडे: और विशेष रूप से प्रारंभिक विचार है, इसका कार्यान्वयन है, इसका स्केलिंग है। एक बड़ी कंपनी के अलावा कहीं और उस प्रकार के पैमाने तक पहुंचने के लिए, अभी शायद लागत के कारण संभव नहीं है।

जैकब उस्ज़कोरिट: मुझे लगता है कि वास्तव में बड़ी कंपनी का पहलू उतना महत्वपूर्ण नहीं है।

विजय पांडे: हाँ?

जैकब उस्ज़कोरिट: कंपनी का पहलू वह है जिसे मैं अधिक महत्व दूंगा। यदि आपको हजारों और हजारों टीपीयू या जीपीयू या आपके पास क्या है, तो बड़ी कंपनी निश्चित रूप से चोट नहीं पहुंचाती है। इस तरह के सामान के लिए गहरी जेब कभी नुकसान नहीं पहुंचाती। लेकिन साथ ही, मेरा मानना ​​है कि उद्योग में इस तरह के खोजपूर्ण अनुसंधान के आसपास प्रोत्साहन संरचना इस प्रकार की परियोजनाओं के लिए बहुत बेहतर है। और मुझे लगता है कि यह वास्तव में कुछ ऐसा है जो हम देख रहे हैं, बोर्ड भर में जनरेटिव एआई परियोजनाओं को देख रहे हैं।

विजय पांडे: हां। और आपकी बात के लिए, यह एक स्टार्टअप हो सकता है।

जैकब उस्ज़कोरिट: यह निश्चित रूप से स्टार्टअप हो सकता है। और मुझे लगता है कि अब हम देख रहे हैं कि त्वरक हार्डवेयर का उपयोग कम से कम अधिक किफायती होता जा रहा है। और ऐसे स्टार्टअप हैं जो इमेज जेनरेशन या टेक्स्ट जनरेशन पर लक्षित जनरेटिव एआई की बात करते समय बहुत प्रतिस्पर्धा करते हैं।

जीवन विज्ञान के लिए कूदना

विजय पांडे: आप अभी जो कर रहे हैं, उसमें परिवर्तन करना मुझे अच्छा लगेगा। आप इंसेप्टिव के सीईओ हैं, एक ऐसी कंपनी जो आरएनए थेराप्यूटिक्स के लिए एआई को आरएनए बायोलॉजी पर लागू करती है। आपने जीवन विज्ञान में परिवर्तन कैसे किया? सतही तौर पर, रात के खाने [टेबल] और फिर Google कैफेटेरिया के आसपास भाषा के मॉडल के बारे में बात करना ... ऐसा लगता है कि अगली पीढ़ी के चिकित्सीय के लिए एक छलांग हो सकती है। यह सब कैसे हुआ?

जैकब उस्ज़कोरिट: मैं और अधिक सहमत नहीं हो सका। यह मेरे अंत से सीखने का एक अद्भुत अनुभव है। अभी काफी समय से, जीव विज्ञान ने मुझे एक ऐसी समस्या के रूप में प्रभावित किया है जहाँ यह अकल्पनीय नहीं लगता है कि पारंपरिक जीव विज्ञान के साथ दवा के विकास और प्रत्यक्ष डिजाइन के मामले में हम कितनी दूर तक जा सकते हैं, इसकी सीमाएँ हैं। डिजाइन करने के बारे में जाने-या डिजाइन करने के तरीकों की खोज-भविष्य की दवाएं।

ऐसा लगता है कि गहरी शिक्षा, विशेष रूप से, बड़े पैमाने पर, कारणों के एक समूह के लिए, संभवतः यहाँ वास्तव में उपयुक्त उपकरण है। और उन कारणों में से एक वास्तव में ऐसा कुछ है जिसे अक्सर एक लाभ के रूप में बिल नहीं किया जाता है, जो कि तथ्य यह है कि यह इतना बड़ा ब्लैक बॉक्स है जिसे आप किसी चीज पर फेंक सकते हैं। और यह सच नहीं है कि आप इसे यूं ही फेंक सकते हैं। यह कुछ ऐसा है जो आपको पता होना चाहिए कि इसे कैसे फेंकना है।

विजय पांडे: और यह बिल्कुल काला भी नहीं है। हम इसके बारे में बाद में बहस कर सकते हैं।

जैकब उस्ज़कोरिट: हाँ बिल्कुल। बिल्कुल। लेकिन, दिन के अंत में, भाषा के सादृश्य पर वापस आते हुए, हम कभी भी पूरी तरह से प्रबंधित नहीं हुए हैं, उस अर्थ में, भाषा को उस हद तक समझने और संकल्पित करने में, जिस हद तक आप दावा कर सकते हैं, ओह, अब मैं आपको जाकर बताऊंगा यह सिद्धांत भाषा के पीछे है, और उसके बाद आप एक एल्गोरिथ्म को लागू करने में सक्षम होंगे जो इसे "समझता" है। हम उस बिंदु पर कभी नहीं पहुंचे हैं। इसके बजाय, हमें गर्भपात करना पड़ा और एक कदम पीछे हटना पड़ा और, मेरी राय में, कुछ हद तक, खुद को स्वीकार करना पड़ा कि यह सबसे व्यावहारिक दृष्टिकोण नहीं हो सकता था। इसके बजाय, हमें उन दृष्टिकोणों का प्रयास करना चाहिए जिनके लिए उस स्तर की वैचारिक समझ की आवश्यकता नहीं है। और मुझे लगता है कि जीव विज्ञान के कुछ हिस्सों के लिए भी यही सच हो सकता है।

बायो को और आगे ले जाने के लिए एआई का उपयोग करना

विजय पांडे: यह दिलचस्प है, हम पहले भी इस तरह की चीजों के बारे में बात कर चुके हैं। आप पिछली सदी के बारे में सोचिए, [जो कि] भौतिकी और कैलकुलस की सदी थी। वहां एक निश्चित मानसिकता है जहां एक तरीका है कि आप चीजों का एक बहुत ही सुंदर सरलीकरण कर सकते हैं कि आपके पास आइंस्टीन के फील्ड समीकरणों की तरह एक समीकरण हो सकता है जो बहुत अधिक वर्णन करता है, और यह एक बहुत ही जटिल भाषा में एक बहुत ही सरल समीकरण है। आपने इस बारे में बात की है कि कैसे फेनमैन दृष्टिकोण, लगभग भौतिकी के समाजशास्त्र की तरह, यहाँ जीव विज्ञान में लागू नहीं हो सकता है, है ना?

जैकब उस्ज़कोरिट: यह लागू नहीं हो सकता है, कम से कम दो कारणों से मैं इस बिंदु पर देख सकता हूं। नंबर एक इसमें बहुत सारे खिलाड़ी शामिल हैं। और जबकि यह सच है कि शायद हम इसे केवल श्रोडिंगर के समीकरण में घटा सकते हैं और बस इसे हल कर सकते हैं, ऐसा होता है, न केवल कम्प्यूटेशनल रूप से अट्रैक्टिव, बल्कि हमें इन सभी अलग-अलग खिलाड़ियों के बारे में भी जानना होगा, और वर्तमान में हम नहीं . आस - पास भी नहीं। तो यह एक पहलू है।

और फिर दूसरा मूल रूप से कम्प्यूटेशनल रूप से इंट्रेक्टेबिलिटी है, जहां कमी, एक निश्चित अर्थ में, इतनी दूर चली गई है कि, जबकि यह इसे एक ही चीज़ पर वापस लाती है, यह हमारी मदद नहीं करती है क्योंकि हमारे कम्प्यूटेशनल दृष्टिकोण मूल रूप से उपयोग करते हैं भविष्यवाणियां करने के लिए वे मूलभूत सिद्धांत इतने बड़े सिस्टम के लिए उन भविष्यवाणियों को बनाने में बहुत धीमे हैं जो वास्तव में जीवन के लिए मायने रखते हैं।

विजय पांडे: हां। तो यह एन-बॉडी समीकरण नहीं है, लेकिन अभी भी औपचारिकता की भावना है-शायद यह अधिक डेटा संचालित औपचारिकता या अधिक बेयसियन औपचारिकता है। आप जो करना चाहते हैं उसमें वह कैसे फ़ीड करता है? वह एआई और अन्य प्रकार के नए एल्गोरिदम को कैसे लागू करता है?

जैकब उस्ज़कोरिट: मुझे लगता है कि कुछ अलग पहलू हैं। दिन के अंत में, मेरी राय में एक बड़ी बात यह है कि हम वर्तमान में जेनेरेटिव एआई में जो देख रहे हैं, वह यह है कि हमें अब डेटा पर प्रशिक्षण नहीं देना है जो न केवल पूरी तरह से साफ है, बल्कि डोमेन से भी सटीक है। और उन प्रकार के कार्यों से जिन्हें आप बाद में निपटाना चाहेंगे। लेकिन इसके बजाय यह वास्तव में अधिक फायदेमंद हो सकता है या यहां तक ​​​​कि एकमात्र तरीका जो हमने अभी तक पाया है कि वास्तव में हर उस चीज़ पर प्रशिक्षित करने का प्रयास करें जो दूर से भी संबंधित है। और फिर तथाकथित नींव मॉडल के साथ समाप्त करने के लिए उन डेटा से एकत्रित जानकारी का प्रभावी ढंग से उपयोग करें, ताकि आप बहुत छोटे, बहुत अधिक स्वच्छ डेटा का उपयोग करके सभी प्रकार के विशिष्ट कार्यों को ठीक कर सकें।

मुझे लगता है कि हम बड़े पैमाने पर घटना के बारे में जो कुछ भी जानना चाहते हैं उसे कम आंकते हैं। एक बहुत अच्छा विशाल भाषा मॉडल बनाने के लिए, आपको यह समझना होगा कि इंटरनेट नाम की एक चीज़ है और इसमें बहुत सारे टेक्स्ट हैं। वास्तव में, आपको इस पाठ को खोजने के तरीके के बारे में काफी कुछ समझना होगा, जो पाठ नहीं है, और इसके आगे, ताकि आप मूल रूप से उस प्रशिक्षण डेटा का उपयोग कर सकें जिसका आप उपयोग करते हैं।

मेरा मानना ​​है कि जीव विज्ञान के इर्द-गिर्द बहुत सीधे तौर पर समान चुनौतियां होंगी। बड़ा सवाल यह है: ऐसे कौन से प्रयोग हैं जिन्हें हम बड़े पैमाने पर कर सकते हैं कि हम जीवन को पर्याप्त पैमाने पर पर्याप्त निष्ठा के साथ देख सकते हैं - लेकिन उन समस्याओं को ध्यान में रखते हुए बहुत कम विशिष्टता जिन्हें आप अंततः हल करने की कोशिश कर रहे हैं - जैसे कि हम कर सकते हैं मूल रूप से उस डेटा से लेते हैं जिसकी हमें इन नींव मॉडल का निर्माण शुरू करने के लिए आवश्यकता होती है, जिसका उपयोग हम ठीक-ठीक और विशेष रूप से इंजीनियर कर सकते हैं, वास्तव में उन समस्याओं का समाधान करने के लिए जिनसे हम निपटना चाहते हैं।

डेटा निर्माण भाग निश्चित रूप से उनमें से एक है। आर्किटेक्चर और प्रभावी रूप से मॉडल और नेटवर्क आर्किटेक्चर जो हम जो जानते हैं उसकी नकल करते हैं, कहते हैं, नीचे भौतिकी, अभी भी वास्तव में गणना को बचाने का एक अविश्वसनीय रूप से शक्तिशाली तरीका बना रहेगा और डेटा के लिए अभी भी भारी भूख को कम करेगा जो इन मॉडलों के पास होगा , व्यवहार्य स्तर तक। और इसलिए एक बात जो मुझे विश्वास है कि वास्तव में यह ध्यान रखना दिलचस्प है कि मॉडल के बहुत से वर्तमान अनुप्रयोग, ट्रांसफॉर्मर कहते हैं, जो अन्य तौर-तरीकों, अन्य डोमेन, भाषा, दृष्टि, छवि निर्माण में बहुत अच्छी तरह से पाए गए हैं। आदि, आदि, और उन्हें जीव विज्ञान में लागू करना मूल रूप से इस तथ्य की उपेक्षा करता है कि हम जानते हैं कि समय जैसी कोई चीज है, और यह कि भौतिकी के नियम, कम से कम हमारे सर्वोत्तम ज्ञान के अनुसार, केवल बदलते नहीं लगते हैं अधिक समय तक।

एक प्रोटीन तह की प्रक्रिया, इस तथ्य को अनदेखा करते हुए कि वहाँ टन और टन के खिलाड़ी हैं - चैपरोन और क्या नहीं - वास्तव में, एक निश्चित अर्थ में, प्रोटीन कैनेटीक्स के शेष से काफी मनमाने ढंग से अलग की गई समस्या है। यह उतना ही कैनेटीक्स है जितना कि शेष कैनेटीक्स, या उस प्रोटीन का शेष जीवन, उस अणु का। और इसलिए हम विशेष रूप से एक के लिए मॉडल को प्रशिक्षित करने की कोशिश क्यों करते हैं और संभावित रूप से कम से कम उस डेटा को अनदेखा करते हैं जो हमारे पास दूसरे के बारे में हो सकता है? इस मामले में, शायद अधिक विशेष रूप से, कुछ प्रोटीन संरचना भविष्यवाणी मॉडल हैं जो आज हमारे पास हैं, क्या वे पहले से ही कैनेटीक्स के बारे में कुछ सीखते हैं क्योंकि वे धीरे-धीरे गले लगाने लगते हैं, आप जानते हैं, समय का अस्तित्व?

नए आर्किटेक्चर का विकास करना

विजय पांडे: एक दिलचस्प चीज जो मैं सोचता हूं कि आप अभी कहां खड़े हैं, कुछ दुर्लभ अपवादों के साथ, जीव विज्ञान में अधिकांश गहरे तंत्रिका नेटवर्क या एआई के अन्य प्रकार ऐसा महसूस करते हैं कि यह कहीं और आविष्कार किया गया है और इसे आगे ले जा रहा है। जैसे हम छवियों के लिए कनवल्शनल न्यूरल नेट का उपयोग करेंगे। शायद छोटे अणुओं के लिए ... स्टैनफोर्ड में मेरी प्रयोगशाला में, हमने ग्राफ न्यूरल नेटवर्क और कई दृढ़ तंत्रिका नेटवर्क का इस्तेमाल किया। लेकिन वास्तव में जैविक समस्या के लिए स्पष्ट रूप से एक एल्गोरिदम विकसित करना बहुत दुर्लभ है। और मैंने हमेशा यह मान लिया है क्योंकि जीव विज्ञान डोमेन और कंप्यूटर विज्ञान डोमेन में एक टीम के कौशल को मजबूत करना मुश्किल है। लेकिन मैं आपका लेने के लिए उत्सुक हूं। या पहली जगह में नए आर्किटेक्चर विकसित करना दुर्लभ है?

जैकब उस्ज़कोरिट: ठीक है, मुझे लगता है, दिन के अंत में, हम जो देख रहे हैं वह यह है कि नए आर्किटेक्चर, विशिष्ट समस्याओं से प्रेरित होने के बावजूद, यदि वे वास्तव में एक अंतर लाते हैं, तो वे कहीं और भी लागू होते हैं। दूसरी ओर, इसका मतलब यह नहीं है कि, रास्ते में, प्रेरक अनुप्रयोगों और डोमेन को ध्यान से चुनने से कोई बड़ा अंतर नहीं आएगा। और मुझे लगता है कि यह निश्चित रूप से करता है।

मुझे लगता है कि यहां प्रमुख चुनौतियों में से एक वास्तव में यह है कि हम अभी तक जीव विज्ञान में एक ऐसे शासन में नहीं हैं जहां हमारे पास डेटा के ढेर और ढेर हैं, हालांकि, जो कुछ समय पहले हमारे पास हुआ करता था, उसकी तुलना में यह आश्चर्यजनक है। लेकिन हम अभी तक उस व्यवस्था में नहीं हैं जहां वह वेब के समतुल्य पर बैठा है, और हम इसे थोड़ा फ़िल्टर कर सकते हैं, इसे डाउनलोड कर सकते हैं, और इसके साथ काम कर सकते हैं। लेकिन इसके बजाय, मुझे लगता है कि हमें इसे काफी हद तक बनाना होगा। और यह गहरे शिक्षण विशेषज्ञों द्वारा नहीं किया जाएगा, कम से कम उनमें से अधिकांश द्वारा नहीं।

और मेरा मानना ​​​​है कि लॉकस्टेप में होना चाहिए, फिर भी वास्तव में उक्त डेटा की ख़ासियत को समझना है, है ना? जिस तरह का शोर आपको वहां मिलता है। तथ्य यह है कि ये वास्तव में बहुत बड़े पैमाने पर पूल, उच्च थ्रूपुट प्रयोगों में बनाए गए हैं, लेकिन फिर भी, ऐसे प्रयोग जो अलग-अलग दिनों में अलग-अलग प्रयोगकर्ताओं द्वारा चलाए जाते हैं और इसी तरह आगे भी। और जहां गहरे सीखने की पृष्ठभूमि वाले लोग जीव विज्ञान की पृष्ठभूमि वाले लोगों के साथ काफी निकटता से काम करते हैं, अंतर्निहित घटनाओं के बारे में हम जो जानते हैं, उसके बारे में पर्याप्त सीखते हैं, [वे] मूल रूप से दिलचस्प नए दृष्टिकोणों को आजमाने के लिए प्रेरित होंगे।

विजय पांडे: ठीक है, मुझे अच्छा लगा जब आपने सिर्फ अटेंशन इज़ ऑल यू नीड पेपर के उदाहरण के बारे में बात की, कि आप इस विविध समूह के लोगों को कैसे प्राप्त करना चाहते थे, जिनके जुनून थे, आप जानते हैं, एक दूसरे से काफी ऑर्थोगोनल थे। और एक मायने में, जब आप जीव विज्ञान में यह कर रहे हैं और विशेष रूप से जो आप इनसेप्टिव में कर रहे हैं, तो आपको यह सारा काम डेटा उत्पन्न करने में लगाना होगा। और डेटा उत्पन्न करने का वास्तव में मतलब है, बहुत स्पष्ट होना, बड़े पैमाने पर जैविक प्रयोग चलाना। इनपुट भाग अपने आप में बहुत महंगा और बहुत तकनीकी है, और जैसा कि आपने कहा, गलत होने के कई तरीके हैं। लेकिन ऐसा लगता है कि आप उस संस्कृति पर निर्माण कर रहे हैं जो आपने पहले किया है और अब यह अलग-अलग जुनून के साथ एक समान तरीके से समन्वय करने वाले विशेषज्ञ हैं।

जैकब उस्ज़कोरिट: मुझे वास्तव में जरूरत है, [और] लोगों को इसकी जरूरत है। जहां तक ​​मैं बता सकता हूं, यह सबसे आशाजनक तरीका है। [यह है] एक निश्चित अर्थ में, एक पाइपलाइन मॉडल के लिए लक्ष्य नहीं है, जहां प्रयोगशाला में कुछ डेटा जिसमें वे बनाए गए थे, जीवन के अंतर्निहित पहलुओं के बारे में हमारे सर्वोत्तम ज्ञान को देखते हुए। और फिर उस पर मौजूदा गहन शिक्षण दृष्टिकोण चलाना शुरू करना और फिर उन्हें सुधारना। लेकिन इसके बजाय वास्तव में वास्तव में ऐसे लोग हैं जो एक निश्चित अर्थ में, वे पहले लोगों में से हो सकते हैं जो वास्तव में एक अनुशासन में काम कर रहे हैं जो वर्तमान में वास्तव में अभी तक एक महान नाम नहीं है।

हो सकता है कि कम से कम आम भाजक जिज्ञासा है जो कि आप जो जानते हैं उससे परे फैली हुई है, जो आपने पहले सीखा है और जो आपने शायद अपना अधिकांश समय व्यतीत किया है। हम पाते हैं कि बहुत से अन्य क्षेत्रों की तरह, हम वास्तव में बहुत विविध पृष्ठभूमि वाले लोगों का एक समूह हैं, लेकिन जो जिज्ञासा साझा करते हैं।

एआई कहाँ जा रहा है?

विजय पांडे: आपको क्या लगता है कि एआई अभी उन कठिन समस्याओं के लिए कहां है, दवा डिजाइन, स्वास्थ्य देखभाल आदि के लिए? क्या करना हे? यह वहां कब पहुंचेगा?

जैकब उस्ज़कोरिट: मैं उम्मीद करूंगा - और भविष्य के बारे में भविष्यवाणी करना हमेशा बहुत खतरनाक होता है - मुझे बहुत आश्चर्य होगा अगर अगले तीन वर्षों के भीतर हम वास्तव में एक [विभक्ति] बिंदु को देखना शुरू नहीं करेंगे, जब वास्तविक दुनिया के प्रभावों की बात आती है मशीन लर्निंग, ड्रग डेवलपमेंट में बड़े पैमाने पर डीप लर्निंग, ड्रग डिज़ाइन। वास्तव में वे सबसे पहले कहां होंगे, निश्चित रूप से, मेरा मानना ​​है कि उनमें से बहुत से आरएनए, आरएनए चिकित्सीय और टीकों के आसपास होंगे। यह निश्चित रूप से इससे प्रभावित एकमात्र क्षेत्र नहीं होगा, लेकिन मुझे निश्चित रूप से लगता है कि हम विभक्ति बिंदु क्षेत्र में जा रहे हैं।

विजय पांडे: आपने एक दिलचस्प बिंदु बनाया। आरएनए के बारे में क्या अलग है? क्योंकि मुझे लगता है कि यह विशेष रूप से दिलचस्प है, न केवल आप गूगल ब्रेन से जीव विज्ञान में गए, बल्कि आप विशेष रूप से आरएनए में गए। आपको आरएनए के लिए क्या आकर्षित करता है, विशेष रूप से शायद एआई या एमएल के दृष्टिकोण से?

जैकब उस्ज़कोरिट: आरएनए के बारे में एक दिलचस्प बात यह है कि, जैसा कि हमने देखा है, बहुत व्यापक प्रयोज्यता के बीच का संयोजन है - हालांकि यह अभी भी एक संकेत के अर्थ में संकीर्ण है - लेकिन अनुमोदन प्रक्रियाओं की इस लहर को देखते हुए जो शुरू हो रही है और शुरू हो गई है, यह सुंदर है स्पष्ट है कि प्रयोज्यता बहुत, बहुत व्यापक है, साथ में - यह थोड़ा अस्पष्ट है - एक संरचनात्मक रूप से सरल समस्या। और यह संरचनात्मक रूप से सरल नहीं है कि आरएनए संरचनात्मक भविष्यवाणी सरल है, लेकिन यह संरचनात्मक रूप से सरल है कि यह चार अलग-अलग आधारों के साथ एक बायोपॉलिमर है। हम 20 से अधिक अमीनो एसिड के बारे में बात नहीं कर रहे हैं। यह कुछ ऐसा है जिसे काफी प्रभावी ढंग से तैयार किया जा सकता है।

वहाँ कुछ चुनौतियाँ हैं, लेकिन संश्लेषण कुछ ऐसा है जो स्केल कर सकता है और तेजी से स्केलिंग कर रहा है, और ये चीजें वास्तव में इस तीव्र प्रतिक्रिया पाश को सक्षम करने के लिए एक साथ आती हैं जो मुझे लगता है कि अक्सर संकेत दिया जाता है, लेकिन बहुत कम ही, कम से कम जो मुझे पता है, वास्तव में लागू किया गया है और दिन के अंत में लागू करने योग्य।

विजय पांडे: हाँ, यकीनन शायद यह एक अधिक तीव्र प्रतिक्रिया पाश है, विशेष रूप से जिस तरह से आप इसके बाद जाते हैं।

जैकब उस्ज़कोरिट: हाँ। और यह देखते हुए कि मेरा मानना ​​है कि जिन मॉडलों को हम प्रशिक्षण दे रहे हैं, उन्हें प्रशिक्षित करने के लिए हमें डेटा का बड़ा हिस्सा बनाने की आवश्यकता है, हम वास्तव में इस तरह के डेटा को बड़े पैमाने पर बनाने में निवेश कर रहे हैं। और मैं तुलनात्मक रूप से काफी बड़े पैमाने पर कहूंगा, यह देखते हुए कि जब संरचनात्मक सादगी की बात आती है तो आरएनए अब तक का सबसे अच्छा संयोजन लगता है, लेकिन संश्लेषण और इस प्रयोग की मापनीयता भी। यहां अपार संभावनाएं हैं जिनका अभी तक दोहन नहीं किया गया है।

विजय पांडे: हाँ, और मुझे लगता है कि विशेष रूप से संभावित रूप से इन तीव्र चक्रों की क्षमता, दोनों प्रकार के प्रीक्लिनिकल और इसलिए क्लिनिक में तेजी से पहुंचना और क्लिनिक में [कम समय के लिए] होना।

जैकब उस्ज़कोरिट: बिल्कुल। वास्तव में हम यही उम्मीद कर रहे हैं। हम शायद शुरुआती संकेत भी देख रहे हैं जो यह संकेत दे रहे हैं कि यह मामला हो सकता है और हम निश्चित रूप से वास्तव में उत्साहित हैं।

विजय पांडे: पिछले 10 वर्षों के बारे में सोचना अद्भुत रहा है, आप जानते हैं, 2012 से अब तक। आपको क्या लगता है कि अगले 10 साल कैसा दिखते हैं? आपको क्या लगता है कि हम एआई के साथ अब से 10 साल बाद कहां हैं? या तो मोटे तौर पर या विशेष रूप से जैव के लिए?

जैकब उस्ज़कोरिट: मुझे लगता है कि अगर यह वास्तव में सच है कि हम इस विभक्ति बिंदु क्षेत्र में प्रवेश कर रहे हैं, तो जब हम अब से 10 साल पीछे मुड़कर देखते हैं, तो यह कम से कम उतनी ही बड़ी और उतनी ही विस्तृत क्रांति की तरह प्रतीत होगी, जो हमें लगता है कि हमने पहले देखी थी। पिछले 10 साल। कम से कम। अब मुझे लगता है कि एक महत्वपूर्ण अंतर होगा, और वह यह है कि यह स्पष्ट नहीं है कि पिछले 10 वर्षों में हम जो क्रांति देख रहे हैं, वह कितने व्यापक रूप से सभी के जीवन को प्रभावित करती है। कुछ ऐसे क्षेत्र हैं, सर्च इंजन या असिस्टेड राइटिंग आदि, जहां यह स्पष्ट है, लेकिन यह स्पष्ट नहीं है कि यह क्रांति व्यापक रूप से कितनी लागू है। मेरा मानना ​​है कि यह बहुत ज्यादा है, लेकिन हम इसे अभी तक नहीं देखते हैं। मुझे लगता है कि क्रांति जो हम विशेष रूप से अगले 10 वर्षों में बायो के आसपास देखने जा रहे हैं, या जिसे हम अब से 10 साल बाद देखने जा रहे हैं, वास्तव में हमारे सभी जीवन पर इसके गहन प्रभाव के संदर्भ में भिन्न होगी। .

यहां तक ​​​​कि दवा डिजाइन और खोज अनुप्रयोगों को छोड़ दें, वैज्ञानिक खोज में और उसके आस-पास ऐसे अद्भुत अनुप्रयोग हैं जहां अब आप कल्पना कर सकते हैं कि, एक वेब इंटरफ़ेस के साथ, आप मूल रूप से ऐसे अणुओं को डिज़ाइन कर सकते हैं जो कुछ जीवों में बहुत अधिक संभावना के साथ जा रहे हैं कुछ प्रश्नों के उत्तर दें, इससे अधिक विश्वसनीय रीडआउट तैयार करें, जो आप जानते हैं कि आप पहले क्या प्राप्त कर सकते थे। तो यहां तक ​​​​कि पूरी तरह की जटिलता को छोड़कर, यह कैसे प्रभावित करेगा, आखिरकार, रोगियों और हर किसी को, यह बहुत स्पष्ट है, मुझे लगता है, कि ये उपकरण जीव विज्ञान जैसे क्षेत्रों में तेजी से तेजी लाएंगे।

विजय पांडे: इसे समाप्त करने के लिए यह एक महान जगह की तरह लगता है। जैकब, बायो ईट्स वर्ल्ड से जुड़ने के लिए आपका बहुत-बहुत धन्यवाद।

जैकब उस्ज़कोरिट: मेरे होने के लिए बहुत-बहुत धन्यवाद।

ओलिविया वेब: बायो ईट्स वर्ल्ड में शामिल होने के लिए धन्यवाद। बायो ईट्स वर्ल्ड की मेजबानी और निर्माण मेरे द्वारा, ओलिविया वेब द्वारा, a16z पर बायो + हेल्थ टीम की मदद से और फिल हेगसेथ द्वारा संपादित किया गया है। बायो ईट्स वर्ल्ड a16z पॉडकास्ट नेटवर्क का हिस्सा है।

यदि आपके पास एपिसोड के बारे में प्रश्न हैं या भविष्य के एपिसोड के लिए विषय सुझाना चाहते हैं, तो कृपया ईमेल करें अंतिम लेकिन कम से कम, यदि आप बायो ईट्स वर्ल्ड का आनंद ले रहे हैं, तो कृपया हमें एक रेटिंग दें और जहां भी आप पॉडकास्ट सुनें, उसकी समीक्षा करें।

कृपया ध्यान दें कि यहां सामग्री केवल सूचनात्मक उद्देश्यों के लिए है, इसे कानूनी, व्यावसायिक, कर या निवेश सलाह के रूप में नहीं लिया जाना चाहिए, या किसी निवेश या सुरक्षा का मूल्यांकन करने के लिए उपयोग नहीं किया जाना चाहिए, और किसी भी a16z फंड में किसी भी निवेशक या संभावित निवेशकों के लिए निर्देशित नहीं है। . अधिक जानकारी के लिए, कृपया a16z.com/disclosures देखें।

***

यहां व्यक्त किए गए विचार व्यक्तिगत एएच कैपिटल मैनेजमेंट, एलएलसी ("a16z") कर्मियों के हैं जिन्हें उद्धृत किया गया है और यह a16z या इसके सहयोगियों के विचार नहीं हैं। यहां निहित कुछ जानकारी तृतीय-पक्ष स्रोतों से प्राप्त की गई है, जिसमें a16z द्वारा प्रबंधित निधियों की पोर्टफोलियो कंपनियों से भी शामिल है। जबकि विश्वसनीय माने जाने वाले स्रोतों से लिया गया, a16z ने स्वतंत्र रूप से ऐसी जानकारी को सत्यापित नहीं किया है और किसी भी स्थिति के लिए सूचना की स्थायी सटीकता या इसकी उपयुक्तता के बारे में कोई प्रतिनिधित्व नहीं करता है। इसके अतिरिक्त, इस सामग्री में तृतीय-पक्ष विज्ञापन शामिल हो सकते हैं; a16z ने ऐसे विज्ञापनों की समीक्षा नहीं की है और उनमें निहित किसी भी विज्ञापन सामग्री का समर्थन नहीं करता है।

यह सामग्री केवल सूचना के उद्देश्यों के लिए प्रदान की जाती है, और कानूनी, व्यापार, निवेश या कर सलाह के रूप में इस पर भरोसा नहीं किया जाना चाहिए। आपको उन मामलों में अपने स्वयं के सलाहकारों से परामर्श लेना चाहिए। किसी भी प्रतिभूति या डिजिटल संपत्ति के संदर्भ केवल दृष्टांत उद्देश्यों के लिए हैं, और निवेश सलाहकार सेवाएं प्रदान करने के लिए एक निवेश अनुशंसा या प्रस्ताव का गठन नहीं करते हैं। इसके अलावा, यह सामग्री किसी भी निवेशक या संभावित निवेशकों द्वारा उपयोग के लिए निर्देशित नहीं है और न ही इसका इरादा है, और किसी भी परिस्थिति में a16z द्वारा प्रबंधित किसी भी फंड में निवेश करने का निर्णय लेते समय इस पर भरोसा नहीं किया जा सकता है। (a16z फंड में निवेश करने की पेशकश केवल निजी प्लेसमेंट मेमोरेंडम, सब्सक्रिप्शन एग्रीमेंट, और ऐसे किसी भी फंड के अन्य प्रासंगिक दस्तावेज द्वारा की जाएगी और इसे पूरी तरह से पढ़ा जाना चाहिए।) किसी भी निवेश या पोर्टफोलियो कंपनियों का उल्लेख, संदर्भित, या वर्णित a16z द्वारा प्रबंधित वाहनों में सभी निवेशों के प्रतिनिधि नहीं हैं, और इस बात का कोई आश्वासन नहीं दिया जा सकता है कि निवेश लाभदायक होगा या भविष्य में किए गए अन्य निवेशों में समान विशेषताएं या परिणाम होंगे। आंद्रेसेन होरोविट्ज़ द्वारा प्रबंधित निधियों द्वारा किए गए निवेशों की सूची (उन निवेशों को छोड़कर जिनके लिए जारीकर्ता ने सार्वजनिक रूप से कारोबार की गई डिजिटल संपत्ति में सार्वजनिक रूप से और साथ ही अघोषित निवेशों का खुलासा करने के लिए a16z की अनुमति नहीं दी है) https://a16z.com/investments पर उपलब्ध है। /.

इसमें दिए गए चार्ट और ग्राफ़ केवल सूचना के उद्देश्यों के लिए हैं और निवेश का कोई भी निर्णय लेते समय उन पर भरोसा नहीं किया जाना चाहिए। पूर्व प्रदर्शन भविष्य के परिणाम का संकेत नहीं है। सामग्री केवल इंगित तिथि के अनुसार बोलती है। इन सामग्रियों में व्यक्त किए गए किसी भी अनुमान, अनुमान, पूर्वानुमान, लक्ष्य, संभावनाएं और/या राय बिना किसी सूचना के परिवर्तन के अधीन हैं और दूसरों द्वारा व्यक्त की गई राय के विपरीत या भिन्न हो सकते हैं। अतिरिक्त महत्वपूर्ण जानकारी के लिए कृपया https://a16z.com/disclosures देखें।

समय टिकट:

से अधिक आंद्रेसेन होरोविट्ज़