Bio Eats World: การใช้ AI เพื่อนำพา Bio ให้ไกลออกไป

Bio Eats World: การใช้ AI เพื่อนำพา Bio ให้ไกลออกไป

ประทับเวลา: 11 มกราคม 2023 2:35 น
โหนดต้นทาง: 1896777

ในตอนนี้ Vijay Pande พูดคุยกับ Jakob Uszkoreit ผู้ร่วมก่อตั้งและ CEO ของ Inceptive พวกเขาร่วมกันหารือเกี่ยวกับทุกสิ่งที่ AI

เรากำลังเผยแพร่การถอดเสียงฉบับเต็มด้านล่าง ในกรณีที่คุณต้องการอ่านพร้อม

***

โอลิเวีย เว็บบ์: สวัสดีและขอต้อนรับสู่ Bio Eats World พอดคาสต์ที่รวมเอาชีวภาพ การดูแลสุขภาพ และเทคโนโลยีเข้าไว้ด้วยกัน ฉันชื่อ Olivia Webb หัวหน้ากองบรรณาธิการของ Bio + Health ที่ a16z ในตอนนี้ เราได้พูดคุยกับ Jakob Uszkoreit ซึ่งเคยเป็น Google Brain และเป็นผู้ร่วมก่อตั้ง Inceptive นอกจากนี้ Jakob ยังเป็นหนึ่งในผู้เขียนบทความวิจัยเรื่อง Attention is All You Need ซึ่งเราจะเชื่อมโยงไว้ในบันทึกการแสดง Jakob นั่งคุยกับ Vijay Pande หุ้นส่วนผู้ก่อตั้ง a16z Bio + Health เพื่อพูดคุยเกี่ยวกับทุกสิ่งที่ AI ตั้งแต่ตอนที่ทำงานที่ Google Brain ไปจนถึงวิธีที่มนุษย์และคอมพิวเตอร์ประมวลผลภาษา ความเชื่อของ Inceptive ในคำสัญญาของ RNA และวิธีที่ Jakob เชื่อในตัวเรา 'กำลังเข้าสู่ดินแดนจุดเปลี่ยนด้วย AI

เป็นตอนที่คุณไม่อยากพลาด แต่ยังเป็นการสนทนาระดับบัณฑิตศึกษาเกี่ยวกับ AI ดังนั้นเราจะเผยแพร่ข้อความถอดเสียงควบคู่ไปกับตอนดังกล่าว มาเริ่มกันเลย.

อัลกอริทึมที่ใช้บังคับ

วิชัย ปันเด: ดังนั้น Jakob ขอบคุณมากสำหรับการเข้าร่วม Bio Eats World เป็นเรื่องดีที่มีคุณ

ยาคอบ อุสซ์โคไรต์: ดีมากที่ได้อยู่ที่นี่ ขอบคุณที่มีฉัน

วิชัย ปันเด: โดยเฉพาะอย่างยิ่ง เมื่อคุณมีเรื่องราวที่น่าสนใจในฐานะนักวิทยาศาสตร์คอมพิวเตอร์ ผู้ประกอบการ และผู้ก่อตั้ง ผมอยากให้คุณแนะนำเส้นทางอาชีพของคุณให้เราฟัง โดยเริ่มจากทุกที่ที่คุณต้องการ แต่สิ่งที่นำคุณมาสู่ Google Brain น่าจะเป็นจุดเริ่มต้นที่ดี .

ยาคอบ อุสซ์โคไรต์: ฉันจำได้ในระดับหนึ่งว่า เอ่อ กำลังเผชิญกับปัญหาของแมชชีนเลิร์นนิง บางทีในความหมายกว้างที่สุด [และ] ความเข้าใจภาษา ค่อนข้างเจาะจงกว่านั้นว่าเป็นปัญหาที่เกิดขึ้นในครอบครัว ดังนั้น พ่อของฉันจึงเป็นนักวิทยาศาสตร์คอมพิวเตอร์และนักภาษาศาสตร์เชิงคำนวณ และคุณรู้ไหมว่า สิ่งต่างๆ เช่น เครื่องจักรทัวริงเติบโตขึ้นมา ไม่จำเป็นต้องมีแนวคิดที่แปลกไปจากเดิมอย่างสิ้นเชิงในช่วงแรกๆ

วิชัย ปันเด: ใช่ ฟังดูเหมือนเป็นการสนทนาบนโต๊ะอาหารจริงๆ

ยาคอบ อุสซ์โคไรต์: พวกเขากำลังสนทนาบนโต๊ะอาหารค่ำ และโดยเฉพาะอย่างยิ่งออโตมาตาที่มีจำกัด และความสัมพันธ์ที่แท้จริงกับตู้ขายของอัตโนมัติ ก็เป็นหัวข้อทั่วไป ยิ่งฉันอายุมากขึ้น ฉันยิ่งต้องการให้แน่ใจว่าฉันได้ทำสิ่งที่แตกต่างออกไปจริงๆ ดังนั้นฉันจึงลงเอยด้วยการมองหาคณิตศาสตร์บริสุทธิ์และสาขาที่เกี่ยวข้องที่นั่น [I] จริงๆ แล้วมุ่งเน้นไปที่การปรับให้เหมาะสม, อัลกอริธึมการปรับให้เหมาะสม, อัลกอริทึมโดยรวม, ทฤษฎีความซับซ้อนที่กว้างขึ้น ก่อนที่จะตระหนักว่านั่นอาจไม่ใช่สิ่งที่ปฏิบัติได้มากที่สุดและเป็นสิ่งที่ใช้ได้มากที่สุด ซึ่งคุณรู้ไหม กลายเป็นว่า ด้ายแดงเล็กน้อยตลอดอาชีพของฉัน แล้วมาสะดุดกับการฝึกงานของ Google เมื่อปี 2005

ฉันได้รับตัวเลือกที่แตกต่างกันเล็กน้อย [เกี่ยวกับ] ประเภทโครงการวิจัยที่จะเข้าร่วม [และ] ในบรรดาตัวเลือกเหล่านี้มีความพยายามในการมองเห็นด้วยคอมพิวเตอร์ที่แตกต่างกัน แต่ยังมีโครงการการแปลด้วยคอมพิวเตอร์ซึ่งโดยพื้นฐานแล้วกลายเป็น Google แปลภาษา ในช่วงเวลานั้นหรือก่อนหน้านั้นเล็กน้อย [แปลภาษา] ได้เปิดตัวผลิตภัณฑ์ตัวแรกที่ขับเคลื่อนโดยระบบภายในของ Google ที่พัฒนาขึ้น และในแง่หนึ่ง สิ่งที่ทำให้ฉันรู้สึกตกใจมากก็คือ Google แปลภาษาที่ เวลาที่ผ่านมามีปัญหาอัลกอริทึมสเกลขนาดใหญ่ที่น่าสนใจที่สุด

ในเวลานั้น มันเป็นเรื่องที่น่าสนใจจริงๆ ที่ได้เห็น เพราะสิ่งที่ทำให้ฉันตัดสินใจยกเลิกปริญญาเอกและกลับมาที่ Google อีกครั้งหลังจากการฝึกงานนั้น เป็นสิ่งที่เห็นได้ชัดในเวลาที่ฉันอยู่ที่นั่นว่า ถ้าคุณต้องการทำงานบางอย่างใน แมชชีนเลิร์นนิงที่ไม่เพียงน่าสนใจและในเชิงสติปัญญาและวิทยาศาสตร์ น่าตื่นเต้น ท้าทาย และกระตุ้นเท่านั้น แต่ยังมีความหวังสูงมากที่จะขยับเข็มทันทีในอุตสาหกรรมและในผลิตภัณฑ์ จริงๆ ในยุคนั้นยังมีสถานที่ไม่มากนักในโลก และแน่นอนว่าพวกเขาไม่ใช่ห้องทดลองทางวิชาการในเวลานั้น แต่เป็นสถานที่มากมายเช่น Google และจากนั้น Google ก็อยู่ในระดับแนวหน้าของสิ่งนี้จริงๆ และคุณรู้ไหม ในตอนนั้นฉันคิดว่ามันวิเศษมากที่เรียกใช้อัลกอริทึมการทำคลัสเตอร์ขนาดใหญ่ครั้งแรกของฉันบนเครื่องหนึ่งพันเครื่อง และเป็นไปไม่ได้เลยที่จะทำเช่นนั้นที่อื่น

วิชัย ปันเด: เมื่อคุณพูดคุยกับเพื่อนร่วมงานอาวุโสของเรา มีความโรแมนติกอย่างมากในยุครุ่งเรืองของ Bell Labs และฉันก็สงสัยอยู่เสมอว่า Google Brain อาจเป็นหนึ่งในรูปแบบที่ใกล้เคียงกว่าในปัจจุบันหรือไม่ สภาพแวดล้อมเป็นอย่างไร

ยาคอบ อุสซ์โคไรต์: ดังนั้นฉันจึงรู้สึกว่าระหว่างนั้นกับตอนที่ Google Brain เริ่มต้นจริงๆ ซึ่งประมาณห้าปีต่อมา มีการเปลี่ยนแปลงที่สำคัญ ก่อนที่ Brain and Translate จะเริ่มต้น ผลิตภัณฑ์ที่สร้างความแตกต่างได้อย่างแท้จริงนั้นได้รับแรงผลักดันมากกว่าที่ฉันเชื่อว่า Bell Labs เคยเป็น และแน่นอนว่าพวกเรามีศิษย์เก่า Bell Labs จำนวนมาก แต่มีแรงจูงใจมากกว่านั้นจากการบังคับใช้โดยตรง

ซึ่งสำหรับฉันแล้วน่าทึ่งมากที่ได้เห็นว่าการแปลด้วยคอมพิวเตอร์เปลี่ยน [จากสิ่งที่] ดีสำหรับการหัวเราะในงานปาร์ตี้ได้อย่างไร ถ้าพวกเขาถามคุณ คุณทำงานที่ไหน และคุณพูดว่า Google แล้วพวกเขาก็พูดว่า คุณไปทำอะไรที่นั่น? และพวกเขาก็ประทับใจตั้งแต่แรกเห็น แล้วคุณก็พูดว่า โอ้ ฉันใช้ Google แปลภาษา จากนั้นพวกเขาก็หัวเราะและถามว่าสิ่งนี้จะได้ผลหรือไม่? ฉันไม่คิดอย่างนั้น แต่ในขณะเดียวกัน ผมอยากจะบอกว่าคลื่นของแมชชีนเลิร์นนิง ซึ่งเป็นคลื่นยุคฟื้นฟูศิลปวิทยาก่อนการเรียนรู้เชิงลึกของแมชชีนเลิร์นนิง เริ่มถึงจุดสูงสุดแล้ว คุณรู้ไหม การเรียนรู้เชิงลึกเป็นสิ่งที่ฉันเคยทำที่โรงเรียนมาก่อน และฉันชอบมัน แต่มันไม่ใช่สิ่งที่คุณจะนำไปใช้ได้จริงในสมัยนั้น

วิชัย ปันเด: ใช่ โดยเฉพาะอย่างยิ่งเพราะคุณไม่มีสเกลในวงวิชาการที่จะทำการคำนวณที่คุณต้องทำ

ยาคอบ อุสซ์โคไรต์: แน่นอนว่าไม่ใช่ในวงวิชาการ แต่แม้แต่ใน Google แม้ว่า ณ เวลานั้น ใน Translate จริงๆ แล้ว คุณลักษณะที่แตกต่างที่น่าสนใจที่สุดก็คือ เราเชื่อในพลังที่แท้จริงของข้อมูลเมื่อสิ้นสุดวัน

ดังนั้นเราจึงพยายามไม่สร้างอัลกอริทึมที่ซับซ้อนและซับซ้อนมากขึ้น แต่ลดความซับซ้อนและปรับขนาดให้มากที่สุดเท่าที่จะเป็นไปได้ และทำให้สามารถฝึกฝนกับข้อมูลได้มากขึ้น แต่เราเพิ่งชนเพดานที่นั่น การทำให้ง่ายขึ้นที่คุณต้องทำเพื่อปรับขนาดให้เท่ากับขนาดของ Google ในขณะนั้น นั่นคือเป้าหมายของเราจริงๆ แต่แล้ว และนั่นก็เป็นหนึ่งในการเคลื่อนไหวแบบลูกตุ้มเหล่านี้ การแกว่งไปมา จากสถาบันการศึกษา กลุ่มคนที่มี GPU จำนวนมาก—การเรียนรู้เชิงลึกกลับมาในแง่หนึ่งพร้อมกับการล้างแค้น และทันใดนั้น สภาพแวดล้อมก็ปรับตัว เพราะไม่มีความชัดเจนว่าเส้นทางตรงจะนำไปสู่การผลิตได้อย่างไร

ดังนั้นสภาพแวดล้อมทั้งหมดจึงเปลี่ยนจากการมุ่งเน้นที่แอปพลิเคชันและผลิตภัณฑ์มากขึ้น เป็นสิ่งที่อย่างน้อยก็รู้สึกได้ในอีกไม่กี่ปีข้างหน้า และเป็นเชิงวิชาการมากขึ้น มันยังคงแตกต่างจากห้องทดลองทางวิชาการเล็กน้อยเพราะเราสามารถซื้อ GPU ได้มากขึ้น แต่ในแง่หนึ่ง แนวคิดที่ว่า [ถูก] ผลักดันโดยสิ่งพิมพ์ ขับเคลื่อนด้วยการก้าวกระโดดมากกว่าก้าว [มัน] กลายเป็นสิ่งที่มีประสิทธิผลมาก—และน่าทึ่งจริง ๆ—แต่เป็น [สิ่งแวดล้อม] แบบปลายเปิดมากกว่านั้นมาก

ความสนใจคือสิ่งที่คุณต้องการ

วิชัย ปันเด: พูดถึงสิ่งตีพิมพ์ สิ่งที่ควรนึกถึงคือเมื่อคุณและทีมงานตีพิมพ์ Attention is All You Need และคุณรู้ไหมว่านั่นเป็นเอกสารสำคัญสำหรับ AI กำเนิดจำนวนมากตั้งแต่นั้นเป็นต้นมาเมื่อมีการวางอัลกอริทึมของหม้อแปลง

ยาคอบ อุสซ์โคไรต์: สองปีก่อนที่จะตีพิมพ์บทความนั้น เราตระหนักดีว่าสิ่งใดที่ล้ำสมัยสำหรับปัญหาต่างๆ เช่น การแปลภาษาด้วยเครื่อง โดยรวมแล้ว Seq2Seq เป็นกระบวนทัศน์การฝึกอบรมและการตั้งค่า แต่ยังรวมถึงสถาปัตยกรรมเครือข่ายด้วย—มีปัญหาที่เหลือเชื่อแม้ใน GPU ที่ทันสมัยที่สุดในขณะนั้น เมื่อต้องปรับขนาดในแง่ของข้อมูล

ตัวอย่างเช่น ระบบแปลภาษาด้วยเครื่องประสาทตัวแรกที่ Google เปิดตัว GNMT ตามความรู้ของฉัน ไม่เคยได้รับการฝึกอบรมจริงๆ เกี่ยวกับข้อมูลการฝึกอบรมทั้งหมดที่เรามี ซึ่งก่อนหน้านี้เราได้ทำเหมืองสำหรับระบบสถิติแบบวลี และนั่นเป็นเพราะอัลกอริทึมไม่ได้ปรับขนาดที่ดีในแง่ของจำนวนข้อมูล สรุปสั้นๆ คือ ณ เวลานั้น เราไม่ได้มองที่การแปลด้วยคอมพิวเตอร์ แต่กำลังดูปัญหาที่ Google ภายใน เรามีข้อมูลการฝึกอบรมจำนวนมากขึ้น สิ่งเหล่านี้เป็นปัญหาที่เกิดขึ้นจากการค้นหา โดยพื้นฐานแล้วคุณมีลำดับความสำคัญอีกสามหรือสี่ลำดับ คุณรู้ไหม ตอนนี้ไม่มีคำเป็นพันล้านคำอีกต่อไป แต่เป็นล้านล้านคำอย่างง่ายดาย และทันใดนั้น เราก็พบรูปแบบนี้ที่เครือข่ายฟีดฟอร์เวิร์ดธรรมดา แม้ว่าพวกเขาจะสร้างสมมติฐานง่ายๆ ที่ไร้สาระ เช่น มันเป็นแค่ถุงคำ หรือมันเป็นถุงบิ๊กแกรม และคุณหาค่าเฉลี่ยพวกเขา และคุณส่งผ่าน MNLP ขนาดใหญ่ พวกเขามีประสิทธิภาพดีกว่า RNN และ LSTM จริง ๆ อย่างน้อยก็เมื่อได้รับการฝึกฝนเกี่ยวกับข้อมูลเพิ่มเติม

[และพวกมัน] เร็วขึ้น n เท่า เร็วขึ้นอย่างง่ายๆ 10 หรือ 20 เท่า ในการฝึกฝน และเพื่อให้คุณสามารถฝึกพวกเขาเกี่ยวกับข้อมูลมากขึ้น ในบางกรณี [พวกเขา] ฝึกเร็วกว่าร้อยเท่า ดังนั้นเราจึงมักจะลงเอยด้วยแบบจำลองที่เรียบง่ายกว่า และไม่สามารถแสดงหรือจับปรากฏการณ์บางอย่างที่เรารู้ว่าเป็นเรื่องธรรมดาในภาษา
และถึงกระนั้น คุณรู้ไหม สิ่งที่สำคัญที่สุดคือ พวกเขาถูกกว่าในการฝึก และ [พวกเขา] ทำงานได้ดีขึ้น

วิชัย ปันเด: ขอยกตัวอย่างสำหรับคนที่ไม่คุ้นเคย ถ้าพูดง่ายๆ คือ แสดงร้านอาหารทั้งหมดที่อยู่ใกล้เคียง ยกเว้นร้านอาหารอิตาลี จะแสดงร้านอาหารอิตาลีทั้งหมดให้คุณเห็นใช่ไหม?

ยาคอบ อุสซ์โคไรต์: อย่างแน่นอน. อันที่จริง สิ่งที่คุณพูดสามารถเรียงลำดับใหม่ได้ เพื่อให้ฉันเห็นร้านอาหารอิตาลีทั้งหมดยกเว้นบริเวณใกล้เคียง เป็นเพียงซุปของคำและคุณสามารถเรียงลำดับใหม่เป็นสิ่งที่มีความหมายแตกต่างออกไปได้

วิชัย ปันเด: ใช่.

ยาคอบ อุสซ์โคไรต์: จากนั้นคุณก็ประมาณการไปถึงโครงสร้างและเข้าถึงปรากฏการณ์ระดับโลกมากขึ้นโดยใส่บิ๊กแกรม โดยพื้นฐานแล้วให้จัดกลุ่มคำสองคำติดต่อกันและอะไรทำนองนั้น แต่เป็นที่ชัดเจนว่า ในภาษาต่างๆ เช่น ภาษาเยอรมัน ซึ่งโดยพื้นฐานแล้ว คุณสามารถใส่คำกริยาลงท้ายสุดของประโยคได้...

วิชัย ปันเด: และมันเปลี่ยนความหมายทั้งหมดใช่ไหม?

ยาคอบ อุสซ์โคไรต์: เปลี่ยนทุกความหมาย เป๊ะ ปัง เป๊ะ! ไม่ว่าขนาด n-grams ของคุณหรือกลุ่มคำเล็กๆ ของคุณจะเป็นเท่าไหร่ คุณจะไม่ประสบความสำเร็จในท้ายที่สุด และกลายเป็นที่ชัดเจนสำหรับเราว่าต้องมีวิธีอื่นที่ไม่ต้องการความยาวซ้ำของ RNN หรือการเกิดขึ้นซ้ำตามลำดับ พูดคำหรือพิกเซล แต่จริงๆ แล้วประมวลผลอินพุตและเอาต์พุตในแบบคู่ขนานกันมากกว่า ในที่สุดก็รองรับจุดแข็งของฮาร์ดแวร์ตัวเร่งความเร็วสมัยใหม่

วิชัย ปันเด: ลองคิดดู เหมือนถุงคำคือคำในลำดับแบบสุ่ม LSTM หรือความจำระยะสั้นระยะยาว อาจให้ [ความสามารถ] บางอย่างแก่คุณในการมอง [ใน] อดีตสักหน่อย จริงไหม? แต่ทรานส์ฟอร์มเมอร์สทำในสิ่งที่แตกต่างอย่างสิ้นเชิง Transformers ก้าวไปสู่อีกระดับได้อย่างไร?

ยาคอบ อุสซ์โคไรต์: มีสองวิธีในการมองสิ่งนี้เสมอ วิธีหนึ่งคือการมองผ่านเลนส์ของประสิทธิภาพ แต่อีกวิธีหนึ่งที่อาจง่ายกว่าเล็กน้อยคือการมองในแง่ที่คุณสามารถรักษาบริบทไว้ได้ และอย่างที่คุณพูด LSTM หรือเครือข่ายประสาทที่เกิดซ้ำโดยทั่วไป พวกมันเคลื่อนผ่านอินพุตทีละขั้นตอน พูดกว้างๆ และในขณะที่ในทางทฤษฎีแล้ว พวกเขาสามารถรักษาหน้าต่างบริบทที่ยาวตามอำเภอใจไว้ในอินพุต ซึ่งก็คืออดีต—อะไรทำนองนั้น เกิดขึ้นจริงในทางปฏิบัติคือเป็นเรื่องยากมากสำหรับพวกเขาที่จะระบุเหตุการณ์ พูดคำ หรือพิกเซล ที่ห่างไกลมากในอดีตที่ส่งผลกระทบต่อความหมายในตอนท้ายของวัน พวกเขามักจะให้ความสำคัญกับสิ่งที่อยู่ในบริเวณใกล้เคียง

ในทางกลับกัน หม้อแปลงโดยทั่วไปแค่หมุนมันบนหัวของมันแล้วพูดว่า ไม่ ในทุกย่างก้าวที่เรากำลังทำนั้นไม่ได้เคลื่อนที่ผ่านอินพุต ในทุกขั้นตอน เรากำลังตรวจสอบอินพุตหรือเอาต์พุตทั้งหมด และโดยพื้นฐานแล้ว เรากำลังแก้ไขการแสดงแทนของทุกคำหรือทุกพิกเซล หรือทุกแพตช์หรือทุกเฟรมของวิดีโอทีละน้อย โดยพื้นฐานแล้วเราจะย้าย ไม่ใช่ในพื้นที่อินพุต แต่ในพื้นที่การแสดง

วิชัย ปันเด: ใช่.

ยาคอบ อุสซ์โคไรต์: และแนวคิดนั้นมีข้อเสียบางประการในแง่ของวิธีที่คุณจะประกอบเข้ากับฮาร์ดแวร์สมัยใหม่ แต่เมื่อเทียบกับโครงข่ายประสาทเทียมที่เกิดซ้ำ แนวคิดนี้มีข้อดีในเบื้องต้น เพราะตอนนี้คุณไม่ต้องคำนวณการแทนค่าตามลำดับ พูดคำต่อคำ สิ่งที่คุณถูกผูกไว้นั้นแท้จริงแล้วมันควรจะดีแค่ไหน? การประมวลผลแบบขนานแบบนี้มีกี่ชั้นของทุกตำแหน่งที่ทุกอย่าง ที่ทุกคู่ของคำหรือแพตช์รูปภาพทั้งหมดสามารถโต้ตอบได้ทันที ฉันสามารถ "จ่าย" การแก้ไขตัวแทนเหล่านี้ได้กี่ครั้ง

วิชัย ปันเด: สิ่งที่น่าสนใจจริงๆ ก็คือเห็นได้ชัดว่าแรงบันดาลใจคือภาษาธรรมชาติ แต่มีโครงสร้างมากมายที่คุณต้องการป้อนข้อมูลโดยที่คุณไม่ต้องการศึกษามันตามลำดับ เช่น ลำดับดีเอ็นเอ และเราจะเข้าสู่ชีววิทยา เร็วพอ - คุณต้องการมีแบบจำลองของสิ่งทั้งหมด

มันตลกดีกับภาษา เมื่อฉันพูดหรือเมื่อฉันฟังคุณ ฉันกำลังประมวลผลแต่ละคำ แต่ในที่สุด ฉันต้องไม่เพียงแค่แปลงคำให้เป็นความหมายเฉพาะ แต่ฉันต้องพัฒนารูปแบบนี้ ใช่? ฉันหวังว่าเราจะทำได้เหมือนที่ทรานส์ฟอร์มเมอร์สทำ และนั่นอาจเป็นเคล็ดลับก็คือ LSTM นั้นใกล้เคียงกับวิธีที่มนุษย์เราทำมากกว่า และทรานส์ฟอร์มเมอร์อาจเป็นวิธีที่เราควรทำ หรือฉันหวังว่าเราจะทำได้

ยาคอบ อุสซ์โคไรต์: หากดูเผินๆ ฉันคิดว่าเป็นเรื่องจริง แม้ว่าท้ายที่สุดแล้ว การโต้เถียงอย่างครุ่นคิดเช่นนี้จะละเอียดอ่อนและซับซ้อน

ดังนั้นฉันเดาว่าพวกเราหลายคนรู้จักปรากฏการณ์นี้เมื่อคุณตะโกนหรือตะโกนกับใครบางคนที่พยายามสื่อสารบางอย่างบนถนนที่พลุกพล่าน ดังนั้นคุณจึงได้ยินสิ่งที่พวกเขาพูด และไม่ใช่คำพูดสั้นๆ และโดยพื้นฐานแล้วคุณไม่เข้าใจอะไรเลย แต่หลังจากนั้นเพียงครึ่งวินาที คุณก็เข้าใจประโยคทั้งหมด มันบอกเป็นนัยถึงข้อเท็จจริงที่ว่าในขณะที่เราถูกบังคับให้เขียนและเปล่งเสียงตามลำดับ—เพียงเพราะลูกศรของเวลา—มันไม่ชัดเจนนักว่าความเข้าใจที่ลึกซึ้งยิ่งขึ้นของเราดำเนินไปในลักษณะตามลำดับนั้นจริง ๆ

สร้างทีม

วิชัย ปันเด: ถ้าใครศึกษาแค่กระดาษ Attention is All You Need หรือวิธีการทำงานของหม้อแปลงไฟฟ้า มันก็มีหลายส่วน และดูเหมือนว่าตอนนี้น่าจะผ่านจุดที่คนๆ หนึ่งสามารถทำงานนั้นอย่างมีประสิทธิภาพได้ด้วยตัวเองในระยะเวลาอันสั้น

ยาคอบ อุสซ์โคไรต์: อย่างแน่นอน

วิชัย ปันเด: ตอนนี้คุณต้องการทีมงานจำนวนมากเพื่อทำสิ่งเหล่านี้ สังคมวิทยาของสิ่งนั้นคืออะไร? สิ่งนั้นเกิดขึ้นได้อย่างไร?

ยาคอบ อุสซ์โคไรต์: โดยส่วนตัวแล้วฉันรู้สึกว่ากรณีนี้เป็นตัวอย่างที่ยอดเยี่ยมจริงๆ ของบางสิ่งที่เหมาะกับแนวทางอุตสาหกรรม เช่น การวิจัยทางวิทยาศาสตร์ ได้เป็นอย่างดี เพราะคุณพูดถูก นี่ไม่ใช่จุดประกายแห่งจินตนาการและความคิดสร้างสรรค์ครั้งใหญ่ที่จุดประกายทุกอย่าง

เป็นการบริจาคทั้งหมดที่จำเป็นในท้ายที่สุด การมีสภาพแวดล้อม ไลบรารี ซึ่งต่อมาเป็นโอเพ่นซอร์สด้วยชื่อ Tensor2Tensor ซึ่งรวมถึงการใช้งานจริงๆ และไม่ใช่แค่การนำไปใช้งานใดๆ แต่เป็นการนำไปใช้งานที่ดีเป็นพิเศษ การนำเทคนิค Deep Learning ทุกประเภทไปใช้งานอย่างรวดเร็ว
แต่ยังรวมไปถึงกลไกความสนใจเหล่านี้ซึ่งมาจากสิ่งพิมพ์ก่อนหน้านี้—เช่น แบบจำลองความสนใจที่แยกย่อยได้ [ซึ่งเคย] เผยแพร่มาก่อน—แต่จากนั้นก็ถูกรวมเข้ากับการปรับปรุงและนวัตกรรม สิ่งประดิษฐ์รอบ ๆ ตัวเพิ่มประสิทธิภาพ ฉันคิดว่าคุณจะไม่พบคนที่เป็นผู้เชี่ยวชาญชั้นนำของโลกในเรื่องทั้งหมดนี้พร้อมๆ กัน และเป็นคนที่หลงใหลในแง่มุมเหล่านี้เหมือนกันจริงๆ

วิชัย ปันเด: และโดยเฉพาะอย่างยิ่ง มีแนวคิดเริ่มต้น มีการนำไปใช้ มีการปรับขนาดของมัน การเข้าถึงเครื่องชั่งประเภทนั้นในที่อื่นนอกเหนือจากในบริษัทขนาดใหญ่ในขณะนี้ อาจทำได้ไม่เต็มที่เพียงเพราะต้นทุน

ยาคอบ อุสซ์โคไรต์: ฉันคิดว่าจริง ๆ แล้วบางทีแง่มุมของบริษัทขนาดใหญ่อาจไม่ได้สำคัญขนาดนั้น

วิชัย ปันเด: ใช่?

ยาคอบ อุสซ์โคไรต์: แง่มุมของ บริษัท เป็นสิ่งที่ฉันจะให้คุณค่าสูงกว่านี้ บริษัทขนาดใหญ่ไม่เสียหายอย่างแน่นอนหากคุณต้องการ TPU หรือ GPU นับพันหรือสิ่งที่คุณมี กระเป๋าลึกไม่เคยทำร้ายสิ่งของประเภทนี้ แต่ในขณะเดียวกัน ผมเชื่อว่าโครงสร้างสิ่งจูงใจเกี่ยวกับการวิจัยเชิงสำรวจในอุตสาหกรรมประเภทนี้เหมาะสมกว่ามากสำหรับโครงการประเภทนี้ และฉันคิดว่านั่นคือสิ่งที่เราเห็นจริง ๆ โดยดูที่โครงการ AI เชิงสร้างสรรค์ทั่วกระดาน

วิชัย ปันเด: ใช่. และถึงจุดของคุณ มันอาจเป็นการเริ่มต้น

ยาคอบ อุสซ์โคไรต์: อาจเป็นการเริ่มต้นได้อย่างแน่นอน และฉันคิดว่าตอนนี้เราเห็นแล้วว่าการใช้ฮาร์ดแวร์ตัวเร่งนั้นมีราคาที่ถูกกว่าเป็นอย่างน้อย และมีบริษัทสตาร์ทอัพจำนวนมากที่แข่งขันกันอย่างมากเมื่อพูดถึงการสร้าง AI ซึ่งมีเป้าหมายที่การสร้างภาพหรือการสร้างข้อความ

ข้ามไปที่วิทยาศาสตร์เพื่อชีวิต

วิชัย ปันเด: ฉันชอบที่จะเปลี่ยนไปทำในสิ่งที่คุณกำลังทำอยู่ตอนนี้ คุณเป็น CEO ของ Inceptive ซึ่งเป็นบริษัทที่ใช้ AI กับชีววิทยา RNA สำหรับการบำบัดด้วย RNA คุณเปลี่ยนเข้าสู่วิทยาศาสตร์เพื่อชีวิตได้อย่างไร ดูเผินๆ การพูดถึงแบบจำลองทางภาษารอบๆ อาหารค่ำ [โต๊ะ] และรอบๆ โรงอาหารของ Google… ดูเหมือนว่านั่นอาจเป็นการก้าวกระโดดไปสู่การบำบัดโรคในยุคต่อไป ทั้งหมดนี้เกิดขึ้นได้อย่างไร?

ยาคอบ อุสซ์โคไรต์: ฉันไม่เห็นด้วยมากกว่านี้ เป็นประสบการณ์การเรียนรู้ที่น่าทึ่งจากจุดจบของฉัน เป็นเวลานานแล้วที่ชีววิทยาทำให้ฉันรู้สึกว่าเป็นปัญหาที่ดูเหมือนจะนึกไม่ถึงว่ามันมีขอบเขตว่าเราจะไปได้ไกลแค่ไหนในแง่ของการพัฒนายาและการออกแบบโดยตรงโดยมีชีววิทยาแบบดั้งเดิมเป็นแกนหลักในการที่เรา ไปเกี่ยวกับการออกแบบ—หรือค้นพบวิธีการออกแบบ—ยาแห่งอนาคต

ดูเหมือนว่าการเรียนรู้เชิงลึกโดยเฉพาะอย่างยิ่งในระดับนั้น ด้วยเหตุผลหลายประการ อาจเป็นเครื่องมือที่เหมาะสมที่สุดที่นี่ และหนึ่งในเหตุผลเหล่านั้นจริงๆ แล้วคือสิ่งที่มักไม่จำเป็นต้องถูกเรียกเก็บเงินว่าเป็นข้อได้เปรียบ ซึ่งเป็นความจริงที่ว่ามันเป็นกล่องดำขนาดใหญ่ที่คุณสามารถขว้างใส่บางสิ่งได้ และไม่ใช่ความจริงที่คุณจะโยนมันทิ้งไปได้เลย เป็นสิ่งที่คุณต้องรู้วิธีโยนมัน

วิชัย ปันเด: แล้วก็ไม่ดำซะด้วย เราสามารถโต้เถียงกันได้ในภายหลัง

ยาคอบ อุสซ์โคไรต์: ใช่แล้ว อย่างแน่นอน. แต่ท้ายที่สุดแล้ว กลับมาที่การเปรียบเทียบกับภาษา เราไม่เคยสามารถเข้าใจและกำหนดแนวคิดของภาษาได้อย่างเต็มที่ในแง่นั้นจนถึงขอบเขตที่คุณจะอ้างได้ โอ้ ฉันจะไปบอกคุณเอง ทฤษฎีนี้ที่อยู่เบื้องหลังภาษา และหลังจากนั้นคุณจะสามารถใช้อัลกอริทึมที่ "เข้าใจ" ได้ เราไม่เคยไปถึงจุดนั้น เราต้องล้มเลิกและถอยออกมาหนึ่งก้าว และในความเห็นของฉัน ในระดับหนึ่ง ยอมรับกับตัวเองว่านั่นอาจไม่ใช่แนวทางปฏิบัติที่จริงจังที่สุด เราควรลองใช้แนวทางที่ไม่ต้องใช้ความเข้าใจแนวคิดในระดับนั้นแทน และฉันคิดว่าสิ่งเดียวกันนี้อาจเป็นจริงสำหรับส่วนต่างๆ ของชีววิทยา

การใช้ AI เพื่อนำชีวภาพไปไกลกว่านั้น

วิชัย ปันเด: น่าสนใจ เราเคยคุยกันเรื่องแบบนี้มาก่อน คุณนึกถึงศตวรรษที่แล้ว ซึ่งเป็นศตวรรษแห่งฟิสิกส์และแคลคูลัสเป็นอย่างมาก มีความคิดบางอย่างที่มีวิธีที่คุณสามารถทำให้สิ่งต่าง ๆ ง่ายขึ้นอย่างสง่างาม โดยคุณสามารถมีสมการเดียว เช่น สมการสนามของไอน์สไตน์ที่อธิบายได้มากมาย และนั่นเป็นสมการง่าย ๆ ในภาษาที่ซับซ้อนมาก คุณได้พูดคุยเกี่ยวกับวิธีการที่ไฟน์แมนเกือบจะเหมือนกับสังคมวิทยาของฟิสิกส์ อาจใช้ไม่ได้ในชีววิทยาใช่ไหม

ยาคอบ อุสซ์โคไรต์: อาจใช้ไม่ได้ อย่างน้อยด้วยเหตุผลสองประการที่ฉันเห็น ณ จุดนี้ ประการแรกคือมีผู้เล่นที่เกี่ยวข้องมากเกินไป และในขณะที่มันเป็นความจริงที่บางทีเราอาจลดมันทั้งหมดเป็นสมการของชเรอดิงเงอร์และแก้มันได้ มันก็เกิดขึ้นจริง ไม่เพียงแต่คำนวณยากเท่านั้น แต่เราจะต้องรู้เกี่ยวกับผู้เล่นที่แตกต่างกันเหล่านี้ด้วย และตอนนี้เรายังไม่ . ไม่ได้ใกล้เคียง. นั่นคือแง่มุมหนึ่ง

แล้วอันที่สองก็คือความสามารถในการคำนวณได้ยาก ซึ่งการลดลงในแง่หนึ่ง ไปไกลถึงขนาดที่ในขณะที่นำทั้งหมดกลับมาที่สิ่งเดียว มันไม่ได้ช่วยอะไรเราเลย เพราะวิธีการคำนวณของเราจะใช้โดยพื้นฐาน ปัจจัยพื้นฐานเหล่านั้นในการคาดการณ์นั้นช้าเกินไปที่จะทำให้การคาดการณ์เหล่านั้นสำหรับระบบใหญ่พอที่จะมีความสำคัญต่อชีวิตจริงๆ

วิชัย ปันเด: ใช่. ดังนั้นมันจึงไม่ใช่สมการ n-body แต่ก็ยังมีความรู้สึกของความเป็นทางการอยู่—บางทีมันอาจเป็นความเป็นทางการที่ขับเคลื่อนด้วยข้อมูลมากกว่าหรือความเป็นทางการแบบเบย์มากกว่า สิ่งนั้นป้อนเข้าสู่สิ่งที่คุณต้องการทำได้อย่างไร? ข้อมูลดังกล่าวนำไปสู่การใช้ AI และอัลกอริธึมใหม่ประเภทอื่นๆ อย่างไร

ยาคอบ อุสซ์โคไรต์: ฉันคิดว่ามีสองด้านที่แตกต่างกัน ในตอนท้ายของวัน ประเด็นสำคัญประการหนึ่งในความคิดของฉันจากสิ่งที่เรากำลังเห็นใน AI เชิงกำเนิดก็คือ เราไม่ต้องฝึกกับข้อมูลที่ไม่เพียงสะอาดสมบูรณ์เท่านั้น แต่ยังแม่นยำจากโดเมนอีกด้วย และจากประเภทของงานที่คุณต้องการจัดการในภายหลัง แต่ที่จริงแล้วอาจเป็นประโยชน์มากกว่าหรือแม้แต่วิธีเดียวที่เราพบว่าพยายามฝึกทุกอย่างที่คุณพบว่าเกี่ยวข้องกับระยะไกลด้วยซ้ำ จากนั้นใช้ข้อมูลที่รวบรวมได้อย่างมีประสิทธิภาพจากข้อมูลเหล่านั้นเพื่อลงเอยด้วยโมเดลพื้นฐานที่เรียกว่า ซึ่งคุณสามารถปรับแต่งงานเฉพาะทุกประเภทโดยใช้ข้อมูลที่สะอาดกว่าและมีขนาดเล็กกว่ามาก

ฉันคิดว่าเราประเมินสิ่งที่เราต้องรู้เกี่ยวกับปรากฏการณ์โดยรวมต่ำไปเล็กน้อย ในการสร้างโมเดลภาษาขนาดใหญ่ที่ดีมาก คุณต้องเข้าใจว่ามีสิ่งที่เรียกว่าอินเทอร์เน็ตและมีข้อความจำนวนมากอยู่ในนั้น คุณต้องเข้าใจบ้าง จริง ๆ แล้วเกี่ยวกับวิธีค้นหาข้อความนี้ สิ่งที่ไม่ใช่ข้อความ และอื่น ๆ เพื่อที่จะกลั่นกรองข้อมูลการฝึกอบรมที่คุณใช้จากนั้น

ฉันเชื่อว่าจะมีความท้าทายที่คล้ายคลึงกันโดยตรงเกี่ยวกับชีววิทยา คำถามใหญ่คือ: การทดลองใดที่เราสามารถปรับขนาดเพื่อให้เราสามารถสังเกตชีวิตในระดับที่เพียงพอโดยมีความเที่ยงตรงเพียงพอ—แต่มีความเฉพาะเจาะจงน้อยกว่ามาก โดยคำนึงถึงปัญหาที่คุณพยายามแก้ไขในที่สุด—เช่น ที่เราทำได้ โดยพื้นฐานแล้วใช้ข้อมูลที่เราต้องการเพื่อเริ่มสร้างโมเดลพื้นฐานเหล่านี้ ซึ่งเราสามารถใช้ ปรับแต่งอย่างละเอียด และออกแบบทางวิศวกรรมโดยเฉพาะ เพื่อแก้ไขปัญหาที่เราต้องการจัดการอย่างแท้จริง

ส่วนการสร้างข้อมูลเป็นหนึ่งในนั้นอย่างแน่นอน สถาปัตยกรรมและการมีโมเดลและสถาปัตยกรรมเครือข่ายที่มีประสิทธิภาพซึ่งเลียนแบบสิ่งที่เรารู้ เช่น ฟิสิกส์ที่อยู่ด้านล่าง จะยังคงเป็นวิธีที่มีประสิทธิภาพอย่างเหลือเชื่อในการบันทึกการคำนวณและยังลดความอยากข้อมูลจำนวนมหาศาลที่โมเดลเหล่านี้จะต้องมี ในระดับที่เป็นไปได้ และสิ่งหนึ่งที่ฉันเชื่อว่าน่าสนใจจริง ๆ ก็คือ แอปพลิเคชันปัจจุบันจำนวนมากของแบบจำลอง เช่น ทรานส์ฟอร์เมอร์ ซึ่ง [เคย] พบว่าปรับขนาดได้ค่อนข้างดีในรูปแบบอื่น ๆ โดเมนอื่น ภาษา การมองเห็น การสร้างภาพ ฯลฯ ฯลฯ และการนำไปใช้กับชีววิทยาโดยพื้นฐานแล้วไม่สนใจข้อเท็จจริงที่ว่าเรารู้ว่ามีสิ่งเช่นเวลา และกฎของฟิสิกส์ อย่างน้อยก็เท่าที่เรารู้ ดูเหมือนจะไม่เปลี่ยนแปลง ล่วงเวลา.

กระบวนการของการพับโปรตีนโดยไม่สนใจข้อเท็จจริงที่ว่ามีผู้เล่นเป็นตันๆ มากมาย—พี่เลี้ยงและอะไรที่ไม่ใช่—อันที่จริงแล้ว ในแง่หนึ่ง เป็นปัญหาที่แยกออกจากจลนพลศาสตร์โปรตีนที่เหลือโดยพลการ เป็นเพียงจลนพลศาสตร์มากเท่ากับจลนพลศาสตร์ที่เหลือ หรือชีวิตที่เหลืออยู่ของโปรตีนนั้น ของโมเลกุลนั้น แล้วเหตุใดเราจึงพยายามฝึกโมเดลโดยเฉพาะสำหรับโมเดลหนึ่ง และอย่างน้อยที่สุดก็เพิกเฉยต่อข้อมูลที่เราอาจมีเกี่ยวกับอีกโมเดลหนึ่ง ในกรณีนี้ อาจเจาะจงกว่านั้น คือแบบจำลองการทำนายโครงสร้างโปรตีนบางส่วนที่เรามีในปัจจุบัน พวกเขาเรียนรู้บางอย่างเกี่ยวกับจลนพลศาสตร์โดยปริยายแล้วหรือไม่ เพราะความจริงที่ว่าพวกเขาเริ่มยอมรับการดำรงอยู่ของเวลาอย่างช้าๆ คุณรู้หรือไม่

การพัฒนาสถาปัตยกรรมใหม่

วิชัย ปันเด: สิ่งที่น่าสนใจอย่างหนึ่งที่ฉันคิดเกี่ยวกับจุดที่คุณยืนอยู่ตอนนี้คือ มีข้อยกเว้นบางประการที่หาได้ยาก โครงข่ายประสาทส่วนลึกหรือ AI ประเภทอื่นๆ ในชีววิทยาส่วนใหญ่รู้สึกเหมือนกำลังนำสิ่งที่ประดิษฐ์ขึ้นจากที่อื่นมาดำเนินการแทน เช่นเดียวกับที่เราจะใช้โครงข่ายประสาทเทียมสำหรับภาพ บางทีสำหรับโมเลกุลขนาดเล็ก… ในห้องแล็บของฉันที่สแตนฟอร์ด เราใช้โครงข่ายประสาทเทียมแบบกราฟและโครงข่ายประสาทเทียมหลายโครงข่าย แต่การพัฒนาอัลกอริทึมสำหรับปัญหาทางชีววิทยานั้นค่อนข้างหายาก และฉันคิดเสมอว่านั่นเป็นเพราะมันยากที่จะมีชุดทักษะของทีมที่แข็งแกร่งในโดเมนชีววิทยาและในโดเมนวิทยาการคอมพิวเตอร์ แต่ฉันอยากรู้อยากเห็นของคุณ หรือเป็นเรื่องยากที่จะพัฒนาสถาปัตยกรรมใหม่ตั้งแต่แรก?

ยาคอบ อุสซ์โคไรต์: ฉันคิดว่าท้ายที่สุดแล้ว สิ่งที่เราเห็นก็คือ สถาปัตยกรรมใหม่ แม้ว่าจะได้รับแรงบันดาลใจจากปัญหาเฉพาะ หากพวกเขาสร้างความแตกต่างได้อย่างแท้จริง ก็มักจะนำไปใช้ที่อื่นได้เช่นกัน ในทางกลับกัน นั่นไม่ได้หมายความว่าระหว่างทางนั้น การเลือกอย่างรอบคอบว่าแอปพลิเคชันและโดเมนที่จูงใจคืออะไรจะไม่สร้างความแตกต่างมากนัก และฉันคิดว่าแน่นอน

ฉันรู้สึกว่าหนึ่งในความท้าทายที่สำคัญในที่นี้คือ เรายังไม่ได้อยู่ในระบอบการปกครองทางชีววิทยาที่เรามีข้อมูลอยู่มากมายมหาศาล แม้ว่าเมื่อเทียบกับสิ่งที่เราเคยมีมาก่อนหน้านี้แล้ว มันน่าทึ่งมาก แต่เรายังไม่ได้อยู่ในระบอบการปกครองแบบนั้น ที่ซึ่งเป็นเพียงการนั่งเฉยๆ บนเว็บ และเราสามารถกรองมันได้เล็กน้อย ดาวน์โหลด และดำเนินการกับมัน แต่ฉันคิดว่าเราต้องสร้างมันในระดับที่ใหญ่พอสมควร และนั่นจะไม่ทำโดยผู้เชี่ยวชาญด้านการเรียนรู้เชิงลึก อย่างน้อยก็ไม่ใช่โดยส่วนใหญ่

และผมเชื่อว่าจะต้องเกิดขึ้นแบบล็อกสเต็ปพร้อมกับเข้าใจลักษณะเฉพาะของข้อมูลดังกล่าวจริง ๆ ใช่ไหม? ประเภทของเสียงรบกวนที่คุณพบที่นั่น ข้อเท็จจริงที่ว่าสิ่งเหล่านี้ถูกสร้างขึ้นในพูลขนาดใหญ่มาก การทดสอบปริมาณงานสูง แต่ยังคงเป็นการทดสอบที่เรียกใช้ในวันต่างๆ โดยผู้ทดลองที่แตกต่างกัน และอื่นๆ เป็นต้น และเมื่อผู้ที่มีพื้นฐานการเรียนรู้เชิงลึกทำงานอย่างใกล้ชิดกับผู้ที่มีพื้นฐานทางชีววิทยา เรียนรู้มากพอเกี่ยวกับสิ่งที่เรารู้เกี่ยวกับปรากฏการณ์พื้นฐาน [พวกเขาจะ] ได้รับแรงบันดาลใจโดยพื้นฐานให้ลองใช้แนวทางใหม่ที่น่าสนใจ

วิชัย ปันเด: ฉันชอบเวลาที่คุณพูดถึงตัวอย่างกระดาษ Attention is All You Need เกี่ยวกับวิธีที่คุณต้องการให้กลุ่มคนที่หลากหลายนี้มีความหลงใหล ซึ่งคุณรู้ไหมว่าค่อนข้างตั้งฉากจากกันและกัน และในแง่หนึ่ง เมื่อคุณทำสิ่งนี้ในด้านชีววิทยา และโดยเฉพาะอย่างยิ่งสำหรับสิ่งที่คุณทำที่ Inceptive คุณต้องนำงานทั้งหมดนี้ไปสร้างข้อมูลด้วย และการสร้างข้อมูลหมายถึงการทำการทดลองทางชีววิทยาในระดับที่ชัดเจนมาก ส่วนอินพุตนั้นมีราคาแพงมากและเป็นเทคนิคมาก และอย่างที่คุณพูด มันมีวิธีผิดพลาดมากมาย แต่ดูเหมือนว่าคุณกำลังสร้างจากวัฒนธรรมที่คุณเคยทำมาก่อน และตอนนี้เป็นเพียงผู้เชี่ยวชาญที่มีความปรารถนาที่แตกต่างกันซึ่งประสานกันในลักษณะที่คล้ายคลึงกัน

ยาคอบ อุสซ์โคไรต์: ฉันต้องการจริงๆ [และ] ผู้คนต้องการสิ่งนั้น เท่าที่ฉันสามารถบอกได้ นี่เป็นช่องทางที่มีแนวโน้มมากที่สุด [มันคือการ] ไม่มุ่งเป้าไปที่โมเดลไปป์ไลน์ ซึ่งข้อมูลบางอย่างในห้องแล็บที่พวกมันถูกสร้างขึ้น ให้ความรู้ที่ดีที่สุดเกี่ยวกับแง่มุมพื้นฐานของชีวิต จากนั้นจึงเริ่มใช้แนวทางการเรียนรู้เชิงลึกที่มีอยู่แล้วปรับแต่ง แต่แทนที่จะมีคนที่จริง ๆ แล้วพวกเขาอาจเป็นหนึ่งในคนกลุ่มแรก ๆ ที่ทำงานในระเบียบวินัยจริง ๆ ซึ่งในปัจจุบันยังไม่มีชื่อที่ดีนัก

บางทีตัวหารร่วมที่น้อยที่สุดคือความอยากรู้อยากเห็นที่ขยายออกไปนอกเหนือสิ่งที่คุณรู้ สิ่งที่คุณเคยเรียนรู้มาก่อน และสิ่งที่คุณอาจใช้เวลาส่วนใหญ่ไปกับการทำ เราพบว่าเช่นเดียวกับในพื้นที่อื่น ๆ สิ่งที่เราตามหาคือกลุ่มคนที่มีภูมิหลังที่หลากหลาย แต่มีความอยากรู้อยากเห็นเหมือนกัน

เอไอไปไหน?

วิชัย ปันเด: คุณคิดว่า AI อยู่ที่ไหนในตอนนี้สำหรับปัญหาที่ยากขึ้นเหล่านั้น สำหรับการออกแบบยา การดูแลสุขภาพ และอื่นๆ ต้องทำอย่างไร? มันจะไปถึงเมื่อไหร่?

ยาคอบ อุสซ์โคไรต์: ฉันคาดหวัง—และมันอันตรายมากเสมอที่จะทำนายเกี่ยวกับอนาคต—ฉันจะประหลาดใจมากหากภายในสามปีข้างหน้าเราจะไม่เริ่มเห็นจุด [ผันผวน] เกิดขึ้นเมื่อมันมาถึงผลกระทบในโลกแห่งความเป็นจริงของ การเรียนรู้ของเครื่อง การเรียนรู้เชิงลึกขนาดใหญ่ในการพัฒนายา การออกแบบยา แน่นอนว่าพวกเขาจะเป็นที่หนึ่ง ผมเชื่อว่าส่วนใหญ่จะเกิดขึ้นเกี่ยวกับ RNA การบำบัดด้วย RNA และวัคซีน นั่นจะไม่ใช่พื้นที่เดียวที่ได้รับผลกระทบจากสิ่งนี้อย่างแน่นอน แต่ฉันคิดว่าเรากำลังมุ่งหน้าไปยังดินแดนจุดเปลี่ยน

วิชัย ปันเด: คุณตั้งประเด็นได้น่าสนใจ RNA แตกต่างกันอย่างไร? เพราะฉันคิดว่ามันน่าสนใจเป็นพิเศษ ไม่ใช่แค่การที่คุณเปลี่ยนจาก Google Brain ไปสู่ชีววิทยา แต่คุณเปลี่ยนไปใช้ RNA โดยเฉพาะ อะไรดึงดูดคุณมาที่ RNA โดยเฉพาะอย่างยิ่งอาจมาจากมุมมองของ AI หรือ ML

ยาคอบ อุสซ์โคไรต์: สิ่งหนึ่งที่น่าสนใจเกี่ยวกับ RNA คือการผสมผสานระหว่างการบังคับใช้อย่างกว้างๆ อย่างที่เราได้เห็น แม้ว่ามันจะยังแคบในแง่ของการบ่งชี้เพียงข้อเดียว แต่เพียงแค่ดูที่ระลอกคลื่นของกระบวนการอนุมัติที่กำลังเริ่มต้นและเริ่มต้นขึ้นแล้ว มันก็ค่อนข้างดี เห็นได้ชัดว่าการบังคับใช้นั้นกว้างมาก ประกอบกับ—นี่ค่อนข้างกำกวมเล็กน้อย—เป็นปัญหาเชิงโครงสร้างที่เรียบง่าย และมันก็ง่ายเชิงโครงสร้างไม่ใช่ในประโยคว่าการทำนายโครงสร้าง RNA นั้นง่าย แต่มันง่ายเชิงโครงสร้างในแง่ที่ว่ามันคือโพลิเมอร์ชีวภาพที่มีฐานต่างกันสี่ฐาน เราไม่ได้พูดถึงกรดอะมิโนกว่า 20 ชนิด เป็นสิ่งที่สามารถผลิตได้ค่อนข้างมีประสิทธิภาพ

มีความท้าทายอยู่บ้าง แต่การสังเคราะห์เป็นสิ่งที่สามารถปรับขนาดและขยายได้อย่างรวดเร็ว และสิ่งเหล่านี้มารวมกันจริงๆ เพื่อเปิดใช้งานวงจรป้อนกลับที่รวดเร็ว ซึ่งฉันเดาว่ามักจะถูกพาดพิงถึง แต่น้อยครั้งมาก อย่างน้อยก็จากสิ่งที่ฉันรู้ นำไปใช้จริง และนำไปปฏิบัติได้ในตอนท้ายของวัน

วิชัย ปันเด: ใช่ อาจเป็นไปได้ว่ามันเป็นวงจรป้อนกลับที่รวดเร็วกว่า โดยเฉพาะอย่างยิ่งสำหรับวิธีที่คุณดำเนินการหลังจากนั้น

ยาคอบ อุสซ์โคไรต์: ใช่. และเนื่องจากฉันเชื่อว่าเราจำเป็นต้องสร้างส่วนแบ่งของข้อมูลสำหรับการฝึกอบรมแบบจำลองที่เรากำลังฝึกอบรม เรากำลังลงทุน Inceptive อย่างแท้จริงในการสร้างข้อมูลดังกล่าวในวงกว้าง และฉันจะบอกว่ามีขนาดค่อนข้างใหญ่โดยเปรียบเทียบ เนื่องจาก RNA ดูเหมือนจะเป็นส่วนผสมที่ดีที่สุดเมื่อพูดถึงความเรียบง่ายของโครงสร้าง แต่ยังรวมถึงความสามารถในการปรับขนาดของการสังเคราะห์และการทดลองนี้ด้วย มีศักยภาพมหาศาลที่นี่ที่ยังไม่ได้ใช้

วิชัย ปันเด: ใช่ และฉันคิดว่าเป็นไปได้โดยเฉพาะอย่างยิ่ง ความสามารถในการมีวัฏจักรที่รวดเร็วเหล่านี้ ทั้งแบบพรีคลินิกและดังนั้นจึงต้องไปคลินิกเร็วขึ้นและอยู่ในคลินิก [ในช่วงเวลาสั้นลง]

ยาคอบ อุสซ์โคไรต์: อย่างแน่นอน. นั่นคือสิ่งที่เราหวังไว้ นอกจากนี้เรายังเห็นคำแนะนำเบื้องต้นที่บ่งชี้ว่าอาจเป็นกรณีนี้ และแน่นอนว่าเรารู้สึกตื่นเต้นมากจริงๆ

วิชัย ปันเด: เมื่อนึกถึงช่วง 10 ปีที่ผ่านมา มันช่างน่าอัศจรรย์จริงๆ ตั้งแต่ปี 2012 ถึงตอนนี้ คุณคิดว่าอีก 10 ปีข้างหน้าจะเป็นอย่างไร? คุณคิดว่าเราอยู่ตรงไหนของ AI อีก 10 ปีข้างหน้า? ในวงกว้างหรือโดยเฉพาะอย่างยิ่งสำหรับชีวภาพ?

ยาคอบ อุสซ์โคไรต์: ฉันคิดว่าถ้าเป็นเรื่องจริงที่เรากำลังเข้าสู่ดินแดนจุดเปลี่ยนนี้ เมื่อเรามองย้อนกลับไปอีก 10 ปีนับจากนี้ มันจะดูเหมือนเป็นการปฏิวัติอย่างน้อยก็ใหญ่และกว้างขวางพอๆ กับที่เราคิดว่าเราเห็นใน 10 ปีที่ผ่านมา อย่างน้อยที่สุด ตอนนี้ฉันคิดว่าจะมีความแตกต่างที่สำคัญ และนั่นคือยังไม่ชัดเจนว่าการปฏิวัติในวงกว้างที่เราได้เห็นในช่วง 10 ปีที่ผ่านมาส่งผลกระทบต่อชีวิตของทุกคนอย่างไร มีบางพื้นที่ เสิร์ชเอ็นจิ้นหรือตัวช่วยเขียน ฯลฯ ซึ่งเห็นได้ชัด แต่ไม่ชัดเจนว่าการปฏิวัตินี้นำไปใช้ในวงกว้างเพียงใด ฉันเชื่อว่าเป็นเช่นนั้นมาก แต่เรายังไม่เห็น ฉันคิดว่าการปฏิวัติที่เราจะได้เห็นโดยเฉพาะเกี่ยวกับชีวภาพในอีก 10 ปีข้างหน้า หรือที่เราจะมองย้อนกลับไปในอีก 10 ปีจากนี้ จะแตกต่างกันในแง่ของผลกระทบอย่างลึกซึ้งต่อชีวิตของเราทุกคน .

แม้เพียงการละทิ้งแอปพลิเคชันการออกแบบและการค้นพบยา ยังมีแอปพลิเคชันที่น่าทึ่งเช่นนี้ในและรอบๆ การค้นพบทางวิทยาศาสตร์ ซึ่งตอนนี้คุณสามารถจินตนาการได้ว่า ด้วยเว็บอินเทอร์เฟซ คุณสามารถมีโมเลกุลที่ออกแบบมาโดยพื้นฐานแล้วในสิ่งมีชีวิตบางชนิด มีความเป็นไปได้สูงมากที่จะ ตอบคำถามบางข้อ สร้างการอ่านข้อมูลที่เชื่อถือได้มากกว่าที่คุณเคยรู้มาก่อน ดังนั้นแม้เพียงละทิ้งความซับซ้อนทั้งหมดว่าสิ่งนี้จะส่งผลกระทบอย่างไร ในท้ายที่สุด ต่อผู้ป่วยและทุกคน ฉันคิดว่าเครื่องมือเหล่านี้จะเร่งความเร็วสาขาต่างๆ เช่น ชีววิทยาได้อย่างรวดเร็ว

วิชัย ปันเด: ดูเหมือนจะเป็นสถานที่ที่ดีที่จะจบมัน ขอบคุณมากจาคอบสำหรับการเข้าร่วม Bio Eats World

ยาคอบ อุสซ์โคไรต์: ขอบคุณมากที่มีฉัน

โอลิเวีย เว็บบ์: ขอบคุณที่เข้าร่วม Bio Eats World Bio Eats World เป็นเจ้าภาพและอำนวยการสร้างโดยฉัน Olivia Webb ด้วยความช่วยเหลือจากทีม Bio + Health ที่ a16z และแก้ไขโดย Phil Hegseth Bio Eats World เป็นส่วนหนึ่งของเครือข่ายพอดคาสต์ a16z

หากคุณมีคำถามเกี่ยวกับตอนหรือต้องการแนะนำหัวข้อสำหรับตอนต่อไป โปรดส่งอีเมล สุดท้าย แต่ไม่ท้ายสุด หากคุณกำลังเพลิดเพลินกับ Bio Eats World โปรดให้คะแนนและวิจารณ์เราไม่ว่าคุณจะฟังพอดแคสต์ที่ใดก็ตาม

โปรดทราบว่าเนื้อหานี้มีวัตถุประสงค์เพื่อให้ข้อมูลเท่านั้น ไม่ควรนำไปใช้เป็นคำแนะนำด้านกฎหมาย ธุรกิจ ภาษี หรือการลงทุน หรือใช้เพื่อประเมินการลงทุนหรือความปลอดภัยใดๆ และไม่ได้มุ่งเป้าไปที่นักลงทุนหรือนักลงทุนที่มีศักยภาพในกองทุน a16z ใดๆ . สำหรับรายละเอียดเพิ่มเติม โปรดดูที่ a16z.com/disclosures

***

ความคิดเห็นที่แสดงในที่นี้เป็นความคิดเห็นของบุคลากร AH Capital Management, LLC (“a16z”) ที่ยกมาและไม่ใช่ความคิดเห็นของ a16z หรือบริษัทในเครือ ข้อมูลบางอย่างในที่นี้ได้รับมาจากแหล่งบุคคลที่สาม รวมถึงจากบริษัทพอร์ตโฟลิโอของกองทุนที่จัดการโดย a16z ในขณะที่นำมาจากแหล่งที่เชื่อว่าเชื่อถือได้ a16z ไม่ได้ตรวจสอบข้อมูลดังกล่าวอย่างอิสระและไม่รับรองความถูกต้องของข้อมูลหรือความเหมาะสมสำหรับสถานการณ์ที่กำหนด นอกจากนี้ เนื้อหานี้อาจรวมถึงโฆษณาของบุคคลที่สาม a16z ไม่ได้ตรวจทานโฆษณาดังกล่าวและไม่ได้รับรองเนื้อหาโฆษณาใด ๆ ที่อยู่ในนั้น

เนื้อหานี้จัดทำขึ้นเพื่อวัตถุประสงค์ในการให้ข้อมูลเท่านั้น และไม่ควรใช้เป็นคำแนะนำทางกฎหมาย ธุรกิจ การลงทุน หรือภาษี คุณควรปรึกษาที่ปรึกษาของคุณเองในเรื่องเหล่านั้น การอ้างอิงถึงหลักทรัพย์หรือสินทรัพย์ดิจิทัลใดๆ มีวัตถุประสงค์เพื่อเป็นตัวอย่างเท่านั้น และไม่ถือเป็นการแนะนำการลงทุนหรือข้อเสนอเพื่อให้บริการที่ปรึกษาการลงทุน นอกจากนี้ เนื้อหานี้ไม่ได้มุ่งไปที่หรือมีไว้สำหรับการใช้งานโดยนักลงทุนหรือนักลงทุนที่คาดหวัง และไม่อาจเชื่อถือได้ไม่ว่าในกรณีใดๆ เมื่อตัดสินใจลงทุนในกองทุนใดๆ ที่จัดการโดย a16z (การเสนอให้ลงทุนในกองทุน a16z จะกระทำโดยบันทึกเฉพาะบุคคล ข้อตกลงจองซื้อ และเอกสารที่เกี่ยวข้องอื่นๆ ของกองทุนดังกล่าว และควรอ่านให้ครบถ้วน) การลงทุนหรือบริษัทพอร์ตการลงทุนใดๆ ที่กล่าวถึง อ้างถึง หรือ ที่อธิบายไว้ไม่ได้เป็นตัวแทนของการลงทุนทั้งหมดในยานพาหนะที่จัดการโดย a16z และไม่สามารถรับประกันได้ว่าการลงทุนนั้นจะให้ผลกำไรหรือการลงทุนอื่น ๆ ในอนาคตจะมีลักษณะหรือผลลัพธ์ที่คล้ายคลึงกัน รายการการลงทุนที่ทำโดยกองทุนที่จัดการโดย Andreessen Horowitz (ไม่รวมการลงทุนที่ผู้ออกไม่อนุญาตให้ a16z เปิดเผยต่อสาธารณะและการลงทุนที่ไม่ได้ประกาศในสินทรัพย์ดิจิทัลที่ซื้อขายในตลาดหลักทรัพย์) มีอยู่ที่ https://a16z.com/investments /.

แผนภูมิและกราฟที่ให้ไว้ภายในมีวัตถุประสงค์เพื่อให้ข้อมูลเท่านั้น และไม่ควรใช้ในการตัดสินใจลงทุนใดๆ ผลการดำเนินงานในอดีตไม่ได้บ่งบอกถึงผลลัพธ์ในอนาคต เนื้อหาพูดตามวันที่ระบุเท่านั้น การคาดการณ์ การประมาณการ การคาดการณ์ เป้าหมาย โอกาส และ/หรือความคิดเห็นใดๆ ที่แสดงในเอกสารเหล่านี้อาจเปลี่ยนแปลงได้โดยไม่ต้องแจ้งให้ทราบและอาจแตกต่างหรือขัดแย้งกับความคิดเห็นที่แสดงโดยผู้อื่น โปรดดู https://a16z.com/disclosures สำหรับข้อมูลสำคัญเพิ่มเติม

ประทับเวลา:

เพิ่มเติมจาก Andreessen Horowitz