Bio Eats World: Verwendung von KI, um Bio weiter zu bringen

Bio Eats World: Verwendung von KI, um Bio weiter zu bringen

Zeitstempel: 11. Januar 2023, 2:35 Uhr
Quellknoten: 1896777

In dieser Folge spricht Vijay Pande mit Jakob Uszkoreit, dem Mitgründer und CEO von Inceptive. Gemeinsam diskutieren sie über alles rund um KI.

Wir veröffentlichen das Transkript unten vollständig, falls Sie mitlesen möchten.

***

Olivia Webb: Hallo und willkommen bei Bio Eats World, einem Podcast an der Schnittstelle von Bio, Gesundheit und Technologie. Ich bin Olivia Webb, die redaktionelle Leitung von Bio + Health bei a16z. In dieser Folge sprachen wir mit Jakob Uszkoreit, ehemals Google Brain und Mitbegründer von Inceptive. Jakob ist auch einer der Autoren des wegweisenden KI-Forschungspapiers Attention is All You Need, das wir in den Shownotes verlinken werden. Jakob hat sich mit Vijay Pande, Gründungspartner von a16z Bio + Health, zusammengesetzt, um über alles rund um KI zu sprechen: von seiner Zeit bei Google Brain, darüber, wie Menschen und Computer Sprache verarbeiten, bis hin zu Inceptives Überzeugung von RNA und wie Jakob uns glaubt betreten mit KI das Gebiet der Wendepunkte.

Es ist eine Folge, die Sie nicht verpassen sollten – aber es ist auch eine Diskussion über KI für Hochschulabsolventen, also werden wir neben der Folge eine Abschrift veröffentlichen. Lass uns anfangen.

Anwendbare Algorithmen

Vijay Pande: Also Jakob, vielen Dank, dass du bei Bio Eats World bist. Es ist toll, dich zu haben.

Jakob Uszkoreit: Schön, hier zu sein. Danke für die Einladung.

Vijay Pande: Vor allem, weil Sie eine so faszinierende Geschichte als Informatiker, Unternehmer und Gründer haben, würde ich mich freuen, wenn Sie uns durch Ihre Karrierereise führen und beginnen, wo immer Sie wollen, aber was Sie zu Google Brain geführt hat, ist wahrscheinlich ein guter Ausgangspunkt .

Jakob Uszkoreit: Ich erinnere mich bis zu einem gewissen Grad wirklich, ähm, dass ich diesem Problem des maschinellen Lernens begegnet bin, vielleicht im weitesten Sinne, [und] des Sprachverständnisses, etwas genauer, als ein Problem, das in der Familie liegt. Also mein Vater ist Informatiker und Computerlinguist, und Dinge wie Turing-Maschinen aufwachsen zu lassen, war schon früh nicht unbedingt ein Fremdwort.

Vijay Pande: Ja, es hört sich an, als wäre es tatsächlich ein Tischgespräch gewesen.

Jakob Uszkoreit: Es waren Tischgespräche. Und so waren insbesondere endliche Automaten und wie sie sich tatsächlich auf Verkaufsautomaten beziehen, häufige Themen. Je älter ich wurde, desto mehr wollte ich sicherstellen, dass ich am Ende tatsächlich etwas anderes mache. Und so habe ich mich dort ziemlich viel mit reiner Mathematik und verwandten Bereichen beschäftigt. [Ich] habe mich wirklich ziemlich auf Optimierung konzentriert, auf Optimierungsalgorithmen, Algorithmen insgesamt, allgemeiner auf die Komplexitätstheorie, bevor mir klar wurde, dass das vielleicht nicht das Praktischste und Anwendbarste war, was, wissen Sie, irgendwie geworden ist ein kleiner roter Faden in meiner Karriere. Und dann im Jahr 2005 buchstäblich über ein Google-Praktikum gestolpert.

Mir wurden ein paar verschiedene Möglichkeiten gegeben, an welchen Forschungsprojekten ich mich beteiligen könnte, [und] darunter waren verschiedene Computer-Vision-Bemühungen, aber auch das maschinelle Übersetzungsprojekt, das im Grunde zu Google Translate wurde. Ungefähr zu dieser Zeit oder nur kurz davor brachte [Translate] sein erstes Produkt auf den Markt, das wirklich von Google-internen Systemen unterstützt wurde, die entwickelt wurden, und in gewissem Sinne stellte sich zu meiner großen Bestürzung heraus, dass Google Translate bei Die Zeit hatte bei weitem die interessantesten Probleme mit großen Algorithmen.

Das war damals wirklich interessant zu sehen, denn was mich dazu bewogen hat, meine Promotion dann abzubrechen und nach diesem Praktikum tatsächlich zu Google zurückzukehren, war wirklich, dass sich in meiner Zeit dort herausgestellt hat, dass, wenn man an etwas arbeiten möchte, in Maschinelles Lernen, das nicht nur interessant und, sagen wir, intellektuell und wissenschaftlich, spannend, herausfordernd und anregend war, sondern das auch wirklich große Hoffnungen machte, die Nadel in der Industrie und in Produkten sofort zu bewegen. Um diese Zeit gab es wirklich nicht viele Orte auf der Welt. Und das waren damals sicherlich keine akademischen Labore, sondern Orte wie Google. Und Google war da und dort tatsächlich ganz vorne mit dabei. Weißt du, damals dachte ich, es sei erstaunlich, meine ersten großangelegten Clustering-Algorithmen auf tausend Maschinen auszuführen, und es war einfach absolut unmöglich, dies anderswo zu tun.

Vijay Pande: Wenn Sie mit unseren älteren Kollegen sprechen, gibt es viel Romantik von der Blütezeit der Bell Labs, und ich habe mich immer gefragt, ob Google Brain heute vielleicht eine der engeren Varianten ist. Wie war die Umgebung?

Jakob Uszkoreit: Ich habe also das Gefühl, dass es zwischen dieser Zeit und dem eigentlichen Start von Google Brain, also ungefähr fünf Jahre später, eine bedeutende Veränderung gegeben hat. Bevor Brain and Translate anfing, war es viel mehr von Produkten getrieben, die wirklich einen Unterschied machten, als ich glaube, Bell Labs. Und wir hatten natürlich viele Bell Labs-Alumni unter uns, aber es war viel mehr motiviert durch direkte Anwendbarkeit.

Was für mich wirklich erstaunlich war, mitzuerleben, wie sich die maschinelle Übersetzung [von etwas, das] buchstäblich gut zum Lachen auf einer Party war, gewandelt hat. Wenn sie dich fragen, wo arbeitest du? Und Sie sagten, Google. Und dann sagten sie, was machst du da? Und sie waren zunächst beeindruckt. Und dann hast du gesagt, oh, ich arbeite an Google Translate. Und dann lachten sie und fragten, wird das jemals funktionieren? Ich glaube nicht. Aber gleichzeitig würde ich sagen, dass die Welle des maschinellen Lernens, die Renaissance-Welle des maschinellen Lernens vor dem Deep Learning, ein Plateau erreichte. Weißt du, Deep Learning war etwas, was ich zuvor in der Schule gemacht hatte, und es gefiel mir, aber es war etwas, das man damals nicht wirklich anwenden konnte.

Vijay Pande: Ja, vor allem, weil Sie in der Wissenschaft nicht die Waage hatten, um die Berechnungen durchzuführen, die Sie durchführen müssten.

Jakob Uszkoreit: Sicherlich nicht in der Wissenschaft, aber auch bei Google. Auch wenn damals bei Translate eigentlich das interessanteste Unterscheidungsmerkmal war, würde ich sagen, dass wir am Ende des Tages wirklich an die absolute Macht der Daten geglaubt haben.

Wir haben also versucht, keine komplizierteren, ausgefeilteren Algorithmen zu entwickeln, sondern sie so weit wie möglich zu vereinfachen und zu skalieren und ihnen dann zu ermöglichen, mit immer mehr Daten zu trainieren. Aber wir stoßen dort gerade an eine Decke. Die Vereinfachungen, die man machen musste, um sie auf die damalige Google-Skala zu skalieren, das war wirklich unser Ziel. Aber dann, und das war so eine dieser Pendelbewegungen, die zurückschwingen, aus der akademischen Welt, ein Haufen Leute mit einem Haufen GPUs – Deep Learning kehrte in gewissem Sinne mit aller Macht zurück. Und plötzlich passte sich das Umfeld an, denn es war unklar, wie der direkte Weg im Maßstab in die Produktion aussehen würde.

Und so verlagerte sich das gesamte Umfeld von mehr anwendungs- und produktorientiert zu etwas, das sich zumindest für einige Jahre viel akademischer anfühlte. Es ist immer noch ein bisschen anders als akademische Labore, weil wir uns viel mehr GPUs leisten könnten, aber in gewissem Sinne viel mehr im Einklang mit dieser Idee, von Veröffentlichungen angetrieben zu werden, angetrieben von Sprüngen statt Schritten. [Es] wurde zu einer sehr, sehr produktiven – und wirklich erstaunlichen – aber viel offeneren [Umgebung].

Aufmerksamkeit ist alles was Sie brauchen

Vijay Pande: Nun, wissen Sie, wo wir gerade von Veröffentlichungen sprechen, ein natürlicher Ort zum Nachdenken ist, wenn Sie und das Team „Aufmerksamkeit ist alles, was Sie brauchen“ veröffentlicht haben. Und wissen Sie, das war so ein wegweisendes Papier für so viele generative KI, seit damals der Transformer-Algorithmus zum ersten Mal entworfen wurde.

Jakob Uszkoreit: Zwei Jahre vor der Veröffentlichung dieses Artikels erkannten wir, [dass], was damals für Probleme wie maschinelle Übersetzung State-of-the-Art war oder [was] sich als State-of-the-Art herausstellte, nämlich LSTM- oder RNN-basiert , Seq2Seq insgesamt als Trainingsparadigma und als Setup, aber auch als Netzwerkarchitektur – hatte selbst auf den damals modernsten GPUs unglaubliche Probleme, wenn es um die Skalierung von Daten ging.

Zum Beispiel wurde das allererste neuronale maschinelle Übersetzungssystem, das Google auf den Markt brachte, GNMT, meines Wissens nach nie wirklich mit allen verfügbaren Trainingsdaten trainiert, die wir zuvor für die phrasenbasierten statistischen Systeme geschürft hatten. Und das lag daran, dass die Algorithmen in Bezug auf die Datenmenge einfach nicht gut skaliert waren. Um es kurz zu machen, wir haben uns damals also nicht mit maschineller Übersetzung beschäftigt, sondern mit Problemen, bei denen wir intern bei Google noch größere Mengen an Trainingsdaten zur Verfügung hatten. Das waren also Probleme, die aus der Suche hervorgegangen sind, bei denen Sie im Grunde genommen weitere drei oder vier Größenordnungen haben. Weißt du, es gibt jetzt nicht mehr Milliarden von Wörtern, sondern einfach Billionen, und plötzlich stießen wir auf dieses Muster, bei dem einfache Feedforward-Netzwerke, obwohl sie lächerliche vereinfachende Annahmen machten, wie z , und Sie mitteln sie und schicken sie durch ein großes MNLP, sie übertrafen tatsächlich RNNs und LSTMs, zumindest wenn sie mit mehr Daten trainiert wurden.

[Und sie waren] n-mal schneller, leicht 10-, 20-mal schneller, um zu trainieren. Und so könnten Sie sie mit viel mehr Daten trainieren. In einigen Fällen [sie waren] hundertmal schneller zu trainieren. Und so landeten wir immer wieder bei Modellen, die einfacher waren und bestimmte Phänomene, von denen wir wissen, dass sie in der Sprache weit verbreitet sind, nicht ausdrücken oder erfassen konnten.
Und doch waren sie unter dem Strich billiger zu trainieren und [sie] schnitten besser ab.

Vijay Pande: Lassen Sie uns nur ein Beispiel für Leute geben, die sich nicht auskennen. Also, für eine Menge Worte, wenn ich sagte, zeige mir alle Restaurants in der Nähe außer Italienisch, es zeigt dir alle italienischen Restaurants, richtig?

Jakob Uszkoreit: Genau. Tatsächlich kann das, was Sie gesagt haben, wahrscheinlich neu geordnet werden, um mir alle italienischen Restaurants außer in der Nähe zu zeigen. Es ist nur eine Suppe von Wörtern und Sie können es in etwas umordnen, das definitiv etwas anderes bedeutet.

Vijay Pande: Ja.

Jakob Uszkoreit: Und dann nähern Sie sich der Struktur und den globaleren Phänomenen, indem Sie Bigramme einfügen. Also im Grunde Gruppen von zwei aufeinanderfolgenden Wörtern und so etwas. Aber es ist klar, dass, sicherlich in Sprachen wie Deutsch, wo man das Verb grundsätzlich ganz am Ende eines Satzes setzen kann …

Vijay Pande: Und es ändert die ganze Bedeutung, richtig?

Jakob Uszkoreit: Ändert jede Bedeutung, genau, ja. Egal, wie groß Ihre N-Gramme – oder Ihre kleinen Wortgruppen – sind, Sie werden letztendlich keinen Erfolg haben. Und uns wurde klar, dass es einen anderen Weg geben muss, der nicht die Wiederholung der Länge des RNN oder die Wiederholung in der Reihenfolge von, sagen wir, Wörtern oder Pixeln erfordert, sondern der Ein- und Ausgänge tatsächlich paralleler und wirklicher verarbeitet letztlich den Stärken moderner Beschleunigerhardware gerecht.

Vijay Pande: Denken Sie darüber nach, wie eine Tüte mit Wörtern Wörter in zufälliger Reihenfolge sind. LSTM oder langes Kurzzeitgedächtnis gibt Ihnen vielleicht eine Art [Fähigkeit], ein wenig [in die] Vergangenheit zu schauen, richtig? Aber Transformatoren machen etwas radikal anderes. Wie bringen Transformatoren das auf die nächste Stufe?

Jakob Uszkoreit: Es gibt immer zwei Betrachtungsweisen. Einer ist durch die Linse der Effizienz, aber der andere Weg, der vielleicht ein bisschen intuitiver ist, ist, es im Hinblick darauf zu betrachten, wie viel Kontext Sie aufrechterhalten können. Und wie Sie sagten, bewegen sich LSTMs oder rekurrente neuronale Netze im Allgemeinen Schritt für Schritt durch ihre Eingaben, grob gesagt, und während sie theoretisch in der Lage sind, beliebig lange Kontextfenster in Eingaben – die Vergangenheit – was aufrechtzuerhalten Was in der Praxis vorkommt, ist, dass es für sie tatsächlich sehr schwierig ist, Ereignisse zu identifizieren, sagen wir Wörter oder Pixel, die sehr weit in der Vergangenheit liegen und die Bedeutung am Ende des Tages wirklich beeinflussen. Sie neigen dazu, sich auf Dinge zu konzentrieren, die in der Nähe sind.

Der Transformator hingegen stellt das im Grunde nur auf den Kopf und sagt, nein, wir bewegen uns nicht bei jedem Schritt durch den Eingang. Bei jedem Schritt betrachten wir die Gesamtheit der Eingabe oder Ausgabe, und wir überarbeiten im Grunde inkrementell die Darstellungen jedes Wortes oder jedes Pixels oder jedes Patches oder jedes Frames eines Videos, während wir uns im Grunde bewegen, nicht im Eingaberaum , sondern im Repräsentationsraum.

Vijay Pande: Ja.

Jakob Uszkoreit: Und diese Idee hatte einige Nachteile in Bezug auf die Anpassung an moderne Hardware, aber im Vergleich zu rekurrenten neuronalen Netzen hatte sie in erster Linie Vorteile, weil Sie jetzt nicht mehr gezwungen waren, Repräsentationen sequentiell zu berechnen, sagen wir Wort für Wort. Woran Sie gebunden waren, ist wirklich, wie gut sollten sie sein? Wie viele Schichten dieser Art der parallelen Verarbeitung aller Positionen, wo alles, wo alle Wortpaare oder alle Bildfleckenpaare sofort zusammenspielen können? Wie viele Überarbeitungen dieser Darstellungen kann ich mir eigentlich „leisten“?

Vijay Pande: Wirklich interessant ist auch, dass die Inspiration natürlich die natürliche Sprache ist, aber dass es viele Strukturen gibt, die Sie eingeben möchten, wo Sie sie nicht einfach nacheinander studieren möchten, wie z. B. eine DNA-Sequenz – und wir kommen zur Biologie früh genug – dass Sie ein Modell der ganzen Sache haben wollen.

Es ist irgendwie komisch mit der Sprache. Wenn ich spreche oder Ihnen zuhöre, verarbeite ich jedes Wort, aber schließlich muss ich die Wörter nicht nur in einzelne Bedeutungen zerlegen, sondern ich muss diese Repräsentation irgendwie entwickeln. Ja? Ich wünschte, wir könnten es so machen, wie Transformatoren es tun. Und vielleicht ist das der Trick, dass LSTMs näher an der Art und Weise liegen, wie wir Menschen es tun, und Transformatoren sind vielleicht genau so, wie wir es tun sollten, oder ich wünschte, wir könnten es tun.

Jakob Uszkoreit: Oberflächlich denke ich, dass das stimmt, obwohl am Ende des Tages solche introspektiven Argumente subtil und knifflig sind.

Ich denke, viele von uns kennen dieses Phänomen, bei dem Sie mit jemandem schreien oder schreien, der versucht, etwas über eine belebte Straße hinweg zu kommunizieren. Und so hört man etwas, was sie sagen, und es ist keine kurze Folge von Wörtern, und man hat im Grunde nichts verstanden. Aber dann, etwa eine halbe Sekunde später, hast du plötzlich den ganzen Satz verstanden. Es deutet tatsächlich darauf hin, dass wir zwar gezwungen sind, Sprache nacheinander zu schreiben und zu äußern – nur wegen des Zeitpfeils –, es aber nicht so klar ist, dass unser tieferes Verständnis wirklich nacheinander abläuft.

Ein Team aufbauen

Vijay Pande: Wenn jemand auch nur das Papier „Aufmerksamkeit ist alles, was Sie brauchen“ studiert oder wie ein Transformator funktioniert, gibt es viele Teile. Und es scheint, als wäre der Punkt wahrscheinlich überschritten, an dem eine Person diese Arbeit in kurzer Zeit effektiv alleine erledigen könnte.

Jakob Uszkoreit: Unbedingt.

Vijay Pande: Jetzt brauchen Sie also wirklich ein Team von Leuten, um diese Art von Dingen zu erledigen. Was ist die Soziologie davon? Wie kommt so etwas zustande?

Jakob Uszkoreit: Dieser spezielle Fall ist meiner persönlichen Meinung nach ein wirklich wunderbares Beispiel für etwas, das außergewöhnlich gut zu einem, sagen wir, industriellen Ansatz der wissenschaftlichen Forschung passt. Denn du hast genau recht. Das war nicht der eine große Funke an Fantasie und Kreativität, der alles auslöste.

Es war wirklich eine ganze Reihe von Beiträgen, die letztendlich alle notwendig waren. Eine Umgebung zu haben, eine Bibliothek – die später auch Open Source unter dem Namen Tensor2Tensor war – die tatsächlich Implementierungen enthielt. Und nicht irgendwelche Implementierungen, sondern außergewöhnlich gute Implementierungen, schnelle Implementierungen aller möglichen Deep-Learning-Tricks.
Aber dann auch bis hin zu diesen Aufmerksamkeitsmechanismen, die aus früheren Veröffentlichungen hervorgegangen sind – wie das zerlegbare Aufmerksamkeitsmodell, das zuvor veröffentlicht wurde – aber dann tatsächlich mit Verbesserungen und Innovationen kombiniert wurden, Erfindungen rund um Optimierer. Sie werden, glaube ich, keine Menschen finden, die wirklich gleichzeitig zu den weltweit führenden Experten in all diesen Bereichen gehören und die wirklich auch alle diese Aspekte mit ähnlicher Leidenschaft verfolgen.

Vijay Pande: Und vor allem da ist die ursprüngliche Idee, da ist die Umsetzung, da ist die Skalierung. Diese Art von Größenordnung irgendwo anders als in einem großen Unternehmen zu erreichen, ist derzeit wahrscheinlich nicht nur wegen der Kosten machbar.

Jakob Uszkoreit: Ich würde eigentlich denken, dass der Aspekt der Großunternehmen vielleicht nicht ganz so entscheidend ist.

Vijay Pande: Ja?

Jakob Uszkoreit: Den Unternehmensaspekt würde ich höher einschätzen. Das große Unternehmen schadet sicherlich nicht, wenn Sie Tausende und Abertausende von TPUs oder GPUs benötigen oder was Sie haben. Tiefe Taschen schaden bei solchen Sachen nie. Aber gleichzeitig glaube ich, dass die Anreizstruktur rund um diese Art der explorativen Forschung in der Industrie für diese Art von Projekten einfach viel besser geeignet ist. Und ich denke, das ist tatsächlich etwas, was wir sehen, wenn wir generative KI-Projekte auf breiter Front betrachten.

Vijay Pande: Ja. Und zu Ihrem Punkt, es könnte ein Startup sein.

Jakob Uszkoreit: Es könnte durchaus ein Startup sein. Und ich denke, wir sehen jetzt, dass die Verwendung von Beschleunigerhardware zumindest erschwinglicher wird. Und es gibt Startups, die sehr konkurrieren, wenn es um generative KI geht, die auf die Bild- oder Textgenerierung abzielt.

Sprung in die Lebenswissenschaften

Vijay Pande: Ich würde gerne zu dem übergehen, was Sie jetzt tun. Sie sind der CEO von Inceptive, einem Unternehmen, das KI auf die RNA-Biologie für RNA-Therapeutika anwendet. Wie kam es zu Ihrem Wechsel in die Life Sciences? Oberflächlich betrachtet, über Sprachmodelle am Esstisch und dann in der Google-Cafeteria zu sprechen … es scheint, als wäre dies ein Sprung in die nächste Generation von Therapeutika. Wie kam es dazu?

Jakob Uszkoreit: Ich könnte nicht mehr zustimmen. Es ist eine erstaunliche Lernerfahrung, von meiner Seite. Seit geraumer Zeit erscheint mir die Biologie als ein solches Problem, bei dem es nicht undenkbar erscheint, dass es Grenzen gibt, wie weit wir beispielsweise in Bezug auf die Arzneimittelentwicklung und das direkte Design gehen können, wobei die traditionelle Biologie das Rückgrat unseres Handelns ist sich damit beschäftigen, die Medikamente der Zukunft zu entwerfen – oder Methoden zu entdecken, um sie zu entwerfen.

Es scheint, dass insbesondere Deep Learning im großen Maßstab aus einer Reihe von Gründen hier ein potenziell sehr geeignetes Werkzeug ist. Und einer dieser Gründe ist tatsächlich etwas, das oft nicht unbedingt als Vorteil in Rechnung gestellt wird, nämlich die Tatsache, dass es diese große Black Box ist, die man einfach auf etwas werfen kann. Und es stimmt nicht, dass man es einfach werfen kann. Es ist etwas, was man wissen muss, wie man es wirft.

Vijay Pande: Und ganz schwarz ist es auch nicht. Darüber können wir später streiten.

Jakob Uszkoreit: Ja genau. Genau. Aber am Ende des Tages, um auf die Analogie zur Sprache zurückzukommen, wir haben es nie geschafft, Sprache in diesem Sinne so vollständig zu verstehen und zu konzeptualisieren, dass Sie behaupten könnten, oh, ich werde jetzt gehen und es Ihnen sagen diese Theorie hinter der Sprache, und danach werden Sie in der Lage sein, einen Algorithmus zu implementieren, der sie „versteht“. An diesen Punkt sind wir nie gekommen. Stattdessen mussten wir abbrechen und einen Schritt zurückgehen und uns meiner Meinung nach teilweise eingestehen, dass das vielleicht nicht der pragmatischste Ansatz war. Stattdessen sollten wir Ansätze ausprobieren, die dieses Maß an konzeptionellem Verständnis nicht erfordern. Und ich denke, das Gleiche könnte für Teile der Biologie gelten.

Verwenden von KI, um Bio weiter zu bringen

Vijay Pande: Es ist interessant, wir haben über solche Dinge schon einmal gesprochen. Sie denken an das letzte Jahrhundert, [das] sehr stark das Jahrhundert der Physik und Analysis war. Es gibt dort eine gewisse Mentalität, bei der es eine sehr elegante Vereinfachung der Dinge gibt, dass man eine einzige Gleichung wie Einsteins Feldgleichungen haben kann, die so viel beschreibt, und das ist eine sehr einfache Gleichung in einer sehr komplexen Sprache. Sie haben darüber gesprochen, dass dieser Feynman-Ansatz, fast wie die Soziologie der Physik, hier in der Biologie möglicherweise nicht anwendbar ist, oder?

Jakob Uszkoreit: Es trifft möglicherweise nicht zu, zumindest aus zwei Gründen, die ich an dieser Stelle sehen kann. Erstens sind zu viele Spieler beteiligt. Und obwohl es wahr ist, dass wir das alles vielleicht einfach auf Schrödingers Gleichung reduzieren und einfach lösen können, ist es zufällig nicht nur rechnerisch schwer zu handhaben, sondern wir müssten auch über all diese verschiedenen Spieler Bescheid wissen, was wir derzeit nicht tun . Nicht einmal annähernd. Das ist also ein Aspekt.

Und das zweite ist im Grunde die rechnerische Widerspenstigkeit, bei der die Reduktion in gewissem Sinne so weit gegangen ist, dass sie zwar alles auf eine einzige Sache zurückführt, uns aber nicht hilft, weil unsere rechnerischen Ansätze im Grunde genommen zu verwenden sind Diese Grundlagen, um Vorhersagen zu treffen, sind einfach zu langsam, um diese Vorhersagen für Systeme zu treffen, die groß genug sind, um für das Leben wirklich wichtig zu sein.

Vijay Pande: Ja. Es handelt sich also nicht um eine n-Körper-Gleichung, aber dennoch gibt es ein Gefühl von Formalismus – vielleicht ist es ein eher datengesteuerter Formalismus oder eher ein Bayesscher Formalismus. Wie wirkt sich das auf das aus, was Sie tun möchten? Wie wirkt sich das auf die Anwendung von KI und anderen Arten neuer Algorithmen aus?

Jakob Uszkoreit: Ich denke, es gibt ein paar verschiedene Aspekte. Letztendlich ist einer der großen Vorteile meiner Meinung nach, was wir derzeit in der generativen KI sehen, dass wir nicht mehr mit Daten trainieren müssen, die nicht nur perfekt sauber sind, sondern auch genau aus der Domäne stammen und von der Art der Aufgaben, die Sie später angehen möchten. Aber stattdessen könnte es tatsächlich vorteilhafter oder sogar der einzige Weg sein, den wir bisher gefunden haben, um tatsächlich zu versuchen, alles zu trainieren, was Sie finden, was auch nur entfernt verwandt ist. Und dann nutzen Sie die aus diesen Daten gewonnenen Informationen effektiv, um so genannte Basismodelle zu erhalten, die Sie dann mit viel kleineren, viel besser handhabbaren Mengen an saubereren Daten auf alle möglichen spezifischen Aufgaben abstimmen können.

Ich denke, wir unterschätzen etwas, was wir über die Phänomene im Allgemeinen wissen müssen. Um ein sehr gutes großes Sprachmodell zu erstellen, müssen Sie verstehen, dass es dieses Ding namens Internet gibt, das viel Text enthält. Man muss eigentlich ziemlich viel darüber verstehen, wie man diesen Text findet, was kein Text ist und so weiter, um dann im Wesentlichen die Trainingsdaten daraus zu destillieren, die man dann verwendet.

Ich glaube, dass es in der Biologie sehr direkt analoge Herausforderungen geben wird. Die große Frage ist: Was sind Experimente, die wir so skalieren können, dass wir das Leben in ausreichendem Maßstab mit gerade genug Genauigkeit beobachten können – aber viel weniger spezifisch, während wir die Probleme im Auge behalten, die Sie schließlich zu lösen versuchen – so dass wir können Im Grunde nehmen wir daraus die Daten, die wir brauchen, um mit dem Aufbau dieser Basismodelle zu beginnen, die wir dann fein abgestimmt und speziell entwickelt verwenden können, um die Probleme, die wir angehen wollen, wirklich anzugehen.

Der Teil der Datengenerierung ist sicherlich einer davon. Architekturen und effektive Modelle und Netzwerkarchitekturen, die das nachahmen, was wir wissen, beispielsweise über die darunter liegende Physik, werden immer noch ein unglaublich leistungsfähiges Mittel bleiben, um tatsächlich Rechenaufwand zu sparen und auch den immer noch enormen Appetit auf Daten zu reduzieren, den diese Modelle haben müssen , auf ein machbares Niveau. Eine Sache, von der ich glaube, dass sie wirklich interessant ist, ist, dass viele der aktuellen Anwendungen von Modellen, sagen wir, Transformatoren, die sich in anderen Modalitäten, anderen Bereichen, Sprache, Vision, Bilderzeugung, ziemlich gut skalieren lassen. usw. usw., und ihre Anwendung auf die Biologie ignoriert im Grunde die Tatsache, dass wir wissen, dass es so etwas wie Zeit gibt, und dass sich die Gesetze der Physik, zumindest nach unserem besten Wissen, nicht einfach zu ändern scheinen im Laufe der Zeit.

Der Prozess einer Proteinfaltung, abgesehen von der Tatsache, dass es Unmengen von Mitspielern gibt – Begleitpersonen und so weiter – ist eigentlich in gewisser Weise ein ziemlich willkürlich getrenntes Problem vom Rest der Proteinkinetik. Es ist genauso viel Kinetik wie der Rest der Kinetik oder der Rest des Lebens dieses Proteins, dieses Moleküls. Warum also versuchen wir, Modelle speziell für das eine zu trainieren und ignorieren möglicherweise zumindest Daten, die wir über das andere haben könnten? In diesem Fall, vielleicht genauer gesagt, lernen einige der Proteinstruktur-Vorhersagemodelle, die wir heute haben, implizit bereits etwas über Kinetik, weil sie langsam beginnen, die Existenz der Zeit anzunehmen?

Entwicklung neuer Architekturen

Vijay Pande: Eines der interessanten Dinge, die ich darüber nachdenke, wo Sie gerade stehen, ist, dass, mit ein paar seltenen Ausnahmen, die meisten tiefen neuronalen Netze oder andere Arten von KI in der Biologie das Gefühl haben, etwas woanders Erfundenes zu nehmen und es zu übertragen. Als würden wir Convolutional Neural Nets für Bilder verwenden. Vielleicht für kleine Moleküle … in meinem Labor in Stanford haben wir neuronale Graphennetze und mehrere neuronale Faltungsnetze verwendet. Aber wirklich einen Algorithmus explizit für das biologische Problem zu entwickeln, ist ziemlich selten. Und ich habe immer angenommen, dass dies daran liegt, dass es einfach schwierig ist, die Fähigkeiten eines Teams zu haben, das im Bereich Biologie und Informatik stark ist. Aber ich bin neugierig auf Ihre Meinung. Oder werden neue Architekturen überhaupt nur selten entwickelt?

Jakob Uszkoreit: Nun, ich denke, am Ende des Tages sehen wir, dass die neuen Architekturen, obwohl sie durch spezifische Probleme motiviert sind, wenn sie wirklich etwas bewirken, dazu neigen, auch anderswo anwendbar zu sein. Das heißt aber nicht, dass auf dem Weg dorthin nicht auch eine sorgfältige Auswahl der motivierenden Anwendungen und Domänen keinen großen Unterschied machen würde. Und ich denke, das tut es auf jeden Fall.

Ich denke, eine der größten Herausforderungen hier ist wirklich, dass wir uns in der Biologie noch nicht in einem Regime befinden, in dem wir Unmengen von Daten haben, obwohl es im Vergleich zu dem, was wir vor einiger Zeit hatten, erstaunlich ist. Aber wir sind noch nicht in dem Regime, wo das nur auf dem Äquivalent des Internets herumliegt, und wir können es ein wenig filtern, herunterladen und fertig damit. Aber stattdessen denke ich, dass wir es in einem angemessen großen Umfang schaffen müssen. Und das werden Deep-Learning-Experten nicht tun, zumindest nicht die meisten von ihnen.

Und ich glaube, das muss im Gleichschritt passieren, damit man dann auch die Eigenheiten besagter Daten wirklich versteht, oder? Die Art von Geräuschen, denen Sie dort begegnen. Die Tatsache, dass diese tatsächlich in sehr großen Pools erstellt werden, Experimente mit hohem Durchsatz, aber immer noch Experimente, die an verschiedenen Tagen von verschiedenen Experimentatoren durchgeführt werden, und so weiter und so fort. Und wo die Leute mit einem tieferen Lernhintergrund eng genug mit Leuten mit biologischem Hintergrund zusammenarbeiten, genug über das lernen, was wir über die zugrunde liegenden Phänomene wissen, [werden sie] im Grunde dazu inspiriert, interessante neue Ansätze auszuprobieren.

Vijay Pande: Nun, ich fand es toll, als Sie nur über das Beispiel des Papiers „Aufmerksamkeit ist alles, was Sie brauchen“ gesprochen haben, darüber, wie Sie diese vielfältige Gruppe von Menschen erreichen wollten, deren Leidenschaften, wissen Sie, ziemlich orthogonal zueinander waren. Und in gewisser Weise muss man, wenn man das in der Biologie macht und besonders für das, was man bei Inceptive macht, all diese Arbeit auch in die Generierung der Daten stecken. Und die Generierung der Daten bedeutet wirklich, um es ganz deutlich zu sagen, biologische Experimente in großem Maßstab durchzuführen. Der Eingabeteil selbst ist sehr teuer und sehr technisch, und wie Sie sagten, gibt es so viele Möglichkeiten, schief zu gehen. Aber es hört sich so an, als würden Sie auf der Kultur aufbauen, die Sie zuvor gemacht haben, und jetzt sind es nur noch mehr Experten mit unterschiedlichen Leidenschaften, die sich auf analoge Weise koordinieren.

Jakob Uszkoreit: Ich brauche das wirklich, [und] die Leute brauchen das. Dies ist, soweit ich das beurteilen kann, der vielversprechendste Weg. [Es soll] in gewissem Sinne kein Pipeline-Modell anstreben, bei dem bestimmte Daten in dem Labor, in dem sie erstellt wurden, nach bestem Wissen über die zugrunde liegenden Aspekte des Lebens bereitgestellt werden. Und dann damit beginnen, bestehende Deep-Learning-Ansätze darauf laufen zu lassen und sie dann zu optimieren. Sondern wirklich Leute zu haben, die in gewisser Weise vielleicht zu den ersten Leuten gehören, die wirklich in einer Disziplin arbeiten, die derzeit noch nicht wirklich einen großen Namen hat.

Der vielleicht kleinste gemeinsame Nenner ist Neugier, die über das hinausgeht, was Sie wissen, was Sie zuvor gelernt haben und womit Sie vielleicht die meiste Zeit verbracht haben. Wir stellen fest, dass wir, wie in vielen anderen Bereichen, wirklich nach einer Gruppe von Menschen mit sehr unterschiedlichen Hintergründen suchen, die aber die Neugier teilen.

Wohin geht die KI?

Vijay Pande: Wo, glauben Sie, ist KI derzeit für diese schwierigeren Probleme, für das Arzneimitteldesign, das Gesundheitswesen und so weiter? Was ist zu tun? Wann wird es da sein?

Jakob Uszkoreit: Ich würde erwarten – und es ist immer sehr gefährlich, Vorhersagen über die Zukunft zu machen – ich wäre sehr überrascht, wenn wir nicht innerhalb der nächsten drei Jahre tatsächlich einen Wendepunkt sehen würden, wenn es um die realen Auswirkungen von geht maschinelles Lernen, Deep Learning im großen Maßstab in der Arzneimittelentwicklung, Arzneimitteldesign. Wo genau sie zuerst sein werden, glaube ich natürlich, dass viele von ihnen im Zusammenhang mit RNA, RNA-Therapeutika und Impfstoffen stattfinden werden. Das wird sicherlich nicht der einzige Bereich sein, der davon betroffen ist, aber ich denke definitiv, dass wir uns auf das Gebiet der Wendepunkte zubewegen.

Vijay Pande: Sie haben einen interessanten Punkt angesprochen. Was ist anders an RNA? Weil ich es besonders interessant finde, dass Sie nicht nur von Google Brain in die Biologie gegangen sind, sondern speziell in die RNA. Was reizt Sie an RNA, besonders vielleicht aus Sicht von KI oder ML?

Jakob Uszkoreit: Das Interessante an RNA ist die Kombination aus, wie wir gesehen haben, sehr breiter Anwendbarkeit – wenn auch immer noch eng im Sinne einer einzelnen Indikation – aber wenn man sich nur diese Welle von Zulassungsverfahren ansieht, die anläuft und angelaufen ist, ist das hübsch klar, dass die Anwendbarkeit sehr, sehr breit ist, gepaart mit – das ist etwas mehrdeutig – einem strukturell einfachen Problem. Und es ist strukturell einfach, nicht in dem Satz, dass die RNA-Strukturvorhersage einfach ist, aber es ist strukturell einfach in dem Sinne, dass es sich um ein Biopolymer mit vier verschiedenen Basen handelt. Wir sprechen hier nicht von über 20 Aminosäuren. Es ist etwas, das ziemlich effektiv produziert werden kann.

Es gibt einige Herausforderungen, aber Synthese ist etwas, das skalieren kann und schnell skaliert, und diese Dinge kommen wirklich zusammen, um diese schnelle Rückkopplungsschleife zu ermöglichen, auf die ich denke, dass sie oft angedeutet wird, aber sehr selten, zumindest nach meinem Wissen, tatsächlich implementiert wird und am Ende des Tages umsetzbar.

Vijay Pande: Ja, wahrscheinlich ist es eine schnellere Feedback-Schleife, besonders für die Art und Weise, wie Sie danach vorgehen.

Jakob Uszkoreit: Ja. Und da ich glaube, dass wir den Löwenanteil der Daten für das Training der Modelle, die wir trainieren, erstellen müssen, investieren wir Inceptive wirklich in die Erstellung solcher Daten in großem Maßstab. Und ich würde sagen, vergleichsweise ziemlich massiver Maßstab, da RNA bei weitem die beste Kombination zu sein scheint, wenn es um die strukturelle Einfachheit, aber auch die Skalierbarkeit der Synthese und dieses Experimentierens geht. Hier liegt ein riesiges, bisher ungenutztes Potenzial.

Vijay Pande: Ja, und ich denke, besonders potenziell die Fähigkeit, diese schnellen Zyklen zu haben, beides irgendwie vorklinisch und daher schneller in die Klinik zu kommen und [für einen kürzeren Zeitraum] in der Klinik zu sein.

Jakob Uszkoreit: Absolut. Das hoffen wir wirklich. Wir sehen auch vielleicht frühe Hinweise darauf, dass dies der Fall sein könnte und worüber wir uns natürlich sehr, sehr freuen.

Vijay Pande: Wenn ich an die letzten 10 Jahre denke, war das großartig, wissen Sie, 2012 bis heute. Wie sehen Ihrer Meinung nach die nächsten 10 Jahre aus? Wo stehen wir Ihrer Meinung nach mit KI in 10 Jahren? Entweder breit oder speziell für Bio?

Jakob Uszkoreit: Ich denke, wenn es wirklich wahr ist, dass wir dieses Wendepunktgebiet betreten, wenn wir in 10 Jahren zurückblicken, wird es wie eine Revolution erscheinen, die mindestens so groß und so weitreichend ist wie die, von der wir glauben, dass wir sie gesehen haben letzten 10 Jahre. Zumindest. Nun, ich denke, es wird einen entscheidenden Unterschied geben, und das ist, dass nicht so klar ist, wie weitreichend genau die Revolution, die wir in den letzten 10 Jahren erlebt haben, das Leben aller beeinflusst. Es gibt bestimmte Bereiche, Suchmaschinen oder unterstütztes Schreiben usw., wo es offensichtlich ist, aber es ist nicht klar, wie breit anwendbar diese Revolution ist. Ich glaube, es ist so, aber wir sehen es noch nicht. Ich denke, die Revolution, die wir in den nächsten 10 Jahren speziell in Bezug auf Bio erleben werden oder auf die wir in 10 Jahren zurückblicken werden, wird sich in Bezug auf ihre tiefgreifenden Auswirkungen auf unser aller Leben wirklich unterscheiden .

Abgesehen von Medikamentendesign und Forschungsanwendungen gibt es so erstaunliche Anwendungen in und um wissenschaftliche Entdeckungen, bei denen Sie sich jetzt vorstellen können, dass Sie mit einer Webschnittstelle im Grunde Moleküle entwerfen lassen können, die mit sehr hoher Wahrscheinlichkeit in bestimmten Organismen vorkommen bestimmte Fragen zu beantworten und zuverlässigere Messwerte zu liefern, als Sie wissen, was Sie früher erreichen konnten. Also, selbst wenn man die gesamte Art von Komplexität auslässt, wie sich dies letztendlich auf Patienten und alle auswirken wird, ist es meiner Meinung nach ziemlich klar, dass diese Tools Bereiche wie die Biologie schnell beschleunigen werden.

Vijay Pande: Das scheint ein großartiger Ort zu sein, um es zu beenden. Vielen Dank, Jakob, dass du dich Bio Eats World anschließt.

Jakob Uszkoreit: Vielen Dank, dass Sie mich haben.

Olivia Webb: Vielen Dank, dass Sie sich Bio Eats World angeschlossen haben. Bio Eats World wird von mir, Olivia Webb, mit Hilfe des Bio + Health-Teams von a16z gehostet und produziert und von Phil Hegseth bearbeitet. Bio Eats World ist Teil des Podcast-Netzwerks a16z.

Wenn Sie Fragen zur Folge haben oder Themen für eine zukünftige Folge vorschlagen möchten, senden Sie bitte eine E-Mail Zu guter Letzt, wenn Ihnen Bio Eats World gefällt, hinterlassen Sie uns bitte eine Bewertung und geben Sie einen Kommentar ab, wo immer Sie Podcasts hören.

Bitte beachten Sie, dass der Inhalt hier nur zu Informationszwecken dient, nicht als Rechts-, Geschäfts-, Steuer- oder Anlageberatung verstanden oder zur Bewertung von Anlagen oder Wertpapieren verwendet werden sollte und sich nicht an Anleger oder potenzielle Anleger eines a16z-Fonds richtet . Weitere Einzelheiten finden Sie unter a16z.com/disclosures.

***

Die hier geäußerten Ansichten sind die der einzelnen zitierten Mitarbeiter von AH Capital Management, LLC („a16z“) und nicht die Ansichten von a16z oder seinen verbundenen Unternehmen. Bestimmte hierin enthaltene Informationen stammen aus Drittquellen, einschließlich von Portfoliounternehmen von Fonds, die von a16z verwaltet werden. Obwohl sie aus als zuverlässig erachteten Quellen stammen, hat a16z solche Informationen nicht unabhängig überprüft und gibt keine Zusicherungen über die dauerhafte Genauigkeit der Informationen oder ihre Angemessenheit für eine bestimmte Situation. Darüber hinaus kann dieser Inhalt Werbung von Drittanbietern enthalten; a16z hat solche Anzeigen nicht überprüft und unterstützt keine darin enthaltenen Werbeinhalte.

Dieser Inhalt wird nur zu Informationszwecken bereitgestellt und sollte nicht als Rechts-, Geschäfts-, Anlage- oder Steuerberatung angesehen werden. Sie sollten diesbezüglich Ihre eigenen Berater konsultieren. Verweise auf Wertpapiere oder digitale Vermögenswerte dienen nur der Veranschaulichung und stellen keine Anlageempfehlung oder ein Angebot zur Erbringung von Anlageberatungsdiensten dar. Darüber hinaus richtet sich dieser Inhalt nicht an Anleger oder potenzielle Anleger und ist nicht für die Verwendung durch diese bestimmt, und es darf unter keinen Umständen darauf vertraut werden, wenn eine Entscheidung getroffen wird, in einen von a16z verwalteten Fonds zu investieren. (Ein Angebot zur Investition in einen a16z-Fonds wird nur durch das Privatplatzierungsmemorandum, den Zeichnungsvertrag und andere relevante Unterlagen eines solchen Fonds abgegeben und sollte vollständig gelesen werden.) Alle erwähnten, erwähnten oder erwähnten Investitionen oder Portfoliounternehmen oder Portfoliounternehmen Die beschriebenen Investitionen sind nicht repräsentativ für alle Investitionen in von a16z verwaltete Vehikel, und es kann nicht garantiert werden, dass die Investitionen rentabel sind oder dass andere Investitionen in der Zukunft ähnliche Merkmale oder Ergebnisse aufweisen werden. Eine Liste der Investitionen von Fonds, die von Andreessen Horowitz verwaltet werden (mit Ausnahme von Investitionen, für die der Emittent a16z keine Genehmigung zur öffentlichen Offenlegung erteilt hat, sowie unangekündigte Investitionen in öffentlich gehandelte digitale Vermögenswerte) ist unter https://a16z.com/investments verfügbar /.

Die darin bereitgestellten Diagramme und Grafiken dienen ausschließlich zu Informationszwecken und sollten bei Anlageentscheidungen nicht als verlässlich angesehen werden. Die Wertentwicklung in der Vergangenheit ist kein Hinweis auf zukünftige Ergebnisse. Der Inhalt spricht nur zum angegebenen Datum. Alle Prognosen, Schätzungen, Prognosen, Ziele, Aussichten und/oder Meinungen, die in diesen Materialien geäußert werden, können ohne Vorankündigung geändert werden und können von den Meinungen anderer abweichen oder ihnen widersprechen. Weitere wichtige Informationen finden Sie unter https://a16z.com/disclosures.

Zeitstempel:

Mehr von Andreessen Horowitz