A Bio Eats World: A mesterséges intelligencia használata a bio messzebbre vitelére

Ebben az epizódban Vijay Pande Jakob Uszkoreittel, az Inceptive társalapítójával és vezérigazgatójával beszélget. Együtt megvitatják az AI-t.

Az átiratot teljes terjedelmében az alábbiakban közöljük, hátha el szeretné olvasni.

***

Olivia Webb: Üdvözlünk a Bio Eats World-ben, amely egy podcast a bio, az egészségügy és a technológia találkozásánál. Olivia Webb vagyok, a Bio + Health szerkesztője az a16z-nél. Ebben az epizódban Jakob Uszkoreittel beszélgettünk, aki korábban a Google Brain tagja volt, és az Inceptive társalapítója. Jakob az egyik szerzője az alapvető mesterséges intelligenciával foglalkozó kutatási cikknek, az Attention is All You Need, amelyet a műsor jegyzeteiben fogunk linkelni. Jakob leült Vijay Pande-val, az a16z Bio + Health alapító partnerével, hogy mindenről beszéljen a mesterséges intelligenciáról: a Google Brainnél töltött idejétől kezdve egészen az emberek és a számítógépek nyelvi feldolgozásának módjáig, az Inceptive-nek az RNS ígéretébe vetett hitéig, és arról, hogy Jakob hogyan hiszi Az inflexiós pont területére lépünk az AI-val.

Ez egy olyan epizód, amelyet nem szeretne kihagyni – de ez egy diplomás szintű vita is az AI-ról, ezért az epizód mellett egy átiratot is közzéteszünk. Kezdjük el.

Alkalmazható algoritmusok

Vijay Pande: Szóval Jakob, nagyon köszönöm, hogy ott vagy a Bio Eats Worldben. Nagyon jó, hogy vagy.

Jakob Uszkoreit: Nagyszerű itt lenni. Köszönöm, hogy vagy nekem.

Vijay Pande: Különösen azért, mert informatikusként, vállalkozóként és alapítóként olyan lenyűgöző története van, szeretném, ha végigvezetne minket karrierje során, bárhonnan indulhat, de ami a Google Brainhez juttatta, valószínűleg jó kiindulópont. .

Jakob Uszkoreit: Bizonyos mértékig valóban emlékszem, hogy a gépi tanulás, talán a legtágabb értelemben vett, [és] nyelvértés problémájával, valamivel konkrétabban a családon belüli problémaként találkoztam. Szóval az apám informatikus és számítástechnikai nyelvész, és tudod, a felnőttkorban olyan dolgok, mint a Turing-gépek, nem feltétlenül voltak teljesen idegen fogalmak elég korán.

Vijay Pande: Igen, úgy hangzik, mintha vacsoraasztali beszélgetés lehetett volna.

Jakob Uszkoreit: Vacsoraasztal beszélgetések voltak. Így különösen a véges automaták, és az, hogy valójában hogyan viszonyulnak az automatákhoz, gyakori téma volt. Minél idősebb lettem, annál inkább meg akartam győződni arról, hogy végül valami mást csináljak. Így végül alaposan utánanéztem a tiszta matematikának és a kapcsolódó területeknek. [Én] valóban egy kicsit az optimalizálásra, az optimalizálási algoritmusokra, az algoritmusokra általánosságban, tágabb értelemben a komplexitáselméletre koncentráltam, mielőtt rájöttem, hogy talán nem ez volt a legpraktikusabb és a leginkább alkalmazható dolog, ami, tudod, valahogy azzá vált. egy kicsit vörös szál egész pályafutásom során. Aztán szó szerint belebotlottam egy Google-gyakornoki helybe 2005-ben.

Különféle lehetőségeket kaptam arra vonatkozóan, hogy milyen kutatási projektekhez csatlakozzak, [és] ezek között szerepelt a különböző számítógépes látásmód, de a gépi fordítási projekt is, amely alapvetően a Google Fordító lett. Pontosan akkoriban, vagy valamivel azelőtt a [Fordító] piacra dobta első termékét, amely valóban a Google által kifejlesztett belső rendszerekkel működött, és bizonyos értelemben, legnagyobb megdöbbenésemre, kiderült, hogy a Google Fordító akkoriban messze voltak a legérdekesebb nagyszabású algoritmus-problémák.

Akkoriban nagyon érdekes volt látni, mert ami meggyőzött arról, hogy félbeszakítsam a doktori fokozatot, és ténylegesen visszatérjek a Google-hoz a gyakorlat után, az az, hogy az ott töltött idő alatt nyilvánvalóvá vált, hogy ha dolgozni akarsz valamin gépi tanulás, amely nem csak érdekes és mondjuk intellektuálisan és tudományosan, izgalmas, kihívásokkal teli és ösztönző volt, hanem nagyon nagy reményeket fűzött ahhoz, hogy az iparban és a termékekben azonnal elmozdítsa a tűt. Valójában abban az időben nem sok hely volt a világon. És akkoriban biztosan nem akadémiai laboratóriumok voltak, hanem olyan helyek, mint a Google. És a Google ott és akkor valójában nagyon is az élen járt ebben. És hát tudod, akkoriban azt hittem, hogy csodálatos volt az első nagyszabású klaszterező algoritmusomat ezer gépen futtatni, és ezt máshol teljesen lehetetlen volt megtenni.

Vijay Pande: Amikor idősebb kollégáinkkal beszél, a Bell Labs virágkorának romantikája érződik, és mindig is azon töprengtem, vajon a Google Brain lehet-e az egyik közelebbi változata manapság. Milyen volt a környezet?

Jakob Uszkoreit: Tehát úgy érzem, hogy aközött, amikor a Google Brain valóban elindult, vagyis körülbelül öt évvel később, jelentős elmozdulás történt. Mielőtt a Brain and Translate elindult, sokkal jobban mozgatták azokat a termékek, amelyek valóban változást hoztak, mint azt hiszem, a Bell Labs. A Bell Labs öregdiákjai pedig természetesen szép számmal voltak közöttünk, de ezt sokkal inkább a közvetlen alkalmazhatóság motiválta.

Aminek számomra tulajdonképpen elképesztő volt látnia, hogy a gépi fordítás hogyan vált [olyanból, amiből] jó nevetni lehetett egy bulin, szó szerint. Ha megkérdezik, hol dolgozol? És azt mondtad: Google. És akkor azt mondták: mit csinálsz ott? És eleinte lenyűgözték őket. És akkor azt mondtad, hogy a Google Fordítón dolgozom. Aztán nevettek és megkérdezték: működni fog ez valaha? nem hiszem. De ezzel egy időben azt mondanám, hogy a gépi tanulás hulláma, a gépi tanulás mélytanulás előtti reneszánsz hulláma elkezdett fennsík lenni. Tudod, a mélytanulás olyasvalami volt, amit korábban az iskolában végeztem, és tetszett is, de akkoriban nem igazán lehetett alkalmazni.

Vijay Pande: Igen, különösen azért, mert nem volt meg az akadémiai körben a szükséges számítások elvégzéséhez szükséges mérleg.

Jakob Uszkoreit: Természetesen nem a tudományos életben, de még a Google-nál is. Annak ellenére, hogy akkoriban a Translate-ben a legérdekesebb megkülönböztető vonás az volt, hogy azt mondanám, tényleg hittünk az adatok végső hatalmában.

Igyekeztünk tehát nem bonyolultabb, kifinomultabb algoritmusokat készíteni, hanem a lehető legnagyobb mértékben leegyszerűsíteni és skálázni, majd lehetővé tenni, hogy egyre több adaton tanuljanak. De most elértük a plafont. Az az egyszerűsítés, amelyet meg kellett tennie, hogy a Google akkori méretéhez igazítsa őket, valóban ez volt a célunk. De aztán, és ez amolyan ingamozgások egyike volt, visszalendültek az akadémiából, egy csomó ember egy csomó GPU-val – a mély tanulás bizonyos értelemben bosszúval tért vissza. És hirtelen alkalmazkodott a környezet, mert nem volt világos, hogy mi lesz a közvetlen út a termelés méretében.

Így az egész környezet inkább alkalmazás- és termékorientáltságból valami olyasmivé vált, ami legalábbis jó néhány évig sokkal akadémikusabb volt. Ez még mindig kicsit más, mint az akadémiai laborok, mert sokkal több GPU-t engedhetnénk meg magunknak, de bizonyos értelemben sokkal jobban összhangban van azzal az elképzeléssel, hogy a publikációk vezérlik, nem pedig a lépések. [Ez] egy nagyon-nagyon produktív – és igazán csodálatos –, de sokkal nyitottabb [környezetté] változott.

Csak a figyelem kell

Vijay Pande: Nos, tudod, ha már a kiadványokról beszélünk, akkor természetes, hogy elgondolkodhatsz, amikor Ön és a csapat közzétette az Attention is All You Need. És tudod, ez nagyon fontos papír volt a generatív mesterséges intelligencia számára, mióta először kidolgozták a transzformátor-algoritmust.

Jakob Uszkoreit: Két évvel az újság megjelenése előtt rájöttünk, hogy ami akkoriban a legmodernebb volt az olyan problémák megoldására, mint a gépi fordítás, vagy [ami] a legkorszerűbbnek számít, nevezetesen az LSTM vagy az RNN alapú. A Seq2Seq összességében oktatási paradigmaként és beállításként, de hálózati architektúraként is – hihetetlen problémákkal küzdött akkoriban még a legmodernebb GPU-kon is, amikor az adatskálázásról volt szó.

Például a Google által elindított legelső neurális gépi fordítórendszer, a GNMT, tudtommal valójában soha nem képezték ki a rendelkezésünkre álló összes képzési adatot, amelyet korábban a kifejezésalapú statisztikai rendszerekhez bányásztunk. És ez azért volt, mert az algoritmusok egyszerűen nem skálázták jól az adatmennyiséget. Tehát, röviden, akkoriban nem a gépi fordítást vizsgáltuk, hanem azokat a problémákat, amelyek miatt a Google-n belül még nagyobb mennyiségű képzési adat állt rendelkezésünkre. Tehát ezek a problémák a keresésből származtak, ahol alapvetően további három-négy nagyságrenddel rendelkezik. Tudod, ma már nem szavak milliárdjai vannak, hanem billiók, és hirtelen találkoztunk ezzel a mintával, ahol az egyszerű előrecsatolt hálózatok, még akkor is, ha nevetséges leegyszerűsítő feltevéseket tettek, mint például, hogy ez csak egy zsáknyi szó, vagy csak egy zsák nagyszámú. , és ha átlagolod őket, és egy nagy MNLP-n keresztül küldöd el őket, valójában felülmúlták az RNN-eket és az LSTM-eket, legalábbis több adatra tanítva.

[És] n-szer gyorsabbak voltak, könnyen 10-20-szor gyorsabbak az edzéshez. És így sokkal több adatra taníthatja őket. Egyes esetekben [ők] százszor gyorsabban edzettek. Így következetesen olyan modellekhez jutottunk, amelyek egyszerűbbek, és nem tudtak kifejezni vagy megragadni bizonyos jelenségeket, amelyekről tudjuk, hogy a nyelvben határozottan gyakoriak.
És mégis, tudod, a lényeg, olcsóbb volt őket edzeni, és jobban teljesítettek.

Vijay Pande: Mondjunk egy példát azoknak, akik nem ismerik. Szóval, ha azt mondtam, mutasd meg az összes közeli éttermet, kivéve az olaszt, akkor az összes olasz éttermet megmutatja, nem?

Jakob Uszkoreit: Pontosan. Valójában, amit mondott, valószínűleg átrendelhető, hogy megmutassam az összes olasz éttermet, kivéve a közelben. Ez csak egy szóleves, és átrendezheti valamire, ami határozottan mást jelent.

Vijay Pande: Igen.

Jakob Uszkoreit: És akkor hozzávetőlegesen meg kell érteni a szerkezetet és a globálisabb jelenségeket úgy, hogy bigmeket adunk meg. Tehát alapvetően két egymást követő szóból álló csoportok és hasonlók. De nyilvánvaló, hogy minden bizonnyal olyan nyelvekben, mint a német, ahol az igét alapvetően a mondat végére lehet tenni…

Vijay Pande: És ez megváltoztatja az egész jelentését, igaz?

Jakob Uszkoreit: Megváltoztat minden jelentést, pontosan, igen. Nem számít, mekkorák az n-gramjai – vagy a kis szócsoportjai –, végül nem fog sikerülni. És világossá vált számunkra, hogy léteznie kell egy másik módszernek, amely nem követeli meg az RNN ismétlődését hosszában vagy ismétlődését, mondjuk szavak vagy pixelek sorrendjében, hanem amely valójában párhuzamosabban dolgozza fel a bemeneteket és a kimeneteket. végső soron a modern gyorsító hardver erősségeit szolgálja ki.

Vijay Pande: Gondolj bele, mintha egy zsák szavak véletlenszerű sorrendben lennének. Az LSTM vagy a hosszú távú rövid távú memória talán ad valamiféle [képességet], hogy egy kicsit [a] múltba tekints, igaz? De a transzformátorok valami egészen mást csinálnak. Hogyan emelik a transzformátorok ezt a következő szintre?

Jakob Uszkoreit: Mindig kétféleképpen nézhetjük ezt. Az egyik a hatékonyság szemüvegén keresztül történik, de a másik, talán egy kicsit intuitívabb módszer, ha úgy nézzük, hogy mennyi kontextust tud fenntartani. És ahogy mondtad, az LSTM-ek, vagy általában az ismétlődő neurális hálózatok, nagy vonalakban lépésről lépésre haladnak át a bemeneteiken, és bár elméletileg képesek tetszőlegesen hosszú kontextusablakokat fenntartani a bemenetekbe – a múltba –, A gyakorlatban az történik, hogy valójában nagyon nehéz számukra olyan eseményeket, szavakat vagy képpontokat azonosítani, amelyek nagyon távoli múltban vannak, és valóban befolyásolják a jelentést a nap végén. Hajlamosak a közelben lévő dolgokra összpontosítani.

A transzformátor viszont alapvetően csak ezt fordítja a fejére, és azt mondja: nem, minden lépésnél, amit csinálunk, nem megy át a bemeneten. Minden lépésnél a bemenet vagy a kimenet egészét nézzük, és alapvetően fokozatosan felülvizsgáljuk a videó minden szójának, minden pixelének, minden foltjának vagy képkockájának megjelenítését, mivel alapvetően mozgunk, nem pedig a beviteli térben. , hanem reprezentációs térben.

Vijay Pande: Igen.

Jakob Uszkoreit: És ennek az ötletnek volt néhány hátulütője a modern hardverbe illeszthetőség szempontjából, de a visszatérő neurális hálózatokhoz képest elsősorban előnyei voltak, mivel most már nem kellett szekvenciálisan kiszámítani a reprezentációkat, mondjuk szóról szóra. Amihez kötve volt, az az, hogy milyen jónak kell lenniük? Hány rétegű ez a fajta párhuzamos feldolgozás minden olyan pozíciónak, ahol minden, ahol minden szópár vagy minden pár képfolt azonnal kölcsönhatásba léphet? Ezeknek az ábrázolásoknak hány átdolgozását „engedhetem meg magamnak”?

Vijay Pande: Az is nagyon érdekes, hogy nyilvánvalóan a természetes nyelv az ihlet, de sok olyan struktúra van, amelyet be szeretne vinni, ahol nem akarja csak szekvenciálisan tanulmányozni, például egy DNS-szekvenciát – és akkor rátérünk a biológiára. elég hamar – hogy modellt akarsz kapni az egészről.

Kicsit vicces a nyelvvel. Amikor beszélek, vagy amikor hallgatlak, minden szót feldolgozok, de végül nem csak a szavakat kell egyedi jelentésekre tokenizálnom, hanem valahogy ki kell alakítanom ezt a reprezentációt. Igen? Bárcsak úgy tudnánk csinálni, ahogy a transzformátorok teszik. És talán ez a trükk abban rejlik, hogy az LSTM-ek közelebb állnak ahhoz, ahogy mi, emberek csináljuk, és a transzformátorok talán pont olyanok, amilyennek meg kell tennünk, vagy bárcsak megtehetnénk.

Jakob Uszkoreit: Felületesen úgy gondolom, hogy ez igaz, bár a nap végén – az ilyen introspektív érvek finomak és trükkösek.

Szóval azt hiszem, sokan ismerjük ezt a jelenséget, amikor valakivel kiabál vagy kiabál, aki megpróbál valamit közölni egy forgalmas utcán. És így hallasz valamit, amit mondanak, és ez nem egy rövid szósorozat, és lényegében nem értettél semmit. De aztán fél másodperccel később hirtelen megértette az egész mondatot. Valójában arra utal, hogy bár kénytelenek vagyunk egymás után írni és kimondani a nyelvet – csak az idő nyila miatt –, de nem olyan egyértelmű, hogy mélyebb megértésünk valóban ebben a sorrendben zajlik.

Csapat építése

Vijay Pande: Ha valaki tanulmányozza akár csak az Attention is All You Need papírt vagy a transzformátor működését, annak sok alkatrésze van. És úgy tűnik, ez valószínűleg már túl van azon a ponton, amikor egy személy hatékonyan elvégezheti ezt a munkát egyedül, bármilyen rövid időn belül.

Jakob Uszkoreit: Teljesen.

Vijay Pande: Tehát most tényleg szüksége van egy csapatra az ilyen típusú dolgok elvégzéséhez. Mi ennek a szociológiája? Hogyan jön létre valami ilyesmi?

Jakob Uszkoreit: Ez a konkrét eset, én személy szerint úgy érzem, igazán csodálatos példája annak, ami rendkívül jól illik a tudományos kutatás, mondjuk, ipari megközelítéséhez. Mert pontosan igazad van. Nem ez volt a képzelet és a kreativitás egyetlen nagy szikrája, ami elindította az egészet.

Valójában egy csomó hozzájárulás volt, amelyekre végül is szükség volt. Egy olyan környezettel, könyvtárral – amely később szintén nyílt forráskódú volt, Tensor2Tensor néven –, amely valójában implementációkat tartalmazott. És nem is akármilyen implementációk, hanem kivételesen jó implementációk, mindenféle mélytanulási trükk gyors implementációi.
De aztán egészen ezekig a figyelemmechanizmusokig, amelyek a korábbi publikációkból jöttek ki – mint például a korábban publikált felbontható figyelemmodell –, de aztán valójában fejlesztésekkel és újításokkal, optimalizálók körüli találmányokkal kombinálódtak. Azt hiszem, nem fogsz találni olyan embereket, akik valóban a világ vezető szakértői közé tartoznak egyszerre ezekben az egészekben, és akik valóban hasonlóan szenvedélyesen rajonganak ezekért a szempontokért.

Vijay Pande: És főleg ott van a kezdeti ötlet, ott a megvalósítás, ott van a méretezhetősége. Valószínűleg nem valósítható meg, hogy jelenleg bárhol máshol, mint egy nagyvállalatnál elérjük ezt a mértéket, pusztán a költségek miatt.

Jakob Uszkoreit: Azt hiszem, valójában a nagyvállalati szempont nem annyira döntő.

Vijay Pande: Igen?

Jakob Uszkoreit: A céges szempont az, amit magasabbra értékelnék. A nagy cégnek biztosan nem árt, ha ezer meg ezer TPU-ra vagy GPU-ra van szüksége, vagy mi van. A mély zsebek soha nem ártanak az ilyen dolgoknak. Ugyanakkor úgy gondolom, hogy az ipari kutatások ilyen jellegű ösztönzői struktúrája sokkal jobban megfelel az ilyen típusú projekteknek. És azt hiszem, ez az, amit látunk, amikor a generatív AI-projekteket nézzük.

Vijay Pande: Igen. És az Ön véleménye szerint ez egy startup is lehet.

Jakob Uszkoreit: Biztosan startup lehet. És azt hiszem, most azt látjuk, hogy a gyorsító hardver használata legalább megfizethetőbbé válik. És vannak olyan induló vállalkozások, amelyek nagyon versengenek a kép- vagy szöveggenerálást célzó generatív mesterséges intelligencia terén.

Ugrás az élettudományokhoz

Vijay Pande: Szívesen áttérnék arra, amit most csinálsz. Ön az Inceptive vezérigazgatója, egy olyan vállalat, amely az MI-t alkalmazza az RNS-biológiában az RNS-terápiákban. Hogyan kerültél az élettudományok felé? Felületesen, ha nyelvi modellekről beszélünk a vacsora [asztal] körül, majd a Google kávézója körül… úgy tűnik, ez egy ugrás a terápia következő generációjához. Hogy jött ez az egész?

Jakob Uszkoreit: nem tudtam jobban egyetérteni. Csodálatos tanulási élmény, az én végemtől fogva. Már egy ideje a biológia olyan problémaként hatott rám, ahol nem tűnik elképzelhetetlennek, hogy vannak határok annak, hogy meddig juthatunk el, mondjuk a gyógyszerfejlesztés és a közvetlen tervezés terén, ha a hagyományos biológia a gerince annak, megtervezni – vagy felfedezni a tervezési módszereket – a jövő gyógyszereit.

Úgy tűnik, hogy a mély tanulás, különösen a skálán végzett tanulás, több okból is potenciálisan alkalmas eszköz itt. És az egyik ilyen ok valójában az, amit gyakran nem feltétlenül előnyként számolnak el, ez az a tény, hogy ez a nagy fekete doboz, amit csak úgy dobhatsz valamire. És nem igaz, hogy egyszerűen el lehet dobni. Ez valami, amit tudnia kell, hogyan dobja el.

Vijay Pande: És nem is teljesen fekete. Később ezen vitatkozhatunk.

Jakob Uszkoreit: Igen, pontosan. Pontosan. De a nap végén, visszatérve a nyelv analógiájához, soha nem sikerült olyan mértékben megértenünk és felfoganunk a nyelvet ebben az értelemben, hogy azt állíthatná, ó, most megyek és elmondom. ezt az elméletet a nyelv mögött, majd utána tudsz majd egy olyan algoritmust megvalósítani, ami „megérti”. Soha nem jutottunk el odáig. Ehelyett meg kellett szakítanunk, és egy lépést hátra kellett mennünk, és véleményem szerint bizonyos mértékig beismernünk magunknak, hogy talán nem ez volt a legpragmatikusabb megközelítés. Ehelyett olyan megközelítéseket kell kipróbálnunk, amelyek nem igényelnek ilyen szintű fogalmi megértést. És azt hiszem, ugyanez igaz lehet a biológia egyes részeire is.

A mesterséges intelligencia használata a bio továbbvitelére

Vijay Pande: Érdekes, beszéltünk már hasonló dolgokról. A múlt századra gondol, [ami] nagyon is a fizika és a számítások évszázada volt. Van egy bizonyos mentalitás, ahol nagyon elegánsan leegyszerűsítheti a dolgokat, és lehet egyetlen egyenletet, mint például az Einstein-féle mezőegyenletek, ami annyi mindent leír, és ez egy nagyon egyszerű egyenlet egy nagyon összetett nyelven. Arról beszélt, hogy ez a Feynman-féle megközelítés, szinte a fizikaszociológiához hasonlóan, nem alkalmazható itt a biológiában, igaz?

Jakob Uszkoreit: Előfordulhat, hogy ez nem vonatkozik, legalábbis két okból, amit jelenleg látok. Az első, hogy túl sok játékos van benne. És bár igaz, hogy lehet, hogy egyszerűen redukálhatjuk az egészet Schrodinger egyenletére, és egyszerűen megoldhatjuk, ez történetesen nem csak számítási szempontból megoldhatatlan, hanem tudnunk kellene ezekről a különböző játékosokról, és jelenleg nem . Nem is közel. Szóval ez az egyik szempont.

És akkor a második alapvetően a számítási megoldhatatlanság, ahol a redukció bizonyos értelemben olyan messzire ment, hogy bár visszahozza az egészet egyetlen dologra, nem segít rajtunk, mert a számítási megközelítésünk alapvetően a ezek az alapok ahhoz, hogy jóslatokat készítsenek, túl lassúak ahhoz, hogy ezeket a jóslatokat olyan rendszerek számára készítsék el, amelyek elég nagyok ahhoz, hogy valóban számítsanak az életben.

Vijay Pande: Igen. Tehát ez nem egy n-testű egyenlet, de mégis van egyfajta formalizmus – talán inkább adatvezérelt formalizmus vagy inkább bayesi formalizmus. Hogyan hat ez bele abba, amit csinálni szeretnél? Hogyan járul hozzá ez az AI és más típusú új algoritmusok alkalmazásához?

Jakob Uszkoreit: Szerintem van egy-két különböző szempont. Végső soron véleményem szerint az egyik nagy áttétel abból, amit a generatív AI-ban jelenleg tapasztalunk, hogy többé nem kell olyan adatokon edzenünk, amelyek nemcsak tökéletesen tiszták, hanem pontosan a tartományból is. és azoktól a feladatoktól, amelyekkel később szeretne foglalkozni. De ehelyett valóban előnyösebb, vagy akár az egyetlen mód, amelyet eddig találtunk, hogy megpróbáljunk minden olyan dologra gyakorolni, amit találsz, ami akár távolról is összefügg. Ezután használja fel az ezekből az adatokból hatékonyan gyűjtött információkat, hogy úgynevezett alapmodelleket készítsen, amelyeket aztán finomhangolhat mindenféle konkrét feladatra, sokkal kisebb, sokkal könnyebben kezelhető mennyiségű tisztább adat felhasználásával.

Azt hiszem, kissé alábecsüljük azt, amit a jelenségekről általában tudnunk kell. Egy nagyon jó nagy nyelvi modell felépítéséhez meg kell értened, hogy létezik ez az internet, és sok szöveg van benne. Valójában elég sokat kell értenie ahhoz, hogy hogyan találja meg ezt a szöveget, mi nem szöveg, és így tovább, hogy aztán alapvetően lepárolja belőle a felhasznált edzési adatokat.

Úgy gondolom, hogy a biológia körül nagyon közvetlenül analóg kihívások lesznek. A nagy kérdés az: melyek azok a kísérletek, amelyeket úgy méretezhetünk, hogy az életet kellő mértékben, nagyjából kellő hűséggel megfigyelhessük – de sokkal kevésbé specifikusan, miközben szem előtt tartjuk azokat a problémákat, amelyeket végül megpróbálunk megoldani –, hogy alapvetően ebből vegyük ki azokat az adatokat, amelyekre szükségünk van ahhoz, hogy elkezdjük felépíteni ezeket az alapmodelleket, amelyeket aztán felhasználhatunk finomhangolva és speciálisan megtervezve, hogy valóban megközelítsük a kezelni kívánt problémákat.

Az adatgenerálási rész minden bizonnyal ezek közé tartozik. Az architektúrák és a hatékony modellek és hálózati architektúrák, amelyek utánozzák azt, amit tudunk, mondjuk az alatta lévő fizikáról, továbbra is hihetetlenül hatékony módja a számítások tényleges megtakarításának, valamint a még mindig óriási adatvágy csökkentésének, amelyre ezeknek a modelleknek rendelkezniük kell. , megvalósítható szintre. Tehát egy dolog, amit szerintem valóban érdekes megjegyezni, az az, hogy a modellek sok jelenlegi alkalmazása, mondjuk a transzformátorok, jól skálázhatónak bizonyultak más modalitásokban, más területeken, nyelvben, látásmódban, képalkotásban, stb., stb., és ezek alkalmazása a biológiára alapvetően figyelmen kívül hagyja azt a tényt, hogy tudjuk, hogy van olyan, hogy idő, és hogy a fizika törvényei, legalábbis legjobb tudásunk szerint, nem úgy tűnik, csak úgy változnak. túlóra.

A fehérjehajtogatás folyamata, figyelmen kívül hagyva azt a tényt, hogy rengeteg játékos van – kísérők és egyebek – valójában egy bizonyos értelemben meglehetősen önkényesen elválasztott probléma a fehérjekinetika többi részétől. Ez éppúgy kinetika, mint a kinetika fennmaradó része vagy a fehérje, a molekula élettartamának fennmaradó része. És miért próbálunk meg kifejezetten az egyikhez modelleket képezni, és legalábbis potenciálisan figyelmen kívül hagyni a másikkal kapcsolatos adatokat? Ebben az esetben, talán pontosabban, a mai fehérjeszerkezet-előrejelzési modellek közül vajon tanulnak-e már valamit a kinetikáról implicit abból a tényből, hogy lassan kezdik magukévá tenni, tudod, az idő létezését?

Új architektúrák fejlesztése

Vijay Pande: Az egyik érdekes dolog, amiről arra gondolok, hogy most hol tartasz, az az, hogy néhány ritka kivételtől eltekintve a legtöbb mély neurális hálózat vagy más típusú mesterséges intelligencia a biológiában úgy érzi, mintha valami máshol feltalált dolgot visz át, és azt továbbviszi. Mintha konvolúciós neurális hálókat használnánk a képekhez. Talán kis molekulákhoz… a stanfordi laboromban gráfneurális hálózatokat és számos konvolúciós neurális hálózatot használtunk. De nagyon ritka, hogy egy algoritmust kifejezetten a biológiai problémára dolgozzanak ki. És mindig is azt hittem, hogy ez azért van, mert nehéz egy biológia és számítástechnika területén erős csapat készségeit megszerezni. De kíváncsi vagyok a véleményedre. Vagy csak ritkán fejlesztenek ki új architektúrákat?

Jakob Uszkoreit: Nos, azt hiszem, a nap végén azt látjuk, hogy az új architektúrák, bár konkrét problémák motiválják őket, ha valóban változást hoznak, akkor általában máshol is alkalmazhatók. Ez viszont nem jelenti azt, hogy az odavezető úton, ha gondosan választanák ki a motiváló alkalmazásokat és domaineket, ne lenne jelentős változás. És szerintem biztosan így van.

Úgy érzem, hogy az egyik legfontosabb kihívás itt valójában az, hogy a biológiában még nem vagyunk olyan rendszerben, ahol rengeteg adatunk van, pedig a régebbiekhez képest ez elképesztő. De még nem vagyunk abban a rendszerben, ahol ez csak a web megfelelője, és egy kicsit szűrhetjük, letölthetjük, és készen is vagyunk vele. De ehelyett úgy gondolom, hogy ésszerűen nagy mértékben meg kell teremtenünk. És ezt nem a mély tanulással foglalkozó szakértők fogják megtenni, legalábbis a legtöbbjük nem.

És úgy gondolom, hogy ennek zárt lépésben kell megtörténnie, az említett adatok sajátosságainak megértésével, nem? Az a fajta zaj, amivel ott találkozik. Az a tény, hogy ezeket valójában nagyon nagy méretű készletekben, nagy áteresztőképességű kísérletekben hozzák létre, de mégis olyan kísérletekben, amelyeket különböző napokon futtatnak különböző kísérletezők, és így tovább, és így tovább. És ahol a mélyebb tanulási háttérrel rendelkező emberek kellően szorosan együttműködnek a biológia háttérrel rendelkező emberekkel, eleget tanulnak arról, amit a mögöttes jelenségekről tudunk, [ők] alapvetően érdekes új megközelítések kipróbálására kapnak inspirációt.

Vijay Pande: Nos, szerettem, amikor csak az Attention is All You Need papír példájáról beszéltél, arról, hogyan akartad megszerezni ezt a sokszínű embercsoportot, akiknek a szenvedélyei, tudod, meglehetősen ortogonálisak voltak egymáshoz képest. És bizonyos értelemben, amikor ezt a biológiában, és különösen az Inceptive-nél csinálja, mindezt az adatok generálására is rá kell fektetni. Az adatok generálása pedig valóban azt jelenti, hogy nagyon egyértelműek legyünk, biológiai kísérletek nagyszabású futtatását. Maga a bemeneti rész nagyon drága és nagyon technikai jellegű, és ahogy mondtad, nagyon sok módja van a hibának. De úgy tűnik, hogy arra a kultúrára épít, amelyet korábban csinált, és most már csak több, különböző szenvedélyekkel rendelkező szakértő koordinál hasonló módon.

Jakob Uszkoreit: Nagyon szükségem van rá, [és] az embereknek szüksége van rá. Amennyire meg tudom mondani, ez a legígéretesebb út. Nem célunk bizonyos értelemben egy csővezeték-modellt, ahol a legjobb tudásunk alapján bizonyos adatok abban a laboratóriumban, amelyben létrejöttek, az élet mögöttes aspektusairól szólnak. Ezután elkezdi futtatni a meglévő mély tanulási megközelítéseket, majd módosítani azokat. De ehelyett valóban vannak olyan emberek, akik bizonyos értelemben az elsők között lehetnek, akik valóban olyan tudományágban dolgoznak, amelynek jelenleg még nincs igazán nagy neve.

Talán a legkevésbé közös nevező a kíváncsiság, amely túlmutat azon, amit tudsz, amit korábban tanultál, és amivel talán a legtöbb időt töltötted. Azt tapasztaljuk, hogy csakúgy, mint nagyon sok más területen, mi is nagyon sokféle hátterű, de közös kíváncsiságban álló embereket keresünk.

Merre tart az AI?

Vijay Pande: Mit gondol, hol tart jelenleg a mesterséges intelligencia a nehezebb problémák, a gyógyszertervezés, az egészségügy és így tovább? Mit kell tenni? Mikor kerül oda?

Jakob Uszkoreit: Azt várnám – és mindig nagyon veszélyes jóslatokba bocsátkozni a jövővel kapcsolatban –, nagyon meglepődnék, ha a következő három éven belül nem kezdenénk el azt látni, hogy [inflexiós] pont megtörténik, amikor a valós hatásokról van szó. gépi tanulás, nagyszabású mély tanulás a gyógyszerfejlesztésben, gyógyszertervezés. Természetesen azt hiszem, hogy pontosan hol lesznek az elsők, az RNS, az RNS-terápiák és az oltások körül sok minden meg fog történni. Természetesen nem ez lesz az egyetlen terület, amelyet ez érint, de határozottan úgy gondolom, hogy az inflexiós pontok területére tartunk.

Vijay Pande: Érdekes dolgot fogalmaztál meg. Miben különbözik az RNS? Mert szerintem ez különösen érdekes, nem csak az, hogy a Google Brain-ből a biológiába mentél, hanem kifejezetten az RNS-be. Mi vonz téged az RNS-hez, különösen talán AI vagy ML szempontból?

Jakob Uszkoreit: Az egyik érdekes dolog az RNS-ben, hogy amint láttuk, a nagyon tág alkalmazhatóság kombinációja – bár ez még mindig szűk egyetlen indikáció értelmében –, de ha csak nézzük a jóváhagyási folyamatok e hullámát, amely elkezdődött és elkezdődött, ez nagyon szép. világos, hogy az alkalmazhatóság nagyon-nagyon tág, és ez egy kicsit kétértelmű – szerkezetileg egyszerű problémával párosul. És ez szerkezetileg nem abban a mondatban egyszerű, hogy az RNS szerkezeti előrejelzése egyszerű, hanem szerkezetileg egyszerű abban az értelemben, hogy ez egy biopolimer négy különböző bázissal. Nem beszélünk több mint 20 aminosavról. Ez egy olyan dolog, amit elég hatékonyan lehet előállítani.

Vannak bizonyos kihívások, de a szintézis egy olyan dolog, ami méretezhető, és gyorsan skálázódik, és ezek a dolgok valóban összekapcsolódnak, hogy lehetővé tegyék ezt a gyors visszacsatolási hurkot, amelyre azt hiszem, gyakran utalnak, de nagyon ritkán, legalábbis abból, amit tudok, ténylegesen megvalósítva. és a nap végén megvalósítható.

Vijay Pande: Igen, vitathatatlanul ez egy gyorsabb visszacsatolási hurok, különösen az utánajárás során.

Jakob Uszkoreit: Igen. És mivel úgy gondolom, hogy az általunk betanított modellek betanításához létre kell hoznunk az adatok oroszlánrészét, valóban az Inceptive-t fektetjük be az ilyen adatok nagyszabású létrehozásába. És azt mondanám, hogy viszonylag nagy léptékű, tekintve, hogy az RNS tűnik messze a legjobb kombinációnak, ha a szerkezeti egyszerűségről, de a szintézis és a kísérletezés skálázhatóságáról van szó. Óriási potenciál rejlik itt, ami eddig kiaknázatlan.

Vijay Pande: Igen, és azt hiszem, különösen potenciálisan az a képesség, hogy ezek a gyors ciklusok mind preklinikai jellegűek, és ezért gyorsabban jutnak el a klinikára, és [rövidebb ideig] tartózkodnak a klinikán.

Jakob Uszkoreit: Teljesen. Valóban ebben reménykedünk. Talán korai utalásokat is látunk, amelyek arra utalnak, hogy ez lehet a helyzet, és természetesen nagyon-nagyon izgatottak vagyunk.

Vijay Pande: Az elmúlt 10 évre gondolni csodálatos volt, tudod, 2012-től mostanáig. Mit gondol, milyen lesz a következő 10 év? Mit gondol, hol tartunk 10 év múlva az AI-val? Akár széles körben, akár különösen a bio számára?

Jakob Uszkoreit: Azt hiszem, ha valóban igaz, hogy belépünk erre az inflexiós pont területére, ha 10 év múlva visszatekintünk, akkor ez legalább akkora és kiterjedt forradalomnak fog tűnni, mint amilyenről azt gondoljuk, hogy a elmúlt 10 év. Legalábbis. Most azt gondolom, hogy döntő különbség lesz, mégpedig az, hogy nem egészen világos, hogy az elmúlt 10 évben tapasztalt forradalom milyen széles körben érinti mindenki életét. Vannak bizonyos területek, keresőmotorok vagy segédírás stb., ahol ez nyilvánvaló, de nem világos, hogy ez a forradalom milyen széles körben alkalmazható. Szerintem nagyon is így van, de még nem látjuk. Úgy gondolom, hogy az a forradalom, amelyet az elkövetkező 10 évben konkrétan a bio területén fogunk látni, vagy amelyet 10 év múlva fogunk visszatekinteni, valóban különbözni fog mindannyiunk életére gyakorolt ​​mélyreható hatását tekintve. .

Még ha eltekintünk is a gyógyszertervezési és -felfedezési alkalmazásoktól, vannak olyan csodálatos alkalmazások a tudományos felfedezésben és környékén, ahol most elképzelhető, hogy egy webes felülettel alapvetően olyan molekulákat tervezhet, amelyek bizonyos szervezetekben nagyon nagy valószínűséggel megválaszolni bizonyos kérdéseket, megbízhatóbb leolvasást produkálva, mint amit korábban elérhetett. Tehát még akkor is, ha kihagyjuk azt a komplexitást, hogy ez végül is a betegekre és mindenkire hatással lesz, szerintem teljesen egyértelmű, hogy ezek az eszközök csak gyorsan felgyorsítják az olyan területeket, mint a biológia.

Vijay Pande: Ez remek helynek tűnik a végére. Nagyon köszönöm, Jakob, hogy csatlakoztál a Bio Eats Worldhez.

Jakob Uszkoreit: Nagyon köszönöm, hogy nálam lehetek.

Olivia Webb: Köszönjük, hogy csatlakozott a Bio Eats Worldhez. A Bio Eats World házigazdája és producere én, Olivia Webb, az a16z Bio + Health csapatának segítségével, és Phil Hegseth szerkesztette. A Bio Eats World az a16z podcast hálózat része.

Ha kérdése van az epizóddal kapcsolatban, vagy szeretne témát javasolni egy jövőbeli epizódhoz, kérjük, írjon e-mailt Végül, de nem utolsósorban, ha élvezi a Bio Eats World-t, kérjük, írjon nekünk egy értékelést és véleményt, bárhol hallgat podcastokat.

Kérjük, vegye figyelembe, hogy az itt található tartalom csak tájékoztató jellegű, nem tekinthető jogi, üzleti, adózási vagy befektetési tanácsadásnak, és nem használható fel befektetés vagy értékpapír értékelésére, és nem irányul az a16z alapok befektetőire vagy potenciális befektetőire. . További részletekért keresse fel az a16z.com/disclosures webhelyet.

***

Az itt kifejtett nézetek az AH Capital Management, LLC („a16z”) egyes alkalmazottainak nézetei, és nem az a16z vagy leányvállalatai nézetei. Az itt található bizonyos információk harmadik féltől származnak, többek között az a16z által kezelt alapok portfólióvállalataitól. Noha megbízhatónak vélt forrásokból származnak, az a16z nem ellenőrizte önállóan ezeket az információkat, és nem nyilatkozik az információk tartós pontosságáról vagy adott helyzetre való megfelelőségéről. Ezenkívül ez a tartalom harmadik féltől származó hirdetéseket is tartalmazhat; az a16z nem vizsgálta át az ilyen hirdetéseket, és nem támogatja az abban található reklámtartalmat.

Ez a tartalom csak tájékoztatási célokat szolgál, és nem támaszkodhat rá jogi, üzleti, befektetési vagy adótanácsadásként. Ezekkel a kérdésekkel kapcsolatban konzultáljon saját tanácsadójával. Bármely értékpapírra vagy digitális eszközre történő hivatkozások csak illusztrációs célt szolgálnak, és nem minősülnek befektetési ajánlásnak vagy ajánlatnak befektetési tanácsadási szolgáltatások nyújtására. Ezen túlmenően ez a tartalom nem befektetőknek vagy leendő befektetőknek szól, és nem is szánható felhasználásra, és semmilyen körülmények között nem támaszkodhat rá az a16z által kezelt alapokba történő befektetésről szóló döntés meghozatalakor. (A16z alapba történő befektetésre vonatkozó ajánlatot csak az ilyen alap zártkörű kibocsátási memoranduma, jegyzési szerződése és egyéb vonatkozó dokumentációja tesz, és azokat teljes egészében el kell olvasni.) Minden említett, hivatkozott befektetés vagy portfóliótársaság, ill. A leírtak nem reprezentatívak az a16z által kezelt járművekbe történő összes befektetésre, és nem garantálható, hogy a befektetések nyereségesek lesznek, vagy a jövőben végrehajtott egyéb beruházások hasonló tulajdonságokkal vagy eredménnyel járnak. Az Andreessen Horowitz által kezelt alapok befektetéseinek listája (kivéve azokat a befektetéseket, amelyek esetében a kibocsátó nem adott engedélyt az a16z számára a nyilvánosságra hozatalra, valamint a nyilvánosan forgalmazott digitális eszközökbe történő be nem jelentett befektetéseket) a https://a16z.com/investments oldalon érhető el. /.

A benne található diagramok és grafikonok kizárólag tájékoztató jellegűek, és nem szabad rájuk hagyatkozni befektetési döntések meghozatalakor. A múltbeli teljesítmény nem jelzi a jövőbeli eredményeket. A tartalom csak a feltüntetett dátum szerint beszél. Az ezekben az anyagokban megfogalmazott előrejelzések, becslések, előrejelzések, célok, kilátások és/vagy vélemények előzetes értesítés nélkül változhatnak, és mások véleményétől eltérhetnek vagy ellentétesek lehetnek. További fontos információkért látogasson el a https://a16z.com/disclosures oldalra.

• SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
• Platoblockchain. Web3 metaverzum intelligencia. Felerősített tudás. Hozzáférés itt.
• Forrás: https://a16z.com/2023/01/11/bio-eats-world-using-ai-to-take-bio-farther/