Bio Eats World: Folosind AI pentru a duce bio mai departe

În acest episod, Vijay Pande vorbește cu Jakob Uszkoreit, cofondatorul și CEO-ul Inceptive. Împreună, ei discută toate lucrurile despre AI.

Publicăm transcrierea integrală mai jos, în cazul în care doriți să citiți în continuare.

***

Olivia Webb: Bună ziua și bun venit la Bio Eats World, un podcast la intersecția dintre bio, sănătate și tehnologie. Sunt Olivia Webb, directorul editorial pentru Bio + Health la a16z. În acest episod, am discutat cu Jakob Uszkoreit, fostul Google Brain și cofondatorul Inceptive. Jakob este, de asemenea, unul dintre autorii lucrării fundamentale de cercetare AI Attention is All You Need, pe care o vom trimite în notele emisiunii. Jakob s-a întâlnit cu Vijay Pande, partener fondator al a16z Bio + Health, pentru a vorbi despre toate aspectele legate de inteligența artificială: de la timpul petrecut la Google Brain, la modul în care oamenii și computerele procesează limbajul, până la credința lui Inceptive în promisiunea ARN-ului și modul în care Jakob crede că intri în teritoriul punctului de inflexiune cu AI.

Este un episod pe care nu vrei să-l ratezi, dar este și o discuție la nivel de absolvent despre AI, așa că vom publica o transcriere alături de episod. Să începem.

Algoritmi aplicabili

Vijay Pande: Așadar, Jakob, îți mulțumesc foarte mult că ești pe Bio Eats World. E grozav să te am.

Jakob Uszkoreit: Grozav să fiu aici. Mulțumesc că m-ai primit.

Vijay Pande: Mai ales că ai o poveste atât de fascinantă ca informatician și antreprenor și fondator, mi-ar plăcea să ne ghidezi prin călătoria ta în carieră, începând de unde vrei, dar ceea ce te-a dus la Google Brain este probabil un loc frumos de început. .

Jakob Uszkoreit: Îmi amintesc, într-o oarecare măsură, că am întâlnit această problemă a învățării automate, poate în cel mai larg sens, [și] înțelegerea limbii, ceva mai precis, ca o problemă care se află în familie. Așa că tatăl meu este un informatician și lingvist computațional și, știi, lucruri precum mașinile Turing în creștere nu au fost neapărat concepte străine destul de devreme.

Vijay Pande: Da, se pare că ar fi fost o conversație la masă, de fapt.

Jakob Uszkoreit: Erau conversații la masă. Și, în special, automatele finite și modul în care se leagă de fapt cu automatele, au fost, știți, subiecte comune. Cu cât îmbătrâneam, cu atât voiam să mă asigur că am ajuns să fac ceva diferit. Și așa am ajuns să caut destul de mult în matematică pură și domenii conexe acolo. [M-am concentrat destul de mult pe optimizare, pe algoritmi de optimizare, pe algoritmi în general, mai larg pe teoria complexității, înainte de a realiza că poate nu a fost lucrul cel mai practic și cel mai aplicabil, care, știți, cam a devenit un fir rosu de-a lungul carierei mele. Și apoi am întâlnit literalmente un stagiu Google în 2005.

Mi s-au oferit câteva opțiuni diferite [cu privire la] ce fel de proiecte de cercetare să mă alătur, [și] printre acestea s-au numărat diferite eforturi de viziune computerizată, dar și proiectul de traducere automată care a devenit practic Google Translate. Chiar în acea perioadă, sau puțin înainte de aceasta, [Translate] și-a lansat primul produs care era cu adevărat alimentat de sistemele interne Google care au fost dezvoltate și, într-un anumit sens, spre disperarea mea, se dovedește că Google Translate la timpul a avut de departe cele mai interesante probleme de algoritmi la scară largă.

La acea vreme, era foarte interesant de văzut, pentru că ceea ce m-a convins să-mi abandonez doctoratul și să mă întorc de fapt la Google după acel stagiu, a fost într-adevăr că a devenit evident în timpul petrecut acolo că dacă vrei să lucrez la ceva în Învățare automată care nu a fost doar interesantă și să spunem din punct de vedere intelectual și științific, incitant, provocator și stimulant, dar care avea și speranțe foarte mari de a muta acul imediat în industrie și în produse. Într-adevăr, în acea perioadă, nu erau foarte multe locuri în lume. Și cu siguranță nu erau laboratoare academice la acea vreme, ci foarte mult locuri precum Google. Și Google acolo și atunci a fost de fapt foarte în fruntea acestui lucru. Și așa, știți, la vremea aceea am crezut că era uimitor să rulez primii mei algoritmi de clustering la scară largă pe o mie de mașini și era pur și simplu, absolut imposibil să fac asta în altă parte.

Vijay Pande: Când vorbești cu colegii noștri seniori, există mult romantism din perioada de glorie a Bell Labs și întotdeauna m-am întrebat dacă Google Brain poate fi una dintre variantele mai apropiate de astăzi. Cum era mediul?

Jakob Uszkoreit: Așa că mă simt de fapt între acel moment și când Google Brain a început cu adevărat, adică aproximativ cinci ani mai târziu, a existat o schimbare semnificativă. Înainte de a începe Brain and Translate, a fost mult mai mult determinat de produse care au făcut cu adevărat diferența decât cred că a fost Bell Labs. Și am avut un număr bun de absolvenți ai Bell Labs, desigur, printre noi, dar a fost mult mai motivat de aplicabilitatea directă.

Ceea ce pentru mine a fost de fapt uimitor să fiu martor, cum s-a transformat traducerea automată [din ceva care] a fost bun pentru râs la o petrecere, la propriu. Dacă te-au întrebat, unde lucrezi? Și ai spus, Google. Și apoi au spus, ce faci acolo? Și au fost impresionați la început. Și apoi ai spus, oh, lucrez pe Google Translate. Și apoi au râs și au întrebat, va funcționa asta vreodată? Eu nu cred acest lucru. Dar, în același timp, aș spune că valul de învățare automată, valul de renaștere pre-deep learning al învățării automate, a început să crească. Știi, învățarea profundă a fost ceva ce făcusem anterior la școală și mi-a plăcut, dar nu era ceva pe care să-l aplici cu adevărat în acele vremuri.

Vijay Pande: Da, mai ales pentru că nu aveai scara în mediul academic pentru a face calculele pe care ar trebui să le faci.

Jakob Uszkoreit: Cu siguranță nu în mediul academic, dar chiar și la Google. Chiar dacă la acea vreme, în Translate, de fapt, cea mai interesantă trăsătură distinctivă era, aș spune, cu adevărat credeam în puterea absolută a datelor la sfârșitul zilei.

Așa că am încercat să nu facem algoritmi mai complicati și mai sofisticați, ci să îi simplificăm și să-i scalam cât mai mult posibil și apoi să le dăm posibilitatea să se antreneze pe tot mai multe date. Dar tocmai am lovit un tavan acolo. Simplificarile pe care a trebuit sa le faci pentru a le scala la ceea ce era la scara Google la momentul respectiv, acesta era cu adevarat scopul nostru. Dar apoi, și asta a fost un fel de una dintre aceste mișcări ale pendulului, care s-au întors înapoi, din mediul academic, o grămadă de oameni cu o grămadă de GPU - învățarea profundă a revenit într-un anumit sens cu o răzbunare. Și dintr-o dată mediul s-a adaptat, pentru că nu era clar care ar fi calea directă la scară în producție.

Și astfel, întregul mediu a trecut de la a fi mai orientat spre aplicație și produs, în ceva care cel puțin s-a simțit pentru câțiva ani, mult mai academic. Este încă puțin diferit de laboratoarele academice, deoarece ne-am putea permite mult mai multe GPU-uri, dar mult mai în concordanță, într-un anumit sens, cu această idee de a [fi] condus de publicații, condus de salturi mai degrabă decât de pași. [S-a transformat într-un mediu foarte, foarte productiv – și cu adevărat uimitor – dar mult mai deschis.

Atenție este tot ce ai nevoie

Vijay Pande: Ei bine, știi, vorbind despre publicații, un loc natural la care să te gândești este atunci când tu și echipa a publicat Attention is All You Need. Și, știți, aceasta a fost o lucrare atât de importantă pentru o mare parte din IA generativă, de când a fost conceput pentru prima dată algoritmul transformatorului.

Jakob Uszkoreit: Cu doi ani înainte de publicarea acelei lucrări, ne-am dat seama [că] ceea ce era atunci de ultimă generație pentru probleme precum traducerea automată sau [ceea] a apărut ca fiind de ultimă generație, și anume bazat pe LSTM sau RNN , Seq2Seq, în general, ca paradigmă de antrenament și ca configurație, dar și ca arhitectură de rețea, a avut probleme incredibile chiar și pe cele mai moderne GPU-uri la acea vreme, când era vorba de scalare în ceea ce privește datele.

De exemplu, primul sistem de traducere automată neuronală pe care l-a lansat Google, GNMT, nu a fost, de fapt, din câte știu, niciodată antrenat cu adevărat pe toate datele de antrenament pe care le aveam la dispoziție, pe care le-am extras anterior pentru sistemele statistice bazate pe fraze. Și asta pentru că algoritmii pur și simplu nu s-au scalat bine în ceea ce privește cantitatea de date. Așadar, pe scurt, ne uitam, la acea vreme, nu la traducerea automată, ci la probleme în care, pe plan intern, la Google, aveam la dispoziție cantități și mai mari de date de instruire. Așadar, acestea au fost probleme care au apărut din căutare, unde mai aveți, practic, alte trei sau patru ordine de mărime. Știi, acum nu mai există miliarde de cuvinte, ci trilioane cu ușurință și, dintr-o dată, am întâlnit acest tipar în care rețelele simple feedforward, chiar dacă au făcut presupuneri simplificatoare ridicole, cum ar fi, este doar o pungă de cuvinte sau este doar o pungă de bigrame. , și le cam media și le trimiți printr-un MNLP mare, de fapt au depășit RNN-urile și LSTM-urile, cel puțin atunci când au fost instruiți pe mai multe date.

[Și au fost] de n ori mai rapid, ușor de 10, de 20 de ori mai rapid, să se antreneze. Și astfel i-ați putea antrena cu mai multe date. În unele cazuri, [au fost] de o sută de ori mai rapid la antrenament. Și așa am continuat să ajungem în mod constant cu modele care erau mai simple și care nu puteau exprima sau surprinde anumite fenomene despre care știm că sunt cu siguranță comune în limbaj.
Și totuși, știi, în concluzie, au fost mai ieftin de antrenat și [au] performanțe mai bune.

Vijay Pande: Să dăm doar un exemplu pentru oameni care nu sunt familiarizați. Deci, pentru o pungă de cuvinte, dacă am spus, arată-mi toate restaurantele din apropiere, cu excepția celei italiene, îți va arăta toate restaurantele italiene, nu?

Jakob Uszkoreit: Exact. De fapt, ceea ce ai spus poate fi reordonat, pentru a-mi arăta toate restaurantele italiene, cu excepția celor din apropiere. Este doar o supă de cuvinte și o poți reordona în ceva care înseamnă cu siguranță ceva diferit.

Vijay Pande: Da.

Jakob Uszkoreit: Și apoi aproximați să ajungeți la structură și să ajungeți la fenomenele mai globale prin introducerea de bigrame. Deci, practic, grupuri de două cuvinte consecutive și lucruri de genul ăsta. Dar este clar că, cu siguranță, în limbi precum germana, unde, practic, poți pune verbul chiar la sfârșitul unei propoziții...

Vijay Pande: Și schimbă întregul sens, nu?

Jakob Uszkoreit: Schimbă toate semnificațiile, exact, da. Indiferent de dimensiunea n-gramelor tale – sau a grupurilor tale mici de cuvinte – nu vei reuși în cele din urmă. Și a devenit clar pentru noi că trebuie să existe o modalitate diferită care să nu necesite recurența RNN în lungime, sau recurența în succesiune, să spunem cuvinte sau pixeli, dar care de fapt procesează intrările și ieșirile într-un mod mai paralel și într-adevăr. în cele din urmă, se adresează punctelor forte ale hardware-ului de accelerație modern.

Vijay Pande: Gândește-te, ca și cum o pungă de cuvinte ar fi cuvinte în ordine aleatorie. LSTM, sau memoria lungă pe termen scurt, poate vă oferă un fel de [abilitate] de a privi [în] trecutul puțin, nu? Dar transformatoarele face ceva radical diferit. Cum duce transformatoarele la următorul nivel?

Jakob Uszkoreit: Există întotdeauna două moduri de a privi asta. Unul este prin prisma eficienței, dar celălalt mod poate mai intuitiv este să-l priviți în termeni de, știți, cât de mult context puteți menține. Și, așa cum ați spus, LSTM-urile sau rețelele neuronale recurente în general, se deplasează prin intrările lor pas cu pas, în linii mari, și în timp ce, în teorie, sunt capabile să mențină ferestre de context arbitrar lungi în intrări - trecutul - ce se întâmplă în practică este că, de fapt, le este foarte dificil să identifice evenimente, spun cuvinte sau pixeli, care sunt foarte îndepărtate în trecut, care afectează cu adevărat sensul la sfârșitul zilei. Ei tind să se concentreze asupra lucrurilor care se află în apropiere.

Transformatorul, pe de altă parte, practic, întoarce asta și spune, nu, la fiecare pas ceea ce facem nu se mișcă prin intrare. La fiecare pas, ne uităm la întreaga intrare sau ieșire și, practic, revizuim progresiv reprezentările fiecărui cuvânt sau fiecare pixel sau fiecare patch sau fiecare cadru al unui videoclip, pe măsură ce ne mișcăm practic, nu în spațiul de intrare. , dar în spațiul de reprezentare.

Vijay Pande: Da.

Jakob Uszkoreit: Și acea idee avea câteva dezavantaje în ceea ce privește modul în care ați putea-o potrivi pe hardware-ul modern, dar, în comparație cu rețelele neuronale recurente, avea în primul rând avantaje, deoarece acum nu erați de fapt obligat să calculați secvențial reprezentări, să zicem, cuvânt cu cuvânt. De ce ai fost legat este, într-adevăr, cât de buni ar trebui să fie? Câte straturi din acest tip de procesare paralelă a tuturor pozițiilor în care totul, în care toate perechile de cuvinte sau toate perechile de petice de imagine pot interacționa imediat? Câte revizuiri ale acestor reprezentări îmi pot „permi” efectiv?

Vijay Pande: Ceea ce este cu adevărat interesant este că, evident, inspirația este limbajul natural, dar că există multe structuri pe care ați dori să le introduceți în care nu doriți să le studiați doar secvențial, cum ar fi o secvență de ADN - și vom intra în biologie. destul de curând — că vrei să ai un model al întregului lucru.

E cam amuzant cu limbajul. Când vorbesc sau când te ascult, procesez fiecare cuvânt, dar în cele din urmă trebuie să nu doar simbolizează cuvintele în semnificații individuale, ci trebuie să dezvolt această reprezentare. Da? Mi-aș dori să putem face asta așa cum fac transformatoarele. Și poate că acesta este trucul este că LSTM-urile sunt mai aproape de modul în care o facem noi, oamenii, iar transformatoarele sunt poate exact așa cum ar trebui să o facem, sau mi-aș dori să o putem face.

Jakob Uszkoreit: La suprafață, cred că este adevărat, deși, la sfârșitul zilei, argumentele introspective ca acestea sunt subtile și complicate.

Deci, cred că mulți dintre noi cunosc acest fenomen în care țipi sau țipi cu cineva care încearcă să comunice ceva peste o stradă aglomerată. Și așa auzi ceva ce spun ei, și nu este o secvență scurtă de cuvinte și practic nu ai înțeles nimic. Dar apoi, ca o jumătate de secundă mai târziu, ai înțeles dintr-o dată întreaga propoziție. De fapt, sugerează faptul că, deși suntem forțați să scriem și să rostim limbajul într-o manieră secvențială - doar din cauza săgeții timpului - nu este atât de clar că înțelegerea noastră mai profundă se desfășoară într-adevăr în acea manieră secvențială.

Construirea unei echipe

Vijay Pande: Dacă cineva studiază chiar și doar hârtia Atenția este tot ce ai nevoie sau cum funcționează un transformator, există o mulțime de părți. Și se pare că probabil că acum a depășit punctul în care o persoană ar putea face eficient acea lucrare singură în orice perioadă scurtă de timp.

Jakob Uszkoreit: Absolut.

Vijay Pande: Așa că acum aveți nevoie de o echipă de oameni care să facă astfel de lucruri. Care este sociologia asta? Cum se întâmplă așa ceva?

Jakob Uszkoreit: Acest caz particular, cred personal, este un exemplu cu adevărat minunat de ceva care se potrivește cu o abordare mai mult, să spunem, industrială a cercetării științifice, excepțional de bine. Pentru că ai exact dreptate. Aceasta nu a fost singura mare scânteie de imaginație și creativitate care a declanșat totul.

Au fost într-adevăr o grămadă de contribuții care au fost toate necesare, în cele din urmă. Având un mediu, o bibliotecă – care mai târziu a fost, de asemenea, open source, sub numele de Tensor2Tensor – care includea de fapt implementări. Și nu orice implementare, ci implementări excepțional de bune, implementări rapide de tot felul de trucuri de deep learning.
Dar apoi și până la aceste mecanisme de atenție care au apărut din publicațiile anterioare - cum ar fi modelul de atenție descompunebil [care a fost] publicat înainte - dar apoi au fost de fapt combinate cu îmbunătățiri și inovații, invenții în jurul optimizatorilor. Nu veți găsi oameni, cred, care se numără cu adevărat printre cei mai importanți experți din lume în toate acestea simultan și care sunt, de asemenea, la fel de pasionați de toate aceste aspecte.

Vijay Pande: Și mai ales există ideea inițială, există implementarea ei, există scalarea ei. A ajunge la acest tip de scară oriunde altundeva decât într-o companie mare, în acest moment, probabil că nu este fezabil doar din cauza costului.

Jakob Uszkoreit: Aș crede că de fapt, aspectul companiei mari nu este chiar atât de crucial.

Vijay Pande: Da?

Jakob Uszkoreit: Aspectul companiei este unul pe care l-aș aprecia mai mult. Compania mare cu siguranță nu strica dacă aveți nevoie de mii și mii de TPU-uri sau GPU-uri sau ce aveți. Buzunarele adânci nu strica niciodată pentru astfel de lucruri. Dar, în același timp, cred că structura de stimulente din jurul acestui tip de cercetare exploratorie în industrie este mult mai potrivită pentru acest tip de proiecte. Și cred că asta este de fapt ceva ce vedem, uitându-ne la proiectele AI generative în general.

Vijay Pande: Da. Și la punctul tău, ar putea fi un startup.

Jakob Uszkoreit: Ar putea fi cu siguranță un startup. Și cred că vedem acum că utilizarea hardware-ului acceleratorului devine cel puțin mai accesibilă. Și există startup-uri care concurează foarte mult când vine vorba de AI generativă care vizează generarea de imagini sau generarea de text.

Trecând la științele vieții

Vijay Pande: Mi-ar plăcea să trec la ceea ce faci acum. Sunteți directorul general al Inceptive, o companie care aplică IA la biologia ARN pentru terapie cu ARN. Cum ai trecut la științele vieții? La suprafață, vorbind despre modele de limbaj în jurul mesei [masei] și apoi în jurul cantinei Google... se pare că ar putea fi un salt la următoarea generație de terapii. Cum s-a întâmplat asta?

Jakob Uszkoreit: Nu aș putea fi mai de acord. Este o experiență de învățare uimitoare, din partea mea. De ceva vreme încoace, biologia mi s-a părut o astfel de problemă în care nu pare de neconceput că există limite în ceea ce privește, de exemplu, dezvoltarea de medicamente și proiectarea directă, cu biologia tradițională ca coloană vertebrală a modului în care putem ajunge. mergeți la proiectarea sau descoperirea metodelor de proiectare a medicamentelor viitorului.

Se pare că învățarea profundă, în special, la scară este, din mai multe motive, un instrument potențial cu adevărat potrivit aici. Și unul dintre aceste motive este, de fapt, ceva care adesea nu este neapărat catalogat ca un avantaj, și anume faptul că este această cutie neagră mare pe care o poți arunca în ceva. Și nu este adevărat că poți doar să-l arunci. Este ceva ce trebuie să știi cum să-l arunci.

Vijay Pande: Și nici nu este tocmai negru. Putem discuta despre asta mai târziu.

Jakob Uszkoreit: Da, exact. Exact. Dar, la sfârșitul zilei, revenind la analogia cu limbajul, nu am reușit niciodată să înțelegem și să conceptualizăm pe deplin limbajul în acest sens în măsura în care ați putea pretinde, o, acum mă voi duce și vă spun această teorie din spatele limbajului, iar apoi veți putea implementa un algoritm care îl „înțelege”. Nu am ajuns niciodată în acel punct. În schimb, a trebuit să avortăm și să facem un pas înapoi și, după părerea mea, într-o oarecare măsură, să admitem în fața noastră că s-ar putea să nu fi fost cea mai pragmatică abordare. În schimb, ar trebui să încercăm abordări care nu necesită acel nivel de înțelegere conceptuală. Și cred că același lucru ar putea fi valabil și pentru părți din biologie.

Folosind AI pentru a duce bio mai departe

Vijay Pande: Este interesant, am mai vorbit despre astfel de lucruri. Te gândești la ultimul secol, [care a fost] în mare măsură secolul fizicii și calculului. Există o anumită mentalitate acolo în care există o modalitate prin care poți avea o simplificare foarte elegantă a lucrurilor, în care poți avea o singură ecuație, cum ar fi ecuațiile de câmp ale lui Einstein, care descrie atât de multe, și aceasta este o ecuație foarte simplă într-un limbaj foarte complex. Ai vorbit despre modul în care această abordare Feynman, aproape ca sociologia fizicii, s-ar putea să nu se aplice aici în biologie, nu?

Jakob Uszkoreit: Este posibil să nu se aplice, cel puțin din două motive pe care le văd în acest moment. Primul este că sunt prea mulți jucători implicați. Și deși este adevărat că poate putem reduce totul la ecuația lui Schrodinger și pur și simplu să o rezolvăm, se întâmplă să fie, nu numai insolubil din punct de vedere computațional, dar ar trebui să știm despre toți acești jucători diferiți, iar în prezent nu știm. . Nici măcar pe aproape. Deci acesta este un aspect.

Și apoi cel de-al doilea este practic insolubilitatea computațională, unde reducerea, într-un anumit sens, a mers atât de departe încât, deși aduce totul înapoi la un singur lucru, nu ne ajută, deoarece abordările noastre computaționale de a folosi practic. acele elemente fundamentale pentru a face predicții sunt prea lente pentru a face acele predicții pentru sisteme suficient de mari pentru a conta cu adevărat pentru viață.

Vijay Pande: Da. Deci nu este o ecuație cu n corpuri, dar totuși există încă un sentiment de formalism - poate este un formalism mai bazat pe date sau mai mult formalism bayesian. Cum se alimentează asta în ceea ce ai vrea să faci? Cum se alimentează asta în aplicarea AI și a altor tipuri de algoritmi noi?

Jakob Uszkoreit: Cred că există câteva aspecte diferite. La sfârșitul zilei, una dintre marile concluzii, în opinia mea, din ceea ce vedem în prezent în IA generativă este că nu mai trebuie să ne antrenăm pe date care nu sunt doar perfect curate, ci și tocmai din domeniu. și din tipurile de sarcini pe care ați dori să le abordați mai târziu. Dar, în schimb, ar putea fi de fapt mai benefic sau chiar singura modalitate pe care am găsit-o până acum de a încerca să ne antrenăm cu privire la tot ceea ce descoperiți care este chiar și de la distanță legat. Și apoi utilizați în mod eficient informațiile culese din acele date pentru a ajunge la așa-numitele modele de fundație, pe care apoi să le puteți regla fin la tot felul de sarcini specifice folosind cantități mult mai mici și mult mai ușor de tratat de date mai curate.

Cred că subestimăm puțin ceea ce trebuie să știm despre fenomenele în general. Pentru a construi un model lingvistic foarte bun, trebuie să înțelegeți că există acest lucru numit internet și are mult text în el. Trebuie să înțelegeți destul de puțin, de fapt, despre cum să găsiți acest text, ce nu este text și așa mai departe, pentru a distila apoi practic din el datele de antrenament pe care le utilizați apoi.

Cred că vor exista provocări foarte direct analoge în jurul biologiei. Marea întrebare este: care sunt experimentele pe care le putem scala astfel încât să putem observa viața la o scară suficientă cu aproape suficientă fidelitate - dar cu mult mai puțină specificitate, ținând cont de problemele pe care încercați să le rezolvați în cele din urmă - astfel încât să putem În principiu, luăm de aici datele de care avem nevoie pentru a începe construirea acestor modele de fundație, pe care apoi să le folosim, ajustate și proiectate în mod specific, pentru a aborda cu adevărat problemele pe care vrem să le abordăm.

Partea de generare a datelor este cu siguranță una dintre ele. Arhitecturile și, în mod eficient, modelele și arhitecturile de rețea care imită ceea ce știm, de exemplu, despre fizica de dedesubt, vor rămâne în continuare o modalitate incredibil de puternică de a economisi efectiv calculele și, de asemenea, de a reduce apetitul încă enorm pentru date pe care aceste modele vor trebui să-l aibă. , la un nivel fezabil. Și, așadar, un lucru care cred că este de fapt interesant de remarcat este că multe dintre aplicațiile actuale ale modelelor, să zicem transformatoare, care s-au găsit că se scalează destul de bine în alte modalități, alte domenii, limbaj, viziune, generare de imagini, etc., etc., iar aplicarea lor la biologie ignoră practic faptul că știm că există un lucru precum timpul și că legile fizicii, cel puțin din cunoștințele noastre, nu par să se schimbe doar. peste orar.

Procesul de pliere a proteinelor, ignorând faptul că există tone și tone de jucători - chaperoni și altele - este de fapt, într-un anumit sens, o problemă destul de arbitrar separată de restul cineticii proteinelor. Este la fel de multă cinetică ca și restul cineticii, sau restul vieții acelei proteine, a acelei molecule. Și de ce încercăm să antrenăm modele special pentru unul și, cel puțin potențial, să ignorăm datele pe care le-am putea avea despre celălalt? În acest caz, poate mai concret, sunt unele dintre modelele de predicție a structurii proteinelor pe care le avem astăzi, învață deja ceva despre cinetică implicit din cauza faptului că încet-încet încep să îmbrățișeze, știi, existența timpului?

Dezvoltarea de noi arhitecturi

Vijay Pande: Unul dintre lucrurile interesante despre care mă gândesc la locul în care vă aflați acum este că, cu câteva rare excepții, majoritatea rețelelor neuronale profunde sau a altor tipuri de IA din biologie simt că iau ceva inventat în altă parte și îl transportă. De parcă vom folosi rețele neuronale convoluționale pentru imagini. Poate pentru molecule mici... în laboratorul meu de la Stanford, am folosit rețele neuronale grafice și mai multe rețele neuronale convoluționale. Dar a dezvolta cu adevărat un algoritm explicit pentru problema biologică este destul de rar. Și întotdeauna am presupus că este pentru că este greu să ai competențele unei echipe puternice în domeniul biologiei și în domeniul informaticii. Dar sunt curios să vă aflu părerea. Sau este rar să se dezvolte noi arhitecturi în primul rând?

Jakob Uszkoreit: Ei bine, cred că, la sfârșitul zilei, ceea ce vedem este că noile arhitecturi, deși sunt motivate de probleme specifice, dacă fac cu adevărat o diferență, atunci tind să fie aplicabile și în altă parte. Asta nu înseamnă, pe de altă parte, că, pe drum, alegerea cu atenție care sunt aplicațiile și domeniile motivante nu ar face o diferență enormă. Și cred că cu siguranță da.

Simt că una dintre provocările cheie aici este că nu suntem încă într-un regim în biologie în care avem o mulțime de date, chiar dacă, în comparație cu ceea ce aveam obișnuit cu ceva timp în urmă, este uimitor. Dar nu suntem încă în acel regim în care acesta este doar echivalentul web și îl putem filtra puțin, îl putem descărca și gata. Dar, în schimb, cred că trebuie să o creăm într-o măsură destul de mare. Și acest lucru nu va fi făcut de experții în învățarea profundă, cel puțin nu de majoritatea dintre ei.

Și cred că acest lucru trebuie să se întâmple în pas cu înțelegerea cu adevărat a particularităților respectivelor date, nu? Tipurile de zgomot pe care le întâlniți acolo. Faptul că acestea sunt de fapt create în grupuri la scară foarte mare, experimente cu randament ridicat, dar totuși, experimente care sunt desfășurate în zile diferite de diferiți experimentatori și așa mai departe. Și acolo unde oamenii cu un fundal de învățare mai profund lucrează suficient de strâns cu oameni cu pregătire în biologie, învață suficient despre ceea ce știm despre fenomenele care stau la baza, practic vor fi inspirați să încerce noi abordări interesante.

Vijay Pande: Ei bine, mi-a plăcut când ai vorbit doar despre exemplul lucrării Atenția este tot ce ai nevoie, despre cum ai vrut să obții acest grup divers de oameni ale căror pasiuni erau, știi, destul de ortogonale unele față de altele. Și într-un fel, atunci când faci asta în biologie și mai ales pentru ceea ce faci la Inceptive, trebuie să depui și toată această muncă în generarea datelor. Iar generarea datelor înseamnă, să fim foarte explicit, desfășurarea de experimente biologice la scară. Partea de intrare în sine este foarte scumpă și foarte tehnică și, așa cum ați spus, are atât de multe moduri de a merge prost. Dar se pare că te construiești pe cultura pe care ai făcut-o înainte și acum sunt doar mai mulți experți cu diferite pasiuni care se coordonează într-un mod analog.

Jakob Uszkoreit: Am mare nevoie, [și] oamenii au nevoie de asta. Aceasta este, din câte îmi pot da seama, cea mai promițătoare cale. [Este să] nu țintim, într-un anumit sens, un model pipeline, în care anumite date în laboratorul în care au fost create, având în vedere cele mai bune cunoștințe, despre aspectele de bază ale vieții. Și apoi începeți să rulați abordările existente de învățare profundă și apoi să le modificați. Dar, în schimb, să avem oameni care, într-un anumit sens, ar putea fi printre primii oameni care lucrează cu adevărat într-o disciplină care în prezent nu are încă un nume grozav.

Poate că cel mai mic numitor comun este curiozitatea care se extinde dincolo de ceea ce știi, de ceea ce ai învățat înainte și de ceea ce poate ți-ai petrecut cea mai mare parte a timpului făcând. Constatăm că, la fel ca în multe alte domenii, ceea ce căutăm cu adevărat este un set de oameni cu medii foarte diverse, dar care împărtășesc curiozitatea.

Unde merge AI?

Vijay Pande: Unde credeți că este acum AI pentru acele probleme mai grele, pentru proiectarea medicamentelor, asistența medicală și așa mai departe? Ce trebuie făcut? Când va ajunge acolo?

Jakob Uszkoreit: M-aș aștepta - și este întotdeauna foarte periculos să facem predicții despre viitor - aș fi foarte surprins dacă în următorii trei ani nu am începe de fapt să vedem un punct [de inflexiune] care se întâmplă când vine vorba de efectele în lumea reală a învățarea automată, învățarea profundă la scară largă în dezvoltarea de medicamente, proiectarea medicamentelor. Unde exact vor fi primii, desigur, cred că multe dintre ele se vor întâmpla în jurul ARN-ului, terapiilor cu ARN și vaccinurilor. Aceasta nu va fi cu siguranță singura zonă afectată de acest lucru, dar cu siguranță cred că ne îndreptăm spre teritoriul punctului de inflexiune.

Vijay Pande: Ai spus un punct interesant. Ce este diferit la ARN? Pentru că cred că este deosebit de interesant, nu doar că ai trecut de la Google Brain la biologie, ci ai intrat în special la ARN. Ce te atrage la ARN, mai ales poate din punct de vedere AI sau ML?

Jakob Uszkoreit: Un lucru care este interesant la ARN este combinația dintre, așa cum am văzut, aplicabilitatea foarte largă - deși este încă restrânsă în sensul unei singure indicații - dar doar privind acest val de procese de aprobare care începe și a început, este destul de clar că aplicabilitatea este foarte, foarte largă, împreună cu — aceasta este puțin ambiguă — o problemă simplă din punct de vedere structural. Și este simplu din punct de vedere structural, nu în propoziția că predicția structurală a ARN este simplă, dar este simplă din punct de vedere structural în sensul că este un biopolimer cu patru baze diferite. Nu vorbim de peste 20 de aminoacizi. Este ceva care poate fi produs destul de eficient.

Există unele provocări acolo, dar sinteza este ceva care se poate scala și se extinde rapid, iar aceste lucruri se unesc într-adevăr pentru a permite această buclă de feedback rapid la care cred că se face aluzie adesea, dar foarte rar, cel puțin din ceea ce știu, este implementată de fapt. și implementabile la sfârșitul zilei.

Vijay Pande: Da, probabil că este o buclă de feedback mai rapidă, mai ales pentru felul în care mergi după ea.

Jakob Uszkoreit: Da. Și având în vedere că cred că trebuie să creăm partea leului de date pentru antrenarea modelelor pe care le antrenăm, investim cu adevărat Inceptive în crearea unor astfel de date la scară. Și aș spune o scară relativ masivă, având în vedere că ARN-ul pare a fi de departe cea mai bună combinație când vine vorba de simplitatea structurală, dar și de scalabilitatea sintezei și a acestei experimente. Există un potențial imens aici, care până acum a fost neexploatat.

Vijay Pande: Da, și cred că mai ales este posibilă capacitatea de a avea aceste cicluri rapide, ambele preclinice și, prin urmare, să ajungi la clinică mai repede și să fii în clinică [pentru o perioadă mai scurtă de timp].

Jakob Uszkoreit: Absolut. Chiar asta sperăm. De asemenea, vedem, poate, indicii timpurii care indică faptul că acesta ar putea fi cazul și de care, desigur, suntem cu adevărat, foarte încântați.

Vijay Pande: Să te gândești la ultimii 10 ani a fost uimitor, știi, 2012 până acum. Cum crezi că vor arăta următorii 10 ani? Unde crezi că suntem peste 10 ani cu AI? Ori în linii mari sau în special pentru bio?

Jakob Uszkoreit: Cred că dacă este cu adevărat adevărat că intrăm în acest teritoriu punct de inflexiune, atunci când ne uităm înapoi peste 10 ani de acum încolo, va părea o revoluție cel puțin la fel de mare și la fel de expansivă ca cea pe care credem că am văzut-o în ultimii 10 ani. Cel puțin. Acum cred că va exista o diferență crucială, și anume că nu este atât de clar exact cât de larg afectează revoluția la care am asistat în ultimii 10 ani viața tuturor. Există anumite domenii, motoare de căutare sau scriere asistată etc., unde este evident, dar nu este clar cât de larg este aplicabilă această revoluție. Cred că este foarte bine, dar nu vedem încă. Cred că revoluția pe care o vom vedea în mod specific în jurul bio-ului în următorii 10 ani, sau că ne vom uita înapoi la 10 ani de acum încolo, va diferi cu adevărat în ceea ce privește impactul ei profund asupra tuturor vieților noastre. .

Chiar și lăsând deoparte aplicațiile de proiectare și descoperire a medicamentelor, există astfel de aplicații uimitoare în și în jurul descoperirii științifice, în care vă puteți imagina acum că, cu o interfață web, puteți avea, practic, molecule proiectate care, în anumite organisme, au o probabilitate foarte mare de a răspunde la anumite întrebări, producând citiri mai fiabile decât, știi, la ce puteai ajunge anterior. Deci, chiar și lăsând deoparte întregul tip de complexitate a modului în care acest lucru va afecta, în cele din urmă, pacienții și toată lumea, este destul de clar, cred, că aceste instrumente vor accelera rapid domenii precum biologia.

Vijay Pande: Pare un loc grozav pentru a pune capăt. Mulțumesc mult, Jakob, că te-ai alăturat Bio Eats World.

Jakob Uszkoreit: Vă mulțumesc foarte mult pentru că m-ați primit.

Olivia Webb: Vă mulțumim că v-ați alăturat Bio Eats World. Bio Eats World este găzduită și produsă de mine, Olivia Webb, cu ajutorul echipei Bio + Health de la a16z și editată de Phil Hegseth. Bio Eats World face parte din rețeaua de podcast a16z.

Dacă aveți întrebări despre episod sau doriți să sugerați subiecte pentru un episod viitor, vă rugăm să trimiteți un e-mail Nu în ultimul rând, dacă vă place Bio Eats World, vă rugăm să ne lăsați o evaluare și o recenzie oriunde ascultați podcasturi.

Vă rugăm să rețineți că conținutul de aici doar în scop informativ, nu trebuie luat ca sfaturi juridice, de afaceri, fiscale sau de investiții și nu trebuie utilizat pentru a evalua orice investiție sau securitate și nu este îndreptat către niciun investitor sau potențial investitor în niciun fond a16z. . Pentru mai multe detalii, accesați a16z.com/disclosures.

***

Părerile exprimate aici sunt cele ale personalului individual AH Capital Management, LLC („a16z”) citat și nu sunt punctele de vedere ale a16z sau ale afiliaților săi. Anumite informații conținute aici au fost obținute din surse terțe, inclusiv de la companii de portofoliu de fonduri administrate de a16z. Deși este luat din surse considerate a fi de încredere, a16z nu a verificat în mod independent astfel de informații și nu face nicio declarație cu privire la acuratețea durabilă a informațiilor sau adecvarea lor pentru o anumită situație. În plus, acest conținut poate include reclame de la terți; a16z nu a revizuit astfel de reclame și nu aprobă niciun conținut publicitar conținut în acestea.

Acest conținut este furnizat doar în scop informativ și nu ar trebui să fie bazat pe consiliere juridică, de afaceri, de investiții sau fiscală. Ar trebui să vă consultați propriii consilieri cu privire la aceste aspecte. Referințele la orice titluri de valoare sau active digitale au doar scop ilustrativ și nu constituie o recomandare de investiții sau o ofertă de a oferi servicii de consiliere în materie de investiții. În plus, acest conținut nu este îndreptat și nici nu este destinat utilizării de către niciun investitor sau potențial investitor și nu poate fi bazat în nicio circumstanță atunci când se ia o decizie de a investi într-un fond administrat de a16z. (Ofertă de a investi într-un fond a16z va fi făcută numai prin memoriul de plasament privat, acordul de subscriere și alte documente relevante ale oricărui astfel de fond și trebuie citită în întregime.) Orice investiții sau companii de portofoliu menționate, la care se face referire sau descrise nu sunt reprezentative pentru toate investițiile în vehicule administrate de a16z și nu poate exista nicio asigurare că investițiile vor fi profitabile sau că alte investiții realizate în viitor vor avea caracteristici sau rezultate similare. O listă a investițiilor realizate de fondurile gestionate de Andreessen Horowitz (excluzând investițiile pentru care emitentul nu a oferit permisiunea ca a16z să dezvăluie public, precum și investițiile neanunțate în active digitale tranzacționate public) este disponibilă la https://a16z.com/investments /.

Diagramele și graficele furnizate în cadrul sunt doar în scop informativ și nu trebuie să se bazeze pe acestea atunci când se ia vreo decizie de investiție. Performanța trecută nu indică rezultatele viitoare. Conținutul vorbește doar de la data indicată. Orice previziuni, estimări, prognoze, obiective, perspective și/sau opinii exprimate în aceste materiale pot fi modificate fără notificare și pot diferi sau pot fi contrare opiniilor exprimate de alții. Vă rugăm să consultați https://a16z.com/disclosures pentru informații suplimentare importante.

• Distribuție de conținut bazat pe SEO și PR. Amplifică-te astăzi.
• Platoblockchain. Web3 Metaverse Intelligence. Cunoștințe amplificate. Accesați Aici.
• Sursa: https://a16z.com/2023/01/11/bio-eats-world-using-ai-to-take-bio-farther/