Bio Eats World: usare l'intelligenza artificiale per portare la bio più lontano

In questo episodio, Vijay Pande parla con Jakob Uszkoreit, cofondatore e CEO di Inceptive. Insieme, discutono di tutto ciò che riguarda l'intelligenza artificiale.

Di seguito pubblichiamo la trascrizione integrale, nel caso volessi leggere insieme.

***

Olivia Webb: Ciao e benvenuto a Bio Eats World, un podcast all'incrocio tra bio, sanità e tecnologia. Sono Olivia Webb, responsabile editoriale di Bio + Health su a16z. In questo episodio abbiamo parlato con Jakob Uszkoreit, ex Google Brain e cofondatore di Inceptive. Jakob è anche uno degli autori del seminale documento di ricerca sull'intelligenza artificiale Attention is All You Need, che collegheremo nelle note dello spettacolo. Jakob si è seduto con Vijay Pande, socio fondatore di a16z Bio + Health per parlare di tutto ciò che riguarda l'intelligenza artificiale: dal suo periodo in Google Brain, a come gli esseri umani e i computer elaborano il linguaggio, alla convinzione di Inceptive nella promessa dell'RNA e a come Jakob crede che noi stiamo entrando nel territorio del punto di svolta con l'intelligenza artificiale.

È un episodio da non perdere, ma è anche una discussione a livello universitario sull'intelligenza artificiale, quindi pubblicheremo una trascrizione insieme all'episodio. Iniziamo.

Algoritmi applicabili

Vijay Pande: Quindi Jakob, grazie mille per essere su Bio Eats World. È fantastico averti.

Jakob Uszkoreit: Bello essere qui. Grazie per avermi ospitato.

Vijay Pande: Soprattutto dal momento che hai una storia così affascinante come scienziato informatico, imprenditore e fondatore, mi piacerebbe che ci accompagnassi nel tuo percorso professionale, iniziando dove vuoi, ma ciò che ti ha portato a Google Brain è probabilmente un bel punto di partenza .

Jakob Uszkoreit: Ricordo in una certa misura davvero, uh, di aver incontrato questo problema dell'apprendimento automatico, forse nel senso più ampio, [e] la comprensione del linguaggio, un po' più specificamente, come un problema che corre in famiglia. Quindi mio padre è un informatico e un linguista computazionale e, sai, crescendo cose come le macchine di Turing non erano necessariamente concetti del tutto estranei abbastanza presto.

Vijay Pande: Sì, sembra che potrebbe essere stata una conversazione a tavola, in effetti.

Jakob Uszkoreit: Erano conversazioni a tavola. E quindi soprattutto gli automi finiti, e il modo in cui si relazionano effettivamente ai distributori automatici, erano, sai, argomenti comuni. Più invecchiavo, più volevo assicurarmi di finire effettivamente per fare qualcosa di diverso. E così ho finito per esaminare un po' la matematica pura e le aree correlate. [Mi] mi sono davvero concentrato un bel po' sull'ottimizzazione, sugli algoritmi di ottimizzazione, sugli algoritmi in generale, più in generale sulla teoria della complessità, prima di rendermi conto che forse non era la cosa più pratica e la cosa più applicabile, che, sai, è diventata un po' un filo rosso per tutta la mia carriera. E poi, nel 2005, mi sono letteralmente imbattuto in uno stage in Google.

Mi sono state date alcune opzioni diverse [sul] tipo di progetti di ricerca a cui partecipare, [e] tra questi c'erano diversi sforzi di visione artificiale, ma anche il progetto di traduzione automatica che in pratica è diventato Google Translate. Proprio in quel periodo, o poco prima, [Translate] lanciò il suo primo prodotto realmente basato sui sistemi interni di Google sviluppati e in un certo senso, con mio grande sgomento, risulta che Google Translate a il tempo aveva di gran lunga i problemi di algoritmi su larga scala più interessanti.

A quel tempo, è stato davvero interessante da vedere, perché ciò che mi ha convinto ad abbandonare il mio dottorato di ricerca e tornare effettivamente a Google dopo quel tirocinio, è stato davvero che è diventato evidente durante il mio tempo lì che se volevi lavorare su qualcosa in machine learning che non solo era interessante e diciamo intellettualmente e scientificamente, entusiasmante, stimolante e stimolante, ma che aveva anche grandi speranze di muovere subito l'ago nell'industria e nei prodotti. In realtà, in quel periodo, non c'erano molti posti al mondo. E certamente non erano laboratori accademici all'epoca, ma luoghi molto simili a Google. E Google lì per lì era in realtà molto in prima linea in questo. E così, sai, all'epoca pensavo fosse fantastico eseguire i miei primi algoritmi di clustering su larga scala su un migliaio di macchine, ed era semplicemente, assolutamente impossibile farlo altrove.

Vijay Pande: Quando parli con i nostri colleghi anziani, c'è molto romanticismo del periodo d'oro dei Bell Labs e mi sono sempre chiesto se Google Brain possa essere una delle varianti più vicine oggi. Com'era l'ambiente?

Jakob Uszkoreit: Quindi sento che in realtà tra quel momento e quando Google Brain è stato davvero avviato, ovvero circa cinque anni dopo, c'è stato un cambiamento significativo. Prima che Brain and Translate iniziasse, era molto più guidato da prodotti che facevano davvero la differenza rispetto a quanto credo lo fosse Bell Labs. E avevamo un buon numero di alunni dei Bell Labs, ovviamente, tra noi, ma era molto più motivato dall'applicabilità diretta.

Il che per me è stato davvero sorprendente da testimoniare, come la traduzione automatica si è trasformata [da qualcosa che] era buono per le risate a una festa, letteralmente. Se ti chiedessero, dove lavori? E tu hai detto, Google. E poi hanno detto, cosa fai lì? E all'inizio sono rimasti colpiti. E poi hai detto, oh, lavoro su Google Translate. E poi hanno riso e chiesto, funzionerà mai? Non credo. Ma poi, allo stesso tempo, direi che l'ondata di apprendimento automatico, l'ondata rinascimentale dell'apprendimento automatico pre-deep learning, ha iniziato a stabilizzarsi. Sai, l'apprendimento profondo era qualcosa che avevo fatto in precedenza a scuola e mi piaceva, ma non era qualcosa che potevi davvero applicare in quei giorni.

Vijay Pande: Sì, soprattutto perché in ambito accademico non avevi la scala per fare i calcoli che avresti dovuto fare.

Jakob Uszkoreit: Certamente non nel mondo accademico, ma nemmeno in Google. Anche se all'epoca, in Translate, in realtà, la caratteristica distintiva più interessante era, direi, che credevamo davvero nel potere assoluto dei dati in fin dei conti.

Quindi stavamo cercando di non creare algoritmi più complicati e sofisticati, ma invece di semplificarli e ridimensionarli il più possibile e quindi consentire loro di addestrarsi su sempre più dati. Ma abbiamo appena raggiunto un limite lì. Le semplificazioni che dovevi fare per ridimensionarle a quella che all'epoca era la scala di Google, quello era davvero il nostro obiettivo. Ma poi, e quello era una specie di uno di questi movimenti del pendolo, oscillare indietro, fuori dal mondo accademico, un gruppo di persone con un mucchio di GPU: il deep learning è tornato in un certo senso con una vendetta. E improvvisamente l'ambiente si è adattato, perché non era chiaro quale sarebbe stato il percorso diretto su larga scala verso la produzione.

E così l'intero ambiente è passato dall'essere più orientato all'applicazione e al prodotto, a qualcosa che almeno si è sentito per parecchi anni, molto più accademico. È ancora un po' diverso dai laboratori accademici perché potremmo permetterci molte più GPU, ma molto più in linea, in un certo senso, con questa idea di [essere] guidati dalle pubblicazioni, guidati da salti piuttosto che da passi. [Si] si è trasformato in un [ambiente] molto, molto produttivo e davvero sorprendente, ma molto più aperto.

L'attenzione è tutto ciò di cui hai bisogno

Vijay Pande: Beh, sai, parlando di pubblicazioni, un posto naturale a cui pensare è quando tu e il team avete pubblicato Attention is All You Need. E, sai, questo è stato un documento così fondamentale per così tanto dell'IA generativa da quando è stato presentato per la prima volta l'algoritmo del trasformatore.

Jakob Uszkoreit: Due anni prima di pubblicare quel documento, ci siamo resi conto [che] quello che allora era lo stato dell'arte per problemi come la traduzione automatica, o [cosa] stava emergendo come lo stato dell'arte, vale a dire LSTM o basato su RNN , Seq2Seq in generale come paradigma di addestramento e come configurazione, ma anche come architettura di rete, presentava problemi incredibili anche sulle GPU più moderne dell'epoca, quando si trattava di scalare in termini di dati.

Ad esempio, il primissimo sistema di traduzione automatica neurale lanciato da Google, GNMT, in realtà, per quanto ne so, non è mai stato veramente addestrato su tutti i dati di addestramento che avevamo a disposizione, che avevamo precedentemente estratto per i sistemi statistici basati su frasi. E questo perché gli algoritmi non si adattavano bene in termini di quantità di dati. Quindi, per farla breve, all'epoca non stavamo guardando alla traduzione automatica, ma a problemi in cui, internamente a Google, avevamo a disposizione quantità ancora maggiori di dati di addestramento. Quindi questi erano problemi che sono emersi dalla ricerca, dove hai praticamente altri tre o quattro ordini di grandezza. Sai, ora non ci sono più miliardi di parole, ma facilmente trilioni, e all'improvviso abbiamo incontrato questo schema in cui semplici reti di feedforward, anche se facevano ridicole ipotesi semplificative come, è solo un sacco di parole, o è solo un sacco di bigrammi , e fai una media di loro e li invii attraverso un grande MNLP, in realtà hanno sovraperformato RNN e LSTM, almeno se addestrati su più dati.

[Ed erano] n volte più veloci, facilmente 10, 20 volte più veloci, da addestrare. E così potresti addestrarli su molti più dati. In alcuni casi, [erano] cento volte più veloci da addestrare. E così abbiamo continuato costantemente a finire con modelli che erano più semplici e che non potevano esprimere o catturare certi fenomeni che sappiamo essere decisamente comuni nel linguaggio.
Eppure, sai, in conclusione, erano più economici da addestrare e [loro] si sono comportati meglio.

Vijay Pande: Facciamo solo un esempio per le persone che non hanno familiarità. Quindi, per un sacco di parole, se dicessi, mostrami tutti i ristoranti nelle vicinanze tranne quello italiano, ti mostrerà tutti i ristoranti italiani, giusto?

Jakob Uszkoreit: Esattamente. In effetti, quello che hai detto può probabilmente essere riordinato, per mostrarmi tutti i ristoranti italiani tranne nelle vicinanze. È solo una zuppa di parole e puoi riordinarla in qualcosa che significhi sicuramente qualcosa di diverso.

Vijay Pande: Sì.

Jakob Uszkoreit: E poi approssimi arrivando alla struttura e arrivando ai fenomeni più globali inserendo i bigrammi. Quindi fondamentalmente gruppi di due parole consecutive e cose del genere. Ma è chiaro che, certamente in lingue come il tedesco, dove puoi praticamente mettere il verbo proprio alla fine di una frase...

Vijay Pande: E cambia l'intero significato, giusto?

Jakob Uszkoreit: Cambia tutto il significato, esattamente, sì. Non importa quale sia la dimensione dei tuoi n-grammi o dei tuoi piccoli gruppi di parole, alla fine non avrai successo. E ci è diventato chiaro che deve esserci un modo diverso che non richieda la ricorrenza dell'RNN in lunghezza, o la ricorrenza in sequenza di, diciamo parole o pixel, ma che in realtà elabori input e output in un modo più parallelo e davvero in definitiva soddisfa [i] i punti di forza dell'hardware dell'acceleratore moderno.

Vijay Pande: Pensaci, come un sacco di parole sono parole in ordine casuale. LSTM, o memoria lunga a breve termine, forse ti dà una sorta di [capacità di] guardare un po' [nel] passato, giusto? Ma i trasformatori fanno qualcosa di radicalmente diverso. In che modo i trasformatori lo portano al livello successivo?

Jakob Uszkoreit: Ci sono sempre due modi di vedere questo. Uno è attraverso la lente dell'efficienza, ma l'altro modo che è forse un po' più intuitivo è guardarlo in termini di, sai, quanto contesto puoi mantenere. E come hai detto tu, gli LSTM o le reti neurali ricorrenti in generale, si muovono attraverso i loro input passo dopo passo, in generale, e mentre, in teoria, sono in grado di mantenere finestre di contesto arbitrariamente lunghe negli input - il passato - cosa accade in pratica è che in realtà è molto difficile per loro identificare eventi, diciamo parole o pixel, che sono molto lontani nel passato e che alla fine influenzano davvero il significato. Tendono a concentrarsi su cose che si trovano nelle vicinanze.

Il trasformatore, d'altra parte, fondamentalmente lo capovolge e dice, no, ad ogni passo quello che stiamo facendo non si muove attraverso l'input. Ad ogni passaggio, esaminiamo la totalità dell'input o dell'output e sostanzialmente rivediamo in modo incrementale le rappresentazioni di ogni parola o ogni pixel o ogni patch o ogni fotogramma di un video, mentre ci muoviamo sostanzialmente, non nello spazio di input , ma nello spazio di rappresentazione.

Vijay Pande: Sì.

Jakob Uszkoreit: E quell'idea aveva alcuni inconvenienti in termini di come l'avresti adattata all'hardware moderno, ma rispetto alle reti neurali ricorrenti, aveva principalmente dei vantaggi perché ora non eri effettivamente obbligato a calcolare in sequenza le rappresentazioni, diciamo, parola per parola. Quello da cui eri vincolato è, davvero, quanto dovrebbero essere buoni? Quanti strati di questo tipo di elaborazione parallela di tutte le posizioni in cui tutto, in cui tutte le coppie di parole o tutte le coppie di patch di immagini possono interagire immediatamente? Quante revisioni di queste rappresentazioni posso effettivamente “permettermi”?

Vijay Pande: Ciò che è veramente interessante è che ovviamente l'ispirazione è il linguaggio naturale, ma che ci sono molte strutture che vorresti inserire dove non vuoi solo studiarle in sequenza, come una sequenza di DNA, e entreremo nella biologia abbastanza presto, che vuoi avere un modello dell'intera faccenda.

È piuttosto divertente con il linguaggio. Quando parlo o quando ti ascolto, sto elaborando ogni parola, ma alla fine non devo solo simbolizzare le parole in significati individuali, ma devo in qualche modo sviluppare questa rappresentazione. Sì? Vorrei che potessimo farlo come fanno i trasformatori. E forse questo è il trucco è che gli LSTM sono più vicini al modo in cui noi umani lo facciamo, e i trasformatori sono forse proprio il modo in cui dovremmo farlo, o vorrei che potessimo farlo.

Jakob Uszkoreit: Superficialmente, penso che sia vero, anche se in fin dei conti argomenti introspettivi come questi sono sottili e ingannevoli.

Quindi immagino che molti di noi conoscano questo fenomeno in cui stai urlando o urlando con qualcuno che cerca di comunicare qualcosa attraverso una strada trafficata. E così senti qualcosa che dicono, e non è una breve sequenza di parole, e praticamente non hai capito niente. Ma poi, tipo mezzo secondo dopo, hai improvvisamente capito l'intera frase. In realtà accenna al fatto che mentre siamo costretti a scrivere e pronunciare il linguaggio in modo sequenziale - proprio a causa della freccia del tempo - non è così chiaro che la nostra comprensione più profonda funzioni davvero in quel modo sequenziale.

Costruire una squadra

Vijay Pande: Se qualcuno studia anche solo il documento L'attenzione è tutto ciò di cui hai bisogno o come funziona un trasformatore, ci sono molte parti. E sembra che probabilmente ora sia passato il punto in cui una persona potrebbe effettivamente svolgere quel lavoro da sola in un breve periodo di tempo.

Jakob Uszkoreit: Assolutamente.

Vijay Pande: Quindi ora hai davvero bisogno di un team di persone per fare questo tipo di cose. Qual è la sociologia di questo? Come nasce una cosa del genere?

Jakob Uszkoreit: Questo caso particolare, ritengo personalmente, è un esempio davvero meraviglioso di qualcosa che si adatta eccezionalmente bene a un approccio più, diciamo, industriale alla ricerca scientifica. Perché hai proprio ragione. Non è stata questa l'unica grande scintilla di immaginazione e creatività che ha fatto scattare tutto.

Alla fine è stato davvero un sacco di contributi che erano tutti necessari. Avere un ambiente, una libreria, che in seguito fu anche open source, con il nome di Tensor2Tensor, che in realtà includeva implementazioni. E non solo implementazioni qualsiasi, ma implementazioni eccezionalmente buone, implementazioni veloci di ogni sorta di trucchi di deep learning.
Ma poi anche fino a questi meccanismi di attenzione che sono emersi da pubblicazioni precedenti - come il modello di attenzione scomponibile [che è stato] pubblicato prima - ma che poi sono stati effettivamente combinati con miglioramenti e innovazioni, invenzioni attorno agli ottimizzatori. Non troverai persone, credo, che siano veramente tra i massimi esperti mondiali in tutti questi aspetti contemporaneamente e che siano anche appassionate allo stesso modo di tutti questi aspetti.

Vijay Pande: E soprattutto c'è l'idea iniziale, c'è la sua implementazione, c'è il suo ridimensionamento. Raggiungere quel tipo di scala in qualsiasi altro luogo diverso da una grande azienda, in questo momento, probabilmente non è fattibile solo a causa del costo.

Jakob Uszkoreit: Penso che in realtà forse l'aspetto della grande azienda non sia così cruciale.

Vijay Pande: Si?

Jakob Uszkoreit: L'aspetto aziendale è quello che apprezzerei di più. La grande azienda di certo non fa male se hai bisogno di migliaia e migliaia di TPU o GPU o cosa hai. Le tasche profonde non fanno mai male per questo genere di cose. Ma allo stesso tempo, credo che la struttura degli incentivi attorno a questo tipo di ricerca esplorativa nell'industria sia molto più adatta a questo tipo di progetti. E penso che in realtà sia qualcosa che stiamo vedendo, guardando i progetti di intelligenza artificiale generativa su tutta la linea.

Vijay Pande: Sì. E secondo te, potrebbe essere una startup.

Jakob Uszkoreit: Potrebbe essere sicuramente una startup. E penso che ora stiamo vedendo che l'uso dell'hardware dell'acceleratore sta diventando almeno più conveniente. E ci sono startup che sono molto competitive quando si tratta di intelligenza artificiale generativa mirata alla generazione di immagini o alla generazione di testo.

Salto alle scienze della vita

Vijay Pande: Mi piacerebbe passare a quello che stai facendo ora. Sei l'amministratore delegato di Inceptive, un'azienda che applica l'intelligenza artificiale alla biologia dell'RNA per le terapie dell'RNA. Come sei passato alle scienze della vita? Superficialmente, parlare di modelli linguistici intorno al [tavolo] della cena e poi alla mensa di Google... sembra che potrebbe essere un salto alla prossima generazione di terapie. Come è successo tutto questo?

Jakob Uszkoreit: Non potrei essere più d'accordo. È un'incredibile esperienza di apprendimento, da parte mia. Per un bel po' di tempo, la biologia mi ha colpito come un tale problema in cui non sembra inconcepibile che ci siano limiti a quanto lontano possiamo andare in termini, diciamo, di sviluppo di farmaci e progettazione diretta con la biologia tradizionale come la spina dorsale di come noi dedicarsi alla progettazione, o alla scoperta di metodi per progettare, le droghe del futuro.

Sembra che il deep learning, in particolare, su larga scala sia, per una serie di motivi, potenzialmente uno strumento davvero adatto qui. E uno di quei motivi in ​​realtà è qualcosa che spesso non viene necessariamente classificato come un vantaggio, ovvero il fatto che è questa grande scatola nera che puoi semplicemente lanciare contro qualcosa. E non è vero che puoi semplicemente lanciarlo. È qualcosa che devi sapere come lanciarlo.

Vijay Pande: E non è neanche esattamente nero. Possiamo discuterne più tardi.

Jakob Uszkoreit: Si, esattamente. Esattamente. Ma, alla fine, tornando all'analogia con il linguaggio, non siamo mai riusciti a comprendere e concettualizzare completamente, in questo senso, il linguaggio nella misura in cui potresti affermare, oh, ora vado a dirtelo questa teoria dietro il linguaggio, e poi in seguito sarai in grado di implementare un algoritmo che lo “capisce”. Non siamo mai arrivati ​​a quel punto. Invece, abbiamo dovuto abortire e fare un passo indietro e, secondo me, in una certa misura, ammettere a noi stessi che quello potrebbe non essere stato l'approccio più pragmatico. Invece, dovremmo provare approcci che non richiedono quel livello di comprensione concettuale. E penso che lo stesso potrebbe valere per parti della biologia.

Usare l'intelligenza artificiale per portare la biografia più lontano

Vijay Pande: È interessante, abbiamo già parlato di cose come questa. Pensi al secolo scorso, [che era] molto il secolo della fisica e del calcolo. C'è una certa mentalità là dove c'è un modo in cui puoi avere una semplificazione molto elegante delle cose che puoi avere una singola equazione come le equazioni di campo di Einstein che descrivono così tanto, ed è un'equazione molto semplice in un linguaggio molto complesso. Hai parlato di come l'approccio di Feynman, quasi come la sociologia della fisica, potrebbe non essere applicabile qui in biologia, giusto?

Jakob Uszkoreit: Potrebbe non essere applicabile, almeno per due motivi che posso vedere a questo punto. Il numero uno è che ci sono troppi giocatori coinvolti. E mentre è vero che forse possiamo semplicemente ridurre tutto all'equazione di Schrodinger e semplicemente risolverlo, si dà il caso che sia, non solo intrattabile dal punto di vista computazionale, ma dovremmo anche sapere di tutti questi diversi giocatori, e attualmente non lo sappiamo . Neanche vicino. Quindi questo è un aspetto.

E poi la seconda è fondamentalmente l'intrattabilità computazionale, dove la riduzione, in un certo senso, è andata così lontano che, mentre riporta tutto a una sola cosa, non ci aiuta perché i nostri approcci computazionali usano fondamentalmente quei fondamenti per fare previsioni sono semplicemente troppo lenti per fare quelle previsioni per sistemi abbastanza grandi da avere davvero importanza per la vita.

Vijay Pande: Sì. Quindi non è un'equazione n-corpi, ma c'è ancora un senso di formalismo, forse è un formalismo più basato sui dati o più formalismo bayesiano. In che modo ciò alimenta ciò che vorresti fare? In che modo ciò alimenta l'applicazione dell'IA e di altri tipi di nuovi algoritmi?

Jakob Uszkoreit: Penso che ci siano un paio di aspetti diversi. Alla fine della giornata, secondo me uno dei grandi vantaggi di ciò che stiamo attualmente vedendo nell'IA generativa è che non dobbiamo più allenarci su dati che non solo sono perfettamente puliti, ma anche precisamente dal dominio e dal tipo di compiti che vorresti affrontare in seguito. Ma invece potrebbe effettivamente essere più vantaggioso o addirittura l'unico modo che abbiamo trovato finora per provare effettivamente ad allenarci su tutto ciò che trovi che è anche lontanamente correlato. E quindi utilizzare le informazioni effettivamente raccolte da quei dati per ottenere i cosiddetti modelli di base, che è quindi possibile ottimizzare per tutti i tipi di attività specifiche utilizzando quantità molto più piccole e trattabili di dati più puliti.

Penso che sottovalutiamo leggermente ciò che dobbiamo sapere sui fenomeni in generale. Per costruire un ottimo modello di linguaggio di grandi dimensioni, devi capire che esiste questa cosa chiamata Internet e contiene molto testo. Devi capire parecchio, in realtà, su come trovare questo testo, cosa non è testo e così via, per poi fondamentalmente distillare da esso i dati di addestramento che poi usi.

Credo che ci saranno sfide molto direttamente analoghe intorno alla biologia. La grande domanda è: quali sono gli esperimenti che possiamo ridimensionare in modo tale da poter osservare la vita su scala sufficiente con una fedeltà appena sufficiente, ma con molta meno specificità tenendo presente i problemi che alla fine stai cercando di risolvere, in modo tale da poter fondamentalmente prendi da ciò i dati di cui abbiamo bisogno per iniziare a costruire questi modelli di base, che possiamo quindi utilizzare, perfezionati e progettati in modo specifico, per affrontare davvero i problemi che vogliamo affrontare.

La parte di generazione dei dati è sicuramente una di queste. Le architetture e avere effettivamente modelli e architetture di rete che imitano ciò che sappiamo, circa, diciamo, la fisica sottostante, rimarranno comunque un modo incredibilmente potente per salvare effettivamente il calcolo e anche ridurre l'enorme appetito per i dati che questi modelli dovranno avere , ad un livello fattibile. E quindi una cosa che credo sia davvero interessante da notare è che molte delle attuali applicazioni di modelli, diciamo trasformatori, che [sono stati] trovati si adattano abbastanza bene in altre modalità, altri domini, linguaggio, visione, generazione di immagini, ecc., ecc., e applicandoli alla biologia fondamentalmente si ignora il fatto che sappiamo che esiste una cosa come il tempo, e che le leggi della fisica, almeno per quanto ne sappiamo, non sembrano semplicemente cambiare col tempo.

Il processo di ripiegamento delle proteine, ignorando il fatto che ci sono tonnellate e tonnellate di giocatori - accompagnatori e quant'altro - è in realtà, in un certo senso, un problema abbastanza arbitrariamente separato dal resto della cinetica delle proteine. È tanto cinetica quanto il resto della cinetica, o il resto della vita di quella proteina, di quella molecola. E quindi perché cerchiamo di addestrare modelli specifici per uno e, almeno potenzialmente, ignoriamo i dati che potremmo avere sull'altro? In questo caso, forse più specificamente, alcuni dei modelli di previsione della struttura proteica che abbiamo oggi, imparano già qualcosa sulla cinetica in modo implicito a causa del fatto che iniziano lentamente ad abbracciare, sai, l'esistenza del tempo?

Sviluppo di nuove architetture

Vijay Pande: Una delle cose interessanti che penso su dove ti trovi adesso è che, con poche rare eccezioni, la maggior parte delle reti neurali profonde o altri tipi di intelligenza artificiale in biologia sembrano prendere qualcosa inventato da qualche altra parte e portarlo con sé. Ad esempio, useremo le reti neurali convoluzionali per le immagini. Forse per piccole molecole... nel mio laboratorio a Stanford, abbiamo utilizzato reti neurali a grafo e diverse reti neurali convoluzionali. Ma sviluppare davvero un algoritmo in modo esplicito per il problema biologico è piuttosto raro. E ho sempre pensato che fosse perché è difficile avere le competenze di una squadra forte nel dominio della biologia e nel dominio dell'informatica. Ma sono curioso di sentire la tua opinione. O è solo raro sviluppare nuove architetture in primo luogo?

Jakob Uszkoreit: Bene, penso, alla fine, quello che stiamo vedendo è che le nuove architetture, anche se motivate da problemi specifici, se fanno davvero la differenza, allora tendono ad essere applicabili anche altrove. Ciò non significa, d'altra parte, che, lungo la strada, scegliere attentamente quali sono le applicazioni ei domini motivanti non farebbe una grande differenza. E penso che lo sia certamente.

Sento che una delle sfide chiave qui è davvero che non siamo ancora in un regime in biologia in cui abbiamo montagne e montagne di dati, anche se, rispetto a quello che avevamo tempo fa, è sorprendente. Ma non siamo ancora in quel regime in cui è solo seduto sull'equivalente del web, e possiamo filtrarlo un po', scaricarlo e farla finita. Ma invece, penso che dobbiamo crearlo in misura ragionevolmente ampia. E questo non sarà fatto dagli esperti di deep learning, almeno non dalla maggior parte di loro.

E credo che ciò debba avvenire di pari passo con la comprensione poi anche reale delle peculiarità di tali dati, giusto? I tipi di rumore che incontri lì. Il fatto che questi siano effettivamente creati in pool su larga scala, esperimenti ad alto rendimento, ma comunque esperimenti che vengono eseguiti in giorni diversi da diversi sperimentatori e così via e così via. E dove le persone con un background di apprendimento più approfondito lavorano a stretto contatto con persone con un background di biologia, imparano abbastanza su ciò che sappiamo sui fenomeni sottostanti, [saranno] fondamentalmente ispirati a provare nuovi approcci interessanti.

Vijay Pande: Bene, mi è piaciuto quando hai parlato solo dell'esempio del documento L'attenzione è tutto ciò di cui hai bisogno, di come volevi ottenere questo gruppo eterogeneo di persone le cui passioni erano, sai, abbastanza ortogonali l'una dall'altra. E in un certo senso, quando lo fai in biologia e soprattutto per quello che stai facendo in Inceptive, devi anche dedicare tutto questo lavoro alla generazione dei dati. E generare i dati significa davvero, per essere molto espliciti, eseguire esperimenti biologici su larga scala. La stessa parte di input è molto costosa e molto tecnica e, come hai detto, ha così tanti modi per sbagliare. Ma sembra che tu stia costruendo sulla cultura che hai fatto prima e ora sono solo più esperti con passioni diverse che si coordinano in modo analogo.

Jakob Uszkoreit: Ne ho davvero bisogno, [e] le persone ne hanno bisogno. Questa è, per quanto ne so, la strada più promettente. [Si tratta di] non mirare, in un certo senso, a un modello di pipeline, in cui determinati dati nel laboratorio in cui sono stati creati, dato il meglio delle nostre conoscenze, sugli aspetti sottostanti della vita. E poi iniziare a eseguire approcci di deep learning esistenti su di esso e poi modificarli. Ma invece davvero di avere persone che, in un certo senso, potrebbero essere tra le prime persone che stanno davvero lavorando in una disciplina che attualmente non ha ancora un grande nome.

Forse il minimo comune denominatore è la curiosità che va oltre quello che sai, quello che hai imparato prima e quello che forse hai passato la maggior parte del tuo tempo a fare. Scopriamo che, proprio come in moltissime altre aree, quello che stiamo davvero cercando è un gruppo di persone con background molto diversi, ma che condividono la curiosità.

Dove sta andando l'IA?

Vijay Pande: Dove pensi che l'IA sia in questo momento per quei problemi più difficili, per la progettazione di farmaci, l'assistenza sanitaria e così via? Cosa bisogna fare? Quando ci arriverà?

Jakob Uszkoreit: Mi aspetterei - ed è sempre molto pericoloso fare previsioni sul futuro - sarei molto sorpreso se entro i prossimi tre anni non iniziassimo effettivamente a vedere un punto [di svolta] quando si tratta degli effetti del mondo reale di machine learning, deep learning su larga scala nello sviluppo di farmaci, progettazione di farmaci. Dove esattamente saranno i primi, ovviamente, credo che molti di loro accadranno intorno all'RNA, alle terapie a base di RNA e ai vaccini. Questa non sarà certamente l'unica area interessata da questo, ma penso sicuramente che ci stiamo dirigendo verso il territorio del punto di svolta.

Vijay Pande: Hai fatto un punto interessante. Cosa c'è di diverso nell'RNA? Perché penso che sia particolarmente interessante, non solo che tu sia passato da Google Brain alla biologia, ma che tu sia passato specificamente all'RNA. Cosa ti attrae dell'RNA, soprattutto forse dal punto di vista dell'intelligenza artificiale o del machine learning?

Jakob Uszkoreit: Una cosa interessante dell'RNA è la combinazione tra, come abbiamo visto, un'applicabilità molto ampia - sebbene sia ancora ristretta nel senso di una singola indicazione - ma solo guardando a questa ondata di processi di approvazione che sta iniziando ed è iniziata, è abbastanza chiaro che l'applicabilità è molto, molto ampia, unita a - questo è un po' ambiguo - un problema strutturalmente semplice. Ed è strutturalmente semplice non nella frase che la previsione strutturale dell'RNA è semplice, ma è strutturalmente semplice nel senso che è un biopolimero con quattro basi diverse. Non stiamo parlando di oltre 20 aminoacidi. È qualcosa che può essere prodotto abbastanza efficacemente.

Ci sono alcune sfide lì, ma la sintesi è qualcosa che può scalare e si sta ridimensionando rapidamente, e queste cose si uniscono davvero per consentire questo rapido ciclo di feedback a cui immagino si alluda spesso, ma molto raramente, almeno da quello che so, effettivamente implementato e implementabile alla fine della giornata.

Vijay Pande: Sì, probabilmente è un ciclo di feedback più rapido, soprattutto per il modo in cui lo segui.

Jakob Uszkoreit: Sì. E dato che credo che dobbiamo creare la parte del leone dei dati per addestrare i modelli che stiamo addestrando, stiamo davvero investendo Inceptive nella creazione di tali dati su larga scala. E direi scala relativamente piuttosto massiccia, dato che l'RNA sembra essere di gran lunga la migliore combinazione quando si tratta di semplicità strutturale, ma anche di scalabilità della sintesi e di questa sperimentazione. C'è un enorme potenziale qui che finora non è stato sfruttato.

Vijay Pande: Sì, e penso soprattutto potenzialmente alla capacità di avere questi cicli rapidi, entrambi di tipo preclinico e quindi arrivare in clinica più velocemente ed essere in clinica [per un periodo di tempo più breve].

Jakob Uszkoreit: Assolutamente. Questo è davvero ciò che speriamo. Stiamo anche vedendo forse i primi indizi che indicano che potrebbe essere così e di cui siamo ovviamente, davvero, davvero entusiasti.

Vijay Pande: Pensare agli ultimi 10 anni è stato fantastico, sai, dal 2012 ad oggi. Come pensi che saranno i prossimi 10 anni? Dove pensi che saremo tra 10 anni con l'IA? O in generale o soprattutto per la bio?

Jakob Uszkoreit: Penso che se è davvero vero che stiamo entrando in questo territorio del punto di svolta, quando guarderemo indietro tra 10 anni, sembrerà una rivoluzione almeno altrettanto grande ed espansiva di quella che pensiamo di aver visto nel ultimi 10 anni. Proprio alla fine. Ora penso che ci sarà una differenza cruciale, e cioè che non è così chiaro esattamente quanto la rivoluzione a cui abbiamo assistito negli ultimi 10 anni influisca sulla vita di tutti. Ci sono alcune aree, motori di ricerca o scrittura assistita, ecc., in cui è evidente, ma non è chiaro quanto sia ampiamente applicabile questa rivoluzione. Credo che lo sia molto, ma non lo vediamo ancora. Penso che la rivoluzione che vedremo specificamente intorno alla bio nei prossimi 10 anni, o che guarderemo indietro tra 10 anni, sarà davvero diversa in termini di profondo impatto su tutte le nostre vite .

Anche solo lasciando da parte la progettazione di farmaci e le applicazioni di scoperta, ci sono applicazioni così sorprendenti dentro e intorno alla scoperta scientifica in cui ora potresti immaginare che, con un'interfaccia web, puoi fondamentalmente progettare molecole che in certi organismi hanno un'altissima probabilità di andare a rispondi a determinate domande, producendo letture più affidabili di, sai, quello a cui potevi arrivare in precedenza. Quindi, anche tralasciando l'intero tipo di complessità di come ciò influenzerà, in definitiva, i pazienti e tutti, è abbastanza chiaro, penso, che questi strumenti accelereranno rapidamente campi come la biologia.

Vijay Pande: Sembra un ottimo posto per farla finita. Grazie mille, Jakob, per esserti unito a Bio Eats World.

Jakob Uszkoreit: Grazie mille per avermi.

Olivia Webb: Grazie per esserti unito a Bio Eats World. Bio Eats World è ospitato e prodotto da me, Olivia Webb, con l'aiuto del team Bio + Health di a16z e curato da Phil Hegseth. Bio Eats World fa parte della rete di podcast a16z.

Se hai domande sull'episodio o vuoi suggerire argomenti per un episodio futuro, invia un'e-mail Ultimo ma non meno importante, se ti piace Bio Eats World, lasciaci una valutazione e una recensione ovunque ascolti i podcast.

Si prega di notare che il contenuto qui è solo a scopo informativo, non deve essere inteso come consulenza legale, commerciale, fiscale o di investimento, o essere utilizzato per valutare qualsiasi investimento o titolo, e non è diretto a nessun investitore o potenziale investitore in alcun fondo a16z . Per maggiori dettagli, vedere a16z.com/disclosures.

***

Le opinioni qui espresse sono quelle del personale di AH Capital Management, LLC ("a16z") citato e non sono le opinioni di a16z o delle sue affiliate. Alcune informazioni qui contenute sono state ottenute da fonti di terze parti, incluse società in portafoglio di fondi gestiti da a16z. Sebbene tratti da fonti ritenute affidabili, a16z non ha verificato in modo indipendente tali informazioni e non fornisce dichiarazioni sull'accuratezza duratura delle informazioni o sulla loro adeguatezza per una determinata situazione. Inoltre, questo contenuto può includere pubblicità di terze parti; a16z non ha esaminato tali annunci pubblicitari e non approva alcun contenuto pubblicitario in essi contenuto.

Questo contenuto viene fornito solo a scopo informativo e non deve essere considerato come consulenza legale, commerciale, di investimento o fiscale. Dovresti consultare i tuoi consulenti in merito a tali questioni. I riferimenti a qualsiasi titolo o risorsa digitale sono solo a scopo illustrativo e non costituiscono una raccomandazione di investimento o un'offerta per fornire servizi di consulenza in materia di investimenti. Inoltre, questo contenuto non è diretto né destinato all'uso da parte di investitori o potenziali investitori e non può in alcun caso essere invocato quando si decide di investire in qualsiasi fondo gestito da a16z. (Un'offerta per investire in un fondo a16z sarà fatta solo dal memorandum di collocamento privato, dal contratto di sottoscrizione e da altra documentazione pertinente di tale fondo e dovrebbe essere letta nella sua interezza.) Eventuali investimenti o società in portafoglio menzionati, citati o descritti non sono rappresentativi di tutti gli investimenti in veicoli gestiti da a16z, e non si può garantire che gli investimenti saranno redditizi o che altri investimenti effettuati in futuro avranno caratteristiche o risultati simili. Un elenco degli investimenti effettuati da fondi gestiti da Andreessen Horowitz (esclusi gli investimenti per i quali l'emittente non ha autorizzato a16z a divulgare pubblicamente e gli investimenti non annunciati in asset digitali quotati in borsa) è disponibile all'indirizzo https://a16z.com/investments /.

Grafici e grafici forniti all'interno sono esclusivamente a scopo informativo e non dovrebbero essere presi in considerazione quando si prende una decisione di investimento. I rendimenti passati non sono indicativi di risultati futuri. Il contenuto parla solo a partire dalla data indicata. Eventuali proiezioni, stime, previsioni, obiettivi, prospettive e/o opinioni espresse in questi materiali sono soggette a modifiche senza preavviso e possono differire o essere contrarie alle opinioni espresse da altri. Si prega di consultare https://a16z.com/disclosures per ulteriori informazioni importanti.

• Distribuzione di contenuti basati su SEO e PR. Ricevi amplificazione oggi.
• Platoblockchain. Web3 Metaverse Intelligence. Conoscenza amplificata. Accedi qui.
• Fonte: https://a16z.com/2023/01/11/bio-eats-world-using-ai-to-take-bio-farther/