Bio Eats World: Tekoälyn käyttö bion viemiseksi pidemmälle

Tässä jaksossa Vijay Pande puhuu Jakob Uszkoreitin, Inceptiven perustajan ja toimitusjohtajan kanssa. Yhdessä he keskustelevat kaikesta tekoälystä.

Julkaisemme tekstin kokonaisuudessaan alla, jos haluat lukea mukana.

***

Olivia Webb: Hei, ja tervetuloa Bio Eats Worldiin, podcastiin bio-, terveydenhuollon ja tekniikan risteyksessä. Olen Olivia Webb, Bio + Healthin toimituksellinen johtaja yrityksessä a16z. Tässä jaksossa keskustelimme Google Brainin entisen ja Inceptiven perustajan Jakob Uszkoreitin kanssa. Jakob on myös yksi tekijöistä merkittävässä tekoälytutkimuksessa Attention is All You Need, jonka linkitämme ohjelman muistiinpanoihin. Jakob istui Vijay Panden, a16z Bio + Healthin perustajakumppanin kanssa keskustellakseen kaikesta tekoälystä: hänen ajastaan ​​Google Brainissa, siihen, kuinka ihmiset ja tietokoneet käsittelevät kieltä, Inceptiven uskoon RNA:n lupaukseen ja siitä, kuinka Jakob uskoo meidän ovat tulossa käännepistealueelle AI:n kanssa.

Tämä on jakso, jota et halua missata, mutta se on myös jatko-oppilaskeskustelu tekoälystä, joten julkaisemme tekstin jakson rinnalla. Aloitetaan.

Sovellettavat algoritmit

Vijay Pande: Joten Jakob, kiitos paljon, että olet Bio Eats Worldissä. On hienoa saada sinut.

Jakob Uszkoreit: Mahtavaa olla täällä. Kiitos, että sait minut.

Vijay Pande: Varsinkin kun sinulla on niin kiehtova tarina tietojenkäsittelytieteilijänä, yrittäjänä ja perustajana, haluaisin, että opastaisit meidät uramatkallasi alkaen mistä tahansa, mutta se, mikä sai sinut Google Brainiin, on luultavasti hyvä paikka aloittaa. .

Jakob Uszkoreit: Muistan jossain määrin törmänneeni tähän koneoppimisongelmaan, ehkä laajimmassa merkityksessä, [ja] kielen ymmärtämiseen, jossain määrin tarkemmin, perheessä vallitsevana ongelmana. Joten isäni on tietojenkäsittelytieteilijä ja laskennallinen lingvisti, ja tiedäthän, että aikuisena Turingin koneet eivät välttämättä olleet täysin vieraita käsitteitä melko varhain.

Vijay Pande: Joo, kuulostaa siltä, ​​että se olisi voinut olla päivällispöytäkeskustelu.

Jakob Uszkoreit: Ne olivat ruokapöytäkeskusteluja. Ja niinpä erityisesti rajalliset automaatit ja se, miten ne itse asiassa liittyvät myyntiautomaatteihin, olivat yleisiä aiheita. Mitä vanhemmaksi tulin, sitä enemmän halusin varmistaa, että päädyin tekemään jotain erilaista. Ja niin päädyin tutkimaan melko vähän puhdasta matematiikkaa ja siihen liittyviä aloja. [Minä] keskityin todella vähän optimointiin, optimointialgoritmeihin, algoritmeihin ylipäänsä, laajemmin monimutkaisuusteoriaan, ennen kuin tajusin, että se ei ehkä ollut käytännöllisin ja soveltuvin asia, josta, tiedättekö, on tullut. hieman punaista lankaa koko urani ajan. Ja sitten kirjaimellisesti törmäsin Googlen harjoittelupaikkaan vuonna 2005.

Minulle annettiin muutamia eri vaihtoehtoja [sitä] minkälaisiin tutkimusprojekteihin liittyä, [ja] niiden joukossa oli erilaisia ​​tietokonenäköpyrkimyksiä, mutta myös konekäännösprojekti, josta pohjimmiltaan tuli Google Kääntäjä. Juuri tuolloin tai vähän ennen sitä [Kääntäjä] lanseerasi ensimmäisen tuotteensa, joka todella perustui Googlen kehittämiin sisäisiin järjestelmiin, ja tietyssä mielessä, suureksi tyrmistykseksi, kävi ilmi, että Google-kääntäjä Aikana oli ylivoimaisesti mielenkiintoisimmat suuren mittakaavan algoritmiongelmat.

Tuolloin oli todella mielenkiintoista nähdä, koska se, mikä sai minut keskeyttämään tohtorin tutkinnon ja palaamaan takaisin Googleen tuon harjoittelun jälkeen, oli todella se, että siellä käydessäni kävi selväksi, että jos haluat työskennellä jonkin asian parissa. koneoppiminen, joka ei ollut vain mielenkiintoinen ja sanotaanko älyllisesti ja tieteellisesti, jännittävä, haastava ja stimuloiva, vaan jolla oli myös todella suuria toiveita saada neula heti liikkeelle teollisuudessa ja tuotteissa. Siihen aikaan maailmassa ei todellakaan ollut kovin montaa paikkaa. Ja ne eivät todellakaan olleet akateemisia laboratorioita tuolloin, vaan hyvin paljon paikkoja, kuten Google. Ja Google siellä ja silloin oli itse asiassa erittäin eturintamassa tässä. Ja niin, tiedäthän, tuolloin ajattelin, että oli hämmästyttävää ajaa ensimmäiset laajamittaiset klusterointialgoritmit tuhannella koneella, ja se oli yksinkertaisesti, täysin mahdotonta tehdä muualla.

Vijay Pande: Kun puhut vanhempien kollegojemme kanssa, Bell Labsin kukoistuskausi on paljon romantiikkaa, ja olen aina miettinyt, voisiko Google Brain olla yksi läheisistä versioista nykyään. Millainen oli ympäristö?

Jakob Uszkoreit: Joten minusta tuntuu, että tuon ajan ja Google Brainin aloittamisen välillä, eli noin viisi vuotta myöhemmin, tapahtui merkittävä muutos. Ennen kuin Brain and Translate aloittivat, sitä ohjasivat paljon enemmän tuotteet, joilla oli todella vaikutusta, kuin uskon Bell Labsin. Ja meillä oli tietysti hyvä määrä Bell Labsin alumneja, mutta se oli paljon enemmän motivoitunut suorasta soveltuvuudesta.

Mikä minusta oli todella hämmästyttävää nähdä, kuinka konekäännös muuttui [jostakin, josta] oli hyvä nauraa juhlissa, aivan kirjaimellisesti. Jos he kysyvät sinulta, missä työskentelet? Ja sinä sanoit, Google. Ja sitten he sanoivat: mitä sinä siellä teet? Ja he olivat aluksi vaikuttuneita. Ja sitten sanoit, oi, minä työskentelen Google-kääntäjässä. Ja sitten he nauroivat ja kysyivät, toimiiko tämä koskaan? En usko niin. Mutta samaan aikaan sanoisin, että koneoppimisen aalto, koneoppimisen syväoppimista edeltävä renessanssiaalto, alkoi tasaantua. Tiedätkö, syväoppiminen oli jotain, mitä olin tehnyt aiemmin koulussa, ja pidin siitä, mutta sitä ei voinut todella soveltaa siihen aikaan.

Vijay Pande: Joo, varsinkin koska sinulla ei ollut asteikkoa akateemisessa maailmassa tarvittavien laskelmien tekemiseen.

Jakob Uszkoreit: Ei tietenkään korkeakouluissa, mutta jopa Googlessa. Vaikka tuohon aikaan Translatessa itse asiassa mielenkiintoisin erottuva piirre oli, sanoisin, että uskoimme todella datan absoluuttiseen voimaan loppujen lopuksi.

Joten yritimme olla tekemättä monimutkaisempia ja kehittyneempiä algoritmeja, vaan yksinkertaistaa ja skaalata niitä niin paljon kuin mahdollista ja mahdollistaa niiden harjoittaminen yhä useammalla tiedolla. Mutta törmäsimme juuri kattoon. Yksinkertaistukset, joita sinun oli tehtävä, jotta voit skaalata ne Googlen silloiseen mittakaavaan, olivat todella tavoitteemme. Mutta sitten, ja se oli tavallaan yksi näistä heilurin liikkeistä, heiluttivat takaisin akateemista maailmasta, joukko ihmisiä, joilla oli kasa GPU:ta – syvä oppiminen palasi tietyssä mielessä kostolla. Ja yhtäkkiä ympäristö sopeutui, koska oli epäselvää, mikä olisi suora polku mittakaavassa tuotantoon.

Ja niin koko ympäristö muuttui sovellus- ja tuotekeskeisyydestä joksikin, joka ainakin muutaman vuoden ajan tuntui paljon akateemisemmalta. Se on silti hieman erilainen kuin akateemiset laboratoriot, koska meillä olisi varaa enemmän GPU:ita, mutta tietyssä mielessä paljon paremmin tämän ajatuksen kanssa julkaisujen ohjaamana, pikemminkin harppauksin kuin askelin. [Se] muuttui erittäin, erittäin tuottavaksi – ja todella hämmästyttäväksi – mutta paljon avoimemmaksi [ympäristöksi].

Huomio on kaikki mitä tarvitset

Vijay Pande: No, julkaisuista puhuttaessa, luonnollinen paikka ajatella on, kun sinä ja tiimi julkaisit Attention is All You Need. Ja tiedätkö, se on ollut tärkeä paperi niin monelle generatiiviselle tekoälylle siitä lähtien, kun muuntajaalgoritmi laadittiin ensimmäisen kerran.

Jakob Uszkoreit: Kaksi vuotta ennen tämän paperin julkaisemista ymmärsimme [että] se, mikä oli tuolloin uusinta tekniikkaa esimerkiksi konekääntämiseen liittyvissä ongelmissa, tai [mitä] oli tulossa huippumoderniksi, nimittäin LSTM- tai RNN-pohjainen. , Seq2Seq yleisesti koulutusparadigmana ja asennuksena, mutta myös verkkoarkkitehtuurina – oli uskomattomia ongelmia jopa tuolloin nykyaikaisimmissa GPU:issa, kun oli kyse datan skaalauksesta.

Esimerkiksi aivan ensimmäinen Googlen lanseeraama hermoston konekäännösjärjestelmä, GNMT, ei tietääkseni ollut oikeastaan ​​koskaan koulutettu kaikkeen käytettävissämme olevaan harjoitustietoon, jota olimme aiemmin louhineet lausepohjaisia ​​tilastojärjestelmiä varten. Ja tämä johtui siitä, että algoritmit eivät vain skaalautuneet hyvin datamäärän suhteen. Lyhyesti sanottuna emme siis tarkastelleet tuolloin konekäännöstä, vaan ongelmia, joissa Googlen sisällä meillä oli vielä suurempia määriä koulutusdataa saatavilla. Nämä olivat siis haun tuloksena tulleita ongelmia, joissa sinulla on periaatteessa vielä kolme tai neljä suuruusluokkaa. Tiedätkö, nyt ei ole enää miljardeja sanoja, vaan biljoonia helposti, ja yhtäkkiä kohtasimme tämän kaavan, jossa yksinkertaiset eteenpäinkytkentäverkostot, vaikka ne tekivätkin naurettavia yksinkertaistavia oletuksia, kuten "se on vain pussillinen sanoja tai se on vain pussillinen suursäkki". , ja lasket niiden keskiarvon ja lähetät ne suuren MNLP:n kautta, ne ylittivät RNN:t ja LSTM:t, ainakin kun niitä on koulutettu lisäämään dataa.

[Ja he olivat] n kertaa nopeampia, helposti 10, 20 kertaa nopeampia harjoittelemaan. Ja jotta voit kouluttaa heitä lisäämään dataa. Joissakin tapauksissa [he olivat] sata kertaa nopeampia treenata. Ja niinpä päädyimme johdonmukaisesti malleihin, jotka olivat yksinkertaisempia ja jotka eivät voineet ilmaista tai vangita tiettyjä ilmiöitä, joiden tiedämme olevan yleisiä kielessä.
Ja kuitenkin, tiedäthän, ne olivat halvempia kouluttaa ja [he] suoriutuivat paremmin.

Vijay Pande: Annetaan vain esimerkki ihmisille, jotka eivät ole tuttuja. Joten, jos sanoin, näytä minulle kaikki lähellä olevat ravintolat paitsi italialainen, se näyttää sinulle kaikki italialaiset ravintolat, eikö niin?

Jakob Uszkoreit: Tarkalleen. Itse asiassa sanomasi voidaan todennäköisesti järjestää uudelleen, jotta voin näyttää kaikki italialaiset ravintolat lähellä olevia lukuun ottamatta. Se on vain sanakeitto, ja voit järjestää sen uudelleen johonkin, joka varmasti tarkoittaa jotain erilaista.

Vijay Pande: Kyllä.

Jakob Uszkoreit: Ja sitten likimääräisesti pääset käsiksi rakenteeseen ja pääset käsiksi globaalimpiin ilmiöihin laittamalla biggrammit. Eli pohjimmiltaan kahden peräkkäisen sanan ryhmiä ja sellaisia ​​asioita. Mutta on selvää, että varmasti sellaisissa kielissä kuin saksa, joissa verbin voi periaatteessa laittaa lauseen loppuun…

Vijay Pande: Ja se muuttaa koko merkityksen, eikö?

Jakob Uszkoreit: Muuttaa kaiken merkityksen, täsmälleen, kyllä. Riippumatta siitä, minkä kokoisia n-grammiasi – tai pieniä sanaryhmiäsi – ovat, et lopulta onnistu. Ja meille tuli selväksi, että täytyy olla erilainen tapa, joka ei vaadi RNN:n toistumista pituudeltaan tai toistumista sanojen tai pikselien järjestyksessä, vaan joka itse asiassa käsittelee syötteet ja lähdöt rinnakkaisemmalla tavalla ja todella viime kädessä palvelevat nykyaikaisen kiihdytinlaitteiston vahvuuksia.

Vijay Pande: Ajattele sitä, kuin pussi sanaa olisi sanoja satunnaisessa järjestyksessä. LSTM tai pitkä lyhytaikainen muisti antaa ehkä jonkinlaisen [kyvyn] katsoa menneisyyteen, eikö niin? Mutta muuntajat tekevät jotain radikaalisti erilaista. Miten muuntajat vievät sen uudelle tasolle?

Jakob Uszkoreit: On aina kaksi tapaa tarkastella tätä. Yksi on tehokkuuden linssin läpi, mutta toinen tapa, joka on ehkä hieman intuitiivisempi, on tarkastella sitä sen perusteella, kuinka paljon kontekstia voit säilyttää. Ja kuten sanoit, LSTM:t tai toistuvat neuroverkot yleensä, ne liikkuvat syötteensä läpi vaiheittain, laajasti ottaen, ja vaikka ne teoriassa pystyvät ylläpitämään mielivaltaisen pitkiä kontekstiikkunoita syötteiksi – menneisyydeksi –, mitä Käytännössä tapahtuu niin, että heidän on itse asiassa hyvin vaikea tunnistaa tapahtumia, sanoa sanoja tai pikseleitä, jotka ovat hyvin kaukana menneisyydestä ja jotka todella vaikuttavat merkitykseen päivän lopussa. Heillä on tapana keskittyä asioihin, jotka ovat lähellä.

Toisaalta muuntaja periaatteessa vain kääntää sen päälaelleen ja sanoo: ei, joka vaiheessa se, mitä teemme, ei kulje sisääntulon läpi. Tarkastelemme joka vaiheessa syötteen tai tulosteen kokonaisuutta ja periaatteessa tarkistamme asteittain videon jokaisen sanan tai jokaisen pikselin tai jokaisen korjaustiedoston tai jokaisen ruudun esityksiä, kun periaatteessa liikumme, emme syöttötilassa. , mutta esitystilassa.

Vijay Pande: Kyllä.

Jakob Uszkoreit: Ja tuossa ajatuksessa oli joitain haittoja sen suhteen, kuinka se sopisi nykyaikaiseen laitteistoon, mutta verrattuna toistuviin hermoverkkoihin, sillä oli etupäässä etuja, koska nyt ei itse asiassa ollut pakko laskea peräkkäisiä esityksiä, vaikkapa sana sanalta. Se, mikä sinua sitoi, on, kuinka hyviä niiden pitäisi olla? Kuinka monta kerrosta tällaista rinnakkaista käsittelyä kaikista paikoista, joissa kaikki, missä kaikki sanaparit tai kaikki kuvapaikat voivat olla vuorovaikutuksessa välittömästi? Kuinka monta versiota näistä esityksistä minulla on itse asiassa "varaa"?

Vijay Pande: Todella mielenkiintoista on myös se, että inspiraationa on ilmeisesti luonnollinen kieli, mutta että on monia rakenteita, joita haluat syöttää, kun et halua tutkia sitä vain peräkkäin, kuten DNA-sekvenssi – ja pääsemme biologiaan. tarpeeksi pian – että haluat saada mallin koko asiasta.

Se on hauskaa kielen kanssa. Kun puhun tai kun kuuntelen sinua, käsittelen jokaista sanaa, mutta lopulta minun ei tarvitse vain tokenoida sanoja yksittäisiksi merkityksiksi, vaan minun on tavallaan kehitettävä tätä esitystä. Joo? Toivon, että voisimme tehdä sen kuten muuntajat tekevät. Ja ehkä se temppu on siinä, että LSTM:t ovat lähempänä tapaa, jolla me ihmiset teemme sen, ja muuntajat ovat ehkä juuri sellaisia, joita meidän pitäisi tehdä, tai toivoisin, että voisimme tehdä sen.

Jakob Uszkoreit: Pinnallisesti katsoen se on totta, vaikkakin loppujen lopuksi – tällaiset introspektiiviset argumentit ovat hienovaraisia ​​ja hankalia.

Joten luulisin, että monet meistä tietävät tämän ilmiön, jossa huudat tai huudat jonkun kanssa, joka yrittää kommunikoida jotain vilkkaalla kadulla. Ja niin kuulet jotain, mitä he sanovat, ja se ei ole lyhyt sanasarja, etkä periaatteessa ymmärtänyt mitään. Mutta sitten puoli sekuntia myöhemmin ymmärsit yhtäkkiä koko lauseen. Se itse asiassa vihjaa tosiasiaan, että vaikka meidän on pakko kirjoittaa ja lausua kieltä peräkkäin - vain ajan nuolen vuoksi - ei ole niin selvää, että syvemmälle ymmärryksemme todella kulkee tällä peräkkäisellä tavalla.

Tiimin rakentaminen

Vijay Pande: Jos joku tutkii vaikka vain Attention is All You Need -paperia tai muuntajan toimintaa, siinä on monia osia. Ja näyttää siltä, ​​että se on nyt luultavasti mennyt ohi pisteen, jossa yksi henkilö voisi tehokkaasti tehdä sen työn itse missä tahansa lyhyessä ajassa.

Jakob Uszkoreit: Ehdottomasti.

Vijay Pande: Joten nyt tarvitset todella tiimin ihmisiä tekemään tämäntyyppisiä asioita. Mitä sosiologiaa siinä on? Miten sellainen syntyy?

Jakob Uszkoreit: Tämä tapaus on mielestäni todella upea esimerkki jostakin, joka sopii poikkeuksellisen hyvin esimerkiksi teolliseen lähestymistapaan tieteelliseen tutkimukseen. Koska olet aivan oikeassa. Tämä ei ollut se yksi iso mielikuvituksen ja luovuuden kipinä, joka laukaisee kaiken.

Se oli oikeastaan ​​koko joukko lahjoituksia, jotka kaikki olivat lopulta tarpeellisia. Meillä oli ympäristö, kirjasto – joka myöhemmin myös oli avoimen lähdekoodin nimellä Tensor2Tensor – joka itse asiassa sisälsi toteutuksia. Eikä mitä tahansa toteutuksia, vaan poikkeuksellisen hyviä toteutuksia, kaikenlaisten syväoppimistemppujen nopeita toteutuksia.
Mutta sitten myös näihin huomiomekanismeihin, jotka tulivat esiin aikaisemmista julkaisuista - kuten hajottava huomiomalli [joka julkaistiin] aiemmin - mutta sitten itse asiassa yhdistettiin parannuksiin ja innovaatioihin, optimoijien ympärillä oleviin keksintöihin. Luulen, että et löydä ihmisiä, jotka todella olisivat yhtä aikaa maailman johtavien asiantuntijoiden joukossa kaikissa näissä asioissa ja jotka ovat todella myös yhtä intohimoisia kaikista näistä näkökohdista.

Vijay Pande: Ja varsinkin siellä on alkuperäinen idea, sen toteutus, sen skaalaus. Tämän tyyppisen mittakaavan saavuttaminen missään muualla kuin suuressa yrityksessä juuri nyt ei todennäköisesti ole mahdollista vain kustannusten vuoksi.

Jakob Uszkoreit: Luulisin, että ehkä suuryritysnäkökulma ei ole niin ratkaiseva.

Vijay Pande: Joo?

Jakob Uszkoreit: Yritysnäkökulma on sellainen, jota arvostan korkeammalle. Suuri yritys ei todellakaan haittaa, jos tarvitset tuhansia ja tuhansia TPU:ita tai GPU:ita tai mitä sinulla on. Syvät taskut eivät koskaan satu tällaisille tavaroille. Mutta samalla uskon, että tällaisen teollisuuden tutkivan tutkimuksen ympärillä oleva kannustinrakenne soveltuu juuri paljon paremmin tällaisiin projekteihin. Ja luulen, että se on jotain, mitä näemme, kun tarkastellaan generatiivisia tekoälyprojekteja kautta linjan.

Vijay Pande: Joo. Ja sinun kannaltasi se voi olla startup.

Jakob Uszkoreit: Se voi varmasti olla startup. Ja luulen, että nyt näemme, että kiihdytinlaitteiston käyttö on tulossa ainakin edullisemmaksi. Ja on startuppeja, jotka kilpailevat kovasti, kun on kyse generatiivisesta tekoälystä, joka on suunnattu kuvien tai tekstin luomiseen.

Hyppy biotieteisiin

Vijay Pande: Haluaisin siirtyä siihen, mitä teet nyt. Olet Inceptive-yhtiön toimitusjohtaja, yritys, joka soveltaa tekoälyä RNA-biologiaan RNA-terapiassa. Miten siirryit biotieteisiin? Pinnallisesti puhuminen kielimalleista illallisen [pöydän] ympärillä ja sitten Google-kahvilan ympärillä… näyttää siltä, ​​​​että se voisi olla hyppy seuraavan sukupolven terapiaan. Miten se kaikki syntyi?

Jakob Uszkoreit: En voisi olla enempää samaa mieltä. Se on uskomaton oppimiskokemus minun päästäni. Biologia on ollut minulle jo jonkin aikaa sellainen ongelma, jossa ei vaikuta mahdottomalta, että meillä on rajat siihen, kuinka pitkälle voimme mennä esimerkiksi lääkekehityksessä ja suorassa suunnittelussa perinteisen biologian selkärankana. Suunnittele tulevaisuuden lääkkeitä – tai löydä menetelmiä suunnitteluun.

Näyttää siltä, ​​että erityisesti mittakaavassa tapahtuva syväoppiminen on monestakin syystä potentiaalisesti todella sopiva työkalu tässä. Ja yksi niistä syistä itse asiassa on jotain, jota ei usein lasketa eduksi, mikä on se, että voit vain heittää jotain tähän isoon mustaan ​​laatikkoon. Ja se ei ole totta, että voit vain heittää sen. Se on jotain, mitä sinun täytyy osata heittää se.

Vijay Pande: Eikä sekään ole aivan musta. Siitä voimme väitellä myöhemmin.

Jakob Uszkoreit: Kyllä täsmälleen. Tarkalleen. Mutta loppujen lopuksi, palatakseni analogiaan kieleen, emme ole koskaan onnistuneet täysin, siinä mielessä, ymmärtämään ja käsitteellistämään kieltä siinä määrin, että voisit väittää, oi, minä menen nyt kertomaan sinulle tämä teoria kielen takana, ja sen jälkeen pystyt toteuttamaan algoritmin, joka "ymmärtää" sen. Emme ole koskaan päässeet siihen pisteeseen. Sen sijaan meidän piti keskeyttää ja ottaa askel taaksepäin ja mielestäni jossain määrin myöntää itsellemme, että se ei ehkä ollut pragmaattisin lähestymistapa. Sen sijaan meidän pitäisi kokeilla lähestymistapoja, jotka eivät vaadi tällaista käsitteellistä ymmärrystä. Ja uskon, että sama saattaa päteä biologian osiin.

Tekoälyn käyttäminen bion viemiseksi pidemmälle

Vijay Pande: Se on mielenkiintoista, olemme puhuneet tällaisista asioista ennenkin. Ajattelet viime vuosisataa, [joka oli] pitkälti fysiikan ja laskennan vuosisata. Siellä on tietty mentaliteetti, jossa voit yksinkertaistaa asioita erittäin tyylikkäästi, ja sinulla voi olla yksi yhtälö, kuten Einsteinin kenttäyhtälöt, jotka kuvaavat niin paljon, ja se on hyvin yksinkertainen yhtälö hyvin monimutkaisella kielellä. Olet puhunut siitä, että tämä Feynman-lähestymistapa, melkein kuin fysiikan sosiologia, ei ehkä sovellu tänne biologiaan, eikö niin?

Jakob Uszkoreit: Se ei ehkä sovellu, ainakin kahdesta syystä, jotka näen tässä vaiheessa. Ensimmäinen on se, että mukana on liikaa pelaajia. Ja vaikka on totta, että voimme ehkä pelkistää kaiken Schrodingerin yhtälöön ja ratkaista sen, niin se vain sattuu olemaan, ei vain laskennallisesti vaikeaselkoista, vaan meidän olisi myös tiedettävä kaikista näistä erilaisista pelaajista, emmekä tällä hetkellä tiedä. . Ei edes lähelle. Se on siis yksi näkökohta.

Ja sitten toinen on pohjimmiltaan laskennallinen hallitsemattomuus, jossa pelkistys on tietyssä mielessä edennyt niin pitkälle, että vaikka se palauttaa kaiken takaisin yhteen asiaan, se ei auta meitä, koska laskennalliset lähestymistavat periaatteessa Nämä perustekijät ennusteiden tekemiseksi ovat aivan liian hitaita tehdäkseen ennusteita järjestelmille, jotka ovat riittävän suuria, jotta niillä olisi oikeasti merkitystä elämään.

Vijay Pande: Joo. Joten se ei ole n-kappaleen yhtälö, mutta silti siinä on formalismin tunne – ehkä se on enemmän datalähtöistä formalismia tai bayesilaista formalismia. Miten se vaikuttaa siihen, mitä haluaisit tehdä? Miten tämä vaikuttaa tekoälyn ja muiden uusien algoritmien soveltamiseen?

Jakob Uszkoreit: Mielestäni siinä on pari eri näkökulmaa. Loppujen lopuksi yksi suurimmista poiminnoista, joita näemme tällä hetkellä generatiivisessa tekoälyssä, on mielestäni se, että meidän ei enää tarvitse harjoitella datalla, joka ei ole vain täysin puhdasta, vaan myös nimenomaan toimialueelta. ja sellaisista tehtävistä, joita haluaisit myöhemmin hoitaa. Mutta sen sijaan se voi olla hyödyllisempää tai jopa ainoa tapa, jonka olemme tähän mennessä havainneet, yrittää todella harjoitella kaikkea, mitä huomaat liittyvän edes etäisesti. Käytä sitten näistä tiedoista tehokkaasti kerättyä tietoa saadaksesi niin sanottuja perusmalleja, joita voit sitten hienosäätää kaikenlaisiin erityistehtäviin käyttämällä paljon pienempiä, paljon helpommin seurattavia määriä puhtaampaa dataa.

Luulen, että aliarvioimme hieman sen, mitä meidän on tiedettävä ilmiöistä yleisesti. Erittäin hyvän suuren kielimallin rakentamiseksi sinun on ymmärrettävä, että on olemassa tämä asia nimeltä internet ja siinä on paljon tekstiä. Sinun on itse asiassa ymmärrettävä melko vähän siitä, kuinka löytää tämä teksti, mikä ei ole tekstiä ja niin edelleen, jotta voit periaatteessa tislata siitä sitten käyttämäsi harjoitustiedot.

Uskon, että biologian ympärillä on hyvin suoraan vastaavia haasteita. Suuri kysymys on: mitkä ovat kokeita, jotka voimme skaalata niin, että voimme tarkkailla elämää riittävässä mittakaavassa juuri riittävän tarkasti – mutta paljon vähemmän täsmällisesti pitäen mielessä ongelmat, joita yrität lopulta ratkaista – jotta voimme pohjimmiltaan otamme siitä tiedot, joita tarvitsemme aloittaaksemme näiden perustusmallien rakentamisen ja joita voimme sitten käyttää hienosäädettynä ja erityisesti suunniteltuna, jotta voimme todella lähestyä ongelmia, joihin haluamme puuttua.

Tiedontuotanto-osa on varmasti yksi niistä. Arkkitehtuurit ja tehokkaat mallit ja verkkoarkkitehtuurit, jotka jäljittelevät sitä, mitä tiedämme, esimerkiksi alla olevasta fysiikasta, ovat edelleen uskomattoman tehokas tapa todella säästää laskentaa ja myös vähentää edelleen valtavaa tiedonhalua, jota näillä malleilla on oltava. , toteuttamiskelpoiselle tasolle. Ja yksi asia, jonka uskon olevan todella mielenkiintoista huomata, on se, että monet nykyiset mallien sovellukset, esimerkiksi muuntajat, jotka on [on] havaittu skaalautuvan melko hyvin muilla menetelmillä, muilla aloilla, kielellä, visiolla, kuvan luonnissa, jne. jne., ja soveltamalla niitä biologiaan jätetään periaatteessa huomiotta se tosiasia, että tiedämme, että aika on olemassa ja että fysiikan lait eivät ainakaan parhaan tietomme mukaan näytä vain muuttuvan ajan myötä.

Proteiinien laskostusprosessi, jossa ei oteta huomioon tosiasiaa, että pelaajia on tonnia ja tonneja – saattajia ja mitä tahansa – on itse asiassa tietyssä mielessä melko mielivaltaisesti erotettu ongelma muusta proteiinikinetiikasta. Se on aivan yhtä paljon kinetiikkaa kuin sen proteiinin, molekyylin loppuosa kinetiikasta tai loppuelämästä. Ja miksi siis yritämme kouluttaa malleja erityisesti yhdelle ja mahdollisesti ainakin jättää huomiotta tiedot, jotka meillä saattaa olla toisesta? Tässä tapauksessa, ehkä tarkemmin sanottuna, ovatko jotkin nykyiset proteiinirakenteen ennustemalleistamme oppineet jo jotain kinetiikasta implisiittisesti, koska ne alkavat hitaasti omaksua, tiedätkö, ajan olemassaolon?

Uusien arkkitehtuurien kehittäminen

Vijay Pande: Yksi mielenkiintoisista asioista, joita ajattelen tilanteestasi tällä hetkellä, on se, että muutamaa harvinaista poikkeusta lukuun ottamatta useimmat syvät hermoverkot tai muun tyyppiset tekoälyt biologiassa tuntuvat vievän jotain keksittyä jonnekin muualle ja kantavan sen eteenpäin. Kuten me käytämme kuviin konvoluutiohermoverkkoja. Ehkä pienille molekyyleille… laboratoriossani Stanfordissa käytimme graafisia hermoverkkoja ja useita konvoluutiohermoverkkoja. Mutta algoritmin kehittäminen nimenomaisesti biologiseen ongelmaan on melko harvinaista. Ja olen aina olettanut, että se johtui siitä, että on vaikeaa saada tiimin taitoja, jotka ovat vahvat biologian ja tietojenkäsittelytieteen alalla. Mutta olen utelias kuulemaan mielipiteesi. Vai onko vain harvinaista kehittää uusia arkkitehtuureja alun perin?

Jakob Uszkoreit: No, luulen, että loppujen lopuksi näemme, että uudet arkkitehtuurit, vaikka ne ovatkin motivoituneita erityisistä ongelmista, jos niillä todella on vaikutusta, niitä voidaan soveltaa myös muualla. Se ei toisaalta tarkoita, etteikö motivoivien sovellusten ja verkkotunnusten huolellinen valinta matkalla perille vaikuttaisi merkittävästi. Ja mielestäni varmasti tekeekin.

Mielestäni yksi tärkeimmistä haasteista tässä on todella se, että emme ole vielä biologian järjestelmässä, jossa meillä on joukoittain dataa, vaikka se on hämmästyttävää verrattuna siihen, mitä meillä oli jonkin aikaa sitten. Mutta emme ole vielä sellaisessa järjestelmässä, jossa se vain istuu verkossa, ja voimme suodattaa sitä hieman, ladata sen ja olla valmis. Mutta sen sijaan mielestäni meidän on luotava se kohtuullisen suuressa määrin. Ja sitä eivät tee syvän oppimisen asiantuntijat, ainakaan useimmat heistä.

Ja uskon, että sen on tapahduttava samalla tavalla, kun myös todella ymmärretään mainittujen tietojen erityispiirteet, eikö niin? Millaisia ​​meluja siellä kohtaat. Se tosiasia, että nämä on itse asiassa luotu erittäin suurissa skaalautuneissa pooleissa, korkean suorituskyvyn kokeissa, mutta silti kokeissa, joita eri kokeilijat suorittavat eri päivinä ja niin edelleen ja niin edelleen. Ja jos ihmiset, joilla on syvällisempi oppimistausta, työskentelevät riittävän tiiviisti biologian taustalla olevien ihmisten kanssa, oppivat tarpeeksi siitä, mitä tiedämme taustalla olevista ilmiöistä, [he] periaatteessa inspiroituvat kokeilemaan mielenkiintoisia uusia lähestymistapoja.

Vijay Pande: No, pidin siitä, että puhuit vain esimerkistä Attention is All You Need -paperista, kuinka halusit saada tämän monimuotoisen ryhmän ihmisiä, joiden intohimot olivat melko suorassa suhteessa toisiinsa. Ja tietyssä mielessä, kun teet tätä biologiassa ja erityisesti Inceptivessä, sinun on myös panostettava kaikki tämä työ datan tuottamiseen. Ja tietojen tuottaminen todella tarkoittaa, että ollaan hyvin yksiselitteisiä, biologisten kokeiden suorittamista mittakaavassa. Syöttöosa itsessään on erittäin kallis ja erittäin tekninen, ja kuten sanoit, siinä on monia tapoja mennä pieleen. Mutta kuulostaa siltä, ​​että rakennat aiemmin tekemäsi kulttuurin varaan, ja nyt on vain enemmän asiantuntijoita, joilla on erilaisia ​​intohimoja, jotka koordinoivat vastaavalla tavalla.

Jakob Uszkoreit: Minä todella tarvitsen, [ja] ihmiset tarvitsevat sitä. Tämä on minun mielestäni lupaavin tie. [On] ei pyritä tietyssä mielessä putkimalliin, jossa tiettyjä tietoja laboratoriossa, jossa ne luotiin, parhaan tietämyksemme perusteella elämän taustalla olevista näkökohdista. Ja sitten alkaa käyttää olemassa olevia syväoppimismenetelmiä ja sitten muokata niitä. Mutta sen sijaan todella, että meillä olisi ihmisiä, jotka tietyssä mielessä saattavat olla ensimmäisten joukossa, jotka todella työskentelevät alalla, jolla ei tällä hetkellä ole vielä suurta nimeä.

Ehkä pienin yhteinen nimittäjä on uteliaisuus, joka ulottuu pidemmälle kuin tiedät, mitä olet oppinut aiemmin ja mihin olet ehkä käyttänyt suurimman osan ajasta. Huomaamme, että aivan kuten monilla muillakin aloilla, tavoittelemme ihmisiä, joilla on hyvin erilaisia ​​taustoja, mutta jotka jakavat uteliaisuuden.

Minne AI on menossa?

Vijay Pande: Missä tekoäly on mielestäsi juuri nyt noissa vaikeissa ongelmissa, lääkesuunnittelussa, terveydenhuollossa ja niin edelleen? Mitä pitää tehdä? Milloin se tulee sinne?

Jakob Uszkoreit: Odotin – ja on aina erittäin vaarallista ennustaa tulevaisuutta – olisin hyvin yllättynyt, jos seuraavan kolmen vuoden aikana emme itse asiassa alkaisi nähdä [käännekohtaa] tapahtuvan, kun on kyse todellisen maailman vaikutuksista. koneoppiminen, laajamittainen syväoppiminen lääkekehityksessä, lääkesuunnittelu. Tietysti, missä he ovat ensin, uskon, että monet niistä tapahtuvat RNA:n, RNA-terapian ja rokotteiden ympärillä. Tämä ei varmasti ole ainoa alue, johon tämä vaikuttaa, mutta uskon ehdottomasti, että olemme menossa käännepistealueelle.

Vijay Pande: Esitit mielenkiintoisen pointin. Mitä eroa RNA:ssa on? Koska mielestäni se on erityisen mielenkiintoista, ei vain se, että siirryit Google Brainista biologiaan, vaan erityisesti RNA:han. Mikä houkuttelee sinua RNA:ssa, varsinkin ehkä tekoälyn tai ML:n näkökulmasta?

Jakob Uszkoreit: Yksi asia, joka on mielenkiintoinen RNA:ssa, on yhdistelmä, kuten olemme nähneet, erittäin laajan sovellettavuuden välillä – vaikka se on edelleen kapea yhden indikaation merkityksessä – mutta kun vain katsoo tätä alkavaa ja alkanutta hyväksymisprosessia, se on melkoista. On selvää, että sovellettavuus on hyvin, hyvin laaja, yhdistettynä - tämä on hieman epäselvä - rakenteellisesti yksinkertainen ongelma. Ja se ei ole rakenteellisesti yksinkertaista siinä lauseessa, että RNA:n rakenteellinen ennustus on yksinkertainen, vaan se on rakenteellisesti yksinkertainen siinä mielessä, että se on biopolymeeri, jossa on neljä eri emästä. Emme puhu yli 20 aminohaposta. Se on jotain, joka voidaan tuottaa melko tehokkaasti.

Siinä on joitain haasteita, mutta synteesi on jotain, joka voi skaalautua ja skaalautuu nopeasti, ja nämä asiat yhdistyvät todella mahdollistaakseen tämän nopean palautesilmukan, johon luulisi usein viitataan, mutta hyvin harvoin, ainakin sen perusteella, mitä tiedän, tosiasiallisesti toteutettu. ja toteutettavissa päivän päätteeksi.

Vijay Pande: Joo, luultavasti se on nopeampi palautesilmukka, varsinkin sen jälkeen, kun menet sen jälkeen.

Jakob Uszkoreit: Joo. Ja koska uskon, että meidän on luotava leijonanosa tiedoista koulutettavien mallien kouluttamiseksi, investoimme todella Inceptiveen tällaisten tietojen luomiseen laajassa mittakaavassa. Ja sanoisin, että suhteellisen massiivinen mittakaava, kun otetaan huomioon, että RNA näyttää olevan ylivoimaisesti paras yhdistelmä, kun on kyse rakenteellisesta yksinkertaisuudesta, mutta myös synteesin ja tämän kokeilun skaalautumisesta. Tässä on valtava potentiaali, joka on toistaiseksi jäänyt hyödyntämättä.

Vijay Pande: Joo, ja mielestäni erityisesti potentiaalinen kyky saada nämä nopeat syklit, molemmat tavallaan prekliiniset ja siksi päästä klinikalle nopeammin ja olla klinikalla [lyhyemmän ajan].

Jakob Uszkoreit: Ehdottomasti. Sitä me todella toivomme. Näemme myös ehkä varhaisia ​​vihjeitä, jotka osoittavat, että näin saattaa olla ja että olemme tietysti todella, todella innoissamme.

Vijay Pande: Viimeisten 10 vuoden ajatteleminen on ollut hämmästyttävää, tiedäthän, vuodesta 2012 tähän päivään. Miltä sinun mielestäsi näyttävät seuraavat 10 vuotta? Missä luulet meidän olevan 10 vuoden kuluttua tekoälyn kanssa? Joko laajasti vai erityisesti bion kannalta?

Jakob Uszkoreit: Uskon, että jos on todella totta, että olemme tulossa tälle käännepistealueelle, kun katsomme taaksepäin 10 vuoden päästä, se näyttää vähintään yhtä suurelta ja laajalta vallankumoukselta kuin se, jonka luulemme nähneemme viimeiset 10 vuotta. Ainakin. Nyt uskon, että siinä tulee olemaan ratkaiseva ero, ja se on, että ei ole niin selvää, kuinka laajasti viimeisten 10 vuoden aikana kokemamme vallankumous vaikuttaa kaikkien elämään. On tiettyjä alueita, hakukoneita tai avustettua kirjoittamista jne., joilla se on ilmeistä, mutta ei ole selvää, kuinka laajasti tämä vallankumous on sovellettavissa. Uskon sen olevan hyvinkin niin, mutta emme näe sitä vielä. Uskon, että vallankumous, jonka tulemme näkemään nimenomaan bion ympärillä seuraavien 10 vuoden aikana tai jota aiomme katsoa taaksepäin 10 vuoden kuluttua, on todella erilainen sen syvällisen vaikutuksen suhteen meidän kaikkien elämään. .

Vaikka jätettäisiinkin sivuun lääkesuunnittelu- ja löytösovellukset, tieteellisessä löydössä ja sen ympärillä on niin uskomattomia sovelluksia, joissa voit nyt kuvitella, että web-käyttöliittymän avulla voit periaatteessa suunnitella molekyylejä, jotka tietyissä organismeissa ovat erittäin todennäköisiä. vastaa tiettyihin kysymyksiin ja tuottaa luotettavampia lukemia kuin mitä olet aiemmin voinut saada. Joten vaikka jätettäisiin pois kaikenlainen monimutkaisuus siitä, miten tämä vaikuttaa lopulta potilaisiin ja kaikkiin, on mielestäni melko selvää, että nämä työkalut vain kiihdyttävät nopeasti biologian kaltaisia ​​aloja.

Vijay Pande: Se tuntuu hyvältä paikalta lopettaa se. Kiitos paljon, Jakob, että liityit Bio Eats Worldiin.

Jakob Uszkoreit: Kiitos paljon siitä, että sain minut.

Olivia Webb: Kiitos liittymisestäsi Bio Eats Worldiin. Bio Eats Worldin isännöi ja tuotan minä, Olivia Webb, a16z:n Bio + Health -tiimin avulla ja editoi Phil Hegseth. Bio Eats World on osa a16z podcast -verkkoa.

Jos sinulla on kysyttävää jaksosta tai haluat ehdottaa aiheita tulevalle jaksolle, lähetä sähköpostia Viimeisenä mutta ei vähäisimpänä, jos pidät Bio Eats Worldistä, jätä meille arvio ja arvostelu missä tahansa kuuntelet podcasteja.

Huomaa, että tässä vain tiedotustarkoituksessa olevaa sisältöä ei tule pitää oikeudellisena, liike-, vero- tai sijoitusneuvona, eikä sitä saa käyttää minkään sijoituksen tai arvopaperin arvioimiseen, eikä se ole suunnattu minkään a16z-rahaston sijoittajille tai mahdollisille sijoittajille. . Lisätietoja on osoitteessa a16z.com/disclosures.

***

Tässä esitetyt näkemykset ovat yksittäisen AH Capital Management, LLC:n ("a16z") lainaaman henkilöstön näkemyksiä, eivätkä ne ole a16z:n tai sen tytäryhtiöiden näkemyksiä. Tietyt tähän sisältyvät tiedot on saatu kolmansien osapuolien lähteistä, mukaan lukien a16z:n hallinnoimien rahastojen kohdeyrityksiltä. Vaikka a16z on otettu luotettaviksi uskotuista lähteistä, se ei ole itsenäisesti tarkistanut tällaisia ​​tietoja eikä esitä tietojen pysyvää tarkkuutta tai sen soveltuvuutta tiettyyn tilanteeseen. Lisäksi tämä sisältö voi sisältää kolmannen osapuolen mainoksia; a16z ei ole tarkistanut tällaisia ​​mainoksia eikä tue mitään niiden sisältämää mainossisältöä.

Tämä sisältö on tarkoitettu vain tiedoksi, eikä siihen tule luottaa lainopillisena, liike-, sijoitus- tai veroneuvona. Näissä asioissa kannattaa kysyä neuvojanne. Viittaukset arvopapereihin tai digitaaliseen omaisuuteen ovat vain havainnollistavia, eivätkä ne ole sijoitussuositus tai tarjous tarjota sijoitusneuvontapalveluita. Lisäksi tämä sisältö ei ole suunnattu eikä tarkoitettu sijoittajien tai mahdollisten sijoittajien käytettäväksi, eikä siihen voida missään olosuhteissa luottaa tehdessään sijoituspäätöstä mihinkään a16z:n hallinnoimaan rahastoon. (A16z-rahastoon sijoitustarjous tehdään vain minkä tahansa tällaisen rahaston suunnatun osakeannin muistion, merkintäsopimuksen ja muiden asiaankuuluvien asiakirjojen perusteella, ja ne tulee lukea kokonaisuudessaan.) Kaikki mainitut sijoitukset tai kohdeyritykset, joihin viitataan, tai kuvatut eivät edusta kaikkia investointeja a16z:n hallinnoimiin ajoneuvoihin, eikä voi olla varmuutta siitä, että investoinnit ovat kannattavia tai että muilla tulevaisuudessa tehtävillä investoinneilla on samanlaisia ​​ominaisuuksia tai tuloksia. Luettelo Andreessen Horowitzin hallinnoimien rahastojen tekemistä sijoituksista (lukuun ottamatta sijoituksia, joiden osalta liikkeeseenlaskija ei ole antanut a16z:lle lupaa julkistaa, sekä ennalta ilmoittamattomat sijoitukset julkisesti noteerattuihin digitaalisiin omaisuuseriin) on saatavilla osoitteessa https://a16z.com/investments /.

Kaaviot ja kaaviot ovat vain tiedoksi, eikä niihin tule luottaa sijoituspäätöstä tehtäessä. Aiempi kehitys ei kerro tulevista tuloksista. Sisältö puhuu vain ilmoitetun päivämäärän mukaan. Kaikki näissä materiaaleissa esitetyt ennusteet, arviot, ennusteet, tavoitteet, näkymät ja/tai mielipiteet voivat muuttua ilman erillistä ilmoitusta ja voivat poiketa tai olla ristiriidassa muiden ilmaisemien mielipiteiden kanssa. Tärkeitä lisätietoja on osoitteessa https://a16z.com/disclosures.

• SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
• Platoblockchain. Web3 Metaverse Intelligence. Tietoa laajennettu. Pääsy tästä.
• Lähde: https://a16z.com/2023/01/11/bio-eats-world-using-ai-to-take-bio-farther/