Toimitusjohtajan haastattelu: Jay Dawani Lemurian Labsista - Semiwiki

Toimitusjohtajan haastattelu: Jay Dawani Lemurian Labsista – Semiwiki

Aikaleima: 2. helmikuuta 2024 9
Lähdesolmu: 3095502

Jay Lemurian

Jay Dawani on yrityksen perustaja ja toimitusjohtaja Lemurian Labs, startup, joka kehittää kiihdytettyä laskenta-alustaa, joka on räätälöity erityisesti tekoälysovelluksiin. Alusta murtaa laitteistoesteet tehdäkseen tekoälykehityksestä nopeampaa, halvempaa, kestävämpää ja useamman kuin muutaman yrityksen saatavilla.

Ennen Lemurianin perustamista Jay perusti kaksi muuta tekoälyavaruuden yritystä. Hän on myös kirjoittanut eniten arvostetun "Matematiikka syväoppimiseen"

Tekoälyn, robotiikan ja matematiikan asiantuntija Jay on toiminut blockchain-pohjaista pelialustaa rakentavan julkisen yrityksen BlocPlayn teknologiajohtajana ja tekoälyn johtajana GEC:ssä, jossa hän johti useiden eri alueiden asiakasprojektien kehitystä. vähittäiskaupan, algoritmisen kaupan, proteiinien taittamisen, avaruustutkimuksen robottien, suositusjärjestelmien ja muiden joukosta. Vapaa-ajallaan hän on toiminut myös neuvonantajana NASA Frontier Development Labissa, Spacebitissä ja SiaClassicissa.

Viime kerralla, kun esittelimme Lemurian Labsia, keskityit robotiikkaan ja reuna-AI:hen. Nyt olet keskittynyt datakeskukseen ja pilviinfrastruktuuriin. Mitä tapahtui, mikä sai sinut haluamaan kääntyä?

Itse asiassa siirryimme keskittymisestä korkean suorituskyvyn, alhaisen viiveen, järjestelmä-sirujen rakentamiseen autonomisille robotiikkasovelluksille, jotka voisivat nopeuttaa koko sense-plan-act -silmukkaa, verkkoaluekohtaisen AI-kiihdytin rakentamiseen, joka keskittyy datakeskusmittakaavaisiin sovelluksiin. . Mutta se ei ollut vain tavallinen kääntöpiste; se oli huutopuhelu, jonka tunsimme olevan vastuussa vastaamisesta.

Vuonna 2018 harjoittelimme 2.1 miljardin dollarin parametrimallin kouluttamista, mutta luopuimme ponnisteluista, koska kustannukset olivat niin poikkeuksellisen korkeat, ettemme voineet perustella sitä. Joten kuvitelkaa ihmetykseni siitä, että GPT3, jonka OpenAI julkaisi ChatGPT:nä marraskuussa 2022, oli 175 miljardin dollarin parametrimalli. Tämä malli on yli 80 kertaa suurempi kuin se, jonka parissa työskentelimme vain 4 vuotta aiemmin, mikä on sekä jännittävää että pelottavaa.

Tällaisen mallin koulutuksen hinta on vähintäänkin huikea. Nykyisten skaalaustrendien perusteella voimme olettaa, että äärimmäisen AI-mallin koulutuskustannukset ylittävät miljardin dollarin ei liian kaukaisessa tulevaisuudessa. Vaikka näiden mallien ominaisuudet ovat hämmästyttäviä, kustannukset ovat naurettavan korkeat. Tämän liikeradan perusteella vain muutamalla erittäin resursoidulla yrityksellä, jolla on omat datakeskukset, on varaa kouluttaa, ottaa käyttöön ja hienosäätää näitä malleja. Tämä ei johdu pelkästään siitä, että laskeminen on kallista ja virrankulutusta, vaan myös siitä, että ohjelmistopinoja, joihin luotamme, ei ole rakennettu tätä maailmaa varten.

Maantieteellisistä ja energiarajoitteista johtuen palvelinkeskuksia voi rakentaa vain niin paljon. Täyttääksemme tekoälyn laskentavaatimukset meidän on kyettävä rakentamaan zetta-mittakaavaisia ​​koneita ilman, että sen käyttämiseen tarvitaan 20 ydinreaktoria. Tarvitsemme käytännöllisemmän, skaalautuvamman ja taloudellisemman ratkaisun. Katsoimme ympärillemme, emmekä nähneet ketään, joka olisi ratkaissut tämän. Niinpä menimme piirustuspöydälle tarkastelemaan ongelmaa kokonaisvaltaisesti järjestelmien järjestelmänä ja pohtimaan ratkaisua ensimmäisistä periaatteista. Kysyimme itseltämme, kuinka suunnittelemme koko pinon ohjelmistosta laitteistoon, jos meidän pitäisi palvella taloudellisesti 10 miljardia LLM-kyselyä päivässä. Vuoteen 200 mennessä olemme ottaneet tähtäimemme alle 2028 MW:n zetta-kokoiseen koneeseen.

Temppu on katsoa asiaa suhteettoman skaalauksen näkökulmasta – järjestelmän eri osat noudattavat erilaisia ​​skaalaussääntöjä, joten jossain vaiheessa asiat vain lakkaavat toimimasta, alkavat rikkoutua tai kustannus-hyötykaupassa ei ole enää järkeä. Kun näin tapahtuu, ainoa vaihtoehto on suunnitella järjestelmä uudelleen. Arviointimme ja ratkaisumme kattaa työmäärän, numerojärjestelmän, ohjelmointimallin, kääntäjän, ajonajan ja laitteiston kokonaisvaltaisesti.

Onneksi nykyiset sijoittajamme ja muu markkinaosa näkevät vision, ja keräsimme 9 miljoonan dollarin siemenkierroksen kehittääksemme numeromuotomme – PAL:n, tutkiaksemme suunnittelutilaa ja lähentyäksemme verkkoaluekohtaisen kiihdyttimemme arkkitehtuuria. kääntäjä ja ajonaika. Simulaatioissa olemme pystyneet saavuttamaan 20-kertaisen suorituskyvyn pienemmällä energiajalanjäljellä kuin nykyaikaiset grafiikkasuorittimet, ja ennustamme pystyvämme tarjoamaan 8-kertaisen edun järjestelmän suorituskyvyssä saman transistoritekniikan kokonaiskustannuksilla.

Sanomattakin on selvää, että meillä on paljon työtä edessämme, mutta olemme melko innoissamme mahdollisuudesta määritellä datakeskusten talous uudelleen varmistaaksemme tulevaisuuden, jossa tekoäly on runsaasti kaikkien saatavilla.

Se kuulostaa varmasti jännittävältä ja nuo luvut vaikuttavat. Mutta olet maininnut numerojärjestelmät, laitteistot, kääntäjät ja ajonajat kaikkina asioina, joihin keskityt – se kuulostaa monelta yritykseltä kerralla. Vaikuttaa erittäin riskialtiselta ehdotukselta. Eikö startup-yritysten pitäisi olla keskittyneempiä? 

Se kuulostaa monelta erilaiselta yritykseltä, mutta itse asiassa se on yksi yritys, jossa on monia toisiinsa liittyviä osia. Vain yhden komponentin ratkaiseminen muista erillään vain haittaa innovaatiopotentiaalia, koska se jättää huomiotta systeemiset tehottomuudet ja pullonkaulat. Jensen Huang sanoi sen parhaiten: "Ollaksesi nopeutettu laskentayritys, sinun on oltava täyspinoyritys", ja olen täysin samaa mieltä. He ovat syystäkin nykyinen markkinajohtaja. Mutta haastaisin ajatuksen, että emme ole keskittyneet. Keskitymme siihen, kuinka ajattelemme ongelmaa kokonaisvaltaisesti ja kuinka voimme parhaiten ratkaista sen asiakkaillemme.

Se vaatii monialaista lähestymistapaa, kuten meillä. Jokainen työmme osa informoi ja tukee muita, jolloin voimme luoda ratkaisun, joka on paljon enemmän kuin osiensa summa. Kuvittele, jos sinun pitäisi rakentaa kilpa-auto. Et valitsisi mielivaltaisesti alustaa, lisäisi kilparenkaita ja pudottaisi sisään tehokkain moottorin ja kilpailisi sillä, eikö niin? Ajattelet auton korin aerodynaamisuutta vastuksen vähentämiseksi ja vetovoiman parantamiseksi, painonjakauman optimointia hyvän käsiteltävyyden saavuttamiseksi, räätälöidyn moottorin suunnittelun maksimaalisen suorituskyvyn saavuttamiseksi, jäähdytysjärjestelmän hankkimista ylikuumenemisen estämiseksi, turvahäkin, joka pitää kuljettajan turvassa. jne. Jokainen näistä elementeistä rakentuu ja antaa toisilleen tietoa.

On kuitenkin riskialtista yrittää tehdä se kaikki kerralla mille tahansa yritykselle millä tahansa alalla. Hallitsemme riskejä asteittain, jolloin voimme validoida teknologiamme asiakkaiden kanssa ja muokata strategiaamme tarpeen mukaan. Olemme osoittaneet, että numeromuotomme toimii ja että sillä on parempi teho-suorituskyky-alue kuin vastaavilla liukulukutyypeillä, mutta sillä on myös paremmat numeeriset ominaisuudet, jotka helpottavat hermoverkkojen kvantisointia pienemmille bittileveyksille. Olemme suunnitelleet arkkitehtuurin, johon tunnemme itsevarmuutta ja joka sopii sekä koulutukseen että päättelyyn. Mutta kaikkea tätä tärkeämpää on saada ohjelmisto oikein, ja se on suurin osa välittömästä painopisteestämme. Meidän on varmistettava, että teemme ohjelmistopinossamme oikeat päätökset sen suhteen, missä maailma on vuoden tai kahden tai useamman tämän päivän jälkeen.

Laiteyrityksen rakentaminen on vaikeaa, kallista ja kestää kauan. Ohjelmistoihin keskittyminen kuulostaa aluksi erittäin elinkelpoiselta liiketoiminnalta ja mahdollisesti houkuttelevammalta sijoittajien kannalta nykyisessä tilanteessa. Miksi teet myös laitteistoja, koska niin monet hyvin rahoitetut yritykset sulkevat ovensa, kamppailevat saadakseen omaksumista asiakkaiden kanssa ja suuremmat toimijat rakentavat omaa laitteistoaan?

Olet täysin oikeassa siinä, että ohjelmistoyritykset ovat yleensä pystyneet hankkimaan pääomaa paljon helpommin kuin laitteistoyritykset, ja että laitteistot ovat erittäin kovia. Keskitymme tällä hetkellä ohjelmistoihin, koska siinä näemme suurimman ongelman. Sanon selväksi, että ongelma ei ole siinä, saanko ytimet toimimaan suorittimella tai grafiikkasuorittimella korkealla suorituskyvyllä; se on pitkään ratkaistu ongelma. Nykypäivän ongelma on, kuinka voimme helpottaa kehittäjien saamaan lisää suorituskykyä tuottavasti useista tuhansista heterogeenisestä laskennasta koostuvasta solmuklusterista ilman, että heitä pyydetään tarkistamaan työnkulkuaan.

Tämä on ongelma, jonka ratkaisemiseen keskitymme tällä hetkellä ohjelmistopinolla, joka antaa kehittäjille supervoimia ja vapauttaa varaston mittakaavan tietokoneiden täyden kyvyn, jotta voimme kouluttaa ja ottaa käyttöön tekoälymalleja taloudellisemmin.

Nyt, mitä tulee sijoituksiin, riskipääomayritykset ovat valikoivampia niiden yritysten suhteen, joita he tukevat, mutta se tarkoittaa myös, että riskipääomayritykset etsivät yrityksiä, joilla on potentiaalia tarjota todella uraauurtavia tuotteita, joilla on selkeä tie kaupallistamiseen ja joilla on merkittävä vaikutus. Olemme oppineet toisten haasteista ja virheistä ja kehittäneet aktiivisesti liiketoimintamallimme ja tiekartamme riskien varalle. On myös tärkeää huomioida, että startup-yritysten menestyminen on harvoin ollut se, kuinka helposti he voivat kerätä riskipääomarahoitusta, vaan se liittyy enemmän niiden kekseliäisyyteen, itsepäisyyteen ja asiakaslähtöisyyteen.

Ja ennen kuin kysyt, työskentelemme edelleen laitteiston parissa, mutta pääasiassa simuloinnissa. Emme aio nauhoittaa vähään aikaan. Mutta voimme säästää tämän keskustelun toiseen kertaan.

Se on varmasti vakuuttavaa, ja vaiheittainen lähestymistapasi on hyvin erilainen verrattuna siihen, mitä olemme nähneet muiden laitteistoyritysten tekevän. Ymmärrän ongelman, jonka sanot ohjelmistopinosi ratkaisevan, mutta miten ohjelmistosi eroaa markkinoiden erilaisista toimista?

Suurin osa mainitsemistasi yrityksistä keskittyy helpottamaan GPU:iden ohjelmointia ottamalla käyttöön ruutupohjaisia ​​tai tehtäväkartoitusohjelmointimalleja saadakseen enemmän suorituskykyä GPU:sta tai rakentamalla uusia ohjelmointikieliä korkean suorituskyvyn ytimien ajoittamiseen eri laitteille. alustat, jotka tukevat in-line-kokoonpanoa. Ne ovat tärkeitä ongelmia, joita he käsittelevät, mutta näemme ongelman, jota ratkaisemme, lähes ortogonaalisena.

Mietitäänpä hetki laitteisto- ja ohjelmistosiirtymien tahtia. Yksiytimiset arkkitehtuurit saivat suorituskykyä kellotaajuudesta ja transistorin tiheydestä, mutta lopulta kellotaajuudet osuivat tasannelle. Monia ytimiä käyttävä rinnakkaisuus kiisti tämän ja tarjosi huomattavia nopeutta. Ohjelmistoilta kesti noin vuosikymmenen päästä umpeen, koska ohjelmointimallit, kääntäjät ja ajonajat piti miettiä uudelleen, jotta kehittäjät saisivat tämän paradigman arvon. Sitten GPU:ista alkoi tulla yleiskäyttöisiä kiihdyttimiä, jälleen eri ohjelmointimallilla. Jälleen kesti melkein vuosikymmen, ennen kuin kehittäjät saivat arvoa täältä.

Jälleen laitteisto on lyömässä tasanne - Mooren laki, energia- ja lämpörajoitukset, muistin pullonkaulat ja työkuormien monimuotoisuus sekä tarve räjähdysmäisesti enemmän laskentaa työntää meidät kohti yhä heterogeenisempien tietokonearkkitehtuurien rakentamista suorituskyvyn, tehokkuuden ja kokonaiskustannusten parantamiseksi. Tämä laitteiston muutos aiheuttaa tietysti haasteita ohjelmistoille, koska meillä ei ole oikeita kääntäjiä ja ajoaikoja tukemaan tietojenkäsittelyn seuraavaa kehitystä. Tällä kertaa meidän ei kuitenkaan pitäisi odottaa toista 10 vuotta, jotta ohjelmisto poimii heterogeenisten arkkitehtuurien tai suurten klustereiden arvon, varsinkin kun niistä jää yli 80 % käyttämättä.

Keskitymme rakentamaan heterogeenisuustietoisen ohjelmointimallin tehtäväpohjaisella rinnakkaisuudella, käsittelemään kannettavaa suorituskykyä prosessorien välisillä optimoinnilla, kontekstitietoisella käännöksellä ja dynaamisella resurssien allokoinnilla. Ja meille ei ole väliä, onko kyseessä CPU, GPU, TPU, SPU (Lemurian arkkitehtuuri) vai niiden kaikkien verkko. Tiedän, että se kuulostaa monilta hienoilta sanoilta, mutta se todella tarkoittaa, että olemme tehneet mahdolliseksi ohjelmoida minkä tahansa prosessorin yhdellä lähestymistavalla, ja voimme siirtää koodia yhdestä prosessorista toiseen minimaalisesti. vaivaa ilman, että sinun tarvitsee uhrata suorituskykyä, ja ajoita työ mukautuvasti ja dynaamisesti solmujen välillä.

Full Slide LL Spatial Processing Unit -arkkitehtuuri (1)

Jos sanomasi on totta, voit määrittää tietojenkäsittelyn kokonaan uudelleen. Puhutaanpa rahoituksesta. Keräsit 9 miljoonaa dollaria siemenrahoitusta viime vuonna, mikä merkitsee vahvaa sijoittajien tukea ja uskoa visioosi. Mitä olet tehnyt sen jälkeen?

Kuluneen vuoden aikana siemenrahoituksen vauhdittamana olemme edistyneet merkittävästi. Kun tiimimme on nyt 20 jäsentä, tartuimme haasteisiin huolellisesti, olimme yhteydessä asiakkaisiin ja kehitimme lähestymistapaamme.

Keskityimme PAL:n parantamiseen harjoittelua ja päätelmiä varten, tutkimme kiihdyttimemme tietokonearkkitehtuuria ja kehitimme simulaattorin suorituskykymittareihin. Samanaikaisesti suunnittelimme uudelleen ohjelmistopinomme datakeskussovelluksille ja korostimme heterogeenista laskentaa.

Tämä pyrkimys johti hyvin määriteltyyn arkkitehtuuriin, joka esitteli PAL:n tehokkuutta tekoälyssä laajassa mittakaavassa. Tekniikan kehityksen lisäksi pyrimme yhteistyöhön ja tavoitteisiin pääsyn demokratisoimiseksi. Nämä ponnistelut mahdollistavat Lemurian Labsin vastaamaan välittömiin asiakkaiden haasteisiin valmistautuen tuotantopiin julkaisuun.

Mitkä ovat Lemurian Labsin keskipitkän aikavälin suunnitelmat ohjelmistopinon kehittämisen, yhteistyön ja kiihdytinarkkitehtuurin parantamisen suhteen?

Välittömänä tavoitteemme on luoda ohjelmistopino, joka kohdistuu prosessoreihin, grafiikkasuorituksiin ja tekoälykiihdyttimiimme kannettavalla suorituskyvyllä, ja joka tulee saataville alkuvuoden kumppaneille vuoden lopussa. Keskustelemme parhaillaan useimpien johtavien puolijohdeyritysten, pilvipalveluntarjoajien, hyperskaalaajien ja tekoälyyritysten kanssa, jotta he voisivat käyttää kääntäjäämme ja suoritusaikaamme. Samanaikaisesti jatkamme kiihdytinarkkitehtuurin kehittämistä ja parantamista, jotta voimme luoda todella yhteissuunniteltua laitteisto- ja ohjelmistojärjestelmää. Ja tietysti olemme juuri aloittaneet A-sarjan nostamisen sijoittajayhteisön erittäin suurella kiinnostuksella, minkä ansiosta voimme kasvattaa tiimiämme ja saavuttaa tavoitteemme ohjelmistotuotteiden toimittamisesta vuoden lopussa.

Lopuksi, kuinka näet Lemurian Labsin myötävaikuttavan tekoälyn kehityksen, saavutettavuuden ja tasapuolisuuden muuttamiseen tulevina vuosina?

Emme pyrkineet määrittelemään tietojenkäsittelyä uudelleen vain kaupallisen hyödyn tai sen huvin vuoksi. Lemurialaisina liikkeellepaneva voimamme on se, että uskomme tekoälyn muuttavaan potentiaaliin ja että useammalla kuin muutamilla yrityksillä pitäisi olla resurssit määritellä tämän teknologian tulevaisuus ja kuinka käytämme sitä. Emme myöskään pidä hyväksyttävänä sitä, että tekoälyn palvelinkeskusinfrastruktuuri kuluttaa jopa 20 prosenttia maailman energiasta vuoteen 2030 mennessä. Me kaikki tulimme yhteen, koska uskomme, että yhteiskunnalla on parempi tie eteenpäin, jos voimme Tekoäly helpottaa alentamalla siihen liittyviä kustannuksia dramaattisesti, nopeuttaa tekoälyn innovaatiotahtia ja laajentaa sen vaikutusta. Vastaamalla nykyisen laitteistoinfrastruktuurin haasteisiin pyrimme tasoittamaan tietä miljardin ihmisen voimaannuttamiseksi tekoälyn ominaisuuksilla ja varmistaa tämän edistyneen teknologian tasapuolinen jakelu. Toivomme, että sitoutumisemme tuotekeskeisiin ratkaisuihin, yhteistyöhön ja jatkuvaan innovaatioon asettaa meidät liikkeellepanevana voimana muotoilemaan tekoälykehityksen tulevaisuutta myönteiseksi.

Lue myös:

Jaa tämä viesti:

Aikaleima:

Lisää aiheesta Semiwiki