Intervjuu tegevjuhiga: Jay Dawani ettevõttest Lemurian Labs – Semiwiki

Jay Dawani on ettevõtte kaasasutaja ja tegevjuht Lemuuria laborididufirma, mis arendab spetsiaalselt tehisintellekti rakenduste jaoks kohandatud kiirendatud andmetöötlusplatvormi. Platvorm murrab läbi riistvaratõkked, et muuta tehisintellekti arendamine kiiremaks, odavamaks, jätkusuutlikumaks ja kättesaadavaks rohkem kui mõnele ettevõttele.

Enne Lemuriani asutamist asutas Jay veel kaks AI-ruumi ettevõtet. Ta on ka kõrgeima hinnangu autorMatemaatika süvaõppeks. "

Tehisintellekti, robootika ja matemaatika ekspert Jay on olnud plokiahelapõhist mänguplatvormi ehitava avaliku ettevõtte BlocPlay CTO ja olnud tehisintellekti, GEC-i tehisintellekti direktorina, kus ta juhtis mitmeid valdkondi hõlmavaid klientprojekte. jaemüügist, algoritmilisest kauplemisest, valkude voltimisest, kosmoseuuringute robotitest, soovitussüsteemidest ja muust. Vabal ajal on ta olnud ka NASA Frontier Development Labi, Spacebiti ja SiaClassicu nõustaja.

Viimati, kui Lemurian Labsi esitlesime, keskendusite robootikale ja AI-le. Nüüd olete keskendunud andmekeskusele ja pilveinfrastruktuurile. Mis juhtus, mis pani teid pöördesse tahtma?

Tõepoolest, me keskendusime suure jõudlusega, madala latentsusajaga, süsteemse kiibi loomiselt autonoomsete robootikarakenduste jaoks, mis võiksid kiirendada kogu mõtteplaani-toimingu ahelat, AI jaoks domeenispetsiifilise kiirendi loomisele, mis keskendub andmekeskuse mastaabis rakendustele. . Kuid see polnud lihtsalt tavaline pöördepunkt; see oli kõlav kõne, mida tundsime, et meil on kohustus vastata.

2018. aastal töötasime välja 2.1 miljardi dollari suuruse parameetrimudeli väljaõppe kallal, kuid loobusime sellest pingutusest, kuna kulud olid nii erakordselt suured, et me ei suutnud seda õigustada. Kujutage ette minu üllatust, et GPT3, mille OpenAI avaldas ChatGPT-na 2022. aasta novembris, oli 175 miljardi dollari suurune parameetrimudel. See mudel on rohkem kui 80 korda suurem kui see, mille kallal vaid 4 aastat varem töötasime, mis on ühtaegu põnev ja hirmutav.

Sellise mudeli väljaõppe hind on pehmelt öeldes jahmatav. Praeguste skaleerimise suundumuste põhjal võime eeldada, et piiriäärse tehisintellekti mudeli koolitamise kulud ületavad mitte liiga kauges tulevikus miljardi dollari. Kuigi nende mudelite võimalused on hämmastavad, on hind naeruväärselt kõrge. Selle trajektoori põhjal saavad vaid käputäis väga hästi varustatud ettevõtteid, millel on oma andmekeskused, lubada nende mudelite koolitamist, juurutamist ja täpsustamist. Selle põhjuseks ei ole mitte ainult see, et arvutamine on kallis ja energianäljas, vaid ka seetõttu, et tarkvaravirnad, millele me tugineme, pole loodud selle maailma jaoks.

Geograafiliste ja energiapiirangute tõttu on andmekeskuste ehitamiseks nii palju kohti. Tehisintellekti arvutusnõuete täitmiseks peame suutma ehitada zettaskaalas masinaid ilma, et selle toiteks oleks vaja 20 tuumareaktorit. Vajame praktilisemat, mastaapsemat ja ökonoomsemat lahendust. Vaatasime ringi ja ei näinud kedagi, kes oleks selle lahendamise teel. Ja nii läksimegi joonestuslaua juurde, et vaadelda probleemi terviklikult kui süsteemide süsteemi ja arutleda lahenduse üle esimestest põhimõtetest lähtuvalt. Küsisime endalt, kuidas me kujundaksime kogu virna tarkvarast riistvarani, kui peaksime säästlikult teenindama 10 miljardit LLM-päringut päevas. Oleme 200. aastaks võtnud sihikule zettaskaalalise masina, mille võimsus on alla 2028 MW.

Nipp seisneb selles, et vaadata seda ebaproportsionaalse skaleerimise vaatevinklist – süsteemi eri osad järgivad erinevaid skaleerimisreegleid, nii et ühel hetkel asjad lihtsalt lakkavad töötamast, hakkavad katki minema või kulutasuvuse kompromissil pole enam mõtet. Kui see juhtub, on ainus võimalus süsteem ümber kujundada. Meie hindamine ja lahendus hõlmab terviklikult töökoormust, numbrisüsteemi, programmeerimismudelit, kompilaatorit, käitusaega ja riistvara.

Õnneks näevad meie olemasolevad investorid ja ülejäänud turg seda visiooni ning me kogusime 9 miljonit dollarit iduvooru, et arendada oma numbrivormingut – PAL, et uurida disainiruumi ja läheneda meie domeenispetsiifilise kiirendi arhitektuurile ning koostada kompilaator ja käitusaeg. Simulatsioonides oleme suutnud saavutada 20-kordset läbilaskevõimet väiksema energiajalajäljega kui kaasaegsed GPU-d ja prognoosime, et suudame sama transistoritehnoloogia puhul pakkuda süsteemi jõudluses 8-kordset kasu omamise kogukulude osas.

Ütlematagi selge, et meil on ees palju tööd, kuid oleme üsna põnevil väljavaatest, et saame andmekeskuse ökonoomika ümber määratleda, et tagada tulevik, kus tehisintellekt on kõigile rikkalikult kättesaadav.

See kõlab kindlasti põnevalt ja need numbrid kõlavad muljetavaldavalt. Kuid olete maininud numbrisüsteeme, riistvara, kompilaatoreid ja käitusaegu kui kõike, millele keskendute – see kõlab iga ettevõtte jaoks palju korraga. Tundub väga riskantne ettepanek. Kas idufirmad ei peaks olema rohkem keskendunud? 

See kõlab nagu palju erinevaid jõupingutusi, kuid tegelikult on see üks pingutus, millel on palju omavahel seotud osi. Ainult ühe komponendi lahendamine teistest eraldiseisvana ainult pärsib innovatsioonipotentsiaali, kuna jätab tähelepanuta süsteemsed ebaefektiivsused ja kitsaskohad. Jensen Huang ütles kõige paremini: "Selleks, et olla kiirendatud andmetöötlusettevõte, peate olema täiskomplektne ettevõte" ja ma olen täiesti nõus. Nad on praegu turuliider põhjusega. Kuid ma vaidlustaksin arusaama, et me ei ole keskendunud. Meie tähelepanu keskmes on see, kuidas me probleemist terviklikult mõtleme ja kuidas seda oma klientide jaoks kõige paremini lahendada.

Selleks on vaja multidistsiplinaarset lähenemist nagu meie. Iga meie töö osa teavitab ja toetab teisi, võimaldades meil luua lahenduse, mis on palju enamat kui selle osade summa. Kujutage ette, kui peaksite ehitama võidusõiduauto. Sa ei valiks suvaliselt šassii, ei lisaks võidurehve ega viskaks sisse võimsaimat mootorit, mis võimalik, ega sõidaks sellega, eks? Võiksite mõelda auto kere aerodünaamilisusele, et vähendada takistust ja suurendada survejõudu, optimeerida kaalujaotust hea juhitavuse tagamiseks, kohandada mootorit maksimaalse jõudluse saavutamiseks, hankida jahutussüsteem, mis takistab ülekuumenemist, määrata turvapuur, mis tagab juhi turvalisuse. jne. Igaüks neist elementidest tugineb ja teavitab teist.

Sellegipoolest on riskantne proovida seda kõike korraga teha mis tahes ettevõtte jaoks mis tahes tööstusharus. Riskide juhtimiseks kasutame järkjärgulist lähenemist, mis võimaldab meil oma tehnoloogiat klientidega kinnitada ja vajadusel oma strateegiat kohandada. Oleme tõestanud, et meie numbrivorming töötab ja et sellel on parem võimsus-jõudluspiirkond kui samaväärsetel ujukomatüüpidel, kuid sellel on ka paremad numbrilised omadused, mis hõlbustavad närvivõrkude kvantiseerimist väiksematele bitilaiustele. Oleme loonud arhitektuuri, milles tunneme end kindlalt ja mis sobib nii koolituseks kui ka järelduste tegemiseks. Kuid sellest kõigest olulisem on tarkvara õige saamine ja see on meie vahetu fookus. Peame tagama, et teeme oma tarkvaravirnas õiged otsused selle kohta, kus me maailma näeme aasta või kahe või enama pärast tänasest.

Riistvaraettevõtte loomine on raske, kulukas ja võtab kaua aega. Tarkvarale keskendumine tundub esiteks väga elujõulise ettevõttena ja praeguses kliimas potentsiaalselt investoritele atraktiivsem. Miks tegelete ka riistvaraga, kuna paljud hästi rahastatud ettevõtted sulgevad oma uksed, püüavad klientidele omaks võtta ja suuremad tegijad ehitavad oma riistvara?

Teil on täiesti õigus, et tarkvaraettevõtted on üldiselt suutnud kapitali kaasata palju kergemini kui riistvaraettevõtted ja see riistvara on väga karm. Meie praegune fookus on väga palju tarkvaral, sest see on koht, kus me näeme suuremat probleemi. Ütlen selgelt, probleem ei seisne selles, kas saan kernelid tööle suure jõudlusega CPU või GPU abil. see on kaua lahendatud probleem. Tänapäeva probleem seisneb selles, kuidas hõlbustada arendajatel mitme tuhande heterogeensest arvutusest koosneva sõlmeklastrite tulemuslikkust suuremat jõudlust, ilma et nad paluksid neil oma töövoogu põhjalikult muuta.

See on probleem, mille lahendamisele keskendume praegu tarkvaravirnaga, mis annab arendajatele ülivõimu ja avab laoarvutite täieliku võimekuse, et saaksime tehisintellekti mudeleid säästlikumalt koolitada ja juurutada.

Mis puudutab investeeringuid, siis jah, riskikapitaliettevõtted on valivamad selliste ettevõtete suhtes, mida nad toetavad, kuid see tähendab ka, et riskikapitaliettevõtted otsivad ettevõtteid, kellel on potentsiaal pakkuda tõeliselt murrangulisi tooteid, millel on selge tee kommertsialiseerimisele, kuid millel on märkimisväärne mõju. Oleme õppinud teiste väljakutsetest ja vigadest ning oleme riskidega tegelemiseks aktiivselt kujundanud oma ärimudelit ja tegevuskava. Samuti on oluline arvestada, et idufirmade edu on harva teinud see, kui lihtsalt nad saavad riskikapitali rahastamist hankida, vaid see on rohkem seotud nende leidlikkuse, kangekaelsuse ja kliendikesksusega.

Ja enne kui küsite, töötame endiselt riistvara kallal, kuid praegu peamiselt simulatsiooniga. Me ei kavatse mõnda aega lindistada. Kuid me võime selle vestluse mõneks muuks korraks salvestada.

See on kindlasti mõjuv ja teie järkjärguline lähenemine on väga erinev võrreldes sellega, mida oleme näinud teiste riistvaraettevõtete puhul. Ma saan aru probleemist, mida teie tarkvarapinn lahendab, kuid kuidas teie tarkvara erineb erinevatest turul pakutavatest jõupingutustest?

Enamik ettevõtteid, kellele viitate, keskenduvad GPU-de programmeerimise hõlbustamisele, võttes kasutusele paanipõhised või ülesannete kaardistamise programmeerimismudelid, et saada GPU-dest rohkem jõudlust, või luues uusi programmeerimiskeeli, et saada suure jõudlusega tuumasid, mis on ajastatud erinevatele platvormidele. platvormid, mis toetavad in-line montaaži. Need on olulised probleemid, millega nad tegelevad, kuid me näeme probleemi, mida me lahendame, peaaegu ortogonaalsena.

Mõelgem korraks riistvara ja tarkvara üleminekute kadentsile. Ühetuumalised arhitektuurid saavutasid jõudluse tänu taktsagedusele ja transistori tihedusele, kuid lõpuks jõudsid taktsagedused platoole. Paljusid südamikke kasutav paralleelsus hoidis sellest mööda ja andis märkimisväärseid kiirusi. Tarkvaral kulus järele jõudmiseks umbes kümme aastat, sest programmeerimismudelid, kompilaatorid ja käitusajad tuli ümber mõelda, et aidata arendajatel selle paradigma väärtust välja tuua. Seejärel hakkasid GPU-d muutuma üldotstarbelisteks kiirenditeks, jällegi erineva programmeerimismudeliga. Jällegi kulus siin väärtuse leidmiseks arendajatel peaaegu kümme aastat.

Jällegi on riistvara saavutamas platoo – Moore’i seadus, energia- ja termilised piirangud, mälu kitsaskohad ja töökoormuste mitmekesisus ning vajadus eksponentsiaalselt suurema arvutuse järele sunnivad meid looma üha heterogeensemaid arvutiarhitektuure parema jõudluse, tõhususe ja kogukulude saavutamiseks. See nihe riistvaras tekitab muidugi tarkvarale väljakutseid, sest meil pole õigeid kompilaatoreid ja käitusaegu, mis toetaksid andmetöötluse järgmist arengut. Seekord ei peaks me aga ootama veel 10 aastat, kuni tarkvara eraldab heterogeensete arhitektuuride või suurte klastrite väärtuse, eriti kui need jäävad enam kui 80% kasutamata.

Keskendume ülesandepõhise paralleelsusega heterogeensusteadliku programmeerimismudeli loomisele, kaasaskantava jõudluse käsitlemisele protsessoritevahelise optimeerimise, kontekstiteadliku kompileerimise ja dünaamilise ressursside jaotamise abil. Ja meie jaoks pole vahet, kas see on CPU, GPU, TPU, SPU (Lemuurse arhitektuur) või nende kõigi võrk. Ma tean, et see kõlab nagu palju väljamõeldud sõnu, kuid tegelikult on see see, et oleme võimaldanud programmeerida mis tahes protsessorit ühtse lähenemisviisiga ja saame portida koodi ühest protsessoritüübist teise minimaalse kuluga. tehke jõupingutusi, ilma et peaksite jõudlust ohverdama, ja ajastage tööd adaptiivselt ja dünaamiliselt sõlmede vahel.

Kui see, mida te ütlete, on tõsi, võite lihtsalt andmetöötluse täielikult ümber defineerida. Räägime rahastamisest. Kogusite eelmisel aastal 9 miljonit dollarit stardirahastust, mis tähendab tugevat investorite toetust ja usku oma visiooni. Mida olete pärast seda teinud?

Viimase aasta jooksul oleme algrahastuse toel teinud olulisi edusamme. Kuna meie meeskond on praegu 20-liikmeline, lahendasime hoolikalt väljakutseid, suhtlesime klientidega ja täiustasime oma lähenemisviisi.

Keskendusime PAL-i täiustamisele koolituse ja järelduste tegemiseks, uurisime oma kiirendi arvutiarhitektuuri ja töötasime välja jõudlusmõõdikute simulaatori. Samal ajal kujundasime ümber oma tarkvaravirna andmekeskuse rakenduste jaoks, rõhutades heterogeenset andmetöötlust.

Selle jõupingutuse tulemuseks oli täpselt määratletud arhitektuur, mis näitab PAL-i tõhusust tehisintellekti jaoks ulatuslikult. Lisaks tehnilistele edusammudele tegime juurdepääsu demokratiseerimiseks koostööd ja abi. Need jõupingutused seavad Lemurian Labsi positsiooni klientide vahetute väljakutsetega tegelemiseks, valmistudes meie tootmisräni väljalaskmiseks.

Millised on Lemurian Labsi keskmise tähtajaga plaanid seoses tarkvarapaki arendamise, koostöö ja kiirendi arhitektuuri täiustamisega?

Meie vahetu eesmärk on luua tarkvarapakk, mis on sihitud kaasaskantava jõudlusega protsessoritele, GPU-dele ja meie tehisintellekti kiirenditele, mis tehakse aasta lõpus varajastele partneritele kättesaadavaks. Me räägime praegu enamiku juhtivate pooljuhtettevõtetega, pilveteenuste pakkujatega, hüperskaalarite ja tehisintellekti ettevõtetega, et anda neile juurdepääs meie kompilaatorile ja käitusajale. Paralleelselt jätkame oma kiirendi arhitektuuri kallal töötamist ja täiustamist, et luua tõeliselt ühiselt loodud riist- ja tarkvarasüsteem. Ja loomulikult oleme just alustanud oma A-sarja tõstmist investorite kogukonna väga suure huviga, mis võimaldab meil oma meeskonda kasvatada ja täita oma eesmärki tarkvaratoodete tarnimiseks aasta lõpus.

Lõpetuseks, kuidas näete Lemurian Labsi panustamist tehisintellekti arendamise, juurdepääsetavuse ja võrdsuse muutmisse lähiaastatel?

Me ei kavatsenud andmetöötlust ümber defineerida ainult ärilise kasu või selle lõbu pärast. Lemuurlastena on meie liikumapanev jõud see, et me usume tehisintellekti muutvasse potentsiaali ja et enamal kui mõnel ettevõttel peaks olema ressursse, et määratleda selle tehnoloogia tulevik ja kuidas me seda kasutame. Samuti ei pea me vastuvõetavaks seda, et tehisintellekti andmekeskuste infrastruktuur tarbib 20. aastaks 2030% maailma energiast. Me kõik tulime kokku, sest usume, et kui suudame, on ühiskonna jaoks parem tee. Tehisintellekt on juurdepääsetavam, vähendades oluliselt sellega seotud kulusid, kiirendades tehisintellekti innovatsiooni tempot ja laiendades selle mõju. Tegeledes praeguse riistvara infrastruktuuri väljakutsetega, püüame sillutada teed miljardile inimesele tehisintellekti võimaluste andmiseks, tagades selle arenenud tehnoloogia õiglase leviku. Loodame, et meie pühendumus tootekesksetele lahendustele, koostööle ja pidevale uuendustegevusele seab meid edasiviiva jõuna tehisintellekti arengu positiivseks kujundamisel.

Samuti loe:

Jaga seda postitust:

• SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
• PlatoData.Network Vertikaalne generatiivne Ai. Jõustage ennast. Juurdepääs siia.
• PlatoAiStream. Web3 luure. Täiustatud teadmised. Juurdepääs siia.
• PlatoESG. Süsinik, CleanTech, Energia, Keskkond päikeseenergia, Jäätmekäitluse. Juurdepääs siia.
• PlatoTervis. Biotehnoloogia ja kliiniliste uuringute luureandmed. Juurdepääs siia.
• Allikas: https://semiwiki.com/ceo-interviews/341485-ceo-interview-jay-dawani-of-lemurian-labs-2/