Intervju z izvršnim direktorjem: Jay Dawani iz Lemurian Labs - Semiwiki

Intervju z izvršnim direktorjem: Jay Dawani iz Lemurian Labs – Semiwiki

Časovni žig: 2. februar 2024 9
Izvorno vozlišče: 3095502

Jay Lemurian

Jay Dawani je soustanovitelj in izvršni direktor pri Lemurijski laboratoriji, startup, ki razvija pospešeno računalniško platformo, prilagojeno posebej za aplikacije AI. Platforma premaga ovire strojne opreme, da naredi razvoj AI hitrejši, cenejši, bolj trajnosten in dostopen več kot le nekaj podjetjem.

Pred ustanovitvijo Lemuriana je Jay ustanovil še dve podjetji na področju umetne inteligence. Je tudi avtor najbolje ocenjene knjige “Matematika za poglobljeno učenje«.

Strokovnjak za umetno inteligenco, robotiko in matematiko je Jay deloval kot tehnični direktor BlocPlay, javnega podjetja, ki gradi igralno platformo, ki temelji na verigi blokov, in je bil direktor AI pri GEC, kjer je vodil razvoj več projektov za stranke, ki so pokrivali področja od maloprodaje, algoritemskega trgovanja, zvijanja beljakovin, robotov za raziskovanje vesolja, priporočilnih sistemov itd. V prostem času je bil tudi svetovalec pri NASA Frontier Development Lab, Spacebit in SiaClassic.

Zadnjič, ko smo predstavili Lemurian Labs, ste bili osredotočeni na robotiko in robno umetno inteligenco. Zdaj ste osredotočeni na podatkovno središče in infrastrukturo v oblaku. Kaj se je zgodilo, da ste se želeli obrniti?

Dejansko smo prešli z osredotočanja na izgradnjo visoko zmogljivega sistema na čipu z nizko zakasnitvijo za avtonomne robotske aplikacije, ki bi lahko pospešile celotno zanko čut-načrt-dejanje, na izgradnjo domensko specifičnega pospeševalnika za umetno inteligenco, ki se osredotoča na aplikacije na ravni podatkovnih centrov . A ni šlo le za navadno vrtišče; to je bil glasen klic, na katerega smo se počutili odgovorni.

Leta 2018 smo se ukvarjali z usposabljanjem parametrskega modela v vrednosti 2.1 milijarde USD, vendar smo trud opustili, ker so bili stroški tako izjemno visoki, da jih nismo mogli upravičiti. Predstavljajte si torej moje presenečenje, da je bil GPT3, ki ga je OpenAI izdal kot ChatGPT novembra 2022, model parametrov vreden 175 milijard dolarjev. Ta model je več kot 80-krat večji od tistega, na katerem smo delali le 4 leta prej, kar je hkrati razburljivo in zastrašujoče.

Stroški usposabljanja takšnega modela so, milo rečeno, osupljivi. Na podlagi trenutnih trendov povečanja lahko pričakujemo, da bodo stroški usposabljanja mejnega modela umetne inteligence v ne tako oddaljeni prihodnosti presegli milijardo dolarjev. Čeprav bodo zmogljivosti teh modelov osupljive, so stroški smešno visoki. Na podlagi te poti si bo le peščica zelo dobro podprtih podjetij z lastnimi podatkovnimi centri lahko privoščila usposabljanje, uvajanje in natančno nastavitev teh modelov. To ni samo zato, ker je računalništvo drago in požrešno, ampak tudi zato, ker programski skladi, na katere se zanašamo, niso bili izdelani za ta svet.

Zaradi geografskih in energetskih omejitev je krajev za izgradnjo podatkovnih centrov zelo malo. Da bi izpolnili računalniške zahteve umetne inteligence, moramo biti sposobni izdelati stroje zettascale, ne da bi za njihovo napajanje potrebovali 20 jedrskih reaktorjev. Potrebujemo bolj praktično, razširljivo in ekonomično rešitev. Pogledali smo naokoli in nismo videli nikogar, ki bi bil na poti, da bi to rešil. In tako smo šli k risalni deski, da bi problem pogledali holistično kot sistem sistemov in razmišljali o rešitvi iz prvih načel. Spraševali smo se, kako bi zasnovali celoten sklad, od programske do strojne opreme, če bi morali ekonomično služiti 10 milijardam LLM poizvedb na dan. Do leta 200 smo si zastavili cilj zettascale z močjo pod 2028 MW.

Trik je v tem, da na to pogledamo z vidika nesorazmernega skaliranja – različni deli sistema sledijo različnim pravilom skaliranja, tako da na neki točki stvari enostavno prenehajo delovati, se začnejo kvariti ali pa kompromis med stroški in koristmi ni več smiseln. Ko se to zgodi, je edina možnost preoblikovanje sistema. Naša ocena in rešitev celostno zajema delovno obremenitev, številski sistem, model programiranja, prevajalnik, čas izvajanja in strojno opremo.

K sreči naši obstoječi vlagatelji in preostali del trga vidijo vizijo, zato smo zbrali začetni krog v vrednosti 9 milijonov USD za razvoj našega formata številk – PAL, da bi raziskali prostor oblikovanja in zbližali arhitekturo za naš pospeševalnik, specifičen za domeno, ter zasnovali naš prevajalnik in izvajalno okolje. V simulacijah nam je uspelo doseči 20-kratno povečanje prepustnosti pri manjšem energijskem odtisu kot sodobni grafični procesorji in predvidevamo, da bomo lahko zagotovili 8-kratno izboljšanje zmogljivosti sistema za skupne stroške lastništva na isti tranzistorski tehnologiji.

Ni treba posebej poudarjati, da nas čaka veliko dela, vendar smo zelo navdušeni nad možnostjo, da bomo lahko na novo definirali ekonomijo podatkovnih centrov in tako zagotovili prihodnost, v kateri bo umetna inteligenca v izobilju na voljo vsem.

To zagotovo zveni vznemirljivo in te številke zvenijo impresivno. Toda omenili ste številske sisteme, strojno opremo, prevajalnike in izvajalne čase kot vse stvari, na katere ste osredotočeni – zveni kot veliko, da bi se lotilo katerega koli podjetja naenkrat. Zdi se kot zelo tvegan predlog. Ali ne bi morali biti startupi bolj osredotočeni? 

Sliši se kot veliko različnih naporov, vendar je v resnici en sam napor z veliko med seboj povezanih delov. Reševanje le ene od teh komponent ločeno od drugih bo samo oviralo potencial za inovacije, ker bo spregledalo sistemske neučinkovitosti in ozka grla. Jensen Huang je najbolje rekel: »Da bi bili podjetje s pospešenim računalništvom, morate biti podjetje s polnim skladom«, in popolnoma se strinjam. Z razlogom so trenutno vodilni na trgu. Vendar bi izpodbijal idejo, da nismo osredotočeni. Naš fokus je na tem, kako celovito razmišljamo o problemu in kako ga najbolje rešiti za naše stranke.

Za to je potreben multidisciplinarni pristop, kot je naš. Vsak del našega dela informira in podpira druge, kar nam omogoča, da ustvarimo rešitev, ki je veliko več kot vsota njenih delov. Predstavljajte si, da bi morali zgraditi dirkalni avtomobil. Ne bi poljubno izbrali šasije, dodali dirkalnih gum in spustili najmočnejšega motorja, ki ga lahko najdete, in z njim dirkali, kajne? Pomislili bi na aerodinamičnost karoserije avtomobila, da bi zmanjšali upor in povečali tlačno silo, optimizirali porazdelitev teže za dobro vodljivost, oblikovali motor po meri za največjo zmogljivost, pridobili hladilni sistem za preprečevanje pregrevanja, določili varnostno kletko, da bi bil voznik varen , itd. Vsak od teh elementov nadgrajuje in obvešča drugega.

Kljub temu je tvegano poskušati narediti vse naenkrat za katero koli podjetje v kateri koli panogi. Za obvladovanje tveganj uporabljamo postopen pristop, ki nam omogoča, da potrdimo svojo tehnologijo s strankami in po potrebi prilagodimo svojo strategijo. Dokazali smo, da naš številski format deluje in da ima boljše območje moči in zmogljivosti kot enakovredni tipi s plavajočo vejico, hkrati pa ima boljše numerične lastnosti, ki olajšajo kvantizacijo nevronskih mrež na manjše bitne širine. Oblikovali smo arhitekturo, v katero smo prepričani in je primerna tako za usposabljanje kot za sklepanje. Toda pomembnejše od vsega tega je pravilno programsko opremo, in to je glavnina našega neposrednega fokusa. Zagotoviti moramo, da sprejemamo prave odločitve v našem paketu programske opreme glede na to, kje vidimo svet čez leto ali dve ali več.

Gradnja podjetja za strojno opremo je težka, draga in traja dolgo časa. Osredotočenost na programsko opremo se najprej sliši kot samostojno zelo uspešno podjetje in potencialno bolj privlačno za vlagatelje v trenutnem okolju. Zakaj se ukvarjate tudi s strojno opremo, glede na to, da toliko dobro financiranih podjetij v prostoru zapira svoja vrata, se trudijo, da bi jih sprejele stranke, večji igralci pa gradijo lastno strojno opremo?

Popolnoma prav imate, da so podjetja s programsko opremo na splošno lahko zbrala kapital veliko lažje kot podjetja s strojno opremo in da je strojna oprema zelo trpežna. Naš trenutni poudarek je zelo na programski opremi, ker tam vidimo večji problem. Naj bom jasen, težava ni v tem, ali lahko dosežem, da se jedra izvajajo na CPE ali GPE z visoko zmogljivostjo; to je že dolgo rešen problem. Današnja težava je, kako razvijalcem olajšati pridobivanje večje zmogljivosti, produktivno iz več tisoč gruč vozlišč, sestavljenih iz heterogenega računalništva, ne da bi od njih zahtevali temeljito prenovo njihovega poteka dela.

To je težava, na reševanje katere smo trenutno osredotočeni s skladom programske opreme, ki daje razvijalcem superzmoči in odklene polno zmogljivost skladiščnih računalnikov, tako da lahko bolj ekonomično usposabljamo in uvajamo modele AI.

Kar zadeva naložbe, da, tvegani kapitalisti so bolj izbirčni glede vrste podjetij, ki jih podpirajo, vendar to tudi pomeni, da tvegani kapitalisti iščejo podjetja s potencialom, da ponudijo resnično prelomne izdelke, ki imajo jasno pot do komercializacije in imajo pomemben vpliv. Učili smo se iz izzivov in napak drugih ter aktivno oblikovali svoj poslovni model in načrt za obravnavo tveganj. Pomembno je tudi opozoriti, da je uspeh novoustanovljenih podjetij le redkokdaj v tem, kako zlahka zberejo sredstva za tvegani kapital, ampak je to bolj posledica njihove iznajdljivosti, trme in osredotočenosti na stranke.

In preden vprašate, še vedno delamo na strojni opremi, vendar trenutno predvsem v simulaciji. Nekaj ​​časa se ne nameravava posneti. Toda ta pogovor lahko shranimo za kdaj drugič.

To je vsekakor prepričljivo in vaš postopni pristop se zelo razlikuje od tega, kar smo videli, da počnejo druga podjetja za strojno opremo. Razumem težavo, za katero pravite, da jo bo rešil vaš sklad programske opreme, toda kako se vaša programska oprema razlikuje od različnih prizadevanj na trgu?

Večina podjetij, ki jih omenjate, se osredotoča na poenostavitev programiranja grafičnih procesorjev z uvedbo programskih modelov na podlagi ploščic ali preslikav opravil, da bi iz grafičnih procesorjev pridobili večjo zmogljivost, ali z izgradnjo novih programskih jezikov, da bi dobili visoko zmogljiva jedra, načrtovana na različnih platforme s podporo za in-line montažo. To so pomembni problemi, ki jih obravnavajo, vendar vidimo problem, ki ga rešujemo, kot skoraj pravokoten.

Za trenutek pomislimo na kadenco prehodov strojne in programske opreme. Enojedrne arhitekture so pridobile na zmogljivosti zaradi takta in gostote tranzistorjev, vendar so sčasoma takti dosegli plato. Paralelizem z uporabo številnih jeder je to zaobšel in zagotovil precejšnje pospeške. Programska oprema je potrebovala približno desetletje, da je dohitela zaostanek, saj je bilo treba na novo razmisliti o programskih modelih, prevajalnikih in izvajalnih časih, da bi razvijalcem pomagali izluščiti vrednost te paradigme. Nato so grafični procesorji začeli postajati splošni pospeševalniki, spet z drugačnim modelom programiranja. Tudi tukaj je trajalo skoraj desetletje, da so razvijalci pridobili vrednost.

Spet je strojna oprema na visokem nivoju – Moorov zakon, energijske in toplotne omejitve, ozka grla v pomnilniku in raznolikost delovnih obremenitev ter potreba po eksponentno večjem številu računov nas potiskajo k gradnji vedno bolj heterogenih računalniških arhitektur za boljšo zmogljivost, učinkovitost in skupne stroške. Ta premik v strojni opremi bo seveda povzročil izzive za programsko opremo, ker nimamo pravih prevajalnikov in izvajalnih časov za podporo naslednjemu razvoju računalništva. Tokrat pa nam ne bi bilo treba čakati nadaljnjih 10 let, da bi programska oprema izvlekla vrednost heterogenih arhitektur ali velikih grozdov, še posebej, če so več kot 80-odstotno neizkoriščeni.

Osredotočamo se na izgradnjo modela programiranja, ki se zaveda heterogenosti, z vzporednostjo na podlagi nalog, ki obravnava prenosno zmogljivost z medprocesorskimi optimizacijami, prevajanjem, ki se zaveda konteksta, in dinamičnim dodeljevanjem virov. In za nas ni pomembno, ali gre za CPE, GPE, TPU, SPU (lemurijanska arhitektura) ali mrežo vseh. Vem, da to zveni kot veliko modnih besed, toda to, kar v resnici pove, je, da smo omogočili programiranje katere koli vrste procesorja z enim samim pristopom in lahko prenesemo kodo iz ene vrste procesorja v drugo z minimalnimi truda, ne da bi morali žrtvovati zmogljivost, ter prilagodljivo in dinamično načrtovanje dela med vozlišči.

Arhitektura prostorske procesne enote Full Slide LL (1)

Če je to, kar pravite, res, lahko povsem na novo definirate računalništvo. Pogovorimo se o financiranju. Lani ste zbrali 9 milijonov dolarjev začetnega financiranja, kar pomeni močno podporo vlagateljev in vero v vašo vizijo. Kaj si naredil od takrat?

V preteklem letu smo na podlagi začetnega financiranja naredili pomembne korake. Z našo ekipo, ki zdaj šteje 20 članov, smo natančno obravnavali izzive, sodelovali s strankami in izboljšali naš pristop.

Osredotočili smo se na izboljšanje PAL za usposabljanje in sklepanje, raziskali računalniško arhitekturo za naš pospeševalnik in razvili simulator za meritve zmogljivosti. Hkrati smo preoblikovali naš programski sklad za aplikacije podatkovnih centrov, pri čemer smo poudarili heterogeno računalništvo.

Rezultat tega prizadevanja je bila dobro definirana arhitektura, ki prikazuje učinkovitost PAL za AI v velikem obsegu. Poleg tehnološkega napredka smo si prizadevali za sodelovanje in ozaveščanje, da bi demokratizirali dostop. Ta prizadevanja postavljajo Lemurian Labs za reševanje neposrednih izzivov strank in se pripravljajo na izdajo našega proizvodnega silicija.

Kakšni so srednjeročni načrti Lemurian Labs glede razvoja programskega sklada, sodelovanja in izboljšave arhitekture pospeševalnika?

Naš takojšnji cilj je ustvariti sklad programske opreme, ki cilja na CPE, GPE in naše pospeševalnike AI s prenosno zmogljivostjo, ki bo na voljo prvim partnerjem ob koncu leta. Trenutno se pogovarjamo z večino vodilnih polprevodniških podjetij, ponudnikov storitev v oblaku, hiperskalerjev in podjetij z umetno inteligenco, da bi jim omogočili dostop do našega prevajalnika in izvajalnega okolja. Vzporedno nadaljujemo z delom in izboljševanjem arhitekture našega pospeševalnika za resnično sooblikovan sistem strojne in programske opreme. In seveda, pravkar smo začeli razvijati našo serijo A z velikim zanimanjem skupnosti vlagateljev, kar nam bo omogočilo, da povečamo našo ekipo in izpolnimo naš cilj glede dobave programskega izdelka ob koncu leta.

Za zaključek, kako vidite Lemurian Labs, ki bodo v prihodnjih letih prispevali k spreminjanju krajine razvoja umetne inteligence, dostopnosti in pravičnosti?

Nismo se lotili redefiniranja računalništva samo zaradi komercialne koristi ali zabave. Kot Lemurijci je naša gonilna sila to, da verjamemo v preobrazbeni potencial umetne inteligence in da bi moralo več kot le nekaj podjetij imeti sredstva za opredelitev prihodnosti te tehnologije in načina, kako jo uporabljamo. Prav tako se nam ne zdi sprejemljivo, da je infrastruktura podatkovnih središč za umetno inteligenco na dobri poti, da bo do leta 20 porabila kar 2030 % svetovne energije. Vsi smo se zbrali, ker verjamemo, da obstaja boljša pot naprej za družbo, če lahko dosežemo Umetna inteligenca je bolj dostopna z dramatičnim znižanjem povezanih stroškov, pospešite tempo inovacij v umetni inteligenci in razširite njen vpliv. Z obravnavo izzivov trenutne infrastrukture strojne opreme si prizadevamo utrti pot do opolnomočenja milijarde ljudi z zmogljivostmi umetne inteligence, kar zagotavlja pravično distribucijo te napredne tehnologije. Upamo, da nas naša zavezanost k rešitvam, osredotočenim na izdelke, sodelovanju in nenehnim inovacijam postavlja kot gonilna sila pri oblikovanju pozitivne prihodnosti razvoja umetne inteligence.

Preberite tudi:

Delite to objavo prek:

Časovni žig:

Več od Semiwiki