Toimitusjohtajan haastattelu: Suresh Sugumar, Mastiska AI – Semiwiki

Kerro meille yrityksestäsi
"Mastiṣka AI” (Mastiṣka tarkoittaa Sanskritin kielellä Brain) on tekoälyyritys, joka on keskittynyt rakentamaan aivojen kaltaisia ​​tietokoneita ajaakseen perusmalleja tehokkaammin tulevaisuuden Generative AI -käyttötapauksissa.

Mitä ongelmia ratkaiset?
Tekoälyn/GenAI:n edut huomioon ottaen sen kysyntä vain kasvaa, samoin kuin sen sivuvaikutukset planeetallamme. Kuinka voimme vähentää tai neutraloida tekoälyn sivuvaikutuksia planeetallamme? Hiilen talteenotto ja ydinvoima ovat oikeaan suuntaan. Mutta meidän on pohjimmiltaan harkittava uudelleen tapaa, jolla teemme tekoälyä, onko se väärä tapa tehdä tonnia matriisikertoja?

Aivomme voivat oppia ja tehdä monia tehtäviä rinnakkain, 10 watin teholla ja alle, mutta miksi nämä tekoälyjärjestelmät kuluttavat 10 megawattia mallien kouluttamiseen?

Ehkä tulevaisuudessa on energiatehokkaita arkkitehtuureja, kuten neuromorfisia arkkitehtuureja ja hermoverkkopohjaisia ​​muuntajia, jotka ovat lähimpänä ihmisaivoja, jotka saattavat kuluttaa 100–1000 kertaa vähemmän energiaa, mikä vähentää tekoälyn käyttökustannuksia, mikä demokratisoi sen ja säästää planeetta.

Tekoälyn nykyiset haasteet ovat a) saatavuus, b) saavutettavuus, c) kohtuuhintaisuus ja d) ympäristöturvallisuus sekä joitain suosituksia niiden ratkaisemiseksi.

Jos ennakoimme tulevaisuutta, joitain hyödyllisiä AGI-konsepteja esitellään elokuvassa "HER", jossa hahmo "Samantha" - keskusteleva agentti, joka on luonnollinen, ymmärtää tunteita, osoittaa empatiaa, on hämmästyttävä perämies työssä - ja juoksee eteenpäin. kämmenlaitteita koko päivän ajan, meidän on ehkä vastattava alla oleviin haasteisiin juuri nyt.

Ongelma 1: LLM:n kouluttaminen voi maksaa 150 10 - 10+ miljoonaa dollaria, ja se antaa vain syvemmille taskuille mahdollisuuden kehittää tekoälyä. Lisäksi päättelykustannukset ovat valtavat (maksaa XNUMX kertaa enemmän kuin verkkohaku)
-> Meidän on parannettava mallien/laitteiston energiatehokkuutta tekoälyn demokratisoimiseksi ihmiskunnan hyödyksi.

Ongelma 2: Valtavien tekoälymallien käyttäminen keskusteluagenteille tai suositusjärjestelmille rasittaa ympäristöä sähkönkulutuksen ja jäähdytyksen osalta.
-> Meidän on parannettava mallien/laitteiston energiatehokkuutta pelastaaksemme planeettamme lapsillemme.

Ongelma 3: Ihmisaivot kykenevät ja voivat tehdä moniajoja, mutta kuluttavat vain 10 wattia megawattien sijaan.
-> Ehkä meidän pitäisi rakentaa aivomme kaltaisia ​​koneita eikä tavallisia matriisikertoimia nopeammin.

Ihmiskunta voi menestyä vain kestävillä innovaatioilla, ei kaattamalla kaikkia metsiä ja keittämällä valtameriä innovaatioiden nimissä. Meidän on suojeltava planeettamme lapsiemme ja tulevien sukupolvien hyvinvoinnin vuoksi…

Mitkä sovellusalueet ovat vahvimpia?
Transformeriin (ja tulevaisuuden hermoarkkitehtuuriin) perustuvien perusmallien koulutus ja päättely 50-100 kertaa energiatehokkaammin verrattuna nykypäivän GPU-pohjaisiin ratkaisuihin.

Mikä saa asiakkaasi hereillä öisin?
Asiakkaille, jotka tällä hetkellä käyttävät muita tuotteita:

Huungoisten kielimallien koulutuksen sähkönkulutus on ylivoimainen, esimerkiksi 13B-parametrin LLM:n harjoittelu 390B-tekstitunnisteilla 200 GPU:lla 7 päivän ajan maksaa 151,744 XNUMX dollaria (Lähde: HuggingFacen uusi koulutusklusterin palvelusivu – https://lnkd.in/g6Vc5cz3). Ja vielä suuremmat mallit 100+B-parametrilla maksavat 10+M $ pelkkä harjoittelu. Maksa sitten päättelystä aina, kun uusi kehotuspyyntö saapuu.

Vedenkulutus jäähdytykseen, Kalifornian yliopiston Riversiden tutkijat arvioivat ChatGPT:n kaltaisen palvelun ympäristövaikutuksia ja sanovat, että se imee 500 millilitraa vettä (lähes 16 unssin vesipullon määrää) joka kerta, kun kysyt siltä 5–50 kehotteen tai kysymyksen sarja. Valikoima vaihtelee sen palvelinten sijainnin ja vuodenajan mukaan. Arvio sisältää epäsuoran vedenkäytön, jota yritykset eivät mittaa – esimerkiksi konesaleille sähköä toimittavien voimalaitosten jäähdyttämiseen. (Lähde: https://lnkd.in/gybcxX8C)

Ongelmat muille kuin nykyisten tuotteiden asiakkaille:

Ei ole varaa CAPEXilla ostaa laitteita
Ei ole varaa käyttää pilvipalveluita
Ei voi innovoida tai hyödyntää tekoälyä – juuttunut palvelumalliin, joka eliminoi kilpailuedun

Miltä kilpailuympäristö näyttää ja miten erotut toisistaan?

• Grafiikkasuorittimet hallitsevat harjoitustilaa, vaikka erikoistuneet ASICit kilpailevat myös tässä segmentissä
• Cloud & Edge -päätelmässä on liian monta vaihtoehtoa

Digitaalinen, analoginen, fotoninen – ihmiset yrittävät ratkaista saman ongelman.

Voitko jakaa ajatuksesi AI/ML:n siruarkkitehtuurin nykytilasta eli mitkä näet tärkeimmät trendit ja mahdollisuudet tällä hetkellä?

Seuraavat trendit:
Trendi 1: 10 vuotta sitten laitteistopohjainen syväoppiminen kukoisti, ja nyt sama laitteisto estää edistymistä. Koska mallien käyttökustannukset ovat valtavia laitteisto- ja sähkökustannuksia, laitteiston käyttämisestä on tullut haaste. Vain yrityksillä, joilla on paljon taskuja, on niihin varaa, ja niistä on tulossa monopoleja.

Trendi 2: Nyt kun nämä mallit ovat olemassa, meidän on käytettävä niitä käytännön tarkoituksiin, jotta päättelykuorma kasvaa, jolloin tekoälykiihdyttimillä varustetut prosessorit pääsevät jälleen parrasvaloihin.

Trendi 3: Startupit yrittävät keksiä vaihtoehtoisia liukulukujen esityksiä, joiden mukaan perinteinen IEEE-muoto – kuten logaritminen ja positiivinen – ovat hyviä, mutta eivät riittäviä. PPA$-suunnittelutilan optimointi räjähtää, kun yritämme optimoida yhtä ja toinen menee räjähdysmäisesti.

Trendi 4: Toimiala on siirtymässä palvelupohjaisesta tekoälyn mallista omien yksityisten mallien isännöintiin omissa tiloissaan – mutta laitteiston saatavuus on haaste tarjontapulan, sanktioiden jne.

Tämänhetkinen tilanne:
Laitteiston ja datan saatavuus vauhditti tekoälyn kasvua 10 vuotta sitten, nyt sama laitteisto tavallaan estää sitä – anna minun selittää

Siitä lähtien kun prosessoreilla kävi kurjasti ja grafiikkasuorittimet otettiin uudelleen käyttöön tekoälyä varten, tapahtui monia asioita

Yritykset ovat käsitelleet 4 AI/ML-segmenttiä, nimittäin - 1) pilvikoulutusta, 2) pilvipäätelmiä, 3) reunapäätelmiä ja 4) reunakoulutusta (yhdistetty oppiminen yksityisyyttä herkille sovelluksille).
Digitaalinen & Analoginen

Koulutuspuoli – lukuisia yrityksiä, jotka tekevät grafiikkasuoritteita, RISC-V-pohjaisia ​​asiakaskiihdyttimiä, kiekon mittakaavan siruja (850 XNUMX ydintä) ja niin edelleen, missä perinteisiltä prosessoreilta puuttuu (niiden yleinen käyttötarkoitus). Päätelmäpuoli – NN-kiihdyttimiä on saatavilla kaikilta valmistajilta älypuhelimissa, kannettavissa tietokoneissa ja muissa reunalaitteissa.

Analogiset memristoripohjaiset arkkitehtuurit ilmestyivät myös jokin aika sitten.

Uskomme, että prosessorit voivat olla erittäin hyviä päättelemään, jos tehostamme sitä kiihdytyksellä, kuten matriisilaajennuksilla

Asian RISC-V puoli:
RISC-V-puolella kehitämme kiihdyttimiä matriisioperaatioita ja muita epälineaarisia operaatioita varten eliminoidaksemme mahdolliset pullonkaulat muuntajien työkuormituksilta. Von Neumannin pullonkauloja korjataan myös arkkitehtuurilla muistoja lähempänä laskentaa, mikä tekee lopulta tekoälykiihdytyksellä varustetuista prosessoreista oikean vaihtoehdon päätelmien tekemiseen.

Mahdollisuudet:
Perustusmallien markkinoilla on ainutlaatuiset mahdollisuudet täyttää. Esimerkki – OpenAI ovat maininneet, etteivät he pystyneet turvaamaan tarpeeksi tekoälylaskentaa (GPU:ita) jatkaakseen ChatGPT-palveluitaan… ja uutiset kertovat sähkökustannuksista, jotka ovat 10-kertaiset tavallisen Internet-haun kustannuksiin ja 500 ml:aan vettä järjestelmien jäähdyttämiseen. jokaiseen kyselyyn. Täällä on täytettävä markkina - se ei ole markkinarako, vaan koko markkinat, jotka demokratisoivat tekoälyä vastaamalla kaikkiin edellä mainittuihin haasteisiin – a) saatavuus, b) saavutettavuus, c) kohtuuhintaisuus ja d) ympäristöturvallisuus.

Mitä uusia ominaisuuksia/tekniikkaa työskentelet?
Rakennamme tietokoneiden kaltaisia ​​aivoja hyödyntäen neuromodrfisia tekniikoita ja räätälöimme malleja energiatehokkaan laitteiston hyödyntämiseksi, käyttämällä uudelleen käytettävissä olevia avoimia puitteita.

Millaisena kuvittelet AI/ML-sektorin kasvavan tai muuttuvan seuraavien 12–18 kuukauden aikana?
Kun GPU:iden kysyntä on kiihtynyt (maksaa noin 30 XNUMX dollaria) ja joissakin osissa maailmaa uhkaa sanktioita näiden GPU:iden ostamisesta, jotkut osat maailmaa kokevat jäätyneensä tekoälytutkimukseen ja -kehitykseen ilman pääsyä GPU:ihin. Vaihtoehtoiset laitteistoalustat valtaavat markkinat.
Mallit alkavat ehkä kutistua – mukautetut mallit tai jopa pohjimmiltaan tietotiheys kasvaisi

Sama kysymys, mutta entä kasvu ja muutos seuraavan 3-5 vuoden aikana?
a) Tekoälylaajennuksella varustetut prosessorit kaappasivat tekoälyn päättelymarkkinat
b) Malleista tulee ketterä, ja parametrit putoavat, kun informaatiotiheys paranee 16 %:sta 90 %:iin
c) Energiatehokkuus paranee, CO2-jalanjälki pienenee
d) Uusia arkkitehtuureja tulee esiin
e) laitteisto- ja energiakustannukset laskevat, joten pienten yritysten markkinoille pääsyn este mallien luomisessa ja kouluttamisessa tulee kohtuuhintaiseksi
f) ihmiset puhuvat pre-AGI-hetkistä, mutta vertailukohtanani olisi hahmottuva Samantha (keskustelutekoäly) elokuvassa "her".. mikä saattaa olla epätodennäköistä, kun otetaan huomioon suurentamisen korkeat kustannukset.

Mitkä ovat haasteita, jotka voivat vaikuttaa tai rajoittaa AI/ML-sektorin kasvua?
a) Pääsy laitteistoon
b) Energiakustannukset ja jäähdytyskustannukset sekä ympäristöhaitat

Lue myös:

Toimitusjohtajan haastattelu: David Moore, Pragmatic

Toimitusjohtajan haastattelu: Dr. Meghali Chopra Sandbox Semiconductorista

Toimitusjohtajan haastattelu: Dr. J Provine of Aligned Carbon