Vd-intervju: Suresh Sugumar på Mastiska AI – Semiwiki

Berätta om ditt företag
"Mastiṣka AI” (Mastiṣka betyder hjärna på sanskrit) är ett AI-företag fokuserat på att bygga hjärnliknande datorer för att köra grundmodeller mer effektivt för morgondagens generativa AI-användningsfall.

Vilka problem löser du?
Med tanke på fördelarna med AI/GenAI kommer dess efterfrågan bara att öka, och det kommer också dess bieffekter på vår planet. Hur kan vi minska eller neutralisera biverkningarna av AI på vår planet? Kolavskiljning och kärnkraft är i rätt riktning. Men vi måste i grunden tänka om hur vi gör AI, är det fel sätt att göra tonvis av matrismultiplikationer?

Vår hjärna kan lära sig och utföra många uppgifter parallellt, i och under 10W, men varför förbrukar dessa AI-system 10s megawatt för att träna modeller?

Kanske kommer framtiden att ha energieffektiva arkitekturer som neuromorfa arkitekturer och spikneurala nätverksbaserade transformatorer som är närmast den mänskliga hjärnan, som kan förbruka 100-1000 gånger lägre energi, och därmed minska kostnaderna för att använda AI, och därmed demokratisera den och rädda vår planet.

De nuvarande utmaningarna vi står inför med AI är a) tillgänglighet, b) tillgänglighet, c) prisvärdhet och d) miljösäkerhet tillsammans med några rekommendationer för att hantera dem.

Om vi ​​förutser i framtiden, demonstreras några användbara AGI-koncept i filmen "HER", där karaktären "Samantha" – en samtalsagent som är naturlig, förstår känslor, visar empati, är en fantastisk copilot på jobbet – och kör på handhållna enheter hela dagen, då kanske vi måste ta itu med utmaningarna nedan just nu.

Problem 1: Att träna en LLM kan kosta allt från 150K till 10+ miljoner dollar, och det tillåter bara de med djupare fickor att utveckla AI. Dessutom är slutledningskostnaderna också enorma (kostar 10 gånger mer än en webbsökning)
—> Vi måste förbättra energieffektiviteten hos modeller/hårdvara för att demokratisera AI till förmån för mänskligheten.

Problem 2: Att köra enorma AI-modeller för samtalsagenter eller rekommendationssystem sätter en belastning på miljön när det gäller elförbrukning och kyla.
—> Vi måste förbättra energieffektiviteten hos modeller/hårdvara för att rädda vår planet för våra barn.

Problem 3: Den mänskliga hjärnan är kapabel och kan multitaska, men förbrukar bara 10 watt istället för megawatt.
—> Vi kanske borde bygga maskiner som våra hjärnor och inte de vanliga matrismultiplikatorerna snabbare.

Mänskligheten kan bara frodas med hållbara innovationer, och inte genom att hugga ner alla skogar och koka haven i innovationens namn. Vi måste skydda vår planet för våra barns välfärd och kommande generationer...

Vilka applikationsområden är dina starkaste?
Utbildning och inferencing av transformatorbaserade (och framtida neural arkitektur) baserade grundmodeller, 50-100 gånger mer energieffektivt jämfört med dagens GPU-baserade lösningar.

Vad håller dina kunder vakna på natten?
Problem för kunder som för närvarande använder andra produkter:

Elförbrukningen för att träna humungous språkmodeller är bortom taket, till exempel att träna en 13B parameter LLM på 390B texttokens på 200 GPU: er under 7 dagar kostar $151,744 XNUMX (Källa: HuggingFace nya utbildningskluster servicesida – https://lnkd.in/g6Vc5cz3). Och även större modeller med 100+B parametrar kostar $10+M bara att träna. Betala sedan för slutledning varje gång en ny snabb begäran kommer.

Vattenförbrukning för kylning, forskare vid University of California, Riverside uppskattade miljöpåverkan av ChatGPT-liknande tjänster och säger att den suger upp 500 milliliter vatten (nära vad som finns i en 16-ounce vattenflaska) varje gång du frågar den en serie med mellan 5 till 50 uppmaningar eller frågor. Utbudet varierar beroende på var dess servrar finns och säsong. Uppskattningen inkluderar indirekt vattenanvändning som företagen inte mäter — som att kyla kraftverk som förser datacentren med el. (Källa: https://lnkd.in/gybcxX8C)

Problem för icke-kunder av aktuella produkter:

Har inte råd med CAPEX att köpa hårdvara
Har inte råd att använda molntjänster
Kan inte förnya eller utnyttja AI – fastnat i tjänstemodellen som eliminerar alla konkurrensfördelar

Hur ser konkurrenslandskapet ut och hur skiljer man åt?

• GPU:er dominerar träningsutrymmet, även om specialiserade ASIC:er också konkurrerar i detta segment
• Cloud & Edge-inferens har för många tillgängliga alternativ

Digital, Analog, Photonic — you name it människor försöker ta itu med samma problem.

Kan du dela med dig av dina tankar om det aktuella läget för chiparkitektur för AI/ML, vilket betyder, vad ser du som de viktigaste trenderna och möjligheterna just nu?

Följande trender:
Trend 1: För 10 år sedan blomstrade hårdvaruaktiverad djupinlärning, och nu hämmar samma hårdvara framsteg. På grund av den enorma kostnaden för hårdvara och elkostnader för att köra modeller har det blivit en utmaning att komma åt hårdvaran. Endast företag med djupa fickor har råd med dessa och håller på att bli monopol.

Trend 2: Nu när dessa modeller finns där måste vi använda dem för praktiska ändamål så att slutledningsbelastningen kommer att öka, vilket gör att processorer med AI-acceleratorer kan komma till rampljuset igen.

Trend 3: Nystartade företag försöker komma på alternativa flyttalsrepresentationer som det traditionella IEEE-formatet – som logaritmiskt och posit-baserat – är bra men inte tillräckligt. PPA$ design utrymme optimering exploderar när vi försöker optimera en och en annan går för en toss.

Trend 4: Branschen går bort från den tjänstebaserade modellen för AI till att vara värd för sina egna privata modeller i sina egna lokaler - men tillgång till hårdvara är en utmaning på grund av brist på försörjning, sanktioner, etc.

Aktuellt läge:
Tillgängligheten av hårdvara och data drev tillväxten av AI för 10 år sedan, nu är det samma hårdvara som hämmar det — låt mig förklara

Ända sedan CPU:er mådde dåligt och GPU:er användes för att göra AI, har många saker hänt

Företag har ägnat sig åt fyra segment av AI/ML, nämligen – 4) molnutbildning, 1) molninferencing, 2) edge-inferencing och 3) edge-träning (federated learning för integritetskänsliga applikationer).
Digital & Analog

Utbildningssidan – en uppsjö av företag som gör GPU:er, kundacceleratorer baserade på RISC-V, skivor i skivskala (850 XNUMX kärnor) och så vidare där traditionella processorer saknar (deras allmänna syfte). Inferenssida – NN-acceleratorer finns tillgängliga från alla tillverkare, i smartphones, bärbara datorer och andra edge-enheter.

Analoga memristor-baserade arkitekturer dök också upp för en tid sedan.

Vi tror att processorer kan vara mycket bra på att dra slutsatser om vi förbättrar den med acceleration som matristillägg

RISC-V-sidan av saken:
På RISC-V-sidan utvecklar vi acceleratorer för matrisoperationer och andra icke-linjära operationer för att eliminera möjliga flaskhalsar för transformatorarbetsbelastningar. Von Neumann-flaskhalsar åtgärdas också genom att skapa minnen närmare datoranvändning, vilket så småningom gör processorer med AI-acceleration till det rätta valet för slutledning.

Möjligheter:
Det finns unika möjligheter att fylla marknaden för grundmodeller. Exempel – OpenAI har nämnt att de inte kunde säkra tillräckligt med AI-beräkning (GPU) för att fortsätta driva sina ChatGPT-tjänster... och nyheterna rapporterar om elkostnader som är 10 gånger högre än vanliga internetsökningar och 500 ml vatten för att kyla ner systemen för varje fråga. Det finns en marknad att fylla i här - det är inte en nisch, utan hela marknaden som kommer att demokratisera AI och tackla alla de utmaningar som nämns ovan - a) tillgänglighet, b) tillgänglighet, c) överkomliga priser och d) miljösäkerhet

Vilka nya funktioner/teknik arbetar du med?
Vi bygger hjärna som datorer som utnyttjar neuromodrfiska tekniker och skräddarsy modeller för att dra fördel av den energieffektiva hårdvaran, återanvändning av möjliga öppna ramar

Hur ser du för dig att AI/ML-sektorn växer eller förändras under de kommande 12-18 månaderna?
Eftersom efterfrågan på GPU:er har minskat (kostar som $30 XNUMX) plus att vissa delar av världen står inför sanktioner för att köpa dessa GPU:er, känner vissa delar av världen att de är frusna i AI-forskning och -utveckling utan tillgång till GPU:er. Alternativa hårdvaruplattformar kommer att fånga marknaden.
Modeller kanske kommer att börja krympa - anpassade modeller eller till och med i grunden skulle informationstätheten växa

Samma fråga men hur är tillväxten och förändringen de kommande 3-5 åren?
a) CPU: er med AI-tillägg skulle fånga AI-slutledningsmarknaden
b) Modeller skulle bli smidiga och parametrar kommer att falla ut när informationstätheten förbättras från 16 % till 90 %
c) Energieffektiviteten förbättras, CO2-fotavtrycket minskar
d) Nya arkitekturer kommer upp
e) hårdvarukostnader och energikostnader minskar så att inträdesbarriären för mindre företag att skapa och träna modeller blir överkomlig
f) folk pratar om ögonblicket före AGI, men mitt riktmärke skulle vara den karaktäriserade Samantha (konversations-AI) i filmen "henne".. vilket kanske är osannolikt med tanke på den höga kostnaden för att skala upp

Vilka är några av utmaningarna som kan påverka eller begränsa tillväxten inom AI/ML-sektorn?
a) Tillgång till hårdvara
b) Energikostnader och kylkostnader och miljöskador

Läs också:

Vd-intervju: David Moore på Pragmatic

Vd-intervju: Dr. Megali Chopra på Sandbox Semiconductor

Vd-intervju: Dr J Provine från Aligned Carbon