Intervista al CEO: Suresh Sugumar di Mastiska AI – Semiwiki

Parlaci della tua azienda
"Mastiška AI" (Mastiṣka significa Cervello in sanscrito) è una società di intelligenza artificiale focalizzata sulla costruzione di computer simili al cervello per eseguire modelli di base in modo più efficiente per i casi d'uso dell'intelligenza artificiale generativa di domani.

Quali problemi stai risolvendo?
Considerati i vantaggi dell’intelligenza artificiale/GenAI, la sua domanda è destinata ad aumentare, così come i suoi effetti collaterali sul nostro pianeta. Come possiamo ridurre o neutralizzare gli effetti collaterali dell’intelligenza artificiale sul nostro pianeta? La cattura del carbonio e l’energia nucleare vanno nella giusta direzione. Ma dobbiamo ripensare radicalmente il modo in cui facciamo l’intelligenza artificiale: è il modo sbagliato di fare tonnellate di moltiplicazioni di matrici?

Il nostro cervello può apprendere ed eseguire molti compiti in parallelo, entro i 10 W, ma perché questi sistemi di intelligenza artificiale consumano decine di megawatt per addestrare i modelli?

Forse il futuro riserva architetture efficienti dal punto di vista energetico come le architetture neuromorfiche e i trasformatori basati su reti neurali che sono più vicine al cervello umano, che potrebbero consumare un’energia 100-1000 volte inferiore, riducendo così i costi di utilizzo dell’intelligenza artificiale, democratizzandola e salvando il nostro pianeta. pianeta.

Le sfide attuali che affrontiamo con l’intelligenza artificiale sono a) disponibilità, b) accessibilità, c) convenienza ed) sicurezza ambientale insieme ad alcune raccomandazioni per affrontarle.

Se prevediamo il futuro, alcuni concetti utili dell'AGI verranno dimostrati nel film "HER", dove il personaggio "Samantha" - un agente conversazionale che è naturale, comprende le emozioni, mostra empatia, è uno straordinario copilota al lavoro - e corre avanti dispositivi portatili per l'intera giornata, potremmo dover affrontare subito le seguenti sfide.

Problema 1: la formazione di un LLM può costare da 150 a oltre 10 milioni di dollari e consente solo a chi ha tasche più profonde di sviluppare l'intelligenza artificiale. Inoltre, anche i costi di inferenza sono enormi (costa 10 volte di più di una ricerca sul web)
—> Dobbiamo migliorare l’efficienza energetica dei modelli/hardware per democratizzare l’intelligenza artificiale a beneficio dell’umanità.

Problema 2: L’esecuzione di giganteschi modelli di intelligenza artificiale per agenti conversazionali o sistemi di raccomandazione ha un impatto negativo sull’ambiente in termini di consumo di elettricità e raffreddamento.
—> Dobbiamo migliorare l'efficienza energetica dei modelli/hardware per salvare il nostro pianeta per i nostri figli.

Problema 3: Il cervello umano è capace e può fare più cose contemporaneamente, ma consuma solo 10 Watt invece di Megawatt.
—> Forse dovremmo costruire più velocemente macchine come il nostro cervello e non i normali moltiplicatori di matrici.

L’umanità può prosperare solo con innovazioni sostenibili e non abbattendo tutte le foreste e facendo bollire gli oceani in nome dell’innovazione. Dobbiamo proteggere il nostro pianeta per il benessere dei nostri figli e delle generazioni future a venire...

Quali aree di applicazione sono le tue più forti?
Training e inferenza di modelli di base basati su Transformer (e futura architettura neurale), con un'efficienza energetica 50-100 volte maggiore rispetto alle attuali soluzioni basate su GPU.

Cosa tiene svegli i tuoi clienti la notte?
Problemi per i clienti che attualmente utilizzano altri prodotti:

Il consumo di elettricità per l'addestramento di enormi modelli linguistici è oltre il tetto, ad esempio, l'addestramento di un LLM con parametri 13B su token di testo 390B su 200 GPU per 7 giorni costa $ 151,744 (Fonte: HuggingFace nuova pagina del servizio cluster di formazione - https://lnkd.in/g6Vc5cz3). E anche i modelli più grandi con parametri 100+B costano più di 10 milioni di dollari solo per l'addestramento. Quindi paga per l'inferenza ogni volta che arriva una nuova richiesta tempestiva.

Consumo di acqua per il raffreddamento, i ricercatori dell'Università della California, Riverside, hanno stimato l'impatto ambientale di un servizio simile a ChatGPT e affermano che ingoia 500 millilitri d'acqua (vicino a quello che c'è in una bottiglia d'acqua da 16 once) ogni volta che gli viene chiesto un serie da 5 a 50 suggerimenti o domande. L'intervallo varia a seconda di dove si trovano i server e della stagione. La stima include l’utilizzo indiretto di acqua che le aziende non misurano, ad esempio per raffreddare le centrali elettriche che forniscono elettricità ai data center. (Fonte: https://lnkd.in/gybcxX8C)

Problemi per i non clienti dei prodotti attuali:

Non posso permettermi CAPEX per acquistare hardware
Non posso permettermi di utilizzare i servizi cloud
Non è possibile innovare o sfruttare l’intelligenza artificiale: siamo bloccati in un modello di servizi che elimina qualsiasi vantaggio competitivo

Com'è il panorama competitivo e come si differenzia?

• Le GPU dominano lo spazio di training, anche se anche gli ASIC specializzati competono in questo segmento
• L'inferenza Cloud & Edge ha troppe opzioni disponibili

Digitale, analogico, fotonico: qualunque cosa tu dica, le persone stanno cercando di affrontare lo stesso problema.

Puoi condividere le tue opinioni sullo stato attuale dell'architettura dei chip per AI/ML, ovvero quali vedi come le tendenze e le opportunità più significative in questo momento?

Tendenze seguenti:
Tendenza 1: Dieci anni fa fioriva il deep learning basato sull’hardware, mentre ora è lo stesso hardware a inibire il progresso. A causa dell’enorme costo dell’hardware e dell’elettricità per far funzionare i modelli, è diventata una sfida accedere all’hardware. Solo le aziende con tasche profonde possono permetterseli e stanno diventando monopoli.

Tendenza 2: Ora che questi modelli esistono, dobbiamo utilizzarli per scopi pratici in modo che il carico di inferenza aumenti, consentendo alle CPU con acceleratori AI di tornare alla ribalta.

Tendenza 3: Le startup stanno cercando di trovare rappresentazioni alternative dei numeri in virgola mobile che il tradizionale formato IEEE – come logaritmico e basato su posizioni – è buono ma non sufficiente. L'ottimizzazione dello spazio di progettazione PPA$ esplode quando proviamo a ottimizzarne uno e l'altro va a rotoli.

Tendenza 4: L’industria si sta allontanando dal modello di intelligenza artificiale basato sui servizi per ospitare i propri modelli privati ​​nelle proprie sedi, ma l’accesso all’hardware è una sfida a causa della carenza di approvvigionamento, delle sanzioni, ecc.

Stato attuale delle cose:
La disponibilità di hardware e dati ha alimentato la crescita dell’intelligenza artificiale 10 anni fa, ora lo stesso hardware la sta in qualche modo inibendo: lasciami spiegare

Da quando le CPU si sono comportate male e le GPU sono state riproposte per l’intelligenza artificiale, sono successe molte cose

Le aziende si stanno occupando di 4 segmenti di AI/ML: 1) formazione sul cloud, 2) inferenza sul cloud, 3) inferenza sull'edge e 4) formazione sull'edge (apprendimento federato per applicazioni sensibili alla privacy).
Digitale e analogico

Lato formazione: una miriade di aziende che producono GPU, acceleratori di clienti basati su RISC-V, chip su scala wafer (core da 850) e così via dove mancano le CPU tradizionali (il loro scopo generale). Lato inferenza: gli acceleratori NN sono disponibili da ogni produttore, in smartphone, laptop e altri dispositivi edge.

Anche le architetture basate su memristor analogici sono apparse qualche tempo fa.

Riteniamo che le CPU possano essere molto brave nell'inferenza se le miglioriamo con accelerazioni come le estensioni di matrice

Lato RISC-V:
Per quanto riguarda RISC-V, stiamo sviluppando acceleratori per operazioni a matrice e altre operazioni non lineari per eliminare possibili colli di bottiglia per i carichi di lavoro dei trasformatori. I colli di bottiglia di Von Neumann vengono affrontati anche progettando le memorie più vicine all’informatica, rendendo infine le CPU con accelerazione AI la scelta giusta per l’inferenza.

Opportunità:
Esistono opportunità uniche per riempire il mercato dei modelli di fondazione. Esempio: OpenAI ha affermato di non essere in grado di garantire un numero di calcoli AI (GPU) sufficiente per continuare a promuovere i propri servizi ChatGPT... e le notizie riportano costi dell'elettricità pari a 10 volte quelli della normale ricerca su Internet e 500 ml di acqua per raffreddare i sistemi per ogni domanda. C’è un mercato da riempire qui: non è una nicchia, ma è l’intero mercato che democratizzerà l’intelligenza artificiale affrontando tutte le sfide sopra menzionate: a) disponibilità, b) accessibilità, c) convenienza ed) sicurezza ambientale.

Su quali nuove funzionalità/tecnologie stai lavorando?
Stiamo costruendo un cervello simile a un computer sfruttando tecniche neuromodfiche e modelli su misura per sfruttare l'hardware efficiente dal punto di vista energetico, riutilizzando la maggior parte dei framework aperti disponibili

Come immagini la crescita o il cambiamento del settore AI/ML nei prossimi 12-18 mesi?
Poiché la domanda di GPU si è inasprita (costa circa 30 dollari) e alcune parti del mondo si trovano ad affrontare sanzioni per l'acquisto di queste GPU, alcune parti del mondo si sentono bloccate nella ricerca e nello sviluppo dell'intelligenza artificiale senza accesso alle GPU. Piattaforme hardware alternative conquisteranno il mercato.
Forse i modelli inizieranno a ridursi: i modelli personalizzati o anche fondamentalmente la densità delle informazioni aumenterebbero

Stessa domanda, ma che ne dici della crescita e del cambiamento nei prossimi 3-5 anni?
a) Le CPU con estensioni AI catturerebbero il mercato dell’inferenza AI
b) I modelli diventerebbero più agili e i parametri diminuirebbero man mano che la densità delle informazioni migliorerebbe dal 16% al 90%
c) L’efficienza energetica migliora, l’impronta di CO2 si riduce
d) Nascono nuove architetture
e) i costi dell’hardware e dell’energia diminuiscono così che la barriera all’ingresso per le aziende più piccole per creare e addestrare modelli diventa accessibile
f) la gente parla del momento pre-AGI, ma il mio punto di riferimento sarebbe la protagonista Samantha (IA conversazionale) nel film "Her".. questo forse improbabile dato l'alto costo di ampliamento

Quali sono alcune delle sfide che potrebbero avere un impatto o limitare la crescita nel settore AI/ML?
a) Accesso all'hardware
b) Costi energetici, costi di raffreddamento e danni ambientali

Leggi anche:

Intervista al CEO: David Moore di Pragmatic

Intervista al CEO: Dott.ssa Meghali Chopra di Sandbox Semiconductor

Intervista al CEO: Dr. J Provine di Aligned Carbon