Aggiornamenti del pannello Sinossi sullo stato dei sistemi multi-die - Semiwiki

Ripubblicato da Platone

Seguaci: 0

Synopsys ha recentemente ospitato un panel intersettoriale sullo stato dei sistemi multi-die che ho trovato interessante anche per la sua rilevanza per la rapida accelerazione dell'hardware incentrato sull'intelligenza artificiale. Ne parleremo più avanti. I relatori, tutti con ruoli significativi nei sistemi multi-die, erano Shekhar Kapoor (Direttore senior della gestione del prodotto, Synopsys), Cheolmin Park (VP aziendale, Samsung), Lalitha Immaneni (VP Architecture, Design and Technology Solutions, Intel), Michael Schaffert (VP senior, Bosch) e Murat Becer (VP R&D, Ansys). Il panel è stato moderato da Marco Chiappetta (Co-fondatore e Principal Analyst, HotTech Vision and Analysis).

multi die 525x315 luce

Un grande driver della domanda

È comune sotto questo titolo lanciare tutti i soliti sospetti (HPC, automobilistico, ecc.), ma quell'elenco svende forse il più grande fattore di fondo: l'attuale corsa per il dominio in tutto ciò che riguarda il LLM e l'intelligenza artificiale generativa. I modelli linguistici di grandi dimensioni offrono nuovi livelli di servizi SaaS nella ricerca, nella creazione di documenti e in altre funzionalità, con importanti vantaggi competitivi per chi riesce per primo a farlo bene. Sui dispositivi mobili e in macchina, il controllo e il feedback superiori basati sul linguaggio naturale faranno sembrare primitive, al confronto, le opzioni basate sulla voce esistenti. Nel frattempo, i metodi generativi per la creazione di nuove immagini utilizzando i modelli di flusso Diffusion e Poisson possono produrre una grafica spettacolare attingendo a un testo o a una fotografia integrata da librerie di immagini. Come attrazione per i consumatori, questa potrebbe rivelarsi la prossima grande novità per le future versioni di telefoni.

Sebbene l’intelligenza artificiale basata sui trasformatori presenti un’enorme opportunità in termini di dollari, comporta anche delle sfide. Le tecnologie che rendono possibili tali metodi sono già sperimentate nel cloud e stanno emergendo all’edge, ma sono notoriamente affamate di memoria. Gli LLM di produzione vanno da miliardi a trilioni di parametri che devono essere caricati sul trasformatore. La domanda di spazi di lavoro in-process è altrettanto elevata; L'imaging basato sulla diffusione aggiunge progressivamente rumore a un'immagine completa, quindi ritorna a un'immagine modificata, sempre attraverso piattaforme basate su trasformatori.

A parte un carico iniziale, nessuno di questi processi può permettersi il sovraccarico derivante dall'interazione con la DRAM esterna. Le latenze sarebbero inaccettabili e la domanda di energia consumerebbe la batteria di un telefono o farebbe saltare il budget energetico di un data center. Tutta la memoria deve essere vicina, molto vicina, al computer. Una soluzione è quella di impilare la SRAM sopra l'acceleratore (come AMD e ora Intel hanno dimostrato per i loro chip per server). La memoria a larghezza di banda elevata nel pacchetto aggiunge un'altra opzione un po' più lenta ma non così lenta come la DRAM off-chip.

Tutto ciò richiede sistemi multi-die. Allora a che punto siamo nel rendere questa opzione pronta per la produzione?

Opinioni su dove siamo

Ho sentito molto entusiasmo per la crescita in questo settore, nell'adozione, nelle applicazioni e negli strumenti. Intel, AMD, Qualcomm, Samsung sono tutti chiaramente molto attivi in questo ambito. Apple M2 Ultra è noto per essere un design a doppio die e AWS Graviton 3 è un sistema multi-die. Sono sicuro che ci siano molti altri esempi tra i grandi sistemi e le case di semiconduttori. Ho l'impressione che gli stampi provengano ancora prevalentemente da fonti interne (tranne forse per gli stack HBM) e assemblati con tecnologie di imballaggio di fonderia di TSMC, Samsung o Intel. Tuttavia, Tenstorrent ha appena annunciato di aver scelto Samsung per produrre il suo progetto AI di prossima generazione come chiplet (un die adatto per essere utilizzato in un sistema multi-die), quindi questo spazio si sta già spostando verso un più ampio approvvigionamento di die.

Tutti i relatori erano naturalmente entusiasti della direzione generale e chiaramente le tecnologie e gli strumenti si stanno evolvendo rapidamente, il che spiega il fermento. Lalitha ha fondato questo entusiasmo osservando che il modo in cui i sistemi multi-die vengono attualmente architettati e progettati è ancora nella sua fase iniziale, non ancora pronto a lanciare un vasto mercato riutilizzabile per le matrici. Questo non mi sorprende. Sembra che una tecnologia di questa complessità debba maturare prima in strette collaborazioni tra progettisti di sistemi, fonderie e società EDA, forse nel corso di diversi anni prima di potersi estendere a un pubblico più vasto.

Sono sicuro che le fonderie, i costruttori di sistemi e le società EDA non mostrano tutte le loro carte e potrebbero essere più avanti di quanto scelgono di pubblicizzare. Non vedo l'ora di saperne di più. Puoi guardare la tavola rotonda QUI.

Condividi questo post tramite: