Eterogeneità dei chiplet e pianificazione avanzata con pipeline

Un documento tecnico intitolato “Inter-Layer Scheduling Space Exploration for Multi-model Inference on Heterogeneous Chiplets” è stato pubblicato dai ricercatori dell’Università della California Irvine.

Abstract:

“Per far fronte alla crescente domanda di elaborazione derivante dai recenti carichi di lavoro multi-modello con modelli pesanti come i modelli linguistici di grandi dimensioni, proponiamo di implementare acceleratori eterogenei basati su moduli multi-chip (MCM) basati su chiplet. Sviluppiamo un framework di pianificazione avanzato per acceleratori MCM eterogenei che considerano in modo completo l'eterogeneità complessa e il pipeline inter-chiplet. I nostri esperimenti utilizzando il nostro framework sui modelli GPT-2 e ResNet-50 su un sistema a 4 chiplet hanno mostrato un aumento fino a 2.2x e 1.9x del throughput e dell’efficienza energetica, rispetto a un acceleratore monolitico con un flusso di dati stazionario in uscita ottimizzato.

Trovare il documento tecnico qui. Pubblicato a dicembre 2023 (prestampa).

Odema, Mohanad, Hyoukjun Kwon e Mohammad Abdullah Al Faruque. "Esplorazione dello spazio con pianificazione interstrato per inferenza multimodello su chiplet eterogenei." prestampa di arXiv arXiv:2312.09401 (2023).

Lettura correlata
Chiplet: 2023 (EBook)
Cosa sono i chiplet, a cosa servono oggi e a cosa serviranno in futuro.
Preparazione Per Chiplet Commerciali
Una discussione tra esperti su cosa manca, quali cambiamenti sono in corso e perché i chiplet sono sempre più necessari.

• Distribuzione di contenuti basati su SEO e PR. Ricevi amplificazione oggi.
• PlatoData.Network Generativo verticale Ai. Potenzia te stesso. Accedi qui.
• PlatoAiStream. Intelligenza Web3. Conoscenza amplificata. Accedi qui.
• PlatoneESG. Carbonio, Tecnologia pulita, Energia, Ambiente, Solare, Gestione dei rifiuti. Accedi qui.
• Platone Salute. Intelligence sulle biotecnologie e sulle sperimentazioni cliniche. Accedi qui.
• Fonte: https://semiengineering.com/chiplet-heterogeneity-and-advanced-scheduling-with-pipelining/