Synopsys paneluppdateringar om tillståndet för multi-die-system - Semiwiki

Återutgiven av Platon

anhängare: 0

Synopsys var nyligen värd för en branschövergripande panel om tillståndet för multi-die-system som jag fann intressant inte minst för dess relevans för den snabba accelerationen i AI-centrerad hårdvara. Mer om det nedan. Paneldeltagare, alla med betydande roller i multi-die-system, var Shekhar Kapoor (Senior Director of Product Management, Synopsys), Cheolmin Park (Corporate VP, Samsung), Lalitha Immaneni (VP Architecture, Design and Technology Solutions, Intel), Michael Schaffert (Senior VP, Bosch) och Murat Becer (VP R&D, Ansys). Panelen modererades av Marco Chiappetta (medgrundare och huvudanalytiker, HotTech Vision and Analysis).

multidie 525x315 ljus

En drivrutin med stor efterfrågan

Det är vanligt under den här rubriken att rulla ut alla vanliga misstänkta (HPC, Automotive, etc.) men den listan säljer kort, kanske den största underliggande faktorn – den nuvarande kampen om dominans i allt LLM och generativ AI. Stora språkmodeller erbjuder nya nivåer av SaaS-tjänster inom sökning, dokumentskapande och andra möjligheter, med stora konkurrensfördelar för den som först får detta rätt. På mobila enheter och i bilen kommer överlägsen naturlig språkbaserad kontroll och feedback att få befintliga röstbaserade alternativ att se primitiva ut i jämförelse. Samtidigt kan generativa metoder för att skapa nya bilder med Diffusion och Poisson-flödesmodeller pumpa ut spektakulär grafik som ritar på text eller ett fotografi kompletterat med bildbibliotek. Som konsumentdragning kan detta visa sig vara nästa stora grej för framtida telefonsläpp.

Även om transformatorbaserad AI erbjuder en enorm $$$-möjlighet kommer det med utmaningar. Teknikerna som gör sådana metoder möjliga är redan bevisade i molnet och dyker upp vid kanten, men ändå är de minneshungriga. Produktions-LLM:er går allt från miljarder till biljoner parametrar som måste laddas till transformatorn. Efterfrågan på arbetsyta under processen är lika stor; diffusionsbaserad bildbehandling lägger gradvis till brus till en hel bild och arbetar sedan tillbaka till en modifierad bild, återigen genom transformatorbaserade plattformar.

Bortsett från en initial belastning, har ingen av dessa processer råd med omkostnader för att interagera med externt DRAM. Latenser skulle vara oacceptabelt och strömbehovet skulle tömma ett telefonbatteri eller spränga energibudgeten för ett datacenter. Allt minne måste vara nära – mycket nära – datorn. En lösning är att stapla SRAM ovanpå acceleratorn (som AMD och nu Intel har visat för sina serverchips). Minne med hög bandbredd i paketet lägger till ett annat något långsammare alternativ men fortfarande inte lika långsamt som off-chip DRAM.

Allt detta kräver multi-die-system. Så var är vi på att göra det alternativet produktionsfärdigt?

Synpunkter på var vi är

Jag hörde mycket entusiasm för tillväxt inom denna domän, i adoption, applikationer och verktyg. Intel, AMD, Qualcomm, Samsung är alla helt klart mycket aktiva i det här utrymmet. Apple M2 Ultra är känt för att vara en design med dubbla formar och AWS Graviton 3 ett system med flera formar. Jag är säker på att det finns många andra exempel bland de stora systemen och halvledarhusen. Jag får intrycket att formarna fortfarande huvudsakligen kommer från internt (förutom kanske HBM-stackar) och monteras i gjuteriförpackningstekniker från TSMC, Samsung eller Intel. Men Tenstorrent meddelade precis att de har valt Samsung för att tillverka sin nästa generations AI-design som en chiplet (en stans som är lämplig att användas i ett system med flera stansar), så det här utrymmet är redan på väg mot bredare inköp av stansar.

Alla paneldeltagare var naturligtvis entusiastiska över den allmänna riktningen, och helt klart utvecklas teknologier och verktyg snabbt, vilket står för surret. Lalitha grundade den entusiasmen genom att notera att det sätt som multi-die-system som för närvarande byggs och designas fortfarande är i sin linda, ännu inte redo att lansera en omfattande återanvändningsbar marknad för form. Det förvånar mig inte. Teknik av denna komplexitet verkar som om den först bör mogna i täta partnerskap mellan systemdesigners, gjuterier och EDA-företag, kanske över flera år innan den kan sträcka sig till en större publik.

Jag är säker på att gjuterier, systembyggare och EDA-företag inte visar alla sina kort och kan vara längre än de väljer att annonsera. Jag ser fram emot att höra mer. Du kan se paneldiskussionen HÄR.

Dela det här inlägget via: