Synopsys-paneloppdateringer om tilstanden til multi-die-systemer - Semiwiki

Publisert av Platon

Følgere: 0

Synopsys var nylig vert for et tverrindustripanel om tilstanden til multi-die-systemer som jeg fant interessant ikke minst for dens relevans for den raske akselerasjonen i AI-sentrisk maskinvare. Mer om det nedenfor. Paneldeltakere, alle med betydelige roller i multi-die-systemer, var Shekhar Kapoor (Senior Director of Product Management, Synopsys), Cheolmin Park (Corporate VP, Samsung), Lalitha Immaneni (VP Architecture, Design and Technology Solutions, Intel), Michael Schaffert (Senior VP, Bosch), og Murat Becer (VP R&D, Ansys). Panelet ble moderert av Marco Chiappetta (medgründer og hovedanalytiker, HotTech Vision and Analysis).

multi die 525x315 lys

En driver med stor etterspørsel

Det er vanlig under denne overskriften å rulle ut alle de vanlige mistenkte (HPC, Automotive, osv.), men den listen selger kort, kanskje den største underliggende faktoren – den nåværende kampen om dominans i alt av LLM og generativ AI. Store språkmodeller tilbyr nye nivåer av SaaS-tjenester innen søk, dokumentoppretting og andre muligheter, med store konkurransefortrinn for den som først får dette rett. På mobile enheter og i bilen vil overlegen naturlig språkbasert kontroll og tilbakemelding få eksisterende stemmebaserte alternativer til å se primitive ut i sammenligning. I mellomtiden kan generative metoder for å lage nye bilder ved hjelp av Diffusion og Poisson flow-modeller pumpe ut spektakulær grafikk som tegner på tekst eller et fotografi supplert med bildebiblioteker. Som en forbrukertrekning kan dette vise seg å bli den neste store tingen for fremtidige telefonutgivelser.

Mens transformatorbasert AI gir en enorm $$$-mulighet, kommer det med utfordringer. Teknologiene som gjør slike metoder mulige er allerede utprøvd i skyen og dukker opp på kanten, men de er kjente minnesultne. Produksjons-LLM-er kjører alt fra milliarder til billioner av parametere som må lastes til transformatoren. Etterspørselen etter arbeidsplass i prosessen er like høy; diffusjonsbasert bildebehandling legger gradvis til støy til et fullstendig bilde og går deretter tilbake til et modifisert bilde, igjen gjennom transformatorbaserte plattformer.

Bortsett fra en innledende belastning, har ingen av disse prosessene råd til overheaden med å samhandle med ekstern DRAM. Forsinkelser ville være uakseptable og strømbehov ville tappe et telefonbatteri eller ville sprenge strømbudsjettet for et datasenter. Alt minnet må være nær – veldig nær – datamaskinen. En løsning er å stable SRAM på toppen av akseleratoren (som AMD og nå Intel har demonstrert for sine serverbrikker). Minne med høy båndbredde i pakken legger til et annet noe tregere alternativ, men fortsatt ikke så tregt som off-chip DRAM.

Alt dette krever multi-die-systemer. Så hvor er vi ved å gjøre det alternativet produksjonsklart?

Utsikt over hvor vi er

Jeg hørte mye entusiasme for vekst i dette domenet, i adopsjon, applikasjoner og verktøy. Intel, AMD, Qualcomm, Samsung er alle tydeligvis veldig aktive på dette området. Apple M2 Ultra er kjent for å være en dobbel die-design, og AWS Graviton 3 er et multi-die-system. Jeg er sikker på at det er mange andre eksempler blant de store systemene og halvlederhusene. Jeg får inntrykk av at matrisene fortsatt hovedsakelig hentes internt (unntatt kanskje HBM-stabler), og satt sammen i støperiemballasjeteknologier fra TSMC, Samsung eller Intel. Tenstorrent kunngjorde imidlertid nettopp at de har valgt Samsung til å produsere sin neste generasjons AI-design som en chiplet (en die som er egnet for bruk i et multi-die-system), så denne plassen er allerede på vei mot bredere die sourcing.

Alle paneldeltakerne var naturlig nok entusiastiske over den generelle retningen, og det er klart at teknologier og verktøy utvikler seg raskt, noe som står for buzz. Lalitha grunnet den entusiasmen ved å bemerke at måten multi-die-systemer som for tiden bygges og utformes fortsatt er i sin spede begynnelse, ennå ikke klar til å lansere et omfattende gjenbrukbart marked for die. Det overrasker meg ikke. Teknologi av denne kompleksiteten ser ut til at den først bør modnes i tette partnerskap mellom systemdesignere, støperier og EDA-selskaper, kanskje over flere år før den kan utvides til et større publikum.

Jeg er sikker på at støperier, systembyggere og EDA-selskaper ikke viser alle kortene sine og kan være lenger på vei enn de velger å annonsere. Jeg ser frem til å høre mer. Du kan se paneldebatten HER.

Del dette innlegget via: