Synopsys panelopdateringer om tilstanden af multi-die-systemer - Semiwiki

Genudgivet af Platon

Abonnenter: 0

Synopsys var for nylig vært for et tværindustrielt panel om tilstanden af multi-die-systemer, som jeg fandt interessant ikke mindst for dets relevans for den hurtige acceleration i AI-centreret hardware. Mere om det nedenfor. Paneldeltagere, alle med væsentlige roller i multi-die-systemer, var Shekhar Kapoor (Senior Director of Product Management, Synopsys), Cheolmin Park (Corporate VP, Samsung), Lalitha Immaneni (VP Architecture, Design and Technology Solutions, Intel), Michael Schaffert (Senior VP, Bosch) og Murat Becer (VP R&D, Ansys). Panelet blev modereret af Marco Chiappetta (medstifter og hovedanalytiker, HotTech Vision and Analysis).

multi die 525x315 lys

En stor efterspørgsel driver

Det er almindeligt under denne overskrift at udrulle alle de sædvanlige mistænkte (HPC, Automotive, osv.), men den liste sælger kort, måske den største underliggende faktor - den nuværende kamp om dominans i alt LLM og generativ AI. Store sprogmodeller tilbyder nye niveauer af SaaS-tjenester inden for søgning, oprettelse af dokumenter og andre muligheder, med store konkurrencefordele for den, der først får det rigtige. På mobile enheder og i bilen vil overlegen naturlig sprogbaseret kontrol og feedback få eksisterende stemmebaserede muligheder til at se primitive ud i sammenligning. I mellemtiden kan generative metoder til at skabe nye billeder ved hjælp af Diffusion og Poisson flow-modeller pumpe ud spektakulær grafik, der tegner på tekst eller et fotografi suppleret med billedbiblioteker. Som et forbrugertræk kan dette vise sig at blive den næste store ting for fremtidige telefonudgivelser.

Mens transformer-baseret kunstig intelligens giver en enorm $$$ mulighed, kommer det med udfordringer. De teknologier, der gør sådanne metoder mulige, er allerede bevist i skyen og dukker op på kanten, men alligevel er de berømt hukommelseshungrende. Produktions-LLM'er kører alt fra milliarder til billioner af parametre, som skal indlæses til transformeren. Efterspørgslen efter arbejdsrum under processen er lige så høj; diffusionsbaseret billedbehandling tilføjer gradvist støj til et fuldt billede og arbejder derefter tilbage til et modificeret billede, igen gennem transformer-baserede platforme.

Bortset fra en indledende belastning, har ingen af disse processer råd til overhead ved at interagere med ekstern DRAM. Latenser ville være uacceptable, og strømbehov ville dræne et telefonbatteri eller sprænge strømbudgettet for et datacenter. Al hukommelsen skal være tæt på – meget tæt på – computeren. En løsning er at stable SRAM oven på acceleratoren (som AMD og nu Intel har demonstreret for deres serverchips). Hukommelse med høj båndbredde i pakken tilføjer en anden noget langsommere mulighed, men stadig ikke så langsom som off-chip DRAM.

Alt dette kræver multi-die-systemer. Så hvor er vi ved at gøre den mulighed produktionsklar?

Synspunkter på hvor vi er

Jeg hørte en masse begejstring for vækst på dette område, i adoption, applikationer og værktøjer. Intel, AMD, Qualcomm, Samsung er alle tydeligvis meget aktive på dette område. Apple M2 Ultra er kendt for at være et dual-die-design, og AWS Graviton 3 er et multi-die-system. Jeg er sikker på, at der er masser af andre eksempler blandt de store systemer og halvlederhuse. Jeg får det indtryk, at matricerne stadig overvejende hentes internt (undtagen måske HBM-stabler) og samlet i støbeemballeringsteknologier fra TSMC, Samsung eller Intel. Tenstorrent har dog netop annonceret, at de har valgt Samsung til at fremstille deres næste generations AI-design som en chiplet (en matrice, der er egnet til at blive brugt i et multi-die-system), så dette rum er allerede på vej mod bredere die sourcing.

Alle paneldeltagere var naturligvis begejstrede for den generelle retning, og det er klart, at teknologier og værktøjer udvikler sig hurtigt, hvilket forklarer buzzet. Lalitha begrundede denne entusiasme ved at bemærke, at den måde, hvorpå multi-matrice-systemer i øjeblikket bliver bygget og designet, stadig er i sin vorden, endnu ikke klar til at lancere et omfattende genanvendeligt marked for matricer. Det overrasker mig ikke. Teknologi af denne kompleksitet ser ud til, at den først bør modnes i tætte partnerskaber mellem systemdesignere, støberier og EDA-virksomheder, måske over flere år, før den kan udvides til et større publikum.

Jeg er sikker på, at støberier, systembyggere og EDA-virksomheder ikke viser alle deres kort og kan være længere fremme, end de vælger at annoncere. Jeg glæder mig til at høre mere. Du kan se paneldebatten HER.

Del dette opslag via: