Synopsys Panelupdates over de staat van multi-die-systemen - Semiwiki

Heruitgegeven door Plato

volgers: 0

Synopsys organiseerde onlangs een sectoroverschrijdend panel over de stand van zaken op het gebied van multi-die-systemen, wat ik interessant vond, niet in de laatste plaats vanwege de relevantie ervan voor de snelle versnelling van AI-centrische hardware. Daarover hieronder meer. Panelleden, allen met een belangrijke rol in multi-die-systemen, waren Shekhar Kapoor (Senior Director of Product Management, Synopsys), Cheolmin Park (Corporate VP, Samsung), Lalitha Immaneni (VP Architecture, Design and Technology Solutions, Intel), Michael Schaffert (Senior VP, Bosch) en Murat Becer (VP R&D, Ansys). Het panel werd gemodereerd door Marco Chiappetta (medeoprichter en hoofdanalist, HotTech Vision and Analysis).

multi-matrijs 525x315 licht

Een grote vraagdriver

Het is gebruikelijk onder deze noemer om alle gebruikelijke verdachten (HPC, Automotive, enz.) uit te rollen, maar die lijst verkoopt misschien wel de grootste onderliggende factor: de huidige strijd om dominantie in alles wat LLM en generatieve AI betreft. Grote taalmodellen bieden nieuwe niveaus van SaaS-diensten op het gebied van zoeken, documentcreatie en andere mogelijkheden, met grote concurrentievoordelen voor degene die dit als eerste goed doet. Op mobiele apparaten en in de auto zullen de superieure, op natuurlijke taal gebaseerde bediening en feedback ervoor zorgen dat de bestaande op spraak gebaseerde opties er in vergelijking primitief uitzien. Ondertussen kunnen generatieve methoden voor het creëren van nieuwe afbeeldingen met behulp van diffusie- en Poisson-stroommodellen spectaculaire grafische afbeeldingen uit tekst of een foto halen, aangevuld met beeldbibliotheken. Als consument zou dit het volgende grote ding kunnen blijken te zijn voor toekomstige telefoonreleases.

Hoewel op transformatoren gebaseerde AI een enorme kans biedt, brengt het ook uitdagingen met zich mee. De technologieën die dergelijke methoden mogelijk maken, zijn al bewezen in de cloud en ontstaan aan de edge, maar ze staan bekend om hun geheugenhonger. Productie-LLM's variëren van miljarden tot biljoenen parameters die in de transformator moeten worden geladen. De vraag naar werkruimte tijdens het proces is even groot; Op diffusie gebaseerde beeldvorming voegt geleidelijk ruis toe aan een volledig beeld en werkt vervolgens terug naar een aangepast beeld, wederom via op transformatoren gebaseerde platforms.

Afgezien van een initiële belasting kan geen van deze processen de overhead van interactie met externe DRAM opbrengen. Latenties zouden onaanvaardbaar zijn en de vraag naar stroom zou de batterij van een telefoon leegmaken of het energiebudget van een datacenter opblazen. Al het geheugen moet dichtbij – heel dichtbij – de computer zijn. Eén oplossing is om SRAM bovenop de accelerator te stapelen (zoals AMD en nu Intel hebben gedemonstreerd voor hun serverchips). Het ingebouwde geheugen met hoge bandbreedte voegt nog een iets langzamere optie toe, maar nog steeds niet zo langzaam als DRAM buiten de chip.

Dit alles vereist systemen met meerdere matrijzen. Dus waar staan we als we die optie productieklaar willen maken?

Uitzicht op waar we staan

Ik hoorde veel enthousiasme voor groei in dit domein, in adoptie, toepassingen en tooling. Intel, AMD, Qualcomm en Samsung zijn allemaal duidelijk erg actief op dit gebied. Van Apple M2 Ultra is bekend dat het een dual-die-ontwerp is, en AWS Graviton 3 een multi-die-systeem. Ik ben er zeker van dat er nog tal van andere voorbeelden zijn onder de grote systemen en halfgeleiderhuizen. Ik krijg de indruk dat de matrijzen nog steeds voornamelijk intern worden ingekocht (behalve misschien voor HBM-stacks) en worden geassembleerd in gieterijverpakkingstechnologieën van TSMC, Samsung of Intel. Tenstorrent heeft echter zojuist aangekondigd dat ze voor Samsung hebben gekozen om hun AI-ontwerp van de volgende generatie te vervaardigen als een chiplet (een chip die geschikt is om te worden gebruikt in een systeem met meerdere matrijzen), dus deze ruimte begint al richting een bredere inkoop van matrijzen te gaan.

Alle panelleden waren uiteraard enthousiast over de algemene richting, en het is duidelijk dat technologieën en hulpmiddelen snel evolueren, wat de buzz verklaart. Lalitha baseerde dat enthousiasme door op te merken dat de manier waarop systemen met meerdere matrijzen momenteel worden ontworpen en ontworpen nog in de kinderschoenen staat en nog niet klaar is om een uitgebreide herbruikbare markt voor matrijzen te lanceren. Dat verbaast mij niet. Het lijkt erop dat technologie met deze complexiteit eerst moet rijpen in nauwe samenwerking tussen systeemontwerpers, gieterijen en EDA-bedrijven, misschien over een aantal jaren, voordat deze zich kan uitbreiden naar een groter publiek.

Ik ben er zeker van dat gieterijen, systeembouwers en EDA-bedrijven niet al hun kaarten laten zien en misschien al verder zijn dan ze willen adverteren. Ik kijk ernaar uit om meer te horen. U kunt de paneldiscussie bekijken HIER.

Deel dit bericht via: