Actualizări panoului Synopsys despre starea sistemelor multi-die - Semiwiki

Republicat de Platon

Urmaritori: 0

Synopsys a găzduit recent un panel inter-industrial despre starea sistemelor multi-die, pe care l-am găsit interesant, nu în ultimul rând pentru relevanța sa pentru accelerarea rapidă a hardware-ului centrat pe AI. Mai multe despre asta mai jos. Experții, toți cu roluri semnificative în sistemele multi-die, au fost Shekhar Kapoor (Director senior de management al produselor, Synopsys), Cheolmin Park (VP Corporate, Samsung), Lalitha Immaneni (VP Arhitectură, Design și Soluții Tehnologice, Intel), Michael Schaffert (VP senior, Bosch) și Murat Becer (VP R&D, Ansys). Panelul a fost moderat de Marco Chiappetta (cofondator și analist principal, HotTech Vision and Analysis).

matriță multiplă 525x315 lumină

Un factor de mare cerere

Este obișnuit sub această rubrică să dezvăluiți toți suspecții obișnuiți (HPC, Automotive etc.), dar acea listă vinde scurt, poate cel mai mare factor de bază - lupta actuală pentru dominație în tot ceea ce LLM și AI generativă. Modelele lingvistice mari oferă noi niveluri de servicii SaaS în căutarea, crearea de documente și alte capabilități, cu avantaje competitive majore pentru oricine primește acest lucru. Pe dispozitivele mobile și în mașină, controlul și feedbackul superior bazat pe limbaj natural vor face ca opțiunile existente bazate pe voce să pară primitive prin comparație. Între timp, metodele generative pentru crearea de noi imagini folosind modelele de flux Diffusion și Poisson pot genera grafice spectaculoase desenate pe text sau o fotografie completate de biblioteci de imagini. În calitate de atracție pentru consumatori, acesta s-ar putea dovedi a fi următorul lucru important pentru viitoarele lansări de telefoane.

În timp ce IA bazată pe transformatoare prezintă o oportunitate uriașă $$$, aceasta vine cu provocări. Tehnologiile care fac posibile astfel de metode sunt deja dovedite în cloud și apar la margine, totuși sunt faimoase înfometate de memorie. LLM-urile de producție rulează oriunde de la miliarde la trilioane de parametri care trebuie încărcați în transformator. Cererea de spațiu de lucru în proces este la fel de mare; Imaginile bazate pe difuzie adaugă progresiv zgomot la o imagine completă, apoi se întoarce la o imagine modificată, din nou prin platforme bazate pe transformatoare.

În afară de o încărcare inițială, niciunul dintre aceste procese nu își poate permite suprasarcina de interacțiune cu DRAM externă. Latentele ar fi inacceptabile, iar cererea de energie ar consuma bateria unui telefon sau ar reduce bugetul de energie pentru un centru de date. Toată memoria trebuie să fie aproape – foarte aproape – de calcul. O soluție este să stivuiți SRAM deasupra acceleratorului (după cum au demonstrat AMD și acum Intel pentru cipurile lor de server). Pachetul de memorie cu lățime de bandă mare adaugă o altă opțiune oarecum mai lentă, dar încă nu la fel de lentă ca DRAM-ul off-chip.

Toate acestea necesită sisteme multi-die. Așadar, unde ne aflăm în a pregăti această opțiune pentru producție?

Vederi despre locul în care ne aflăm

Am auzit mult entuziasm pentru creșterea în acest domeniu, în adoptare, aplicații și instrumente. Intel, AMD, Qualcomm, Samsung sunt toate în mod clar foarte active în acest spațiu. Apple M2 Ultra este cunoscut a fi un design cu matriță duală, iar AWS Graviton 3 un sistem cu mai multe matrițe. Sunt sigur că există o mulțime de alte exemple printre sistemele mari și casele semiconductoare. Am impresia că matrițele sunt încă obținute predominant din interior (cu excepția poate pentru stivele HBM) și asamblate în tehnologii de ambalare de turnătorie de la TSMC, Samsung sau Intel. Cu toate acestea, Tenstorrent tocmai a anunțat că a ales Samsung pentru a-și produce designul AI de următoarea generație ca chiplet (o matriță potrivită pentru a fi utilizată într-un sistem cu mai multe matrițe), așa că acest spațiu se îndreaptă deja către o aprovizionare mai largă de matrițe.

Toți participanții au fost în mod firesc entuziaști de direcția generală și, în mod clar, tehnologiile și instrumentele evoluează rapid, ceea ce explică entuziasmul. Lalitha și-a întemeiat acest entuziasm observând că modul în care sistemele multi-more sunt în prezent arhitecturate și proiectate este încă la început, nefiind încă pregătită să lanseze o piață extinsă reutilizabilă pentru matrițe. Asta nu mă surprinde. Tehnologia de această complexitate pare că ar trebui să se maturizeze mai întâi în parteneriate strânse între proiectanții de sisteme, turnătorii și companiile EDA, poate peste câțiva ani înainte de a se extinde la un public mai larg.

Sunt sigur că turnătoriile, constructorii de sisteme și companiile EDA nu își arată toate cardurile și ar putea fi mai departe decât aleg să facă publicitate. Aștept cu nerăbdare să aud mai multe. Puteți urmări discuția AICI.

Distribuie această postare prin: