Neural netværksvækst kræver hidtil uset halvlederskalering

Sandheden er, at vi kun er ved begyndelsen af ​​den kunstige intelligente (AI) revolution. AI-egenskaberne er lige nu begyndt at vise antydninger af, hvad fremtiden bringer. For eksempel bruger biler store komplekse neurale netværksmodeller til ikke kun at forstå deres omgivelser, men også til at styre og kontrollere sig selv. For enhver applikation skal der være træningsdata for at skabe nyttige netværk. Størrelsen af ​​både trænings- og inferensoperationerne vokser hurtigt, efterhånden som nyttige data fra den virkelige verden er inkorporeret i modeller. Lad os se på væksten af ​​modeller i de seneste år for at forstå, hvordan dette driver behovene for processorkraft til træning og konklusioner.

I en præsentation på Ansys 2021 Ideas Digital Forum gav VP of Engineering hos Cerebras, Dhiraj Mallik, et indblik i væksten af ​​neurale netværksmodeller. I de sidste to år er modelstørrelsen vokset 1000X, fra BERT Base (110 MB) til GPT-3 (175 GB). Og i fremtiden er der MSFT-1T-modellen med en størrelse på 1 TB. GPT-3-modellen – som er et interessant emne for sig selv – blev trænet med konventionel hardware ved hjælp af 1024 GPU'er i 4 måneder. Det er en NLP-model (natural language processing), der bruger de fleste tekstdata på internettet og andre kilder. Den er udviklet af Open AI, og er nu grundlaget for OpenAI Codex, som er en applikation, der kan skrive nyttig programmeringskode på flere sprog ud fra almindelige sproginstruktioner fra brugere. GPT-3 kan bruges til at skrive korte artikler, som et flertal af læserne ikke kan se, er skrevet af et AI-program.

Som du kan se ovenfor, er det ikke muligt at køre 1024 GPU'er i 4 måneder. I sin tale med titlen "Delivering Unprecedent AP Acceleration: Beyond Moore's Law" fremhæver Dhiraj, at de fremskridt, der er nødvendige for at understøtte dette niveau af halvledervækst, går langt ud over, hvad vi har været vant til at se med Moores lov. Som svar på dette opfattede markedsbehov udgav Cerebras deres WSE-1, wafer-skala AI-motor i 2019 - 56 gange større end nogen chip nogensinde produceret. Halvandet år senere annoncerede de WSE-2, igen den største chip, som alle er bygget med:

• 6 billioner transistorer
• 850,000 optimerede AI-kerner
• 40 GB RAM
• 20 petabyte/s hukommelsesbåndbredde
• 220 petabytes stofbåndbredde
• Bygget med TSMC's N7-proces
• En wafer indeholder 84 matricer, hver på 550 mm².

CS-2-systemet, der indkapsler WSE-2, kan passe til AI-modeller med 120 billioner parametre. Hvad der er endnu mere imponerende er, at CS-2-systemer kan indbygges i 192-enheds-klynger for at give næsten lineære præstationsgevinster. Cerebras har udviklet et hukommelsesundersystem, der opdeler hukommelse og beregninger for at give bedre skalering og forbedret gennemløb for ekstremt store modeller. Cerebras har også udviklet optimeringer for sparsomhed i træningssæt, hvilket sparer tid og strøm.

Dhirajs præsentation går mere i detaljer om deres muligheder, især inden for området for effektiv skalering med større modeller for at opretholde gennemløb og kapacitet. Fra et halvlederperspektiv er det også interessant at se, hvordan Cerebras analyserede IR-faldet, elektromigration og ESD-signoff på et design, der er 2 størrelsesordener større end noget andet, der nogensinde er forsøgt af halvlederindustrien. Dhiraj taler om, hvordan Cerebras på hvert niveau af designet – fliser, blok og fuld wafer – brugte Ansys RedHawk-SC på tværs af flere CPU'er til statisk og dynamisk IR drop signoff. RedHawk-SC blev også brugt til strømelektromigration og signalelektromigrationstjek. På samme måde brugte de Ansys Pathfinder til ESD-modstands- og strømtæthedstjek.

Med et stykke silicium så stort ved 7nm er værktøjsbeslutningerne bogstaveligt talt "gør eller bryde". At bygge silicium så forstyrrende kræver mange meget velovervejede valg i udviklingsprocessen, og uovertruffen kapacitet er naturligvis en primær bekymring. Men som Dhirajs præsentation tydeligt viser, er CS-2s niveau af øget processorkraft nødvendigt for at styre den vækstrate, vi ser i AI/ML-modeller. Vi vil uden tvivl se innovationer, der ligger uden for vores fantasi i dag inden for kunstig intelligens. Ligesom nettet og skyen har ændret teknologien og endda samfundet, kan vi forvente, at udviklingen af ​​ny AI-teknologi vil ændre vores verden på dramatiske måder. Hvis du er interesseret i at lære mere om Cerebras silicium, så tag et kig på Dhirajs præsentation på Ansys IDEAS Digital Forum på www.ansys.com/ideas.

Del dette opslag via: Kilde: https://semiwiki.com/eda/303587-neural-network-growth-requires-unprecedented-semiconductor-scaling/