Vekst i nevrale nettverk krever en enestående skalering av halvleder

Sannheten er at vi bare er i begynnelsen av den kunstige intelligente (AI)-revolusjonen. Egenskapene til AI begynner akkurat nå å vise hint om hva fremtiden bringer. For eksempel bruker biler store komplekse nevrale nettverksmodeller for ikke bare å forstå miljøet, men også for å styre og kontrollere seg selv. For enhver applikasjon må det være opplæringsdata for å skape nyttige nettverk. Størrelsen på både trenings- og slutningsoperasjonene vokser raskt ettersom nyttige data fra den virkelige verden blir innlemmet i modeller. La oss se på veksten av modeller de siste årene for å forstå hvordan dette driver behovene for prosessorkraft for opplæring og slutninger.

I en presentasjon på Ansys 2021 Ideas Digital Forum ga VP of Engineering ved Cerebras, Dhiraj Mallik, litt innsikt i veksten av nevrale nettverksmodeller. I løpet av de siste to årene har modellstørrelsen vokst 1000X, fra BERT Base (110 MB) til GPT-3 (175 GB). Og på trappene er det MSFT-1T-modellen, med en størrelse på 1 TB. GPT-3-modellen – som er et interessant emne for seg selv – ble trent med konvensjonell maskinvare ved bruk av 1024 GPUer i 4 måneder. Det er en naturlig språkbehandlingsmodell (NLP) som bruker mesteparten av tekstdataene på internett og andre kilder. Den er utviklet av Open AI, og er nå grunnlaget for OpenAI Codex, som er en applikasjon som kan skrive nyttig programmeringskode på flere språk fra klarspråksinstruksjoner fra brukere. GPT-3 kan brukes til å skrive korte artikler som et flertall av leserne ikke kan se er skrevet av et AI-program.

Som du kan se ovenfor, er det ikke mulig å kjøre 1024 GPUer i 4 måneder. I sitt foredrag med tittelen "Delivering Unprecedent AP Acceleration: Beyond Moore's Law" gjør Dhiraj poenget at fremskrittene som trengs for å støtte dette nivået av halvledervekst går langt utover det vi har vært vant til å se med Moores lov. Som svar på dette opplevde markedsbehovet, ga Cerebras ut sin WSE-1, wafer-skala AI-motor i 2019 – 56 ganger større enn noen brikke som noen gang er produsert. Et og et halvt år senere annonserte de WSE-2, igjen den største brikken hver bygget med:

• 6 billioner transistorer
• 850,000 XNUMX optimaliserte AI-kjerner
• 40 GB RAM
• 20 petabyte/s minnebåndbredde
• 220 petabyte stoffbåndbredde
• Bygget med TSMCs N7-prosess
• En wafer inneholder 84 dyser, hver 550 mm².

CS-2-systemet som innkapsler WSE-2 kan passe AI-modeller med 120 billioner parametere. Det som er enda mer imponerende er at CS-2-systemer kan bygges inn i 192-enheters klynger for å gi nesten lineære ytelsesgevinster. Cerebras har utviklet et minneundersystem som deler opp minne og beregninger for å gi bedre skalering og forbedret gjennomstrømning for ekstremt store modeller. Cerebras har også utviklet optimaliseringer for sparsomhet i treningssett, noe som sparer tid og kraft.

Dhirajs presentasjon går mer i detalj om deres evner, spesielt når det gjelder å skalere effektivt med større modeller for å opprettholde gjennomstrømning og kapasitet. Fra et halvlederperspektiv er det også interessant å se hvordan Cerebras analyserte IR-fall, elektromigrering og ESD-signoff på et design som er 2 størrelsesordener større enn noe annet som noen gang er forsøkt av halvlederindustrien. Dhiraj snakker om hvordan Cerebras på hvert nivå i designet – fliser, blokker og full wafer – brukte Ansys RedHawk-SC på tvers av flere CPUer for statisk og dynamisk IR-slippsignoff. RedHawk-SC ble også brukt til strømelektromigrasjon og signalelektromigrasjonssjekker. På samme måte brukte de Ansys Pathfinder for ESD-motstand og strømtetthetskontroller.

Med et stykke silisium som er så stort på 7nm, er verktøyavgjørelsene bokstavelig talt "make eller bryte". Å bygge et slikt forstyrrende silisium krever mange veloverveide valg i utviklingsprosessen, og uovertruffen kapasitet er selvfølgelig en primær bekymring. Likevel, som Dhirajs presentasjon tydelig viser, er CS-2s nivå av økt prosessorkraft nødvendig for å styre veksthastigheten vi ser i AI/ML-modeller. Utvilsomt vil vi se innovasjoner som er utenfor vår fantasi i dag innen AI. Akkurat som nettet og skyen har endret teknologien og til og med samfunnet, kan vi forvente at utviklingen av ny AI-teknologi vil endre verden vår på dramatiske måter. Hvis du er interessert i å lære mer om Cerebras silisium, ta en titt på Dhirajs presentasjon på Ansys IDEAS Digital Forum på www.ansys.com/ideas.

Del dette innlegget via: Kilde: https://semiwiki.com/eda/303587-neural-network-growth-requires-unprecedented-semiconductor-scaling/