Neural nätverkstillväxt kräver oöverträffad halvledarskalning

Sanningen är att vi bara är i början av den artificiella intelligenta (AI) revolutionen. AI:s kapacitet börjar just nu visa antydningar om vad framtiden har att erbjuda. Till exempel använder bilar stora komplexa neurala nätverksmodeller för att inte bara förstå sin miljö, utan också för att styra och kontrollera sig själva. För alla applikationer måste det finnas utbildningsdata för att skapa användbara nätverk. Storleken på både tränings- och slutledningsoperationerna växer snabbt eftersom användbar verklig data införlivas i modeller. Låt oss titta på tillväxten av modeller under de senaste åren för att förstå hur detta driver behoven av processorkraft för utbildning och slutsatser.

I en presentation på Ansys 2021 Ideas Digital Forum gav VP of Engineering vid Cerebras, Dhiraj Mallik, en viss inblick i tillväxten av neurala nätverksmodeller. Under de senaste två åren har modellstorleken vuxit 1000X, från BERT Base (110 MB) till GPT-3 (175 GB). Och i kommande finns MSFT-1T-modellen, med en storlek på 1 TB. GPT-3-modellen – som är ett intressant ämne i sig – tränades med konventionell hårdvara med 1024 GPU:er under 4 månader. Det är en NLP-modell (natural language processing) som använder det mesta av textdata på internet och andra källor. Den har utvecklats av Open AI, och ligger nu till grund för OpenAI Codex, som är en applikation som kan skriva användbar programmeringskod på flera språk från vanliga instruktioner från användare. GPT-3 kan användas för att skriva korta artiklar som en majoritet av läsarna inte kan säga att de skrivits av ett AI-program.

Som du kan se ovan är det inte möjligt att köra 1024 GPU i 4 månader. I sitt föredrag med titeln "Delivering Unprecedent AP Acceleration: Beyond Moore's Law" påpekar Dhiraj att de framsteg som behövs för att stödja denna nivå av halvledartillväxt går långt bortom vad vi har varit vana vid att se med Moores lag. Som svar på detta upplevda marknadsbehov släppte Cerebras sin WSE-1, wafer-skala AI-motor 2019 – 56 gånger större än något chip som någonsin producerats. Ett och ett halvt år senare tillkännagav de WSE-2, återigen det största chipet varje byggt med:

• 6 biljoner transistorer
• 850,000 XNUMX optimerade AI-kärnor
• 40 GB RAM
• 20 petabyte/s minnesbandbredd
• 220 petabyte tygbandbredd
• Byggd med TSMC:s N7-process
• En wafer innehåller 84 stansar, vardera 550 mm².

CS-2-systemet som kapslar in WSE-2 kan passa AI-modeller med 120 biljoner parametrar. Vad som är ännu mer imponerande är att CS-2-system kan byggas in i kluster med 192 enheter för att ge nästan linjära prestandavinster. Cerebras har utvecklat ett minnesundersystem som delar upp minne och beräkningar för att ge bättre skalning och förbättrad genomströmning för extremt stora modeller. Cerebras har även utvecklat optimeringar för sparsitet i träningsset, vilket sparar tid och kraft.

Dhirajs presentation går in mer i detalj på deras kapacitet, särskilt inom området för effektiv skalning med större modeller för att bibehålla genomströmning och kapacitet. Ur ett halvledarperspektiv är det också intressant att se hur Cerebras analyserade IR-fall, elektromigrering och ESD-signoff på en design som är två storleksordningar större än något annat som halvledarindustrin någonsin försökt. Dhiraj pratar om hur Cerebras på varje nivå av designen – kakel, block och full wafer – använde Ansys RedHawk-SC över flera processorer för statisk och dynamisk IR-fallsignoff. RedHawk-SC användes också för elelektromigration och signalelektromigrationskontroller. På samma sätt använde de Ansys Pathfinder för ESD-resistans och strömtäthetskontroller.

Med en bit kisel som är så stor vid 7 nm är verktygsbesluten bokstavligen "göra eller gå sönder". Att bygga kisel så här störande kräver många väl genomtänkta val i utvecklingsprocessen, och oöverträffad kapacitet är naturligtvis ett primärt bekymmer. Ändå, som Dhirajs presentation tydligt visar, är CS-2:s nivå av ökad processorkraft nödvändig för att hantera den tillväxttakt vi ser i AI/ML-modeller. Utan tvivel kommer vi att se innovationer som är bortom vår fantasi idag inom området AI. Precis som webben och molnet har förändrat tekniken och till och med samhället, kan vi förvänta oss att utvecklingen av ny AI-teknik kommer att förändra vår värld på dramatiska sätt. Om du är intresserad av att lära dig mer om Cerebras kisel, ta en titt på Dhirajs presentation på Ansys IDEAS Digital Forum på www.ansys.com/ideas.

Dela det här inlägget via: Källa: https://semiwiki.com/eda/303587-neural-network-growth-requires-unprecedented-semiconductor-scaling/