Rast nevronske mreže zahteva skaliranje polprevodnikov brez primere

Resnica je, da smo šele na začetku revolucije umetne inteligence (AI). Zmogljivosti AI šele zdaj začenjajo kazati namige o tem, kaj prinaša prihodnost. Na primer, avtomobili uporabljajo velike zapletene modele nevronskih mrež, da ne le razumejo svoje okolje, ampak tudi za krmiljenje in nadzor. Za vsako aplikacijo morajo obstajati podatki za usposabljanje za ustvarjanje uporabnih omrežij. Obseg operacij usposabljanja in sklepanja hitro narašča, saj so uporabni podatki iz resničnega sveta vključeni v modele. Poglejmo si rast modelov v zadnjih letih, da bi razumeli, kako to poganja potrebe po procesorski moči za usposabljanje in sklepanje.

V predstavitvi na digitalnem forumu idej Ansys 2021 je podpredsednik inženiringa pri Cerebras, Dhiraj Mallik, ponudil nekaj vpogleda v rast modelov nevronskih mrež. V zadnjih dveh letih se je velikost modela povečala za 1000-krat, od BERT Base (110 MB) do GPT-3 (175 GB). In v pripravi je model MSFT-1T z velikostjo 1 TB. Model GPT-3 – ki je sam po sebi zanimiva tema – je bil 1024 mesece uren s konvencionalno strojno opremo z uporabo 4 GPE. To je model obdelave naravnega jezika (NLP), ki uporablja večino besedilnih podatkov v internetu in drugih virih. Razvil ga je Open AI in je zdaj osnova za OpenAI Codex, ki je aplikacija, ki lahko piše uporabno programsko kodo v več jezikih iz preprostih jezikovnih navodil uporabnikov. GPT-3 se lahko uporablja za pisanje kratkih člankov, za katere večina bralcev ne ve, da jih je napisal program AI.

Kot lahko vidite zgoraj, delovanje 1024 GPU 4 mesece ni izvedljivo. V svojem govoru z naslovom »Zagotavljanje izjemno pospeševanja AP: Onkraj Moorovega zakona« Dhiraj poudarja, da napredek, ki je potreben za podporo tej stopnji rasti polprevodnikov, daleč presega tisto, kar smo bili vajeni videti z Moorovim zakonom. Kot odgovor na to zaznano tržno potrebo je Cerebras leta 1 izdal svoj motor AI WSE-2019 v merilu rezin – 56-krat večji od katerega koli čipa, ki je bil kdajkoli izdelan. Leto in pol kasneje so objavili WSE-2, spet največji čip, ki je bil zgrajen s:

• 6 trilijonov tranzistorjev
• 850,000 optimiziranih jeder AI
• 40 GB RAM
• Pasovna širina pomnilnika 20 petabajtov/s
• 220 petabajtov pasovne širine tkanine
• Izdelan s postopkom N7 družbe TSMC
• V rezini je 84 matric, vsaka 550 mm².

Sistem CS-2, ki zajema WSE-2, se lahko prilega modelom AI s 120 bilijoni parametrov. Kar je še bolj impresivno, je, da je mogoče sisteme CS-2 vgraditi v gruče s 192 enotami, da zagotovijo skoraj linearne izboljšave zmogljivosti. Cerebras je razvil pomnilniški podsistem, ki razčlenjuje pomnilnik in računanje, da zagotovi boljše skaliranje in izboljšano prepustnost za izjemno velike modele. Cerebras je razvil tudi optimizacije za redkost vadbenih nizov, kar prihrani čas in moč.

Dhirajova predstavitev podrobneje opisuje njihove zmožnosti, zlasti na področju učinkovitega prilagajanja velikosti z večjimi modeli za ohranjanje prepustnosti in zmogljivosti. Z vidika polprevodnikov je prav tako zanimivo videti, kako je Cerebras analiziral padec IR, elektromigracijo in ESD znak na zasnovi, ki je za 2 reda velikosti večja od česar koli drugega, kar je kadarkoli poskusila industrija polprevodnikov. Dhiraj govori o tem, kako je Cerebras na vsaki ravni zasnove – ploščici, bloku in celotni rezini – uporabil Ansys RedHawk-SC v več procesorjih za statično in dinamično IR-podpisovanje. RedHawk-SC je bil uporabljen tudi za preverjanje elektromigracije moči in signala. Podobno so uporabili Ansys Pathfinder za preverjanje odpornosti proti ESD in gostote toka.

S kosom silicija, ki je tako velik pri 7 n, so odločitve o orodju dobesedno »uspešne ali zlomne«. Izdelava tako motečega silicija zahteva veliko zelo dobro pretehtanih odločitev v razvojnem procesu, zmogljivost brez primere pa je seveda glavna skrb. Vendar, kot jasno kaže Dhirajova predstavitev, je stopnja povečane procesorske moči CS-2 potrebna za upravljanje stopnje rasti, ki jo vidimo v modelih AI/ML. Nedvomno bomo na področju umetne inteligence videli inovacije, ki danes presegajo našo domišljijo. Tako kot sta splet in oblak spremenila tehnologijo in celo družbo, lahko pričakujemo, da bo razvoj nove tehnologije umetne inteligence dramatično spremenil naš svet. Če vas zanima več o siliciju Cerebras, si oglejte Dhirajovo predstavitev na Ansys IDEAS Digital Forum na www.ansys.com/ideas.

Delite to objavo prek: Vir: https://semiwiki.com/eda/303587-neural-network-growth-requires-unprecedented-semiconductor-scaling/