Hermoverkon kasvu vaatii ennennäkemätöntä puolijohdeskaalaa

Totuus on, että olemme vasta tekoälyn (AI) vallankumouksen alussa. Tekoälyn ominaisuudet alkavat vasta nyt näyttää vihjeitä tulevaisuudesta. Esimerkiksi autot käyttävät suuria monimutkaisia ​​hermoverkkomalleja ymmärtääkseen ympäristöään, mutta myös ohjatakseen ja kontrolloidakseen itseään. Jokaisessa sovelluksessa on oltava koulutustiedot hyödyllisten verkkojen luomiseksi. Sekä koulutus- että päättelyoperaatioiden koko kasvaa nopeasti, kun hyödyllistä reaalimaailman dataa sisällytetään malleihin. Katsotaanpa mallien kasvua viime vuosina ymmärtääksemme, kuinka tämä ohjaa prosessointitehon tarpeita koulutukseen ja päätelmiin.

Ansys 2021 Ideas Digital Forumissa pitämässään esityksessä Cerebrasin tekniikan johtaja Dhiraj Mallik antoi jonkinlaisen käsityksen hermoverkkomallien kasvusta. Kahden viime vuoden aikana mallin koko on kasvanut 1000X BERT Basesta (110 Mt) GPT-3:een (175 Gt). Ja tarjolla on MSFT-1T-malli, jonka koko on 1 TB. GPT-3-mallia – joka on mielenkiintoinen aihe itsessään – koulutettiin perinteisellä laitteistolla 1024 GPU:ta käyttäen 4 kuukauden ajan. Se on luonnollisen kielen käsittelymalli (NLP), joka käyttää suurimman osan Internetin ja muiden lähteiden tekstidatasta. Sen on kehittänyt Open AI, ja se on nyt perusta OpenAI Codexille, joka on sovellus, joka voi kirjoittaa hyödyllistä ohjelmointikoodia useilla kielillä käyttäjien selkeillä kielillä antamista ohjeista. GPT-3:lla voidaan kirjoittaa lyhyitä artikkeleita, joista suurin osa lukijoista ei voi tietää, että ne ovat tekoälyohjelman kirjoittamia.

Kuten yllä näet, 1024 GPU:n käyttäminen 4 kuukauden ajan ei ole mahdollista. Puheessaan "Ennennäkemättömän AP-kiihtyvyyden toteuttaminen: Mooren lain ulkopuolella" Dhiraj huomauttaa, että tämän puolijohteiden kasvun tukemiseen tarvittavat edistysaskeleet menevät paljon pidemmälle kuin olemme tottuneet näkemään Mooren lain kanssa. Vastauksena tähän havaittuun markkinoiden tarpeeseen Cerebras julkaisi WSE-1-kiekon tekoälymoottorinsa vuonna 2019 – 56 kertaa suurempi kuin mikään koskaan valmistettu siru. Puolitoista vuotta myöhemmin he julkistivat WSE-2:n, joka on jälleen suurin siru, joka on rakennettu:

• 6 biljoonaa transistoria
• 850,000 XNUMX optimoitua tekoälyydintä
• 40 GB RAM
• Muistin kaistanleveys 20 petabyyttiä/s
• 220 petatavun kankaan kaistanleveys
• Rakennettu TSMC:n N7-prosessilla
• Kiekko sisältää 84 suulaketta, kukin 550 mm².

WSE-2:n koteloiva CS-2-järjestelmä sopii tekoälymalleihin, joissa on 120 biljoonaa parametria. Vielä vaikuttavampaa on, että CS-2-järjestelmät voidaan rakentaa 192 yksikön klusteriin lähes lineaarisen suorituskyvyn parantamiseksi. Cerebras on kehittänyt muistialijärjestelmän, joka hajottaa muistin ja laskennan paremman skaalauksen ja suorituskyvyn tarjoamiseksi erittäin suurille malleille. Cerebras on myös kehittänyt optimointeja harjoitussarjojen harvuuteen, mikä säästää aikaa ja tehoa.

Dhirajin esittelyssä käsitellään yksityiskohtaisemmin heidän kykyjään, erityisesti mitä tulee tehokkaaseen skaalaukseen suuremmilla malleilla suorituskyvyn ja kapasiteetin ylläpitämiseksi. Puolijohteiden näkökulmasta on myös mielenkiintoista nähdä, kuinka Cerebras analysoi IR-pudotusta, sähkömigraatiota ja ESD-signaalia suunnittelussa, joka on 2 suuruusluokkaa suurempi kuin mikään muu puolijohdeteollisuus koskaan yrittänyt. Dhiraj puhuu siitä, kuinka jokaisella suunnittelun tasolla – laatta, lohko ja koko kiekko – Cerebras käytti Ansys RedHawk-SC:tä useissa prosessoreissa staattisen ja dynaamisen IR-pudotuksen signaaliin. RedHawk-SC:tä käytettiin myös tehon sähkömigraatio- ja signaalin sähkömigraatiotarkistuksiin. Vastaavasti he käyttivät Ansys Pathfinderiä ESD-resistanssin ja virrantiheyden tarkistuksiin.

Näin suurella 7 nm:n piipalalla työkalupäätökset ovat kirjaimellisesti "tee tai rikkoa". Tämän häiritsevän piin rakentaminen vaatii kehitysprosessissa paljon hyvin harkittuja valintoja, ja ennennäkemätön kapasiteetti on tietysti ensisijainen huolenaihe. Silti, kuten Dhirajin esitys selvästi osoittaa, CS-2:n lisääntynyt prosessointiteho on välttämätön AI/ML-malleissa havaittavan kasvun hallitsemiseksi. Epäilemättä näemme tekoälyn alalla innovaatioita, jotka ylittävät mielikuvituksemme. Aivan kuten verkko ja pilvi ovat muuttaneet teknologiaa ja jopa yhteiskuntaa, voimme odottaa uuden tekoälyteknologian muuttavan maailmaamme dramaattisesti. Jos olet kiinnostunut oppimaan lisää Cerebras-piistä, katso Dhirajin esitys Ansys IDEAS Digital Forumista osoitteessa www.ansys.com/ideas.

Jaa tämä viesti: Lähde: https://semiwiki.com/eda/303587-neural-network-growth-requires-unprecedented-semiconductor-scaling/