A neurális hálózat növekedése soha nem látott félvezető skálázást igényel

Az igazság az, hogy még csak a mesterséges intelligens (AI) forradalom elején járunk. Az AI képességei csak most kezdenek utalni arra, hogy mit hoz a jövő. Például az autók nagy komplex neurális hálózati modelleket használnak, hogy ne csak megértsék a környezetüket, hanem önmagukat is irányítsák és irányítsák. Minden alkalmazáshoz képzési adatoknak kell lenniük a hasznos hálózatok létrehozásához. Mind a betanítási, mind a következtetési műveletek mérete gyorsan növekszik, ahogy hasznos valós adatok épülnek be a modellekbe. Nézzük meg a modellek növekedését az elmúlt években, hogy megértsük, hogyan vezérli ez a feldolgozási teljesítmény szükségességét a képzéshez és a következtetésekhez.

Az Ansys 2021 Ideas Digital Forumon tartott előadásában a Cerebras mérnöki alelnöke, Dhiraj Mallik betekintést nyújtott a neurális hálózati modellek növekedésébe. Az elmúlt két évben a modell mérete 1000-szeresére nőtt, a BERT Base-ről (110 MB) a GPT-3-ra (175 GB). A kínálatban pedig ott van az MSFT-1T modell, 1 TB-os mérettel. A GPT-3 modellt – amely önmagában is érdekes téma – hagyományos hardverrel, 1024 GPU-val oktatták 4 hónapon keresztül. Ez egy természetes nyelvi feldolgozási (NLP) modell, amely az interneten és más forrásokból származó szöveges adatok nagy részét használja. Az Open AI fejlesztette ki, és ma már az OpenAI Codex alapja, amely egy olyan alkalmazás, amely több nyelven is képes hasznos programozási kódot írni a felhasználók egyszerű nyelvű utasításaiból. A GPT-3 használható olyan rövid cikkek írására, amelyekről az olvasók többsége nem tudja, hogy MI-program írta-e őket.

Mint fentebb látható, 1024 GPU-t 4 hónapig futtatni nem kivitelezhető. „Példátlan AP-gyorsítás megvalósítása: Moore törvényein túl” című előadásában Dhiraj rámutat arra, hogy a félvezetők növekedésének ezen szintjének támogatásához szükséges előrelépések messze túlmutatnak azon, amit a Moore-törvény kapcsán megszoktunk. Válaszul erre az észlelt piaci igényre, a Cerebras 1-ben kiadta WSE-2019, wafer scale AI motorját, amely 56-szor nagyobb, mint bármely valaha gyártott chip. Másfél évvel később bejelentették a WSE-2-t, ismét a legnagyobb chipet, amelyből mindegyik készült:

• 6 billió tranzisztor
• 850,000 XNUMX optimalizált AI mag
• 40 GB RAM
• 20 petabájt/s memória sávszélesség
• 220 petabájt szövet sávszélesség
• A TSMC N7 folyamatával készült
• Egy ostya 84 matricát tartalmaz, egyenként 550 mm-es².

A WSE-2-t magába foglaló CS-2 rendszer 120 billió paraméterrel képes mesterséges intelligencia modellekhez illeszkedni. Ami még lenyűgözőbb, hogy a CS-2 rendszerek 192 egységből álló klaszterekbe építhetők be, hogy közel lineáris teljesítménynövekedést érjenek el. A Cerebras kifejlesztett egy memória alrendszert, amely szétbontja a memóriát és a számításokat, hogy jobb skálázást és jobb átvitelt biztosítson a rendkívül nagy modellek számára. A Cerebras emellett optimalizálást fejlesztett ki az edzéskészletek ritkaságára, ami időt és energiát takarít meg.

Dhiraj előadása részletesebben kitér a képességeikre, különösen a nagyobb modellekkel való hatékony skálázás terén az átviteli sebesség és a kapacitás fenntartása érdekében. A félvezetők szemszögéből az is érdekes, hogy a Cerebras hogyan elemezte az IR-esést, az elektromigrációt és az ESD-jelet egy olyan tervezésen, amely 2 nagyságrenddel nagyobb, mint bármi más, amit a félvezetőipar valaha is próbálkozott. Dhiraj arról beszél, hogy a Cerebras a tervezés minden szintjén – csempe, blokk és teljes szelet – hogyan használta az Ansys RedHawk-SC-t több CPU-n keresztül a statikus és dinamikus IR-esés jelzésére. A RedHawk-SC-t a teljesítmény elektromigráció és a jelek elektromigráció ellenőrzésére is használták. Hasonlóképpen az Ansys Pathfindert használták az ESD ellenállás és áramsűrűség ellenőrzésére.

Egy ekkora, 7 nm-es szilíciumdarabbal a szerszámokkal kapcsolatos döntések szó szerint „készítenek vagy törnek”. A szilícium ilyen bomlasztó konstrukciója sok nagyon átgondolt döntést igényel a fejlesztési folyamat során, és természetesen a páratlan kapacitás az elsődleges szempont. Mégis, amint Dhiraj előadása egyértelműen mutatja, a CS-2 megnövekedett feldolgozási teljesítménye szükséges ahhoz, hogy kezelni lehessen az AI/ML modellekben tapasztalható növekedési ütemet. Kétségtelenül látni fogunk olyan újításokat, amelyek ma minden képzeletünket felülmúlják az AI területén. Ahogyan a web és a felhő megváltoztatta a technológiát, sőt a társadalmat is, úgy számíthatunk arra, hogy az új AI-technológia fejlődése drámai módon megváltoztatja világunkat. Ha többet szeretne megtudni a Cerebras szilíciumról, vessen egy pillantást Dhiraj előadására az Ansys IDEAS Digital Forumban a következő címen: www.ansys.com/ideas.

Oszd meg ezt a bejegyzést ezen keresztül: Forrás: https://semiwiki.com/eda/303587-neural-network-growth-requires-unprecedented-semiconductor-scaling/