Зростання нейронної мережі вимагає безпрецедентного масштабування напівпровідників

Правда полягає в тому, що ми лише на початку революції штучного інтелекту (AI). Можливості штучного інтелекту тільки зараз починають показувати натяки на те, що готує майбутнє. Наприклад, автомобілі використовують великі складні моделі нейронних мереж, щоб не тільки розуміти навколишнє середовище, але й керувати собою та контролювати себе. Для будь-якої програми повинні бути навчальні дані для створення корисних мереж. Розмір як операцій навчання, так і логічного висновку швидко зростає, оскільки корисні реальні дані включені в моделі. Давайте подивимося на зростання моделей за останні роки, щоб зрозуміти, як це стимулює потреби в обчислювальній потужності для навчання та висновків.

У презентації на цифровому форумі Ansys 2021 Ideas Digital, віце-президент із інженерних питань у Cerebras, Дірадж Маллік, надав деяку інформацію про розвиток моделей нейронних мереж. За останні два роки розмір моделі зріс у 1000 разів, від BERT Base (110 МБ) до GPT-3 (175 ГБ). А в майбутньому – модель MSFT-1T, розміром 1 ТБ. Модель GPT-3, яка сама по собі є цікавою темою, навчалася на звичайному обладнанні з використанням 1024 GPU протягом 4 місяців. Це модель обробки природної мови (NLP), яка використовує більшість текстових даних в Інтернеті та інших джерелах. Він був розроблений компанією Open AI і тепер є основою для OpenAI Codex, який є програмою, яка може писати корисний код програмування кількома мовами на основі простих мовних інструкцій від користувачів. GPT-3 можна використовувати для написання коротких статей, про які більшість читачів не може сказати, що вони були написані програмою ШІ.

Як ви бачите вище, працювати з 1024 GPU протягом 4 місяців неможливо. У своїй доповіді під назвою «Забезпечення безпрецедентного прискорення AP: за межами закону Мура» Дірадж наголошує на тому, що досягнення, необхідні для підтримки такого рівня розвитку напівпровідників, виходять далеко за межі того, що ми звикли бачити із законом Мура. У відповідь на цю передбачувану потребу ринку, Cerebras випустила свій WSE-1, AI-процесор у масштабі вафель у 2019 році – у 56 разів більший за будь-який чіп, коли-небудь вироблений. Півтора року потому вони анонсували WSE-2, знову найбільший чіп, створений з:

• 6 трильйонів транзисторів
• 850,000 XNUMX оптимізованих ядер ШІ
• 40 GB RAM
• Пропускна здатність пам'яті 20 петабайт/с
• Пропускна здатність мережі 220 петабайт
• Створено за процесом N7 TSMC
• Пластина містить 84 матриці, кожна по 550 мм².

Система CS-2, яка інкапсулює WSE-2, може відповідати моделям ШІ зі 120 трильйонами параметрів. Ще більш вражаючим є те, що системи CS-2 можуть бути вбудовані в кластери із 192 одиниць, щоб забезпечити майже лінійне підвищення продуктивності. Компанія Cerebras розробила підсистему пам’яті, яка дезагрегує пам’ять і обчислення, щоб забезпечити краще масштабування та покращену пропускну здатність для надзвичайно великих моделей. Cerebras також розробив оптимізацію для розрідженості тренувальних наборів, що економить час і енергію.

Презентація Dhiraj докладніше розповідає про їхні можливості, особливо в області ефективного масштабування за допомогою більших моделей для підтримки пропускної здатності та ємності. З точки зору напівпровідників також цікаво побачити, як Cerebras проаналізував падіння ІЧ-променів, електроміграцію та електростатичний розряд на конструкції, яка на 2 порядки більша, ніж будь-що інше, що коли-небудь робилося в напівпровідниковій промисловості. Dhiraj розповідає про те, як на кожному рівні дизайну – плитці, блоці та повній пластині – Cerebras використовував Ansys RedHawk-SC на кількох ЦП для статичного та динамічного ІЧ-сигнування. RedHawk-SC також використовувався для перевірки електроміграції потужності та електроміграції сигналу. Так само вони використовували Ansys Pathfinder для перевірки стійкості до електростатичного розряду та щільності струму.

З шматком кремнію такого розміру в 7 нм рішення інструменту буквально «зробити або зламати». Створення такого революційного кремнію вимагає багатьох дуже добре зважених виборів у процесі розробки, і безпрецедентна потужність, звичайно, є головною проблемою. Проте, як чітко показує презентація Діраджа, рівень підвищеної обчислювальної потужності CS-2 необхідний для керування темпами зростання, які ми бачимо в моделях AI/ML. Безсумнівно, ми побачимо інновації, які сьогодні виходять за межі нашої уяви в області ШІ. Подібно до того, як Інтернет і хмара змінили технологію і навіть суспільство, ми можемо очікувати, що розробка нових технологій ШІ кардинально змінить наш світ. Якщо вам цікаво дізнатися більше про кремній Cerebras, подивіться на презентацію Dhiraj на цифровому форумі Ansys IDEAS за адресою www.ansys.com/ideas.

Поділитися цим дописом через: Джерело: https://semiwiki.com/eda/303587-neural-network-growth-requires-unprecedented-semiconductor-scaling/