Рост нейронных сетей требует беспрецедентного масштабирования полупроводников

Правда в том, что мы находимся только в начале революции искусственного интеллекта (ИИ). Возможности ИИ только сейчас начинают подсказывать, что нас ждет в будущем. Например, автомобили используют большие сложные модели нейронных сетей, чтобы не только понимать свое окружение, но также управлять собой и контролировать себя. Для любого приложения должны быть обучающие данные для создания полезных сетей. Объем как операций обучения, так и операций логического вывода быстро растет по мере включения в модели полезных реальных данных. Давайте посмотрим на рост моделей за последние годы, чтобы понять, как это влияет на потребность в вычислительной мощности для обучения и логического вывода.

В презентации на форуме Ansys 2021 Ideas Digital Forum вице-президент Cerebras по инженерным вопросам Дирадж Маллик рассказал о развитии моделей нейронных сетей. За последние два года размер модели вырос в 1000 раз, с BERT Base (110 МБ) до GPT-3 (175 ГБ). И в ближайшем будущем появится модель MSFT-1T размером 1 ТБ. Модель GPT-3, которая сама по себе является интересной темой, обучалась на обычном оборудовании с использованием 1024 графических процессоров в течение 4 месяцев. Это модель обработки естественного языка (NLP), которая использует большую часть текстовых данных в Интернете и других источниках. Он был разработан Open AI и теперь является основой для OpenAI Codex, который представляет собой приложение, которое может писать полезный программный код на нескольких языках из простых инструкций от пользователей. GPT-3 можно использовать для написания коротких статей, о которых большинство читателей не может сказать, что они были написаны программой ИИ.

Как вы можете видеть выше, запуск 1024 графических процессоров в течение 4 месяцев невозможен. В своем выступлении под названием «Обеспечение беспрецедентного ускорения AP: за пределами закона Мура» Дирадж отмечает, что достижения, необходимые для поддержки такого уровня роста полупроводников, выходят далеко за рамки того, что мы привыкли видеть с законом Мура. В ответ на эту предполагаемую потребность рынка компания Cerebras выпустила в 1 году свой ИИ-движок WSE-2019 в масштабе пластины, который в 56 раз больше, чем любой когда-либо произведенный чип. Полтора года спустя они анонсировали WSE-2, снова самый большой чип из когда-либо созданных с:

• 6 триллионов транзисторов
• 850,000 XNUMX оптимизированных ядер ИИ
• 40 GB RAM
• Пропускная способность памяти 20 петабайт/с
• Пропускная способность фабрики 220 петабайт
• Создан с использованием процесса TSMC N7.
• Пластина содержит 84 штампа по 550 мм каждый.².

Система CS-2, которая инкапсулирует WSE-2, может соответствовать моделям ИИ со 120 триллионами параметров. Что еще более впечатляет, так это то, что системы CS-2 могут быть встроены в кластеры по 192 устройства, что обеспечивает практически линейный прирост производительности. Компания Cerebras разработала подсистему памяти, которая дезагрегирует память и вычисления, чтобы обеспечить лучшее масштабирование и повышенную пропускную способность для очень больших моделей. Компания Cerebras также разработала оптимизацию разреженности в обучающих наборах, что позволяет экономить время и энергию.

В презентации Дхираджа более подробно рассказывается об их возможностях, особенно в области эффективного масштабирования с использованием более крупных моделей для поддержания пропускной способности и емкости. С точки зрения полупроводников также интересно посмотреть, как компания Cerebras проанализировала падение ИК-излучения, электромиграцию и электростатический разряд в конструкции, которая на 2 порядка больше, чем что-либо еще, когда-либо предпринятое в полупроводниковой промышленности. Дхирадж рассказывает о том, как на каждом уровне проектирования — плитка, блок и полная пластина — компания Cerebras использовала Ansys RedHawk-SC на нескольких процессорах для статической и динамической подписи ИК-подключения. RedHawk-SC также использовался для проверки электромиграции питания и электромиграции сигнала. Точно так же они использовали Ansys Pathfinder для проверки сопротивления электростатическому разряду и плотности тока.

С таким большим куском кремния, размером 7 нм, решения об инструментах буквально решаются по принципу «сделай или сломай». Для создания такого прорывного кремния требуется множество тщательно продуманных решений в процессе разработки, и беспрецедентная емкость, конечно же, является главной задачей. Тем не менее, как ясно показывает презентация Дхираджа, уровень повышенной вычислительной мощности CS-2 необходим для управления скоростью роста, которую мы наблюдаем в моделях AI/ML. Несомненно, мы увидим инновации, которые сегодня выходят за рамки нашего воображения в области ИИ. Точно так же, как Интернет и облачные технологии изменили технологии и даже общество, мы можем ожидать, что разработка новых технологий искусственного интеллекта кардинальным образом изменит наш мир. Если вам интересно узнать больше о кремнии Cerebras, ознакомьтесь с презентацией Дираджа на цифровом форуме Ansys IDEAS по адресу www.ansys.com/ideas.

Поделитесь этим постом через: Источник: https://semiwiki.com/eda/303587-neural-network-growth-requires-unprecedented-semiconductor-scaling/