진실은 우리가 인공지능(AI) 혁명의 시작점에 있다는 것입니다. AI의 능력은 이제 막 미래에 대한 힌트를 보여주기 시작했습니다. 예를 들어, 자동차는 환경을 이해할 뿐만 아니라 스스로 조종하고 제어하기 위해 크고 복잡한 신경망 모델을 사용하고 있습니다. 모든 애플리케이션에는 유용한 네트워크를 생성하기 위한 훈련 데이터가 있어야 합니다. 유용한 실제 데이터가 모델에 통합됨에 따라 교육 및 추론 작업의 규모가 빠르게 증가하고 있습니다. 최근 몇 년간 모델의 성장을 살펴보고 이것이 훈련 및 추론을 위한 처리 능력에 대한 요구를 어떻게 주도하는지 이해해 봅시다.
Ansys 2021 Ideas Digital Forum의 프레젠테이션에서 Dhiraj Mallik의 Cerebras 엔지니어링 부사장은 신경망 모델의 성장에 대한 통찰력을 제공했습니다. 지난 1000년 동안 모델 크기는 BERT Base(110MB)에서 GPT-3(175GB)로 1배 증가했습니다. 그리고 근래에는 1TB 크기의 MSFT-3T 모델이 있습니다. 흥미로운 주제인 GPT-1024 모델은 4개월 동안 3개의 GPU를 사용하는 기존 하드웨어로 훈련되었습니다. 인터넷 및 기타 소스에 있는 대부분의 텍스트 데이터를 사용하는 자연어 처리(NLP) 모델입니다. Open AI에 의해 개발되었으며 현재 사용자의 일반 언어 지침에서 여러 언어로 유용한 프로그래밍 코드를 작성할 수 있는 응용 프로그램인 OpenAI Codex의 기반이 되었습니다. GPT-XNUMX는 대부분의 독자가 AI 프로그램에 의해 작성된 것인지 구분할 수 없는 짧은 기사를 작성하는 데 사용할 수 있습니다.
위에서 볼 수 있듯이 1024개월 동안 4개의 GPU를 실행하는 것은 불가능합니다. "전례 없는 AP 가속 제공: 무어의 법칙을 넘어서"라는 제목의 강연에서 Dhiraj는 이러한 수준의 반도체 성장을 지원하는 데 필요한 발전이 우리가 무어의 법칙으로 보아온 것보다 훨씬 더 멀리 나아간다는 점을 지적합니다. 이러한 인식된 시장 요구에 대응하여 Cerebras는 1년에 지금까지 생산된 어떤 칩보다 2019배 더 큰 웨이퍼 스케일 AI 엔진인 WSE-56을 출시했습니다. 2년 반 후 그들은 WSE-XNUMX를 발표했습니다. WSE-XNUMX는 다음과 같이 구축된 가장 큰 칩입니다.
- 6조 개의 트랜지스터
- 850,000개의 최적화된 AI 코어
- 40 GB RAM
- 20페타바이트/초 메모리 대역폭
- 220페타바이트 패브릭 대역폭
- TSMC의 N7 공정으로 구축
- 웨이퍼는 각각 84mm인 550개의 다이를 포함합니다.2.
WSE-2를 캡슐화하는 CS-2 시스템은 120조 개의 매개변수로 AI 모델에 적합할 수 있습니다. 훨씬 더 인상적인 것은 CS-2 시스템을 192유닛 클러스터에 구축하여 선형에 가까운 성능 향상을 제공할 수 있다는 것입니다. Cerebras는 매우 큰 모델에 대해 더 나은 확장성과 향상된 처리량을 제공하기 위해 메모리와 계산을 분해하는 메모리 하위 시스템을 개발했습니다. Cerebras는 또한 훈련 세트의 희소성에 대한 최적화를 개발하여 시간과 전력을 절약합니다.
Dhiraj의 프레젠테이션은 특히 처리량과 용량을 유지하기 위해 더 큰 모델로 효율적으로 확장하는 영역에서 기능에 대해 자세히 설명합니다. 반도체 관점에서 Cerebras가 반도체 업계에서 시도한 것보다 2배 더 큰 설계에서 IR 강하, 일렉트로마이그레이션 및 ESD 사인오프를 어떻게 분석했는지 보는 것도 흥미로울 것입니다. Dhiraj는 타일, 블록 및 전체 웨이퍼의 각 설계 수준에서 Cerebras가 정적 및 동적 IR 드롭 사인오프를 위해 여러 CPU에서 Ansys RedHawk-SC를 사용한 방법에 대해 설명합니다. RedHawk-SC는 전력 일렉트로마이그레이션 및 신호 일렉트로마이그레이션 검사에도 사용되었습니다. 마찬가지로 ESD 저항 및 전류 밀도 검사를 위해 Ansys Pathfinder를 사용했습니다.
7nm에서 이렇게 큰 실리콘 조각으로 도구 결정은 문자 그대로 "성공 또는 파괴"입니다. 이렇게 파괴적인 실리콘을 구축하려면 개발 프로세스에서 매우 잘 고려된 많은 선택이 필요하며, 비교할 수 없는 용량이 물론 주요 관심사입니다. 그러나 Dhiraj의 프레젠테이션에서 분명히 알 수 있듯이 AI/ML 모델에서 볼 수 있는 성장률을 관리하려면 CS-2의 향상된 처리 능력 수준이 필요합니다. 의심할 여지 없이 우리는 오늘날 AI 분야에서 상상을 초월하는 혁신을 보게 될 것입니다. 웹과 클라우드가 기술은 물론 사회까지 변화시킨 것처럼 새로운 AI 기술의 발전이 우리의 세상을 드라마틱하게 변화시킬 것이라고 기대할 수 있습니다. Cerebras 실리콘에 대해 자세히 알아보려면 Ansys IDEAS 디지털 포럼에서 Dhiraj의 프레젠테이션을 살펴보십시오. www.ansys.com/ideas.
다음을 통해이 게시물 공유 : 출처: https://semiwiki.com/eda/303587-neural-network-growth-requires-unprecedented-semiconductor-scaling/
