AI/ML 추론을 위한 성능을 제공하는 GDDR6

AI/ML은 매우 빠른 속도로 발전하고 있습니다. 이 분야에서 새롭고 흥미로운 개발이 없이는 일주일도 지나지 않았으며 ChatGPT와 같은 애플리케이션은 생성 AI 기능을 대중의 관심의 최전선에 확고히 가져왔습니다.

AI/ML은 실제로 훈련과 추론이라는 두 가지 애플리케이션입니다. 각각은 메모리 성능에 의존하며 최상의 메모리 솔루션을 선택하는 데 필요한 고유한 요구 사항이 있습니다.

훈련을 통해 메모리 대역폭과 용량이 중요한 요구 사항입니다. 이는 특히 연간 10배의 속도로 증가하고 있는 신경망 데이터 모델의 크기와 복잡성을 고려할 때 더욱 그렇습니다. 신경망 정확도는 훈련 데이터 세트의 예시 품질과 수량에 따라 달라지며, 이는 엄청난 양의 데이터가 필요하다는 의미이며, 따라서 메모리 대역폭과 용량도 필요합니다.

훈련을 통해 창출된 가치를 고려할 때, 훈련 실행을 최대한 빨리 완료하려는 강력한 인센티브가 있습니다. 전력과 공간이 점점 더 제한된 데이터 센터에서 교육 애플리케이션을 실행함에 따라 전력 효율성과 더 작은 크기를 제공하는 솔루션이 선호됩니다. 이러한 모든 요구 사항을 고려할 때 HBM3은 AI 훈련 하드웨어를 위한 이상적인 메모리 솔루션입니다. 뛰어난 대역폭과 용량 기능을 제공합니다.

신경망 훈련의 결과는 광범위하게 배포할 수 있는 추론 모델입니다. 이 모델을 사용하면 추론 장치가 훈련 데이터 범위 밖의 입력을 처리하고 해석할 수 있습니다. 추론을 위해서는 특히 실시간 작업이 필요한 경우 메모리 처리 속도와 낮은 대기 시간이 중요합니다. 점점 더 많은 AI 추론이 데이터 센터의 중심에서 네트워크 에지로 이동함에 따라 이러한 메모리 기능은 더욱 중요해지고 있습니다.

설계자는 AI/ML 추론을 위해 다양한 메모리를 선택할 수 있지만 대역폭이라는 중요한 매개변수에서는 GDDR6 메모리가 정말 빛을 발합니다. 24Gb/s(초당 기가비트)의 데이터 속도와 32비트 폭 인터페이스에서 GDDR6 장치는 다른 DDR 또는 LPDDR 솔루션. GDDR96 메모리는 AI/ML 추론, 특히 에지에서의 추론을 위한 속도, 대역폭 및 대기 시간 성능의 뛰어난 조합을 제공합니다.

Rambus GDDR6 메모리 인터페이스 하위 시스템은 24Gb/s의 성능을 제공하며 GDDR30을 고속으로 작동하는 데 중요한 6년 이상의 고속 신호 무결성 및 전력 무결성(SI/PI) 전문 지식을 기반으로 구축되었습니다. PHY와 디지털 컨트롤러로 구성되어 완전한 GDDR6 메모리 인터페이스 하위 시스템을 제공합니다.

이번 달 Rambus 웹 세미나에 참여하세요.24G GDDR6 메모리를 사용한 고성능 AI/ML 추론” GDDR6이 AI/ML 추론 워크로드의 메모리 및 성능 요구 사항을 지원하는 방법을 알아보고 GDDR6 메모리 인터페이스 하위 시스템의 일부 주요 설계 및 구현 고려 사항에 대해 알아봅니다.

자료 :