GDDR6 が AI/ML 推論のパフォーマンスを実現

AI/ML は驚異的なペースで進化しています。現在、この分野で新しくエキサイティングな開発が行われない週はありません。ChatGPT のようなアプリケーションは、生成 AI 機能をしっかりと世間の注目を集めています。

AI/ML は実際には、トレーニングと推論という 2 つのアプリケーションです。それぞれがメモリのパフォーマンスに依存しており、それぞれに最適なメモリ ソリューションの選択を促す独自の一連の要件があります。

トレーニングでは、メモリ帯域幅と容量が重要な要件になります。年間 10 倍の速度で成長しているニューラル ネットワーク データ モデルのサイズと複雑さを考慮すると、これは特に当てはまります。ニューラル ネットワークの精度は、トレーニング データ セット内のサンプルの質と量に依存します。つまり、膨大な量のデータ、つまりメモリ帯域幅と容量が必要になります。

トレーニングによって生み出される価値を考慮すると、トレーニングの実行をできるだけ早く完了するという強力なインセンティブが生まれます。トレーニング アプリケーションがデータ センターで実行されると、電力とスペースの制約がますます厳しくなり、電力効率と小型サイズを実現するソリューションが好まれます。これらすべての要件を考慮すると、HBM3 は AI トレーニング ハードウェアにとって理想的なメモリ ソリューションです。優れた帯域幅と容量機能を提供します。

ニューラル ネットワーク トレーニングの出力は、広範囲に展開できる推論モデルです。このモデルを使用すると、推論デバイスはトレーニング データの範囲外で入力を処理および解釈できます。推論では、特にリアルタイム アクションが必要な場合、メモリ スループット速度と低遅延が重要です。 AI 推論がデータセンターの中心部からネットワーク エッジに移行するにつれて、これらのメモリ機能はさらに重要になってきています。

設計者には AI/ML 推論用のメモリの選択肢が多数ありますが、帯域幅という重要なパラメータに関しては、GDDR6 メモリが真価を発揮します。 24 ギガビット/秒 (Gb/s) のデータ レートと 32 ビット幅のインターフェイスにより、GDDR6 デバイスは 96 ギガバイト/秒 (GB/s) のメモリ帯域幅を提供できます。これは、代替 DDR または他のデバイスの 6 倍以上です。 LPDDR ソリューション。 GDDRXNUMX メモリは、AI/ML 推論、特にエッジでの推論において、速度、帯域幅、レイテンシのパフォーマンスの優れた組み合わせを提供します。

Rambus GDDR6 メモリ インターフェイス サブシステムは、24 Gb/s のパフォーマンスを提供し、GDDR30 を高速で動作させるために重要な、6 年以上にわたる高速シグナル インテグリティおよびパワー インテグリティ (SI/PI) の専門知識の基盤に基づいて構築されています。 PHY とデジタル コントローラーで構成され、完全な GDDR6 メモリ インターフェイス サブシステムを提供します。

今月の Rambus ウェビナーに参加してください。24G GDDR6 メモリによる高性能 AI/ML 推論」では、GDDR6 が AI/ML 推論ワークロードのメモリおよびパフォーマンス要件をどのようにサポートしているかを確認し、GDDR6 メモリ インターフェイス サブシステムの主要な設計および実装に関する考慮事項について学びます。

＜ご参考＞