GDDR6 提供 AI/ML 推理的性能

AI/ML 正在以闪电般的速度发展。现在，该领域每周都会出现一些令人兴奋的新进展，而像 ChatGPT 这样的应用程序已经将生成式人工智能功能牢牢地带到了公众关注的前沿。

AI/ML 实际上是两个应用：训练和推理。每个都依赖于内存性能，并且每个都有一组独特的要求，这些要求推动了最佳内存解决方案的选择。

对于训练，内存带宽和容量是关键要求。考虑到神经网络数据模型的规模和复杂性以每年 10 倍的速度增长，情况尤其如此。神经网络的准确性取决于训练数据集中示例的质量和数量，这意味着需要大量数据，因此需要内存带宽和容量。

鉴于通过培训创造的价值，人们有强烈的动机尽快完成培训。随着在数据中心运行的训练应用程序越来越受到电力和空间的限制，提供电源效率和更小尺寸的解决方案受到青睐。考虑到所有这些要求，HBM3 是 AI 训练硬件的理想内存解决方案。它提供出色的带宽和容量能力。

神经网络训练的输出是可以广泛部署的推理模型。通过该模型，推理设备可以处理和解释训练数据范围之外的输入。对于推理来说，内存吞吐速度和低延迟至关重要，尤其是在需要实时操作时。随着越来越多的人工智能推理从数据中心的核心转移到网络边缘，这些内存功能变得更加重要。

设计人员有多种用于 AI/ML 推理的内存选择，但在带宽这一关键参数上，GDDR6 内存确实表现出色。在 24 GB/s 的数据速率和 32 位宽的接口下，GDDR6 器件可以提供每秒 96 GB/s 的内存带宽，是任何替代 DDR 或LPDDR 解决方案。 GDDR6 内存为 AI/ML 推理（特别是边缘推理）提供了速度、带宽和延迟性能的完美组合。

Rambus GDDR6 内存接口子系统提供 24 Gb/s 的性能，建立在 30 多年的高速信号完整性和电源完整性 (SI/PI) 专业知识的基础上，这对于高速运行 GDDR6 至关重要。它由 PHY 和数字控制器组成，提供完整的 GDDR6 内存接口子系统。

和我一起参加本月的 Rambus 网络研讨会“具有 24G GDDR6 内存的高性能 AI/ML 推理”，了解 GDDR6 如何支持 AI/ML 推理工作负载的内存和性能要求，并了解 GDDR6 内存接口子系统的一些关键设计和实现注意事项。

资源：