GDDR6 offre les performances pour l'inférence AI/ML

L'IA/ML évolue à un rythme fulgurant. Pas une semaine ne se passe en ce moment sans quelques développements nouveaux et passionnants dans le domaine, et des applications comme ChatGPT ont fermement placé les capacités d'IA génératives au premier plan de l'attention du public.

AI/ML est vraiment deux applications : la formation et l'inférence. Chacun dépend des performances de la mémoire et chacun a un ensemble unique d'exigences qui déterminent le choix de la meilleure solution de mémoire.

Avec la formation, la bande passante et la capacité de la mémoire sont des exigences essentielles. Cela est particulièrement vrai compte tenu de la taille et de la complexité des modèles de données de réseaux neuronaux qui ont augmenté à un rythme de 10 fois par an. La précision du réseau neuronal dépend de la qualité et de la quantité d'exemples dans l'ensemble de données d'apprentissage, ce qui se traduit par un besoin d'énormes quantités de données, et donc de la bande passante et de la capacité de la mémoire.

Compte tenu de la valeur créée par la formation, il existe une incitation puissante à terminer les cycles de formation le plus rapidement possible. Alors que les applications de formation s'exécutent dans des centres de données de plus en plus limités en termes de puissance et d'espace, les solutions offrant une efficacité énergétique et une taille réduite sont privilégiées. Compte tenu de toutes ces exigences, HBM3 est une solution de mémoire idéale pour le matériel de formation AI. Il offre d'excellentes capacités de bande passante et de capacité.

Le résultat de la formation de réseau de neurones est un modèle d'inférence qui peut être déployé à grande échelle. Avec ce modèle, un dispositif d'inférence peut traiter et interpréter les entrées en dehors des limites des données d'apprentissage. Pour l'inférence, la vitesse de débit de la mémoire et une faible latence sont essentielles, en particulier lorsqu'une action en temps réel est nécessaire. Avec de plus en plus d'inférences d'IA passant du cœur du centre de données à la périphérie du réseau, ces fonctionnalités de mémoire deviennent encore plus critiques.

Les concepteurs ont un certain nombre de choix de mémoire pour l'inférence AI/ML, mais sur le paramètre critique de la bande passante, la mémoire GDDR6 brille vraiment. À un débit de données de 24 gigabits par seconde (Gb/s) et une interface large de 32 bits, un périphérique GDDR6 peut fournir 96 gigaoctets par seconde (Go/s) de bande passante mémoire, soit plus du double de celle de toute alternative DDR ou Solutions LPDDR. La mémoire GDDR6 offre une excellente combinaison de performances de vitesse, de bande passante et de latence pour l'inférence AI/ML, en particulier pour l'inférence à la périphérie.

Le sous-système d'interface mémoire Rambus GDDR6 offre des performances de 24 Gb/s et s'appuie sur plus de 30 ans d'expertise en matière d'intégrité du signal et d'intégrité de l'alimentation (SI/PI) à grande vitesse, essentielle au fonctionnement de la GDDR6 à grande vitesse. Il se compose d'un contrôleur PHY et numérique - fournissant un sous-système d'interface mémoire GDDR6 complet.

Rejoignez-moi au webinaire Rambus ce mois-ci sur "Inférence AI/ML haute performance avec mémoire GDDR24 6G” pour découvrir comment GDDR6 prend en charge les exigences de mémoire et de performances des charges de travail d'inférence AI/ML et en savoir plus sur certaines des principales considérations de conception et de mise en œuvre des sous-systèmes d'interface mémoire GDDR6.

Ressources: