GDDR6 levert de prestaties voor AI/ML-inferentie

AI/ML evolueert razendsnel. Er gaat momenteel geen week voorbij zonder nieuwe en opwindende ontwikkelingen op dit gebied, en toepassingen als ChatGPT hebben generatieve AI-mogelijkheden stevig op de voorgrond van de publieke aandacht gebracht.

AI/ML bestaat eigenlijk uit twee toepassingen: training en gevolgtrekking. Elk is afhankelijk van de geheugenprestaties en elk heeft een unieke reeks vereisten die de keuze voor de beste geheugenoplossing bepalen.

Bij training zijn geheugenbandbreedte en -capaciteit kritische vereisten. Dit is vooral het geval gezien de omvang en complexiteit van neurale netwerkdatamodellen die met een snelheid van 10x per jaar zijn gegroeid. De nauwkeurigheid van het neurale netwerk hangt af van de kwaliteit en kwantiteit van de voorbeelden in de trainingsdataset, wat zich vertaalt in de behoefte aan enorme hoeveelheden gegevens, en dus aan geheugenbandbreedte en -capaciteit.

Gezien de waarde die door training wordt gecreëerd, is er een krachtige stimulans om trainingsruns zo snel mogelijk te voltooien. Omdat trainingsapplicaties draaien in datacenters die steeds minder stroom en ruimte hebben, wordt de voorkeur gegeven aan oplossingen die energie-efficiëntie en kleinere afmetingen bieden. Gezien al deze vereisten is HBM3 een ideale geheugenoplossing voor AI-trainingshardware. Het biedt uitstekende bandbreedte- en capaciteitsmogelijkheden.

De output van neurale netwerktraining is een gevolgtrekkingsmodel dat breed kan worden ingezet. Met dit model kan een inferentieapparaat input verwerken en interpreteren buiten de grenzen van de trainingsgegevens. Voor gevolgtrekking zijn de geheugendoorvoersnelheid en lage latentie van cruciaal belang, vooral wanneer realtime actie nodig is. Nu steeds meer AI-gevolgen verschuiven van het hart van het datacenter naar de netwerkrand, worden deze geheugenfuncties nog belangrijker.

Ontwerpers hebben een aantal geheugenkeuzes voor AI/ML-inferentie, maar op de kritische parameter bandbreedte blinkt GDDR6-geheugen echt uit. Met een gegevenssnelheid van 24 gigabit per seconde (Gb/s) en een 32-bit brede interface kan een GDDR6-apparaat 96 gigabyte per seconde (GB/s) aan geheugenbandbreedte leveren, meer dan het dubbele van die van enig alternatief DDR- of LPDDR-oplossingen. GDDR6-geheugen biedt een geweldige combinatie van snelheid, bandbreedte en latentieprestaties voor AI/ML-inferentie, met name voor inferentie aan de rand.

Het Rambus GDDR6-geheugeninterfacesubsysteem biedt prestaties van 24 Gb/s en is gebouwd op een fundament van meer dan 30 jaar expertise op het gebied van signaalintegriteit en stroomintegriteit (SI/PI), cruciaal voor het werken met GDDR6 op hoge snelheden. Het bestaat uit een PHY en een digitale controller – die een compleet GDDR6-geheugeninterfacesubsysteem biedt.

Bezoek mij deze maand op het Rambus-webinar op “Hoogwaardige AI/ML-inferentie met 24G GDDR6-geheugen'om te ontdekken hoe GDDR6 de geheugen- en prestatievereisten van AI/ML-inferentieworkloads ondersteunt en meer te leren over enkele van de belangrijkste ontwerp- en implementatieoverwegingen van GDDR6-geheugeninterfacesubsystemen.

Bronnen: