GDDR6 leverer ydeevnen til AI/ML-inferens

AI/ML udvikler sig i et lyntempo. Der går ikke en uge lige nu uden nogle nye og spændende udviklinger på området, og applikationer som ChatGPT har bragt generative AI-egenskaber fast i offentlighedens opmærksomhed.

AI/ML er i virkeligheden to applikationer: træning og inferens. Hver er afhængig af hukommelsesydelse, og hver har et unikt sæt krav, der driver valget af den bedste hukommelsesløsning.

Med træning er hukommelsesbåndbredde og kapacitet kritiske krav. Dette er især tilfældet i betragtning af størrelsen og kompleksiteten af ​​neurale netværksdatamodeller, der er vokset med en hastighed på 10 gange om året. Nøjagtigheden af ​​neurale netværk afhænger af kvaliteten og mængden af ​​eksempler i træningsdatasættet, hvilket betyder, at der er brug for enorme mængder data og dermed hukommelsesbåndbredde og -kapacitet.

I betragtning af den værdi, der skabes gennem træning, er der et stærkt incitament til at gennemføre træningsløb så hurtigt som muligt. Efterhånden som træningsapplikationer kører i datacentre, der i stigende grad er begrænset til strøm og plads, foretrækkes løsninger, der tilbyder strømeffektivitet og mindre størrelse. I betragtning af alle disse krav er HBM3 en ideel hukommelsesløsning til AI-træningshardware. Det giver fremragende båndbredde og kapacitetskapacitet.

Outputtet af neurale netværkstræning er en inferensmodel, der kan implementeres bredt. Med denne model kan en inferensenhed behandle og fortolke input uden for grænserne af træningsdataene. Til slutninger er hukommelsesgennemløbshastighed og lav latenstid afgørende, især når der er behov for handling i realtid. Med mere og mere AI-inferens, der skifter fra hjertet af datacentret til netværkskanten, bliver disse hukommelsesfunktioner endnu mere kritiske.

Designere har en række hukommelsesvalg til AI/ML-inferens, men på den kritiske parameter båndbredde skinner GDDR6-hukommelse virkelig. Ved en datahastighed på 24 Gigabits pr. sekund (Gb/s) og en 32-bit bred grænseflade kan en GDDR6-enhed levere 96 Gigabyte pr. sekund (GB/s) hukommelsesbåndbredde, mere end det dobbelte af enhver alternativ DDR eller LPDDR løsninger. GDDR6-hukommelse tilbyder en fantastisk kombination af hastighed, båndbredde og latensydelse til AI/ML-inferens, især til inferens på kanten.

Rambus GDDR6-hukommelsesgrænsefladeundersystemet tilbyder ydeevne på 24 Gb/s og er bygget på et fundament af over 30 års højhastighedssignalintegritet og SI/PI-ekspertise, der er afgørende for drift af GDDR6 ved høje hastigheder. Den består af en PHY og digital controller – som giver et komplet GDDR6-hukommelsesinterface-undersystem.

Deltag i Rambus webinar i denne måned på "Højtydende AI/ML-inferens med 24G GDDR6-hukommelse” for at opdage, hvordan GDDR6 understøtter hukommelses- og ydeevnekravene for AI/ML-inferensarbejdsbelastninger og lære om nogle af de vigtigste design- og implementeringsovervejelser ved GDDR6-hukommelsesgrænsefladeundersystemer.

Ressourcer: