GDDR6 leverer ytelsen for AI/ML-inferens

AI/ML utvikler seg i et lyntempo. Det går ikke en uke akkurat nå uten noen nye og spennende utviklinger på området, og applikasjoner som ChatGPT har brakt generative AI-evner i forkant av offentlig oppmerksomhet.

AI/ML er egentlig to applikasjoner: trening og slutning. Hver av dem er avhengig av minneytelse, og hver har et unikt sett med krav som driver valget for den beste minneløsningen.

Med trening er minnebåndbredde og kapasitet kritiske krav. Dette er spesielt gitt størrelsen og kompleksiteten til nevrale nettverksdatamodeller som har vokst med en hastighet på 10X per år. Nevrale nettverksnøyaktighet avhenger av kvaliteten og kvantiteten av eksempler i treningsdatasettet, noe som betyr at man trenger enorme mengder data, og dermed minnebåndbredde og -kapasitet.

Gitt verdien som skapes gjennom trening, er det et kraftig insentiv til å gjennomføre treningsløp så raskt som mulig. Ettersom opplæringsapplikasjoner kjøres i datasentre som i økende grad er begrenset for kraft og plass, foretrekkes løsninger som tilbyr strømeffektivitet og mindre størrelse. Gitt alle disse kravene, er HBM3 en ideell minneløsning for AI-treningsmaskinvare. Det gir utmerket båndbredde og kapasitetsmuligheter.

Resultatet av nevrale nettverkstrening er en slutningsmodell som kan distribueres bredt. Med denne modellen kan en inferensenhet behandle og tolke input utenfor grensene til treningsdataene. For slutninger er minnegjennomstrømningshastighet og lav latens kritisk, spesielt når sanntidshandling er nødvendig. Med mer og mer AI-slutning som skifter fra hjertet av datasenteret til nettverkskanten, blir disse minnefunksjonene enda mer kritiske.

Designere har en rekke minnevalg for AI/ML-inferens, men på den kritiske parameteren båndbredde, skinner GDDR6-minnet virkelig. Med en datahastighet på 24 Gigabits per sekund (Gb/s), og et 32-bits bredt grensesnitt, kan en GDDR6-enhet levere 96 Gigabyte per sekund (GB/s) minnebåndbredde, mer enn det dobbelte av en hvilken som helst alternativ DDR eller LPDDR-løsninger. GDDR6-minne tilbyr en flott kombinasjon av hastighet, båndbredde og latensytelse for AI/ML-inferens, spesielt for inferens på kanten.

Rambus GDDR6-minnegrensesnittundersystemet tilbyr ytelse på 24 Gb/s og er bygget på et grunnlag av over 30 år med høyhastighetssignalintegritet og strømintegritet (SI/PI) ekspertise, avgjørende for å drive GDDR6 ved høye hastigheter. Den består av en PHY og digital kontroller – som gir et komplett GDDR6-minnegrensesnittundersystem.

Bli med meg på Rambus webinaret denne måneden på "Høyytelses AI/ML-inferens med 24G GDDR6-minne” for å finne ut hvordan GDDR6 støtter minne- og ytelseskravene til AI/ML-inferensarbeidsbelastninger og lære om noen av de viktigste design- og implementeringsbetraktningene til GDDR6-minnegrensesnittundersystemer.

Ressurser: