GDDR6 tagab jõudluse AI/ML järelduste tegemiseks

AI/ML areneb välkkiirelt. Praegu ei möödu nädalatki ilma uute ja põnevate arenguteta selles valdkonnas ning sellised rakendused nagu ChatGPT on toonud generatiivse AI-võimalused kindlalt avalikkuse tähelepanu keskpunkti.

AI/ML on tegelikult kaks rakendust: treenimine ja järeldus. Igaüks neist sõltub mälu jõudlusest ja igaühel neist on ainulaadne nõuete kogum, mis määrab parima mälulahenduse valiku.

Treeningu puhul on mälu ribalaius ja võimsus kriitilised nõuded. Seda eriti arvestades närvivõrgu andmemudelite suurust ja keerukust, mis on kasvanud 10 korda aastas. Närvivõrgu täpsus sõltub koolitusandmete kogumi näidete kvaliteedist ja kvantiteedist, mis tähendab tohutute andmemahtude ja seega ka mälu ribalaiuse ja mahutavuse vajadust.

Arvestades treeningute kaudu loodud väärtust, on võimas stiimul treeninguid võimalikult kiiresti lõpetada. Kuna koolitusrakendused töötavad andmekeskustes, mille võimsus ja ruum on üha piiratumad, eelistatakse lahendusi, mis pakuvad energiatõhusust ja väiksemat suurust. Arvestades kõiki neid nõudeid, on HBM3 ideaalne mälulahendus AI treeningriistvara jaoks. See pakub suurepäraseid ribalaiuse ja võimsuse võimalusi.

Närvivõrgu koolituse väljund on järeldusmudel, mida saab laialdaselt kasutusele võtta. Selle mudeli abil saab järeldusseade töödelda ja tõlgendada sisendeid väljaspool treeningandmete piire. Järelduste tegemiseks on mälu läbilaskevõime ja madal latentsusaeg kriitilise tähtsusega, eriti kui on vaja tegutseda reaalajas. Kuna üha enam AI järeldusi nihkub andmekeskuse südamest võrgu servale, muutuvad need mälufunktsioonid veelgi kriitilisemaks.

Disaineritel on AI/ML järelduste tegemiseks mitmeid mäluvalikuid, kuid ribalaiuse kriitilise parameetri puhul paistab GDDR6 mälu tõesti särama. Andmeedastuskiirusega 24 gigabaiti sekundis (Gb/s) ja 32-bitise laiusega liidesega suudab GDDR6 seade edastada 96 gigabaiti sekundis (GB/s) mälu ribalaiust, mis on rohkem kui kaks korda suurem kui mis tahes alternatiivne DDR või LPDDR lahendused. GDDR6 mälu pakub suurepärast kombinatsiooni kiirusest, ribalaiusest ja latentsusest AI/ML-i järelduste tegemiseks, eriti äärealadel.

Rambus GDDR6 mäluliidese alamsüsteem pakub jõudlust 24 Gb/s ja on rajatud enam kui 30-aastasele suure kiirusega signaali terviklikkuse ja võimsuse terviklikkuse (SI/PI) teadmistele, mis on olulised GDDR6 suurel kiirusel töötamiseks. See koosneb PHY-st ja digitaalsest kontrollerist – pakkudes täielikku GDDR6 mäluliidese alamsüsteemi.

Liituge minuga sel kuul Rambuse veebiseminaril "Suure jõudlusega AI/ML järeldus 24G GDDR6 mäluga“, et avastada, kuidas GDDR6 toetab AI/ML-i järelduste töökoormuste mälu- ja jõudlusnõudeid, ning tutvuda mõne GDDR6 mäluliidese alamsüsteemide kavandamise ja rakendamisega seotud peamiste kaalutlustega.

Ressursid: