A GDDR6 teljesítményt nyújt az AI/ML következtetésekhez

Az AI/ML villámgyorsan fejlődik. Jelenleg nem telik el hét új és izgalmas fejlesztések nélkül a területen, és az olyan alkalmazások, mint a ChatGPT, határozottan a közfigyelem középpontjába hozták a generatív AI-képességeket.

Az AI/ML valójában két alkalmazás: képzés és következtetés. Mindegyik a memória teljesítményén múlik, és mindegyik egyedi követelményrendszerrel rendelkezik, amelyek a legjobb memóriamegoldást választják.

A képzés során a memória sávszélessége és kapacitása kritikus követelmény. Ez különösen igaz a neurális hálózati adatmodellek méretére és összetettségére, amelyek évente 10-szeres ütemben nőnek. A neurális hálózat pontossága a betanítási adathalmazban található példák minőségétől és mennyiségétől függ, ami azt jelenti, hogy hatalmas mennyiségű adatra van szükség, és így a memória sávszélességére és kapacitására is szükség van.

Tekintettel az edzés által teremtett értékre, ez erőteljes ösztönzést jelent az edzések lehető leggyorsabb befejezésére. Mivel az oktatóalkalmazások olyan adatközpontokban futnak, amelyek teljesítménye és helye egyre szűkebb, az energiahatékonyságot és a kisebb méretet kínáló megoldásokat részesítik előnyben. Mindezeket a követelményeket figyelembe véve a HBM3 ideális memóriamegoldás az AI-oktató hardverekhez. Kiváló sávszélességet és kapacitást biztosít.

A neurális hálózatok képzésének eredménye egy olyan következtetési modell, amely széles körben alkalmazható. Ezzel a modellel egy következtetési eszköz képes feldolgozni és értelmezni a betanítási adatok határain kívül eső bemeneteket. A következtetéshez a memória átviteli sebessége és az alacsony késleltetés kritikus fontosságú, különösen akkor, ha valós idejű műveletre van szükség. Azzal, hogy egyre több mesterséges intelligencia-következtetés kerül át az adatközpont szívéből a hálózat szélére, ezek a memóriafunkciók még kritikusabbá válnak.

A tervezőknek számos memóriaválasztási lehetőségük van az AI/ML következtetésekhez, de a sávszélesség kritikus paraméterét tekintve a GDDR6 memória igazán ragyog. 24 Gigabit/s (Gb/s) adatátviteli sebességgel és 32 bites szélességű interfésszel egy GDDR6-os eszköz másodpercenként 96 gigabájt (GB/s) memória sávszélességet képes leadni, ami több mint kétszerese bármely alternatív DDR vagy LPDDR megoldások. A GDDR6 memória a sebesség, a sávszélesség és a késleltetési teljesítmény nagyszerű kombinációját kínálja az AI/ML következtetésekhez, különösen a széleken történő következtetésekhez.

A Rambus GDDR6 memória interfész alrendszer 24 Gb/s teljesítményt kínál, és több mint 30 éves nagysebességű jelintegritási és teljesítményintegritási (SI/PI) szakértelemre épül, amely kritikus a GDDR6 nagy sebességű működéséhez. Egy PHY-ből és egy digitális vezérlőből áll – teljes GDDR6 memória interfész alrendszert biztosítva.

Csatlakozz hozzám a Rambus webináriumon ebben a hónapban a „Nagy teljesítményű AI/ML következtetés 24G GDDR6 memóriával“, hogy megtudja, hogyan támogatja a GDDR6 az AI/ML következtetési munkaterhelések memória- és teljesítménykövetelményeit, és megismerheti a GDDR6 memória interfész alrendszereinek néhány kulcsfontosságú tervezési és megvalósítási szempontját.

Források: