GDDR6 zagotavlja zmogljivost za sklepanje AI/ML

AI/ML se razvija z bliskovito hitrostjo. Trenutno ne mine teden brez novih in razburljivih dogodkov na tem področju in aplikacije, kot je ChatGPT, so generativne zmogljivosti umetne inteligence trdno postavile v ospredje javne pozornosti.

AI/ML sta v resnici dve aplikaciji: usposabljanje in sklepanje. Vsak se zanaša na zmogljivost pomnilnika in ima edinstven nabor zahtev, ki vodijo k izbiri najboljše pomnilniške rešitve.

Pri usposabljanju sta pasovna širina in zmogljivost pomnilnika ključni zahtevi. To še posebej velja glede na velikost in kompleksnost podatkovnih modelov nevronske mreže, ki rastejo s hitrostjo 10-krat na leto. Natančnost nevronske mreže je odvisna od kakovosti in količine primerov v naboru podatkov za usposabljanje, kar pomeni potrebo po ogromnih količinah podatkov ter s tem pasovno širino in zmogljivost pomnilnika.

Glede na vrednost, ustvarjeno s treningom, obstaja močna spodbuda za čim hitrejše dokončanje treningov. Ker se aplikacije za usposabljanje izvajajo v podatkovnih centrih, ki so vedno bolj omejeni glede energije in prostora, so prednostne rešitve, ki nudijo energetsko učinkovitost in manjšo velikost. Glede na vse te zahteve je HBM3 idealna pomnilniška rešitev za strojno opremo za usposabljanje AI. Zagotavlja odlično pasovno širino in zmogljivost.

Rezultat usposabljanja nevronske mreže je sklepni model, ki ga je mogoče široko uporabiti. S tem modelom lahko naprava za sklepanje obdeluje in interpretira vnose zunaj meja podatkov o usposabljanju. Za sklepanje sta ključnega pomena hitrost pretoka pomnilnika in nizka zakasnitev, zlasti kadar je potrebno ukrepanje v realnem času. Ker se vse več sklepanja AI seli iz osrčja podatkovnega centra na rob omrežja, postajajo te funkcije pomnilnika še bolj kritične.

Oblikovalci imajo na voljo številne izbire pomnilnika za sklepanje AI/ML, vendar glede kritičnega parametra pasovne širine pomnilnik GDDR6 resnično blesti. Pri podatkovni hitrosti 24 gigabitov na sekundo (Gb/s) in 32-bitnem širokem vmesniku lahko naprava GDDR6 zagotovi 96 gigabajtov na sekundo (GB/s) pasovne širine pomnilnika, kar je več kot dvakrat več kot kateri koli alternativni DDR ali Rešitve LPDDR. Pomnilnik GDDR6 ponuja odlično kombinacijo hitrosti, pasovne širine in zmogljivosti zakasnitve za sklepanje AI/ML, zlasti za sklepanje na robu.

Podsistem pomnilniškega vmesnika Rambus GDDR6 ponuja zmogljivost 24 Gb/s in je zgrajen na temeljih več kot 30 let strokovnega znanja o celovitosti signala visoke hitrosti in celovitosti napajanja (SI/PI), kar je ključnega pomena za delovanje GDDR6 pri visokih hitrostih. Sestavljen je iz PHY in digitalnega krmilnika – ki zagotavlja popoln podsistem pomnilniškega vmesnika GDDR6.

Pridružite se mi na spletnem seminarju Rambus ta mesec na temo “Visokozmogljivo sklepanje AI/ML s pomnilnikom 24 G GDDR6”, da odkrijete, kako GDDR6 podpira zahteve glede pomnilnika in zmogljivosti delovnih obremenitev sklepanja AI/ML, in se seznanite z nekaterimi ključnimi vidiki oblikovanja in izvedbe podsistemov pomnilniškega vmesnika GDDR6.

Viri: