GDDR6 забезпечує продуктивність для висновків AI/ML

AI/ML розвивається блискавичними темпами. Зараз не минає й тижня без нових і захоплюючих розробок у цій галузі, а такі програми, як ChatGPT, привернули увагу громадськості до генеративних можливостей ШІ.

AI/ML — це насправді два додатки: навчання та висновок. Кожен з них залежить від продуктивності пам’яті та має унікальний набір вимог, які обумовлюють вибір найкращого рішення для пам’яті.

Під час навчання критичними вимогами є пропускна здатність і ємність пам’яті. Це особливо актуально з огляду на розмір і складність моделей даних нейронних мереж, які зростають у 10 разів на рік. Точність нейронної мережі залежить від якості та кількості прикладів у навчальному наборі даних, що призводить до потреби величезних обсягів даних, а отже, пропускної здатності та ємності пам’яті.

Враховуючи цінність, створену завдяки навчанню, існує потужний стимул якомога швидше завершити тренувальні пробіжки. Оскільки навчальні програми працюють у центрах обробки даних, які дедалі більше обмежені в електроенергії та просторі, перевагу надають рішенням, які пропонують енергоефективність і менший розмір. Враховуючи всі ці вимоги, HBM3 є ідеальним рішенням пам’яті для обладнання для навчання ШІ. Він забезпечує відмінну пропускну здатність і можливості.

Результатом навчання нейронної мережі є модель логічного висновку, яку можна застосовувати широко. За допомогою цієї моделі пристрій висновку може обробляти та інтерпретувати вхідні дані за межами навчальних даних. Для висновку швидкість пропускної здатності пам’яті та низька затримка є критичними, особливо коли потрібні дії в реальному часі. З огляду на те, що штучний інтелект переміщується від серця центру обробки даних до краю мережі, ці функції пам’яті стають ще більш критичними.

У розробників є кілька варіантів пам’яті для висновків AI/ML, але щодо критичного параметра пропускної здатності пам’ять GDDR6 дійсно блищить. При швидкості передачі даних 24 гігабіт на секунду (Гбіт/с) і 32-розрядному інтерфейсі пристрій GDDR6 може забезпечити 96 гігабайт на секунду (Гбіт/с) пропускної здатності пам’яті, що більш ніж удвічі перевищує будь-який альтернативний DDR або Рішення LPDDR. Пам'ять GDDR6 пропонує чудове поєднання швидкості, пропускної здатності та продуктивності затримки для висновків AI/ML, зокрема для висновків на межі.

Підсистема інтерфейсу пам’яті Rambus GDDR6 забезпечує продуктивність 24 Гбіт/с і побудована на основі більш ніж 30-річного досвіду високошвидкісного цілісності сигналу та цілісності живлення (SI/PI), що має вирішальне значення для роботи GDDR6 на високих швидкостях. Він складається з PHY та цифрового контролера, що забезпечує повну підсистему інтерфейсу пам’яті GDDR6.

Приєднуйтесь до мене на вебінарі Rambus цього місяця на тему «Високопродуктивний AI/ML Inference з пам'яттю 24G GDDR6”, щоб дізнатися, як GDDR6 підтримує вимоги до пам’яті та продуктивності робочих навантажень AI/ML, а також дізнатися про деякі ключові аспекти дизайну та реалізації підсистем інтерфейсу пам’яті GDDR6.

Ресурси: