Оновлення панелі Synopsys щодо стану багатокомпонентних систем - Semiwiki

Перевидано Платоном

читають: 0

Нещодавно компанія Synopsys провела міжгалузеву панельну дискусію про стан систем із декількома матрицями, яка була для мене цікавою не в останню чергу через її актуальність для швидкого прискорення апаратного забезпечення, орієнтованого на ШІ. Детальніше про це нижче. Учасниками дискусії, які відіграли важливу роль у багатокристалічних системах, були Шекхар Капур (старший директор з управління продуктами, Synopsys), Чолмін Парк (корпоративний віце-президент, Samsung), Лаліта Імманені (віце-президент з архітектури, дизайну та технологічних рішень, Intel), Майкл Шафферт (старший віце-президент, Bosch) і Мурат Бесер (віце-президент з досліджень і розробок, Ansys). Панель модерував Марко Чіаппетта (співзасновник і головний аналітик, HotTech Vision and Analysis).

мульти матриця 525x315 світло

Драйвер великого попиту

Під цим заголовком прийнято викладати всіх звичайних підозрюваних (HPC, автомобільна індустрія тощо), але цей список не відповідає, можливо, найбільшому основоположному фактору – поточній боротьбі за домінування в усьому LLM та генеративному штучному інтелекті. Великі мовні моделі пропонують нові рівні послуг SaaS у пошуку, створенні документів та інших можливостях із серйозними конкурентними перевагами для тих, хто першим отримає це право. На мобільних пристроях і в автомобілі чудове керування на основі природної мови та зворотній зв’язок зроблять існуючі голосові опції виглядати примітивними порівняно з ними. У той же час генеративні методи створення нових зображень з використанням моделей дифузії та потоку Пуассона можуть створювати вражаючі графічні малюнки на тексті чи фотографії, доповнені бібліотеками зображень. З огляду на увагу споживачів, це може стати наступною великою річчю для майбутніх випусків телефонів.

Незважаючи на те, що штучний інтелект на основі трансформаторів дає величезні $$$ можливості, він супроводжується викликами. Технології, які роблять такі методи можливими, вже перевірені в хмарі та з’являються на краю, але вони, як відомо, потребують пам’яті. Виробничі LLM мають від мільярдів до трильйонів параметрів, які необхідно завантажити в трансформатор. Попит на робочий простір у процесі так само високий; Зображення на основі дифузії поступово додає шум до повного зображення, а потім повертається до модифікованого зображення знову через платформи на основі трансформаторів.

Окрім початкового навантаження, жоден із цих процесів не може дозволити собі накладні витрати на взаємодію із зовнішньою DRAM. Затримки були б неприйнятними, а споживання електроенергії розряджало б батарею телефону або призводило до скорочення бюджету електроенергії для центру обробки даних. Уся пам’ять має бути поблизу – дуже близько – до комп’ютера. Одним із рішень є розміщення SRAM поверх прискорювача (як AMD, а тепер і Intel продемонстрували для своїх серверних мікросхем). Вбудована пам’ять із високою пропускною здатністю додає ще один дещо повільніший варіант, але все одно не такий повільний, як DRAM поза чіпом.

Усе це вимагає систем із кількома матрицями. Отже, на якому етапі ми готові цю опцію до виробництва?

Погляди на те, де ми знаходимося

Я чув багато ентузіазму щодо зростання в цій сфері, у прийнятті, програмах та інструментах. Intel, AMD, Qualcomm, Samsung явно дуже активні в цьому просторі. Відомо, що Apple M2 Ultra має подвійний дизайн, а AWS Graviton 3 — систему з кількома кристалами. Я впевнений, що серед великих систем і виробників напівпровідників є багато інших прикладів. У мене склалося враження, що матриці досі переважно закуповуються зсередини (за винятком, можливо, стеків HBM), і збираються за технологіями ливарного пакування від TSMC, Samsung або Intel. Однак Tenstorrent щойно оголосив, що вони вибрали Samsung для виробництва свого нового покоління дизайну штучного інтелекту у вигляді чіплета (кристала, придатного для використання в системі з кількома кристалами), тому цей простір уже йде до більш широкого пошуку кристалів.

Усі учасники дискусії, природно, були в захваті від загального напряму, і очевидно, що технології та інструменти швидко розвиваються, що пояснює ажіотаж. Лаліта обґрунтувала цей ентузіазм, зазначивши, що система з декількома матрицями, яка зараз розробляється та проектується, все ще знаходиться в зародковому стані, і ще не готова до запуску великого ринку багаторазових матриць. Це мене не дивує. Технологія такої складності, здається, повинна розвиватися спочатку в тісному партнерстві між розробниками систем, ливарними заводами та компаніями EDA, можливо, протягом кількох років, перш ніж вона зможе поширитися на більшу аудиторію.

Я впевнений, що ливарні заводи, системобудівники та компанії EDA не показують усіх своїх карток і можуть піти далі, ніж вони хочуть рекламувати. Я з нетерпінням чекаю почути більше. Ви можете переглянути панельну дискусію ТУТ.

Поділитися цим дописом через: