Інтерв’ю з генеральним директором: Суреш Сугумар з Mastiska AI – Semiwiki

Розкажіть про свою компанію
"Мастиська А.І” (Mastiṣka на санскриті означає «мозок») — це компанія, що займається штучним інтелектом і зосереджена на створенні комп’ютерів, схожих на мозок, для більш ефективного запуску базових моделей для сценаріїв використання Generative AI майбутнього.

Які проблеми ви вирішуєте?
Враховуючи переваги штучного інтелекту/генерального штучного інтелекту, попит на нього лише зростатиме, як і його побічні ефекти на нашу планету. Як ми можемо зменшити або нейтралізувати побічні ефекти ШІ на нашій планеті? Уловлювання вуглецю та ядерна енергетика рухаються у правильному напрямку. Але нам потрібно фундаментально переглянути те, як ми робимо штучний інтелект, чи це неправильний спосіб робити тонни множення матриць?

Наш мозок може навчатися та виконувати багато завдань паралельно, споживаючи 10 Вт і менше, але чому ці системи ШІ споживають 10 мегават для навчання моделей?

Можливо, майбутнє чекає енергозберігаючі архітектури, такі як нейроморфні архітектури та трансформатори на основі нейронної мережі, які є найближчими до людського мозку, які можуть споживати в 100-1000 разів менше енергії, отже зменшуючи витрати на використання ШІ, тим самим демократизуючи його та зберігаючи наш планета.

Поточні виклики, з якими ми стикаємося з ШІ, а саме: а) доступність, б) доступність, в) доступність і г) екологічна безпека, а також деякі рекомендації щодо їх вирішення.

Якщо ми передбачимо в майбутньому, деякі корисні концепції AGI продемонстровано у фільмі «ЇЇ», де персонаж «Саманта» – розмовний агент, який є природним, розуміє емоції, виявляє емпатію, є чудовим другим пілотом на роботі — і працює на портативних пристроїв цілий день, то нам, можливо, доведеться вирішити наведені нижче проблеми прямо зараз.

Проблема 1: навчання LLM може коштувати від 150 тис. до 10+ мільйонів доларів, і це дозволяє лише тим, хто має більші кишені, розробляти ШІ. Крім того, вартість висновків також величезна (коштує в 10 разів більше, ніж веб-пошук)
—> Нам потрібно покращити енергоефективність моделей/апаратного забезпечення, щоб демократизувати ШІ на благо людства.

Проблема 2. Запуск величезних моделей AI для розмовних агентів або систем рекомендацій завдає шкоди навколишньому середовищу з точки зору споживання електроенергії та охолодження.
—> Нам потрібно покращити енергоефективність моделей/обладнання, щоб зберегти нашу планету для наших дітей.

Питання 3. Людський мозок здатний працювати багатозадачно, але споживає лише 10 Вт замість мегават.
—> Можливо, нам слід швидше будувати машини, схожі на наш мозок, а не звичайні матричні множники.

Людство може процвітати лише за допомогою стійких інновацій, а не шляхом вирубування всіх лісів і кип’ятіння океанів в ім’я інновацій. Ми повинні захистити нашу планету заради благополуччя наших дітей і майбутніх поколінь…

Які сфери застосування ваші найсильніші?
Навчання та визначення базових моделей на основі Transformer (і майбутньої нейронної архітектури) з у 50-100 разів більшою енергоефективністю порівняно з сучасними рішеннями на основі GPU.

Що не дає спати вашим клієнтам вночі?
Проблеми для клієнтів, які зараз використовують інші продукти:

Споживання електроенергії для навчання величезних мовних моделей зашкалює, наприклад, навчання LLM із параметрами 13B на текстових токенах 390B на 200 графічних процесорах протягом 7 днів коштує 151,744 XNUMX дол. https://lnkd.in/g6Vc5cz3). І навіть більші моделі з параметрами 100+B коштують $10+M лише за навчання. Потім платіть за висновок кожного разу, коли надходить новий запит.

Споживання води для охолодження, дослідники з Каліфорнійського університету в Ріверсайді оцінили вплив на навколишнє середовище подібної до ChatGPT послуги та кажуть, що вона ковтає 500 мілілітрів води (близько того, що міститься в 16-унційній пляшці води) кожного разу, коли ви запитуєте серії від 5 до 50 підказок або запитань. Діапазон змінюється залежно від місця розташування серверів і пори року. Оцінка включає непряме використання води, яке компанії не вимірюють, наприклад, для охолодження електростанцій, які забезпечують центри обробки даних електроенергією. (Джерело: https://lnkd.in/gybcxX8C)

Питання для тих, хто не користується поточними продуктами:

Не можу дозволити собі капітальні витрати на придбання обладнання
Не можу дозволити собі користуватися хмарними службами
Не можу впроваджувати інновації чи використовувати AI — застряг на моделі послуг, яка усуває будь-яку конкурентну перевагу

Як виглядає конкурентний ландшафт і як ви виділяєте його?

• Графічні процесори домінують у навчанні, хоча спеціалізовані ASIC також конкурують у цьому сегменті
• Висновок Cloud & Edge має забагато доступних варіантів

Цифровий, аналоговий, фотонний — як завгодно, люди намагаються вирішити ту саму проблему.

Чи можете ви поділитися своїми думками щодо поточного стану архітектури чіпів для AI/ML, тобто, що ви бачите як найбільш важливі тенденції та можливості прямо зараз?

Наступні тренди:
Тенденція 1: 10 років тому глибоке навчання на апаратному забезпеченні процвітало, а тепер те саме обладнання гальмує прогрес. Через величезну вартість апаратного забезпечення та витрат на електроенергію для роботи моделей отримати доступ до апаратного забезпечення стало проблемою. Лише компанії з глибокими кишенями можуть собі це дозволити і стають монополіями.

Тенденція 2: Тепер, коли ці моделі є, нам потрібно використовувати їх для практичних цілей, щоб збільшити навантаження на логічний висновок, дозволяючи процесорам із прискорювачами ШІ знову вийти в центр уваги.

Тенденція 3: Стартапи намагаються придумати альтернативне представлення чисел з плаваючою комою, що традиційний формат IEEE, такий як логарифмічний і положений, є хорошим, але недостатнім. Оптимізація простору дизайну PPA$ вибухає, коли ми намагаємося оптимізувати одне, а інше йде на розкид.

Тенденція 4: Галузь відходить від моделі штучного інтелекту на основі сервісів до розміщення власних приватних моделей у власних приміщеннях, але доступ до обладнання є проблемою через дефіцит поставок, санкції тощо

Поточний стан справ:
Доступність апаратного забезпечення та даних сприяла розвитку штучного інтелекту 10 років тому, тепер те саме апаратне забезпечення його як би гальмує — дозвольте мені пояснити

З тих пір, як процесори працювали жалюгідно, а графічні процесори були перепрофільовані для штучного інтелекту, сталося багато речей

Компанії займаються 4 сегментами штучного інтелекту/ML, а саме: 1) хмарне навчання, 2) хмарне обстеження, 3) периферійне обґрунтування та 4) периферійне навчання (об’єднане навчання для чутливих до конфіденційності програм).
Цифровий та аналоговий

Навчальна сторона – безліч компаній, які розробляють графічні процесори, прискорювачі для клієнтів на основі RISC-V, мікросхеми пластинчастого масштабу (850K ядер) тощо, де не вистачає традиційних процесорів (їхнє загальне призначення). Сторона висновку – прискорювачі NN доступні від усіх виробників у смартфонах, ноутбуках та інших периферійних пристроях.

Аналогові мемристорні архітектури також з'явилися деякий час тому.

Ми вважаємо, що процесори можуть бути дуже хорошими в висновках, якщо ми покращимо їх за допомогою прискорення, наприклад матричних розширень

Сторона речей RISC-V:
Що стосується RISC-V, ми розробляємо прискорювачі для матричних операцій та інших нелінійних операцій, щоб усунути можливі вузькі місця для робочих навантажень трансформаторів. Вузькі місця фон Неймана також вирішуються шляхом розробки пам’яті, наближеної до обчислювальної, що зрештою робить процесори з прискоренням штучного інтелекту правильним вибором для висновків.

Можливості:
Є унікальні можливості для заповнення ринку фундаментних моделей. Приклад. OpenAI згадує, що їм не вдалося забезпечити достатньо обчислень штучного інтелекту (графічних процесорів), щоб продовжувати просувати свої сервіси ChatGPT... і в новинах повідомляється, що вартість електроенергії в 10 разів перевищує вартість звичайного пошуку в Інтернеті та 500 мл води для охолодження систем. для кожного запиту. Тут є ринок, який потрібно заповнити — це не ніша, а весь ринок, який демократизує штучний інтелект, вирішуючи всі згадані вище проблеми: а) доступність, б) доступність, в) доступність і г) екологічна безпека

Над якими новими функціями/технологіями ви працюєте?
Ми будуємо мозок, як комп’ютер, використовуючи нейромодрофічні методи та підлаштовуючи моделі, щоб скористатися перевагами енергоефективного апаратного забезпечення, повторно використовуючи безліч доступних відкритих фреймворків

Яким, на вашу думку, буде розвиватися або змінюватися сектор AI/ML протягом наступних 12-18 місяців?
Оскільки попит на графічні процесори різко зріс (вартістю близько 30 тисяч доларів), а деякі країни світу стикаються з санкціями на придбання цих графічних процесорів, деякі частини світу відчувають, що вони заморожені в дослідженнях і розробках ШІ без доступу до графічних процесорів. Альтернативні апаратні платформи збираються захопити ринок.
Можливо, моделі почнуть скорочуватися — користувальницькі моделі або навіть принципово щільність інформації зросте

Те саме запитання, але як щодо зростання та змін у наступні 3-5 років?
a) ЦП із розширеннями ШІ захоплять ринок висновків ШІ
b) Моделі стануть гнучкими, а параметри впадуть із збільшенням щільності інформації з 16% до 90%.
c) Енергоефективність покращується, викиди CO2 зменшуються
d) З’являються нові архітектури
e) витрати на апаратне забезпечення та витрати на енергію знижуються, тому бар’єр входу для невеликих компаній до створення та навчання моделей стає доступним
f) люди говорять про момент до AGI, але моїм орієнтиром була б персонажна Саманта (розмовний ШІ) у фільмі «вона».. Це малоймовірно, враховуючи високу вартість розширення

Які проблеми можуть вплинути або обмежити розвиток сектору AI/ML?
a) Доступ до обладнання
b) Витрати на енергію та витрати на охолодження та шкоду навколишньому середовищу

Також читайте:

Інтерв'ю з генеральним директором: Девід Мур з Pragmatic

Інтерв’ю з генеральним директором: доктор Мегалі Чопра з Sandbox Semiconductor

Інтерв'ю з генеральним директором: д-р Дж. Провайн з компанії Aligned Carbon