Wywiad z dyrektorem generalnym: Sureshem Sugumarem z Mastiska AI – Semiwiki

Opowiedz nam o swojej firmie
"Mastiṣka AI” (Mastiṣka oznacza w sanskrycie mózg) to firma zajmująca się sztuczną inteligencją, skupiająca się na budowaniu komputerów przypominających mózg, aby wydajniej uruchamiać podstawowe modele na potrzeby przyszłych zastosowań generatywnej sztucznej inteligencji.

Jakie problemy rozwiązujesz?
Biorąc pod uwagę korzyści płynące ze sztucznej inteligencji/GenAI, jej popyt z pewnością wzrośnie, podobnie jak skutki uboczne dla naszej planety. Jak możemy zmniejszyć lub zneutralizować skutki uboczne AI na naszej planecie? Wychwytywanie dwutlenku węgla i energia jądrowa idą we właściwym kierunku. Musimy jednak zasadniczo przemyśleć sposób, w jaki robimy sztuczną inteligencję, czy jest to niewłaściwy sposób wykonywania ton mnożenia macierzy?

Nasz mózg może uczyć się i wykonywać wiele zadań równolegle, przy poborze mocy 10 W i mniejszym, ale dlaczego te systemy AI zużywają 10 megawatów na szkolenie modeli?

Być może przyszłość kryje w sobie energooszczędne architektury, takie jak architektury neuromorficzne i transformatory oparte na sieciach neuronowych, które znajdują się najbliżej ludzkiego mózgu i które mogą zużywać 100–1000 razy mniej energii, zmniejszając w ten sposób koszty korzystania ze sztucznej inteligencji, a tym samym demokratyzując ją i oszczędzając nasze planeta.

Obecne wyzwania, przed którymi stoimy w związku ze sztuczną inteligencją, to a) dostępność, b) dostępność, c) przystępność cenowa i d) bezpieczeństwo środowiskowe wraz z pewnymi zaleceniami dotyczącymi ich rozwiązania.

Jeśli przewidujemy przyszłość, kilka przydatnych koncepcji AGI zostało zademonstrowanych w filmie „HER”, w którym postać „Samantha” – rozmówczyni, która jest naturalna, rozumie emocje, okazuje empatię, jest niesamowitym drugim pilotem w pracy – i biegnie dalej urządzeń przenośnych przez cały dzień, być może będziemy musieli już teraz zająć się poniższymi wyzwaniami.

Problem 1: Szkolenie LLM może kosztować od 150 tys. do ponad 10 milionów dolarów i umożliwia rozwój sztucznej inteligencji tylko osobom z większymi kieszeniami. Co więcej, koszty wnioskowania są również ogromne (kosztują 10 razy więcej niż wyszukiwanie w Internecie)
—> Musimy poprawić efektywność energetyczną modeli/sprzętu, aby zdemokratyzować sztuczną inteligencję z korzyścią dla ludzkości.

Problem 2: Uruchamianie gigantycznych modeli sztucznej inteligencji dla agentów konwersacyjnych lub systemów rekomendacji ma negatywny wpływ na środowisko w zakresie zużycia energii elektrycznej i chłodzenia.
—> Musimy poprawić efektywność energetyczną modeli/sprzętu, aby ocalić naszą planetę dla naszych dzieci.

Problem 3: Ludzki mózg jest zdolny i może wykonywać wiele zadań jednocześnie, ale zużywa tylko 10 watów zamiast megawatów.
—> Być może powinniśmy szybciej budować maszyny podobne do naszych mózgów, a nie zwykłe mnożniki macierzy.

Ludzkość może prosperować jedynie dzięki zrównoważonym innowacjom, a nie wycinaniu wszystkich lasów i gotowaniu oceanów w imię innowacji. Musimy chronić naszą planetę dla dobra naszych dzieci i przyszłych pokoleń…

Jakie obszary zastosowań są dla Ciebie najmocniejsze?
Uczenie i wnioskowanie modeli podstawowych opartych na transformatorach (i przyszłej architekturze neuronowej) przy 50–100 razy większej efektywności energetycznej w porównaniu z dzisiejszymi rozwiązaniami opartymi na procesorach graficznych.

Co nie daje zasnąć Twoim klientom w nocy?
Problemy dla klientów, którzy obecnie korzystają z innych produktów:

Zużycie energii elektrycznej do uczenia modeli języków olbrzymich jest ogromne, na przykład szkolenie LLM z parametrem 13B na tokenach tekstowych 390B na 200 procesorach graficznych przez 7 dni kosztuje 151,744 XNUMX USD (Źródło: nowa strona usługi klastra szkoleniowego HuggingFace – https://lnkd.in/g6Vc5cz3). Samo wyszkolenie nawet większych modeli z parametrami 100+B kosztuje 10+M USD. Następnie płać za wnioskowanie za każdym razem, gdy nadejdzie nowe żądanie monitu.

Naukowcy z Uniwersytetu Kalifornijskiego w Riverside oszacowali zużycie wody do chłodzenia, jaki wpływ na środowisko ma usługa typu ChatGPT i twierdzą, że za każdym razem, gdy ją poprosisz, połyka ona 500 mililitrów wody (prawie tyle, ile mieści się w 16-uncjowej butelce wody). serię od 5 do 50 podpowiedzi lub pytań. Zasięg różni się w zależności od lokalizacji serwerów i pory roku. Szacunki obejmują pośrednie zużycie wody, którego firmy nie mierzą – na przykład do chłodzenia elektrowni zasilających centra danych w energię elektryczną. (Źródło: https://lnkd.in/gybcxX8C)

Problemy dla osób niebędących klientami aktualnych produktów:

Nie stać mnie na CAPEX na zakup sprzętu
Nie stać Cię na korzystanie z usług w chmurze
Nie potrafi wprowadzać innowacji ani wykorzystywać sztucznej inteligencji – utknął w modelu usług, który eliminuje jakąkolwiek przewagę konkurencyjną

Jak wygląda krajobraz konkurencyjny i jak się wyróżniasz?

• W przestrzeni szkoleniowej dominują procesory graficzne, mimo że w tym segmencie konkurują także wyspecjalizowane układy ASIC
• Wnioskowanie w chmurze i na krawędzi ma zbyt wiele dostępnych opcji

Cyfrowe, analogowe, fotoniczne — jakkolwiek to nazwać, ludzie próbują rozwiązać ten sam problem.

Czy możesz podzielić się swoimi przemyśleniami na temat obecnego stanu architektury chipów dla AI/ML, czyli jakie są obecnie według Ciebie najważniejsze trendy i możliwości?

Następujące trendy:
Trend 1: 10 lat temu głębokie uczenie się oparte na sprzęcie rozkwitło, a teraz ten sam sprzęt hamuje postęp. Ze względu na ogromne koszty sprzętu i energii elektrycznej potrzebnej do uruchomienia modeli, dostęp do sprzętu stał się wyzwaniem. Mogą sobie na to pozwolić tylko firmy z głębokimi kieszeniami i stają się monopolistami.

Trend 2: Teraz, gdy te modele już istnieją, musimy wykorzystać je do celów praktycznych, aby zwiększyć obciążenie wnioskowania, dzięki czemu procesory wyposażone w akceleratory AI ponownie znajdą się w centrum uwagi.

Trend 3: Startupy próbują wymyślić alternatywne reprezentacje liczb zmiennoprzecinkowych, które uznają, że tradycyjny format IEEE – taki jak logarytmiczny i oparty na pozycjach – jest dobry, ale niewystarczający. Optymalizacja przestrzeni projektowej PPA$ eksploduje, gdy próbujemy zoptymalizować jedną, a druga zostaje wyrzucona.

Trend 4: Branża odchodzi od modelu sztucznej inteligencji opartego na usługach na rzecz hostowania własnych, prywatnych modeli we własnej siedzibie, ale dostęp do sprzętu stanowi wyzwanie ze względu na niedobory dostaw, sankcje itp.

Aktualny stan rzeczy:
Dostępność sprzętu i danych napędzała rozwój sztucznej inteligencji 10 lat temu, teraz ten sam sprzęt w pewnym sensie go hamuje — pozwólcie, że wyjaśnię

Odkąd procesory radziły sobie fatalnie, a procesory graficzne zostały przystosowane do obsługi sztucznej inteligencji, wiele się wydarzyło

Firmy zajmują się 4 segmentami AI/ML, a mianowicie – 1) szkoleniem w chmurze, 2) wnioskowaniem w chmurze, 3) wnioskowaniem brzegowym i 4) szkoleniem brzegowym (uczenie się federacyjne dla aplikacji wrażliwych na prywatność).
Cyfrowe i analogowe

Strona szkoleniowa – mnóstwo firm zajmujących się procesorami graficznymi, akceleratorami klientów opartymi na RISC-V, chipami w skali waflowej (rdzeni 850 tys.) i tak dalej tam, gdzie brakuje tradycyjnych procesorów (ich ogólne przeznaczenie). Wnioski – akceleratory NN są dostępne u każdego producenta, w smartfonach, laptopach i innych urządzeniach brzegowych.

Jakiś czas temu pojawiły się także analogowe architektury oparte na memrystorach.

Wierzymy, że procesory mogą być bardzo dobre w wnioskowaniu, jeśli ulepszymy je za pomocą akceleracji, takiej jak rozszerzenia macierzy

Strona RISC-V:
Po stronie RISC-V opracowujemy akceleratory do operacji macierzowych i innych operacji nieliniowych, aby wyeliminować możliwe wąskie gardła w obciążeniach transformatora. Rozwiązano także problem wąskich gardeł Von Neumanna poprzez projektowanie pamięci bliższych obliczeniom obliczeniowym, co ostatecznie sprawi, że procesory wyposażone w akcelerację AI będą właściwym wyborem do wnioskowania.

Szanse:
Istnieją wyjątkowe możliwości wypełnienia rynku modeli fundamentów. Przykład – OpenAI wspominało, że nie było w stanie zabezpieczyć wystarczającej liczby mocy obliczeniowych AI (GPU), aby nadal rozwijać swoje usługi ChatGPT… oraz doniesienia prasowe o kosztach energii elektrycznej 10-krotnie wyższych niż zwykłe wyszukiwanie w Internecie i 500 ml wody do ochłodzenia systemów dla każdego zapytania. Jest tu rynek do zapełnienia — nie jest to nisza, ale cały rynek, który zdemokratyzuje sztuczną inteligencję, stawiając czoła wszystkim wymienionym wyzwaniom – a) dostępność, b) dostępność, c) przystępność cenowa i d) bezpieczeństwo środowiskowe

Nad jakimi nowymi funkcjami/technologiami pracujesz?
Budujemy mózg przypominający komputer, wykorzystując techniki neuromodrficzne i dostosowując modele, aby wykorzystać energooszczędny sprzęt, ponownie wykorzystując wiele dostępnych otwartych struktur

Jak wyobrażasz sobie rozwój lub zmiany sektora AI/ML w ciągu najbliższych 12–18 miesięcy?
Ponieważ popyt na procesory graficzne spadł (kosztują około 30 tys. dolarów), a niektóre części świata stoją w obliczu sankcji za zakup tych procesorów graficznych, niektóre części świata mają poczucie, że są zamrożone w badaniach i rozwoju sztucznej inteligencji bez dostępu do procesorów graficznych. Alternatywne platformy sprzętowe zamierzają podbić rynek.
Być może modele zaczną się kurczyć – modele niestandardowe lub nawet zasadniczo wzrośnie gęstość informacji

To samo pytanie, ale co z rozwojem i zmianami w ciągu najbliższych 3-5 lat?
a) Procesory z rozszerzeniami AI przejęłyby rynek wnioskowania AI
b) Modele staną się zwinne, a parametry zaczną spadać wraz ze wzrostem gęstości informacji z 16% do 90%
c) Poprawia się efektywność energetyczna, zmniejsza się ślad CO2
d) Pojawiają się nowe architektury
e) koszty sprzętu i energii spadają, w związku z czym bariera wejścia dla mniejszych przedsiębiorstw w zakresie tworzenia i szkolenia modeli staje się przystępna cenowo
f) ludzie mówią o momencie sprzed AGI, ale moim punktem odniesienia byłaby Samanta (konwersacyjna sztuczna inteligencja) w filmie „ona”. Może to być mało prawdopodobne, biorąc pod uwagę wysokie koszty zwiększania skali

Jakie wyzwania mogą mieć wpływ lub ograniczyć rozwój sektora AI/ML?
a) Dostęp do sprzętu
b) Koszty energii i koszty chłodzenia oraz szkody dla środowiska

Przeczytaj także:

Wywiad z dyrektorem generalnym: David Moore z Pragmatic

Wywiad z dyrektorem generalnym: dr Meghali Chopra z Sandbox Semiconductor

Wywiad z dyrektorem generalnym: dr J. Provine z Aligned Carbon