CEO Röportajı: Mastiska AI'dan Suresh Sugumar - Semiwiki

Bize şirketinizden bahsedin
"Mastiṣka AI” (Mastiṣka, Sanskritçe'de Beyin anlamına gelir), yarının Üretken Yapay Zeka kullanım durumları için temel modelleri daha verimli bir şekilde çalıştırmak amacıyla beyin benzeri bilgisayarlar oluşturmaya odaklanmış bir Yapay Zeka şirketidir.

Hangi sorunları çözüyorsunuz?
AI/GenAI'nin yararları göz önüne alındığında, ona olan talebin artması kaçınılmazdır ve gezegenimiz üzerindeki yan etkileri de artacaktır. Yapay zekanın gezegenimiz üzerindeki yan etkilerini nasıl azaltabiliriz veya etkisiz hale getirebiliriz? Karbon yakalama ve nükleer enerji doğru yolda. Ancak yapay zeka yapma şeklimizi temel olarak yeniden düşünmemiz gerekiyor; tonlarca matris çarpımı yapmanın yanlış yolu mu bu?

Beynimiz 10W'ta ve altında birçok görevi paralel olarak öğrenebilir ve yapabilir, ancak bu yapay zeka sistemleri modelleri eğitmek için neden 10'larca megavat tüketiyor?

Belki de gelecekte, insan beynine en yakın olan, 100-1000 kat daha az enerji tüketebilecek, dolayısıyla yapay zekayı kullanmanın maliyetini azaltabilecek, böylece yapay zekayı demokratikleştirip tasarruf edebilecek nöromorfik mimariler ve sinir ağı tabanlı transformatörler gibi enerji verimli mimariler var. gezegen.

Yapay zeka ile karşılaştığımız mevcut zorluklar, yani a) kullanılabilirlik, b) erişilebilirlik, c) karşılanabilirlik ve d) çevre güvenliği ve bunların üstesinden gelmek için bazı öneriler.

Gelecekte öngörüde bulunursak, bazı yararlı YGZ konseptleri "HER" filminde gösteriliyor; burada doğal, duyguları anlayan, empati gösteren, iş yerinde harika bir yardımcı pilot olan 'Samantha' karakteri bir konuşma aracısı olarak çalışıyor. tüm gün boyunca elde taşınır cihazlarla çalışırsak, o zaman aşağıdaki zorlukları hemen şimdi çözmemiz gerekebilir.

Sorun 1: Bir Yüksek Lisans eğitiminin maliyeti 150 ila 10+ milyon dolar arasında olabilir ve bu yalnızca bütçesi daha geniş olanların yapay zeka geliştirmesine olanak tanır. Üstelik, çıkarım maliyetleri de çok büyük (web aramasından 10 kat daha pahalı)
—> Yapay zekayı insanlığın yararına demokratikleştirmek için modellerin/donanımların enerji verimliliğini artırmamız gerekiyor.

Sorun 2: Konuşma aracıları veya öneri sistemleri için devasa yapay zeka modellerini çalıştırmak, elektrik tüketimi ve soğutma açısından çevreye zarar veriyor.
—> Gezegenimizi çocuklarımız için kurtarmak amacıyla modellerin/donanımların enerji verimliliğini artırmamız gerekiyor.

Sorun 3: İnsan beyni birden fazla görevi yerine getirme yeteneğine sahiptir ancak Megawatt yerine yalnızca 10 Watt tüketir.
-> Belki de normal matris çarpanlarını daha hızlı değil, beynimiz gibi makineler yapmalıyız.

İnsanlık ancak sürdürülebilir yeniliklerle gelişebilir; yenilik adına tüm ormanları kesip okyanusları kaynatarak değil. Çocuklarımızın ve gelecek nesillerin refahı için gezegenimizi korumalıyız…

En güçlü olduğunuz uygulama alanları hangileri?
Günümüzün GPU tabanlı çözümleri ile karşılaştırıldığında 50-100 kat daha fazla enerji verimliliğiyle Transformer (ve geleceğin sinir mimarisi) tabanlı temel modellerinin Eğitimi ve Çıkarımı.

Müşterilerinizi gece ayakta tutan nedir?
Halihazırda diğer ürünleri kullanan müşteriler için sorunlar:

Devasa dil modellerini eğitmek için elektrik tüketimi haddini aşıyor; örneğin, 13 gün boyunca 390 GPU üzerindeki 200B metin belirteçleri üzerinde 7B parametreli bir LLM'nin eğitiminin maliyeti 151,744 ABD dolarıdır (Kaynak: HuggingFace yeni eğitim kümesi hizmet sayfası – https://lnkd.in/g6Vc5cz3). Ve 100+B parametrelerine sahip daha büyük modellerin bile yalnızca eğitim maliyeti 10+M $'dır. Daha sonra her yeni bilgi istemi isteği geldiğinde çıkarım için ödeme yapın.

Soğutma için su tüketimi, Riverside Kaliforniya Üniversitesi'ndeki araştırmacılar, ChatGPT benzeri hizmetin çevresel etkisini tahmin etti ve her sorduğunuzda 500 mililitre su (16 onsluk bir su şişesindekine yakın) tükettiğini söylüyor. 5 ila 50 arası bilgi istemi veya sorudan oluşan bir dizi. Aralık, sunucularının bulunduğu yere ve sezona bağlı olarak değişir. Tahmin, veri merkezlerine elektrik sağlayan enerji santrallerini soğutmak gibi şirketlerin ölçmediği dolaylı su kullanımını da içeriyor. (Kaynak: https://lnkd.in/gybcxX8C)

Mevcut ürünlerin müşterisi olmayanlar için sorunlar:

Donanım satın almak için CAPEX'i karşılayamıyorum
Bulut hizmetlerini kullanmaya gücüm yetmiyor
Yenilik yapamıyor veya yapay zekadan yararlanamıyor; her türlü rekabet avantajını ortadan kaldıran hizmet modeline takılıp kalıyoruz

Rekabet ortamı nasıl görünüyor ve nasıl farklılaşıyorsunuz?

• Uzman ASIC'ler de bu segmentte rekabet etse de GPU'lar eğitim alanına hakim durumda
• Bulut ve Kenar çıkarımının çok fazla seçeneği var

Dijital, Analog, Fotonik; adını siz koyun, insanlar aynı sorunu çözmeye çalışıyor.

AI/ML için çip mimarisinin mevcut durumu hakkındaki düşüncelerinizi paylaşabilir misiniz, yani şu anda en önemli trendler ve fırsatlar olarak neleri görüyorsunuz?

Aşağıdaki trendler:
Eğilim 1: 10 yıl önce donanım destekli derin öğrenme gelişti ve şimdi aynı donanım ilerlemeyi engelliyor. Modellerin çalıştırılması için gereken yüksek donanım ve elektrik maliyetleri nedeniyle, donanıma erişim zor hale geldi. Yalnızca cebi geniş olan şirketler bunları karşılayabiliyor ve tekel haline geliyor.

Eğilim 2: Artık bu modeller mevcut olduğuna göre, çıkarım yükünün artması ve AI hızlandırıcılara sahip CPU'ların yeniden ilgi odağı haline gelmesi için bunları pratik amaçlarla kullanmamız gerekiyor.

Eğilim 3: Startup'lar, logaritmik ve pozitif tabanlı gibi geleneksel IEEE formatının iyi ancak yeterli olmadığını gösteren alternatif kayan noktalı sayı temsilleri bulmaya çalışıyor. PPA $ tasarım alanı optimizasyonu, birini optimize etmeye çalıştığımızda patlıyor ve diğeri çöpe gidiyor.

Eğilim 4: Sektör, hizmet tabanlı yapay zeka modelinden kendi özel modellerini kendi tesislerinde barındırmaya doğru ilerliyor; ancak donanıma erişim, arz kıtlığı, yaptırımlar vb. nedeniyle bir zorluk.

Mevcut durum:
Donanım ve verilerin kullanılabilirliği 10 yıl önce yapay zekanın büyümesini hızlandırmıştı, şimdi aynı donanım bunu bir nevi engelliyor - açıklayayım

CPU'lar kötü durumda olduğundan ve GPU'lar yapay zeka yapmak üzere yeniden tasarlandığından beri pek çok şey oldu

Şirketler AI/ML'nin 4 segmentini ele alıyor: 1) bulut eğitimi, 2) bulut çıkarımı, 3) uç çıkarımı ve 4) uç eğitimi (gizliliğe duyarlı uygulamalar için birleşik öğrenme).
Dijital ve Analog

Eğitim tarafı - GPU'lar, RISC-V'ye dayalı müşteri hızlandırıcıları, yonga ölçeğinde yongalar (850K çekirdek) ve benzeri geleneksel CPU'ların eksik olduğu yerlerde (genel amaçları) çalışan çok sayıda şirket. Çıkarım tarafı – NN hızlandırıcıları akıllı telefonlarda, dizüstü bilgisayarlarda ve diğer uç cihazlarda her üreticide mevcuttur.

Analog memristör tabanlı mimariler de bir süre önce ortaya çıktı.

Matris uzantıları gibi hızlandırmalarla geliştirirsek CPU'ların çıkarım yapmada çok iyi olabileceğine inanıyoruz.

İşin RISC-V tarafı:
İşin RISC-V tarafında, transformatör iş yüklerindeki olası darboğazları ortadan kaldırmak amacıyla matris işlemleri ve diğer doğrusal olmayan işlemler için hızlandırıcılar geliştiriyoruz. Von Neumann darboğazları, belleklerin bilişime daha yakın tasarlanmasıyla da ele alınıyor ve sonunda yapay zeka hızlandırmalı CPU'lar çıkarım için doğru seçim haline geliyor.

Olanakları:
Temel modelleri pazarını doldurmak için benzersiz fırsatlar mevcuttur. Örnek – OpenAI, ChatGPT hizmetlerini zorlamaya devam etmek için yeterli yapay zeka hesaplamasını (GPU) güvence altına alamadıklarını belirtiyor… ve normal internet aramasının 10 katı elektrik maliyetleri ve sistemleri soğutmak için 500 ml su ile ilgili haberler her sorgu için. Burada doldurulması gereken bir pazar var - bu bir niş değil, yukarıda belirtilen tüm zorlukların üstesinden gelerek yapay zekayı demokratikleştirecek olan pazarın tamamıdır - a) kullanılabilirlik, b) erişilebilirlik, c) satın alınabilirlik ve d) çevresel güvenlik

Hangi yeni özellikler/teknoloji üzerinde çalışıyorsunuz?
Mevcut birçok açık çerçeveyi yeniden kullanarak, nöromodrifik tekniklerden yararlanan ve enerji tasarruflu donanımdan yararlanmak için modelleri uyarlayan bilgisayar benzeri beyinler inşa ediyoruz.

Önümüzdeki 12-18 ay içinde AI/ML sektörünün nasıl büyüyeceğini veya değişeceğini öngörüyorsunuz?
GPU'lara olan talebin azalması (maliyeti 30 bin dolar gibi) ve dünyanın bazı bölgeleri bu GPU'ları satın almak için yaptırımlarla karşı karşıya kalırken, dünyanın bazı bölgeleri GPU'lara erişim olmaksızın yapay zeka araştırma ve geliştirmesinin donduğunu düşünüyor. Alternatif donanım platformları pazarı ele geçirecek.
Modeller belki küçülmeye başlayacak; özel modeller ve hatta temelde bilgi yoğunluğu artacak

Aynı soru ama önümüzdeki 3-5 yıldaki büyüme ve değişim ne olacak?
a) Yapay Zeka uzantılarına sahip CPU'lar, Yapay Zeka çıkarım pazarını ele geçirebilir
b) Bilgi yoğunluğu %16'dan %90'a çıktıkça modeller çevik hale gelecek ve parametreler devre dışı kalacaktır
c) Enerji verimliliği artar, CO2 ayak izi azalır
d) Yeni mimariler ortaya çıkıyor
e) donanım maliyetleri ve enerji maliyetleri düşer, böylece küçük şirketlerin modeller oluşturması ve eğitmesi için giriş engeli karşılanabilir hale gelir
f) insanlar AGI öncesi andan bahsediyor, ancak benim referansım "her" filmindeki karakter Samantha (konuşmacı yapay zeka) olacaktır.. ölçeği büyütmenin yüksek maliyeti göz önüne alındığında bu pek mümkün olmayabilir

AI/ML sektöründeki büyümeyi etkileyebilecek veya sınırlayabilecek zorluklardan bazıları nelerdir?
a) Donanıma erişim
b) Enerji maliyetleri ve soğutma maliyetleri ve çevreye zarar

Ayrıca Oku:

CEO Röportajı: Pragmatic'ten David Moore

CEO Röportajı: Sandbox Semiconductor'dan Dr. Meghali Chopra

CEO Röportajı: Aligned Carbon'dan Dr. J Provine