CEO Röportajı: Lemurian Laboratuvarlarından Jay Dawani - Semiwiki

Plato tarafından yeniden yayınlandı

İzleyiciler: 0

Jay Lemurya

Jay Dawani şirketinin kurucu ortağı ve CEO'sudur Lemurya LaboratuvarlarıYapay zeka uygulamaları için özel olarak tasarlanmış hızlandırılmış bir bilgi işlem platformu geliştiren bir girişim. Platform, yapay zeka gelişimini daha hızlı, daha ucuz, daha sürdürülebilir ve birkaç şirketten daha fazlası için erişilebilir hale getirmek için donanım engellerini aşıyor.

Jay, Lemurian'ı kurmadan önce yapay zeka alanında iki şirket daha kurdu. Aynı zamanda en çok beğenilen “Derin Öğrenme için Matematik".

Yapay zeka, robot bilimi ve matematik alanında uzman olan Jay, blockchain tabanlı bir oyun platformu oluşturan halka açık bir şirket olan BlocPlay'de CTO olarak görev yaptı ve GEC'de AI Direktörü olarak görev yaptı ve burada çeşitli müşteri projelerinin geliştirilmesine liderlik etti. perakende, algoritmik ticaret, protein katlama, uzay araştırmalarına yönelik robotlar, öneri sistemleri ve daha fazlasından. Boş zamanlarında NASA Frontier Development Lab, Spacebit ve SiaClassic'te danışman olarak görev yaptı.

Lemurya Laboratuvarlarını en son tanıttığımızda robot bilimi ve ileri yapay zeka konularına odaklanmıştınız. Artık veri merkezi ve bulut altyapısına odaklandınız. Dönmek istemene neden olan ne oldu?

Aslında, tüm algılama-planlama-harekete geçme döngüsünü hızlandırabilecek otonom robotik uygulamaları için yüksek performanslı, düşük gecikme süreli, çip üzerinde sistem oluşturmaya odaklanmaktan, veri merkezi ölçeğinde uygulamalara odaklanan yapay zeka için alana özgü bir hızlandırıcı oluşturmaya geçiş yaptık. . Ancak bu sadece sıradan bir pivot değildi; Cevap verme sorumluluğumuz olduğunu hissettiğimiz açık bir çağrıydı bu.

2018'de 2.1 milyar dolarlık bir parametre modelinin eğitimi üzerinde çalışıyorduk ancak maliyetin olağanüstü derecede yüksek olması ve bunu haklı çıkaramamamız nedeniyle bu çabadan vazgeçtik. OpenAI'nin Kasım 3'de ChatGPT olarak piyasaya sürdüğü GPT2022'ün 175 milyar dolarlık bir parametre modeli olmasına şaşırdığımı hayal edin. Bu model, yalnızca 80 yıl önce üzerinde çalıştığımızdan 4 kat daha büyük, bu hem heyecan verici hem de korkutucu.

Böyle bir modeli eğitmenin maliyeti en hafif tabirle şaşırtıcıdır. Mevcut ölçeklendirme eğilimlerine dayanarak, ileri düzey bir yapay zeka modelinin eğitiminin maliyetinin çok da uzak olmayan bir gelecekte bir milyar doları aşmasını bekleyebiliriz. Bu modellerin yetenekleri şaşırtıcı olsa da maliyeti gülünç derecede yüksektir. Bu gidişata dayanarak, kendi veri merkezlerine sahip, çok iyi kaynaklara sahip bir avuç şirket bu modelleri eğitmeyi, dağıtmayı ve ince ayar yapmayı karşılayabilecek. Bunun nedeni yalnızca bilgi işlemin pahalı ve enerjiye aç olması değil, aynı zamanda güvendiğimiz yazılım yığınlarının bu dünya için tasarlanmamasıdır.

Coğrafi ve enerji kısıtlamaları nedeniyle veri merkezlerinin kurulabileceği yer sayısı sınırlıdır. Yapay zekanın bilgi işlem taleplerini karşılamak için, 20 nükleer reaktöre güç sağlamak zorunda kalmadan zetta ölçeğinde makineler üretebilmemiz gerekiyor. Daha pratik, ölçeklenebilir ve ekonomik bir çözüme ihtiyacımız var. Etrafımıza baktık ve bu sorunu çözme yolunda kimseyi göremedik. Ve böylece soruna bir sistem sistemi olarak bütünsel olarak bakmak ve ilk ilkelerden yola çıkarak bir çözüm hakkında akıl yürütmek için çizim tahtasına gittik. Günde 10 milyar LLM sorgusunu ekonomik olarak hizmet etmek zorunda olsaydık, yazılımdan donanıma kadar tüm yığını nasıl tasarlayacağımızı kendimize sorduk. Hedefimizi 200 yılına kadar 2028 MW'ın altında zetta ölçekli bir makineye diktik.

İşin püf noktası, buna orantısız ölçeklendirme açısından bakmaktır - bir sistemin farklı bölümleri farklı ölçeklendirme kurallarına uyar, bu nedenle bir noktada işler durur, bozulmaya başlar veya maliyet-fayda dengesi artık mantıklı olmaz. Bu durumda tek seçenek sistemi yeniden tasarlamaktır. Değerlendirmemiz ve çözümümüz iş yükünü, sayı sistemini, programlama modelini, derleyiciyi, çalışma zamanını ve donanımı bütünsel olarak kapsar.

Neyse ki, mevcut yatırımcılarımız ve pazarın geri kalanı bu vizyonu gördü ve tasarım alanını keşfetmek ve etki alanına özel hızlandırıcımız için bir mimaride birleşmek ve mimarimizi tasarlamak amacıyla sayı formatımızı (PAL) geliştirmek için 9 milyon dolarlık bir başlangıç turu topladık. derleyici ve çalışma zamanı. Simülasyonlarda, modern GPU'lara göre daha küçük enerji ayak izinde 20 kat verim kazancı elde etmeyi başardık ve aynı transistör teknolojisinde toplam sahip olma maliyeti açısından sistem performansında 8 kat fayda sağlayabileceğimizi öngörüyoruz.

Söylemeye gerek yok, önümüzde yapacak çok işimiz var, ancak yapay zekanın herkesin bol miktarda erişebildiği bir geleceği garanti altına almak için veri merkezi ekonomisini yeniden tanımlayabilme ihtimali konusunda oldukça heyecanlıyız.

Bu kesinlikle kulağa heyecan verici geliyor ve bu rakamlar etkileyici görünüyor. Ancak odaklandığınız konular arasında sayı sistemleri, donanım, derleyiciler ve çalışma zamanlarından bahsettiniz; bu, herhangi bir şirketin aynı anda üstlenebileceği çok fazla şey gibi görünüyor. Çok riskli bir teklif gibi görünüyor. Startup'ların daha odaklı olması gerekmiyor mu?

Pek çok farklı çaba gibi görünse de aslında birbiriyle bağlantılı pek çok parçadan oluşan tek bir çabadır. Bu bileşenlerden yalnızca birinin diğerlerinden ayrı olarak çözülmesi, yalnızca inovasyon potansiyelini engelleyecektir çünkü bu, sistemik verimsizliklerin ve darboğazların gözden kaçırılmasına yol açacaktır. Jensen Huang bunu en iyi şekilde ifade etti: "Hızlandırılmış bir bilgi işlem şirketi olmak için tam kapsamlı bir şirket olmalısınız" ve ben de tamamen katılıyorum. Bir nedenden dolayı şu anki pazar lideridirler. Ancak odaklanmadığımız fikrine meydan okuyorum. Odak noktamız sorun hakkında bütünsel olarak nasıl düşündüğümüz ve bunu müşterilerimiz için en iyi şekilde nasıl çözebileceğimizdir.

Bunu yapmak bizimki gibi multidisipliner bir yaklaşımı gerektiriyor. Çalışmamızın her bir parçası diğerlerini bilgilendirir ve destekler, böylece parçaların toplamından çok daha fazlası olan bir çözüm yaratmamıza olanak tanır. Bir yarış arabası yapmak zorunda olduğunuzu hayal edin. Rastgele bir şasi seçip, yarış lastikleri ekleyip bulabileceğiniz en güçlü motoru bırakıp onunla yarışmazsınız, değil mi? Sürtünmeyi azaltmak ve yere basma kuvvetini artırmak için otomobilin gövdesinin aerodinamikliğini düşünür, iyi yol tutuşu için ağırlık dağılımını optimize eder, maksimum performans için motoru özel olarak tasarlar, aşırı ısınmayı önlemek için bir soğutma sistemi alır, sürücüyü güvende tutmak için bir takla kafesi özelleştirirsiniz. , vb. Bu öğelerin her biri diğerinin üzerine kuruludur ve diğerini bilgilendirir.

Bununla birlikte, herhangi bir sektördeki herhangi bir şirket için hepsini aynı anda yapmaya çalışmak risklidir. Riskleri yönetmek için, teknolojimizi müşterilerimizle doğrulamamıza ve stratejimizi gerektiği gibi ayarlamamıza olanak tanıyan aşamalı bir yaklaşım benimsiyoruz. Sayı formatımızın çalıştığını ve eşdeğer kayan nokta türlerine göre daha iyi güç-performans alanına sahip olduğunu ve aynı zamanda sinir ağlarını daha küçük bit genişliklerine nicelemeyi kolaylaştıran daha iyi sayısal özelliklere sahip olduğunu kanıtladık. Kendimize güvendiğimiz, hem eğitime hem de çıkarımlara uygun bir mimari tasarladık. Ancak hepsinden daha önemlisi yazılımı doğru bir şekilde kullanmaktır ve bu bizim acil odak noktamızın büyük kısmını oluşturur. Bugünden bir veya iki yıl veya daha uzun bir süre sonra dünyanın geleceğini düşündüğümüz yer için yazılım yığınımızda doğru kararları verdiğimizden emin olmalıyız.

Bir donanım şirketi kurmak zor, pahalı ve uzun zaman alır. Yazılıma odaklanmak ilk etapta kendi başına oldukça uygulanabilir bir iş gibi görünüyor ve mevcut ortamda yatırımcılar için potansiyel olarak daha çekici görünüyor. Sektördeki pek çok iyi finanse edilen şirketin kapılarını kapatması, müşteriler tarafından benimsenme mücadelesi vermesi ve daha büyük oyuncuların kendi donanımlarını oluşturması göz önüne alındığında neden aynı zamanda donanım da yapıyorsunuz?

Yazılım şirketlerinin genel olarak donanım şirketlerine göre çok daha kolay sermaye toplayabildiği ve donanımın çok zor olduğu konusunda kesinlikle haklısınız. Şu anki odak noktamız daha çok yazılım üzerinde çünkü en büyük sorunu burada görüyoruz. Açık konuşayım, sorun çekirdeklerin bir CPU veya GPU üzerinde yüksek performansla çalışmasını sağlayıp sağlayamayacağım değil; bu uzun süredir çözülmüş bir problem. Günümüzün sorunu, geliştiricilerin, iş akışlarını elden geçirmelerini istemeden, heterojen bilgi işlemden oluşan birkaç bin düğüm kümesinden verimli bir şekilde daha fazla performans elde etmelerini nasıl kolaylaştıracağımızdır.

Geliştiricilere süper güçler veren ve depo ölçeğindeki bilgisayarların tüm yeteneklerinin kilidini açan bir yazılım yığınıyla şu anda çözmeye odaklandığımız sorun budur, böylece yapay zeka modellerini daha ekonomik bir şekilde eğitebilir ve dağıtabiliriz.

Şimdi, yatırım konusunda, evet, risk sermayedarları destekledikleri şirket türleri konusunda daha seçici davranıyorlar, ancak bu aynı zamanda risk sermayedarlarının önemli etki yaratırken ticarileşmeye giden açık bir yolu olan gerçekten çığır açan ürünler sunma potansiyeline sahip şirketleri aradığı anlamına da geliyor. Başkalarının zorluklarından ve hatalarından ders aldık ve iş modelimizi ve yol haritamızı riskleri ele alacak şekilde aktif olarak tasarladık. Startup'ları başarılı kılan şeyin, nadiren risk sermayesi finansmanını ne kadar kolay artırabildikleri olduğunu, ancak daha çok beceriklilikleri, inatçılıkları ve müşteri odaklılıkları ile ilgili olduğunu unutmamak da önemlidir.

Sormadan söyleyeyim, hâlâ donanım üzerinde çalışıyoruz, ancak şu anda öncelikli olarak simülasyon üzerinde çalışıyoruz. Bir süreliğine kayıt yapmayı düşünmüyoruz. Ama bu konuşmayı başka bir zamana saklayabiliriz.

Bu kesinlikle ilgi çekici ve aşamalı yaklaşımınız, diğer donanım şirketlerinin yaptıklarıyla karşılaştırıldığında çok farklı. Yazılım yığınınızın çözeceğini söylediğiniz sorunu anlıyorum, ancak yazılımınız piyasadaki çeşitli çabalardan nasıl farklılaşıyor?

Bahsettiğiniz şirketlerin çoğu, GPU'lardan daha fazla performans elde etmek için kutucuk tabanlı veya görev eşlemeli programlama modelleri sunarak veya farklı zamanlarda programlanmış yüksek performanslı çekirdekler elde etmek için yeni programlama dilleri oluşturarak GPU'ları programlamayı kolaylaştırmaya odaklanıyor. hat içi montaj desteğine sahip platformlar. Bunlar ele aldıkları önemli problemlerdir, ancak çözdüğümüz problemi neredeyse dik olarak görüyoruz.

Bir an için donanım ve yazılım geçişlerinin temposunu düşünelim. Tek çekirdekli mimariler saat hızından ve transistör yoğunluğundan performans kazandı ancak sonunda saat hızları bir platoya ulaştı. Çok sayıda çekirdek kullanan paralellik bunu aştı ve önemli hızlanmalar sağladı. Yazılımın bu seviyeye ulaşması yaklaşık on yıl sürdü çünkü programlama modellerinin, derleyicilerin ve çalışma zamanlarının, geliştiricilerin bu paradigmadaki değeri çıkarmasına yardımcı olmak için yeniden düşünülmesi gerekiyordu. Daha sonra GPU'lar yine farklı bir programlama modeliyle genel amaçlı hızlandırıcılar haline gelmeye başladı. Yine geliştiricilerin buradan değer elde etmesi neredeyse on yıl sürdü.

Donanım yine bir platoya ulaşıyor; Moore yasası, enerji ve termal kısıtlamalar, bellek darboğazları ve iş yükü çeşitliliği artı katlanarak daha fazla bilgi işlem ihtiyacı, bizi daha iyi performans, verimlilik ve toplam maliyet için giderek daha heterojen bilgisayar mimarileri oluşturmaya doğru itiyor. Donanımdaki bu değişim elbette yazılım için zorluklar yaratacaktır çünkü bilgi işlemin bir sonraki evrimini destekleyecek doğru derleyicilere ve çalışma zamanlarına sahip değiliz. Ancak bu sefer, yazılımın heterojen mimarilerin veya büyük kümelerin değerini çıkarması için, özellikle de bunların %10'den fazlası kullanılmadığında, 80 yıl daha beklememize gerek yok.

Odaklandığımız şey, görev tabanlı paralellik ile heterojenliğe duyarlı bir programlama modeli oluşturmak, çapraz işlemci optimizasyonları, bağlama duyarlı derleme ve dinamik kaynak tahsisi ile taşınabilir performansı ele almaktır. Ve bizim için bunun bir CPU, GPU, TPU, SPU (Lemurya mimarisi) ya da hepsinin ağı olması önemli değil. Bunun kulağa çok süslü kelimeler gibi geldiğini biliyorum, ama aslında söylemek istediği şu; her türlü işlemciyi tek bir yaklaşımla programlamayı mümkün kıldık ve kodu bir işlemci türünden diğerine minimum maliyetle taşıyabiliriz. Performanstan ödün vermenize gerek kalmadan çaba gösterin ve işi düğümler arasında uyarlanabilir ve dinamik bir şekilde planlayın.

Full Slide LL Uzamsal İşleme Birimi Mimarisi (1)

Eğer söyledikleriniz doğruysa bilişimi tamamen yeniden tanımlayabilirsiniz. Finansman konusunu konuşalım. Geçen yıl tohum finansmanından 9 milyon dolar topladınız, bu da güçlü yatırımcı desteğinin ve vizyonunuza olan inancın göstergesidir. O zamandan beri ne yaptın?

Geçtiğimiz yıl, tohum finansmanından güç alarak önemli ilerlemeler kaydettik. Şu anda 20 üyeden oluşan ekibimizle zorlukları titizlikle ele aldık, müşterilerle etkileşime geçtik ve yaklaşımımızı geliştirdik.

Eğitim ve çıkarım için PAL'yi geliştirmeye odaklandık, hızlandırıcımız için bilgisayar mimarisini araştırdık ve performans ölçümleri için bir simülatör geliştirdik. Eş zamanlı olarak veri merkezi uygulamalarına yönelik yazılım yığınımızı, heterojen bilişimi vurgulayarak yeniden tasarladık.

Bu çaba, PAL'ın yapay zekaya yönelik etkinliğini geniş ölçekte sergileyen, iyi tanımlanmış bir mimariyle sonuçlandı. Teknolojideki ilerlemelerin ötesinde, erişimi demokratikleştirmek için işbirlikleri ve sosyal yardımlar sürdürdük. Bu çabalar, Lemurian Laboratuvarlarını, üretim silikonumuzun piyasaya sürülmesi için hazırlık yaparak müşterilerin acil sorunlarına çözüm bulma konusunda konumlandırıyor.

Lemurian Laboratuvarları'nın yazılım yığını geliştirme, işbirlikleri ve hızlandırıcı mimarisinin iyileştirilmesine ilişkin orta vadeli planları nelerdir?

Acil hedefimiz, CPU'ları, GPU'ları ve taşınabilir performansa sahip yapay zeka hızlandırıcılarımızı hedef alan ve yıl sonunda ilk ortakların kullanımına sunulacak bir yazılım yığını oluşturmaktır. Derleyicimize ve çalışma zamanımıza erişim sağlamak için önde gelen yarı iletken şirketlerinin, bulut hizmet sağlayıcılarının, hiper ölçekleyicilerin ve yapay zeka şirketlerinin çoğuyla şu anda görüşmeler halindeyiz. Buna paralel olarak, gerçekten ortak tasarlanmış bir donanım ve yazılım sistemi için hızlandırıcımızın mimarisi üzerinde çalışmaya ve geliştirmeye devam ediyoruz. Ve tabii ki, yatırımcı topluluğunun yoğun ilgisiyle A serimizi yeni yükseltmeye başladık, bu da ekibimizi büyütmemize ve yıl sonunda yazılım ürünü teslimi hedefimize ulaşmamıza olanak sağlayacak.

Kapanışta, Lemurian Laboratuvarlarının önümüzdeki yıllarda yapay zeka gelişimi, erişilebilirlik ve eşitlik ortamını değiştirmeye katkıda bulunacağını nasıl görüyorsunuz?

Bilgisayarı yalnızca ticari kazanç veya eğlence olsun diye yeniden tanımlamak için yola çıkmadık. Lemuryalılar olarak itici gücümüz, yapay zekanın dönüştürücü potansiyeline inanmamız ve bu teknolojinin geleceğini ve onu nasıl kullandığımızı tanımlayacak kaynaklara yalnızca birkaç şirketin sahip olması gerektiğine inanmamızdır. Ayrıca yapay zekaya yönelik veri merkezi altyapısının 20 yılına kadar dünya enerjisinin %2030'sini tüketme yolunda ilerlemesini de kabul edilebilir bulmuyoruz. Hepimiz bir araya geldik çünkü eğer bunu yapabilirsek toplum için ileriye dönük daha iyi bir yol olduğuna inanıyoruz. Yapay zeka, ilişkili maliyetini önemli ölçüde azaltarak daha erişilebilir hale gelir, yapay zekadaki inovasyonun hızını hızlandırır ve etkisini genişletir. Mevcut donanım altyapısının zorluklarını ele alarak, bir milyar insanı yapay zeka yetenekleriyle güçlendirmenin yolunu açmayı ve bu ileri teknolojinin adil dağıtımını sağlamayı amaçlıyoruz. Ürün odaklı çözümlere, işbirliğine ve sürekli yeniliğe olan bağlılığımızın bizi yapay zeka gelişiminin geleceğini olumlu bir şekilde şekillendirmede itici bir güç olarak konumlandırmasını umuyoruz.