Microsoft, Derleyicilerden Oluşan 'Ağır Metal Dörtlüsü' ile Yapay Zeka Verimliliğini Artırıyor - Decrypt

Plato tarafından yeniden yayınlandı

İzleyiciler: 0

Microsoft, çeşitli AI modellerinin performansını optimize etmek için tasarlanmış dört yeni yapay zeka derleyicisinden oluşan bir paketi tanıttı. Son teknolojiye sahip derleme araçlarının "ağır metal dörtlüsü" Rammer, Roller, Welder ve Grinder adlarını taşıyor.

Araçlar Microsoft Research tarafından çeşitli akademik kurumlarla işbirliği içinde geliştirildi. Temel olarak kaynak kodundan (insan tarafından okunabilir) makine koduna (bilgisayarın çalıştırılabilir olmasını sağlayan bir dizi birler ve sıfırlar) dönüşüm - ana akım yapay zeka modellerinin derlenmesi ve bunların GPU'lar gibi donanım hızlandırıcılarda daha verimli çalıştırılması için gelişmiş çözümler sağlarlar.

Bir Microsoft Araştırmasında blog yazısı highlighting their capabilities, the company says the compilers build on Microsoft’s extensive research and development in artificial intelligence.

MSR Asya Baş Araştırmacısı Jilong Xue, "Geliştirdiğimiz yapay zeka derleyicileri, yapay zeka derleme verimliliğinde önemli bir gelişme göstererek yapay zeka modellerinin eğitimini ve dağıtımını kolaylaştırdı" diye yazdı. "Gelecekte, bu büyük ölçekli modellerin kendisi doğası gereği optimizasyon ve derlemenin gerçekleştirilmesine yardımcı olabilir."

Dört yeni derleyicinin her biri, yapay zeka iş yüklerini optimize etme konusunda farklı zorlukların üstesinden geliyor.

Tokmak donanım paralelliğini (donanımın farklı şeyleri aynı anda yapabilme kapasitesi) en üst düzeye çıkarmaya odaklanır. Bu, performansta önemli bir faktördür ve Rammer, paralel kaynakların daha iyi kullanılması yoluyla çalışma zamanı planlama yükünü en aza indirir.

Rulman derlemeyi hızlandırmak için farklı bir yaklaşım benimsiyor, çözümler bulmak için hızlı bir oluşturma algoritması kullanıyor ve sonuçta optimize edilmiş çekirdekler saatler yerine saniyeler içinde üretiliyor. Başka bir deyişle Roller, tasarım sürecini basitleştirerek yapay zeka için verimli bilgisayar programlarının daha hızlı oluşturulmasına yardımcı olur.

Kaynakçı Operatörleri yoğunlaştırılmış bir işlem hattına bağlayarak pahalı bellek erişim trafiğini azaltır. Daha fazla verimlilik için bellek optimizasyonlarını tek bir çerçevede birleştirir.

En sonunda, Öğütücü veri akışıyla entegre ederek hızlandırıcılarda kontrol akışının yürütülmesini sağlar. Bu, kontrol akış sınırları boyunca optimizasyona olanak tanır. Bunu, bir çırağın adımlarına rehberlik eden, işi daha hızlı bitirmek için ne yapmaları gerektiğini söyleyen bir uzman gibi düşünün.

Önde gelen teknoloji devlerinden biri olan Microsoft, yapay zeka ilerlemesinde ön saflarda yer almaktadır. Şirket, ChatGPT ve Bing Chat'e güç veren GPT-3.5 ve GPT-4 gibi büyük dil modelleri üzerinde AI araştırma şirketi OpenAI ile yakın ortaklık kurdu. Daha yakın zamanlarda Microsoft Meta ile ortak oldu LLaMA-2'yi bulut bilişim çözümüne entegre etmek ve adı verilen bir tekniği tanıtmak Düşünce Algoritması ChatGPT gibi modellerde muhakemeyi geliştirmek için.

Testler, derleyicilerin kıyaslamalarda mevcut çözümlerden önemli ölçüde daha iyi performans gösterdiğini ortaya çıkardı. Rammer, GPU'larda diğer derleyicileri 20 kata kadar geride bıraktı. Silindir, derleme süresini büyük ölçüde azaltırken en son teknoloji performansıyla eşleşti veya onu aştı. Welder, GPU'larda PyTorch gibi çerçeveleri 21 kata kadar geride bıraktı. Öğütücü, kontrol akışını 8 kata kadar hızlandıran modelleri.

Heavy metal dörtlüsü, Microsoft'un çığır açan yapay zeka sistemleri tasarlama ve ürünlerine eğlenceli isimler bulma konusundaki liderliğini sürdürüyor. AI alanında OpenAI ile olduğu gibi büyük ortaklıklar manşetleri kapmakŞirket ayrıca sahne arkasında yapay zekayı güçlendirmek için hayati önem taşıyan yazılım altyapısını da aktif olarak geliştiriyor.

Mevcut çözümlere göre kayda değer performans kazanımları sağlayan Rammer, Roller, Welder ve Grinder, daha karmaşık yapay zeka iş yükleri ortaya çıktıkça önemli rekabet avantajları sağlayabilir.