Sinir Ağı Büyümesi Emsalsiz Yarı İletken Ölçekleme Gerektiriyor

Gerçek şu ki, Yapay Zeka (AI) devriminin henüz başındayız. Yapay zekanın yetenekleri, geleceğin neler getireceğine dair ipuçları vermeye yeni başlıyor. Örneğin, arabalar sadece çevrelerini anlamak için değil, aynı zamanda kendilerini yönlendirmek ve kontrol etmek için büyük karmaşık sinir ağı modelleri kullanıyorlar. Herhangi bir uygulama için faydalı ağlar oluşturmak için eğitim verileri olmalıdır. Kullanışlı gerçek dünya verileri modellere dahil edildiğinden hem eğitim hem de çıkarım işlemlerinin boyutu hızla büyüyor. Bunun eğitim ve çıkarım için işlem gücü ihtiyaçlarını nasıl yönlendirdiğini anlamak için son yıllarda modellerin büyümesine bakalım.

Ansys 2021 Fikirler Dijital Forumu'ndaki bir sunumda, Cerebras Mühendislik Başkan Yardımcısı Dhiraj Mallik, sinir ağı modellerinin büyümesi hakkında bazı bilgiler verdi. Son iki yılda model boyutu, BERT Base'den (1000 MB) GPT-110'e (3 GB) 175 kat büyümüştür. Bir de 1 TB boyutunda MSFT-1T modeli var. Kendi başına ilginç bir konu olan GPT-3 modeli, 1024 ay boyunca 4 GPU kullanılarak geleneksel donanımlarla eğitildi. İnternetteki ve diğer kaynaklardaki metin verilerinin çoğunu kullanan bir doğal dil işleme (NLP) modelidir. Open AI tarafından geliştirilmiştir ve şu anda kullanıcılardan gelen düz dil talimatlarından birkaç dilde faydalı programlama kodu yazabilen bir uygulama olan OpenAI Codex'in temelidir. GPT-3, okuyucuların çoğunluğunun bir yapay zeka programı tarafından yazıldığını söyleyemeyeceği kısa makaleler yazmak için kullanılabilir.

Yukarıda gördüğünüz gibi 1024 ay boyunca 4 GPU çalıştırmak mümkün değil. “Eşsiz AP Hızlandırması Sunmak: Moore Yasasının Ötesinde” başlıklı konuşmasında Dhiraj, bu düzeydeki yarı iletken büyümesini desteklemek için gereken ilerlemelerin, Moore Yasası ile görmeye alıştığımızın çok ötesine geçtiğine dikkat çekiyor. Bu algılanan pazar ihtiyacına yanıt olarak Cerebras, 1'da şimdiye kadar üretilmiş herhangi bir çipten 2019 kat daha büyük olan WSE-56, gofret ölçekli AI motorunu piyasaya sürdü. Bir buçuk yıl sonra, yine her birinin ürettiği en büyük çip olan WSE-2'yi duyurdular:

• 6 trilyon transistör
• 850,000 optimize edilmiş yapay zeka çekirdeği
• 40 GB RAM
• 20 petabayt/s bellek bant genişliği
• 220 petabayt kumaş bant genişliği
• TSMC'nin N7 süreci ile oluşturulmuştur
• Bir gofret, her biri 84 mm olan 550 kalıp içerir².

WSE-2'yi kapsayan CS-2 sistemi, 120 trilyon parametreli AI modellerine uyabilir. Daha da etkileyici olan şey, CS-2 sistemlerinin doğrusala yakın performans kazanımları sağlamak için 192 birim kümeler halinde oluşturulabilmesidir. Cerebras, son derece büyük modeller için daha iyi ölçekleme ve geliştirilmiş verim sağlamak için belleği ve hesaplamayı ayrıştıran bir bellek alt sistemi geliştirdi. Cerebras ayrıca eğitim setlerinde zaman ve güç tasarrufu sağlayan seyreklik için optimizasyonlar geliştirmiştir.

Dhiraj'ın sunumu, özellikle verim ve kapasiteyi korumak için daha büyük modellerle verimli bir şekilde ölçeklendirme alanında, yetenekleri hakkında daha ayrıntılı bilgi veriyor. Yarı iletken perspektifinden bakıldığında, Cerebras'ın yarı iletken endüstrisi tarafından şimdiye kadar denenmiş herhangi bir şeyden 2 kat daha büyük bir tasarım üzerinde IR düşüşünü, elektromigrasyon ve ESD işaretini nasıl analiz ettiğini görmek de ilginçtir. Dhiraj, tasarımın her bir seviyesinde - karo, blok ve tam gofret - Cerebras'ın statik ve dinamik IR bırakma onayı için birden fazla CPU'da Ansys RedHawk-SC'yi nasıl kullandığından bahsediyor. RedHawk-SC, güç elektromigrasyon ve sinyal elektromigrasyon kontrolleri için de kullanıldı. Benzer şekilde, ESD direnci ve akım yoğunluğu kontrolleri için Ansys Pathfinder'ı kullandılar.

7 nm'de bu kadar büyük bir silikon parçasıyla, takım kararları tam anlamıyla "yap ya da kır". Bu yıkıcı silikonu inşa etmek, geliştirme sürecinde çok iyi düşünülmüş seçimler gerektirir ve benzersiz kapasite elbette birincil endişe kaynağıdır. Yine de Dhiraj'ın sunumunun açıkça gösterdiği gibi, AI/ML modellerinde gördüğümüz büyüme oranını yönetmek için CS-2'nin artırılmış işlem gücü seviyesi gereklidir. Şüphesiz bugün yapay zeka alanında hayal gücümüzün ötesinde yenilikler göreceğiz. Web ve bulutun teknolojiyi ve hatta toplumu değiştirdiği gibi, yeni AI teknolojisinin geliştirilmesinin dünyamızı dramatik şekillerde değiştirmesini bekleyebiliriz. Cerebras silikonu hakkında daha fazla bilgi edinmek istiyorsanız, Dhiraj'ın adresindeki Ansys IDEAS Digital Forum'daki sunumuna bir göz atın. www.ansys.com/ideas.

Bu gönderiyi şu yolla paylaş: Kaynak: https://semiwiki.com/eda/303587-neural-network-growth-requires-unprecedented-semiconductor-scaling/