يتطلب نمو الشبكة العصبية تحجيمًا غير مسبوق لأشباه الموصلات

الحقيقة هي أننا في بداية ثورة الذكاء الاصطناعي (AI). بدأت قدرات الذكاء الاصطناعي الآن في إظهار تلميحات لما يخبئه المستقبل. على سبيل المثال ، تستخدم السيارات نماذج شبكة عصبية كبيرة ومعقدة ليس فقط لفهم بيئتها ، ولكن أيضًا لتوجيه نفسها والتحكم فيها. لأي تطبيق يجب أن تكون هناك بيانات تدريب لإنشاء شبكات مفيدة. يتزايد حجم كل من عمليات التدريب والاستدلال بسرعة حيث يتم دمج بيانات العالم الحقيقي المفيدة في النماذج. دعنا نلقي نظرة على نمو النماذج خلال السنوات الأخيرة لفهم كيف يقود ذلك احتياجات قوة المعالجة للتدريب والاستدلال.

في عرض تقديمي في منتدى الأفكار الرقمي Ansys 2021 ، قدم نائب الرئيس للهندسة في Cerebras ، ديراج مالك ، بعض الأفكار حول نمو نماذج الشبكة العصبية. في العامين الماضيين ، نما حجم النموذج بمقدار 1000 مرة ، من قاعدة BERT (110 ميجابايت) إلى GPT-3 (175 جيجابايت). وفي المستقبل ، هناك طراز MSFT-1T بحجم 1 تيرابايت. تم تدريب نموذج GPT-3 - وهو موضوع مثير للاهتمام من تلقاء نفسه - باستخدام الأجهزة التقليدية باستخدام 1024 وحدة معالجة الرسومات لمدة 4 أشهر. إنه نموذج معالجة اللغة الطبيعية (NLP) الذي يستخدم معظم البيانات النصية على الإنترنت والمصادر الأخرى. تم تطويره بواسطة Open AI ، وهو الآن أساس OpenAI Codex ، وهو تطبيق يمكنه كتابة كود برمجة مفيد بعدة لغات من تعليمات بلغة بسيطة من المستخدمين. يمكن استخدام GPT-3 لكتابة مقالات قصيرة لا يستطيع غالبية القراء معرفة أنها مكتوبة بواسطة برنامج AI.

كما ترى أعلاه ، فإن تشغيل 1024 وحدة معالجة الرسومات لمدة 4 أشهر غير ممكن. في حديثه بعنوان "تقديم تسريع AP غير مسبوق: ما وراء قانون مور" يشير ديراج إلى أن التطورات اللازمة لدعم هذا المستوى من نمو أشباه الموصلات تذهب بعيدًا إلى أبعد مما اعتدنا على رؤيته مع قانون مور. استجابةً لحاجة السوق المتصورة ، أصدرت Cerebras محركها المدعم بالذكاء الاصطناعي WSE-1 على نطاق الرقاقة في عام 2019 - 56 مرة أكبر من أي شريحة تم إنتاجها على الإطلاق. بعد عام ونصف أعلنوا عن WSE-2 ، وهي أيضًا أكبر شريحة تم تصنيعها باستخدام:

• 6 تريليون ترانزستور
• 850,000،XNUMX نواة محسّنة للذكاء الاصطناعي
• 40 غيغابايت من ذاكرة الوصول العشوائي
• 20 بيتابايت / ثانية من عرض النطاق الترددي للذاكرة
• عرض النطاق الترددي من القماش 220 بيتابايت
• بنيت مع عملية TSMC N7
• رقاقة تحتوي على 84 قالبًا ، كل منها 550 ملم².

يمكن لنظام CS-2 الذي يغلف WSE-2 أن يلائم نماذج AI مع 120 تريليون معلمة. الأمر الأكثر إثارة للإعجاب هو أنه يمكن بناء أنظمة CS-2 في مجموعات مكونة من 192 وحدة لتوفير مكاسب قريبة من الأداء الخطي. طور Cerebras نظامًا فرعيًا للذاكرة يفصل الذاكرة والحساب لتوفير قياس أفضل وتحسين الإنتاجية للنماذج الكبيرة للغاية. طورت Cerebras أيضًا تحسينات للتناثر في مجموعات التدريب ، مما يوفر الوقت والطاقة.

يقدم عرض ديراج مزيدًا من التفاصيل حول قدراتها ، خاصة في مجال التوسع بكفاءة مع نماذج أكبر للحفاظ على الإنتاجية والسعة. من منظور أشباه الموصلات ، من المثير للاهتمام أيضًا أن نرى كيف قام Cerebras بتحليل انخفاض الأشعة تحت الحمراء والهجرة الكهربائية وإشارة ESD على تصميم أكبر بمرتين من أي شيء آخر حاولت صناعة أشباه الموصلات ذلك. Dhiraj يتحدث عن كيفية استخدام Cerebras Ansys RedHawk-SC في كل مستوى من التصميم - البلاط والكتلة والرقاقة الكاملة - عبر وحدات المعالجة المركزية المتعددة للحصول على إشارة إسقاط الأشعة تحت الحمراء الثابتة والديناميكية. تم استخدام RedHawk-SC أيضًا في عمليات الترحيل الكهربائي وفحوصات ترحيل الإشارات الكهربائية. وبالمثل ، استخدموا Ansys Pathfinder لمقاومة ESD وفحوصات كثافة التيار.

مع قطعة من السيليكون بهذا الحجم بحجم 7 نانومتر ، فإن قرارات الأداة هي حرفياً "صنع أو كسر". يتطلب بناء هذا السيلكون المعطل الكثير من الخيارات المدروسة جيدًا في عملية التطوير ، وقدرة لا مثيل لها هي بالطبع الشغل الشاغل. ومع ذلك ، كما يُظهر عرض ديراج بوضوح ، فإن مستوى قوة المعالجة المتزايدة لـ CS-2 ضروري لإدارة معدل النمو الذي نراه في نماذج الذكاء الاصطناعي / التعلم الآلي. لا شك أننا سنرى ابتكارات تفوق خيالنا اليوم في مجال الذكاء الاصطناعي. مثلما غيّرت الويب والسحابة التكنولوجيا وحتى المجتمع ، يمكننا أن نتوقع أن يغير تطوير تقنية الذكاء الاصطناعي الجديدة عالمنا بطرق مثيرة. إذا كنت مهتمًا بمعرفة المزيد عن Cerebras silicon ، فقم بإلقاء نظرة على عرض Dhiraj على منتدى Ansys IDEAS الرقمي على www.ansys.com/ideas.

شارك هذا المنشور عبر: المصدر: https://semiwiki.com/eda/303587-neural-network-growth-requires-unprecedented-semiconductor-scaling/