رشد شبکه عصبی نیاز به مقیاس گذاری نیمه هادی بی سابقه دارد

حقیقت این است که ما تازه در آغاز انقلاب هوش مصنوعی (AI) هستیم. قابلیت های هوش مصنوعی در حال حاضر شروع به نشان دادن نکاتی درباره آینده می کند. به عنوان مثال، خودروها از مدل های شبکه عصبی پیچیده بزرگ نه تنها برای درک محیط خود، بلکه برای هدایت و کنترل خود استفاده می کنند. برای هر برنامه کاربردی باید داده های آموزشی برای ایجاد شبکه های مفید وجود داشته باشد. اندازه عملیات آموزش و استنتاج به سرعت در حال رشد است زیرا داده‌های مفید دنیای واقعی در مدل‌ها گنجانده می‌شوند. بیایید به رشد مدل‌ها در سال‌های اخیر نگاهی بیندازیم تا بفهمیم چگونه این نیاز به قدرت پردازش برای آموزش و استنتاج را افزایش می‌دهد.

دراجمالیک، معاون مهندسی در Cerebras، در ارائه‌ای در Ansys 2021 Ideas Forum، بینشی در مورد رشد مدل‌های شبکه عصبی ارائه کرد. در دو سال گذشته اندازه مدل 1000 برابر شده است، از BERT Base (110 مگابایت) به GPT-3 (175 گیگابایت). و در آینده مدل MSFT-1T با حجم 1 ترابایت وجود دارد. مدل GPT-3 - که خود موضوع جالبی است - با سخت افزار معمولی با استفاده از 1024 GPU به مدت 4 ماه آموزش داده شد. این یک مدل پردازش زبان طبیعی (NLP) است که از بیشتر داده های متنی موجود در اینترنت و سایر منابع استفاده می کند. این توسط Open AI توسعه داده شد و اکنون پایه OpenAI Codex است، برنامه‌ای که می‌تواند کد برنامه‌نویسی مفیدی را به چندین زبان از دستورالعمل‌های زبان ساده کاربران بنویسد. از GPT-3 می توان برای نوشتن مقالات کوتاهی استفاده کرد که اکثر خوانندگان نمی توانند بگویند توسط یک برنامه هوش مصنوعی نوشته شده اند.

همانطور که در بالا می بینید، اجرای 1024 GPU به مدت 4 ماه امکان پذیر نیست. دراج در سخنرانی خود با عنوان «ارائه شتاب بی‌سابقه AP: فراتر از قانون مور» به این نکته اشاره می‌کند که پیشرفت‌های مورد نیاز برای حمایت از این سطح از رشد نیمه‌رسانا بسیار فراتر از آن چیزی است که ما با قانون مور می‌بینیم. در پاسخ به این نیاز بازار، Cerebras موتور AI در مقیاس ویفر WSE-1 خود را در سال 2019 عرضه کرد - 56 برابر بزرگتر از هر چیپ تولید شده تا کنون. یک سال و نیم بعد آنها WSE-2 را معرفی کردند، که باز هم بزرگترین تراشه ساخته شده با:

• 6 تریلیون ترانزیستور
• 850,000 هسته هوش مصنوعی بهینه شده
• 40 GB RAM
• پهنای باند حافظه 20 پتابایت بر ثانیه
• پهنای باند فابریک 220 پتابایت
• ساخته شده با فرآیند N7 TSMC
• یک ویفر حاوی 84 قالب است که هر کدام 550 میلی متر است².

سیستم CS-2 که WSE-2 را در بر می گیرد، می تواند مدل های هوش مصنوعی با 120 تریلیون پارامتر را در خود جای دهد. چیزی که حتی چشمگیرتر است این است که سیستم‌های CS-2 را می‌توان در خوشه‌های 192 واحدی برای ارائه عملکرد تقریباً خطی ساخت. Cerebras زیرسیستم حافظه ای را توسعه داده است که حافظه و محاسبات را تفکیک می کند تا مقیاس بندی بهتر و توان عملیاتی بهبود یافته را برای مدل های بسیار بزرگ ارائه دهد. Cerebras همچنین بهینه‌سازی‌هایی را برای پراکندگی در مجموعه‌های تمرینی ایجاد کرده است که باعث صرفه‌جویی در زمان و قدرت می‌شود.

ارائه دراج به جزئیات بیشتری در مورد قابلیت های آنها می پردازد، به ویژه در زمینه مقیاس بندی کارآمد با مدل های بزرگتر برای حفظ توان و ظرفیت. از منظر نیمه هادی، همچنین جالب است که ببینیم Cerebras چگونه افت IR، مهاجرت الکتریکی و نشانه گذاری ESD را در طرحی که 2 مرتبه بزرگتر از هر چیزی است که در صنعت نیمه هادی ها انجام شده است، تجزیه و تحلیل می کند. Dhiraj در مورد اینکه چگونه در هر سطح از طراحی - کاشی، بلوک و ویفر کامل - Cerebras از Ansys RedHawk-SC در چندین CPU برای نشانه افت مادون قرمز استاتیک و پویا استفاده کرد. RedHawk-SC همچنین برای بررسی‌های انتقال برق و سیگنال سیگنال الکتریکی استفاده شد. به طور مشابه، آنها از Ansys Pathfinder برای بررسی مقاومت ESD و چگالی جریان استفاده کردند.

با یک قطعه سیلیکون به این بزرگی در 7 نانومتر، تصمیمات ابزار به معنای واقعی کلمه "ساخت یا شکستن" است. ساختن سیلیکون این مخرب مستلزم انتخاب‌های بسیار خوب در فرآیند توسعه است و ظرفیت بی‌نظیر البته نگرانی اصلی است. با این حال، همانطور که ارائه دراج به وضوح نشان می دهد، سطح افزایش قدرت پردازش CS-2 برای مدیریت نرخ رشدی که در مدل های AI/ML مشاهده می کنیم ضروری است. بدون شک امروز شاهد نوآوری هایی خواهیم بود که فراتر از تصورات ما در زمینه هوش مصنوعی است. همانطور که وب و ابر تکنولوژی و حتی جامعه را تغییر داده اند، می توانیم انتظار داشته باشیم که توسعه فناوری جدید هوش مصنوعی دنیای ما را به روش های چشمگیری تغییر دهد. اگر علاقه مند به کسب اطلاعات بیشتر در مورد سیلیکون Cerebras هستید، نگاهی به ارائه دراج در انجمن دیجیتال Ansys IDEAS بیندازید. www.ansys.com/ideas.

اشتراک گذاری این پست از طریق: منبع: https://semiwiki.com/eda/303587-neural-network-growth-requires-unprecedented-semiconductor-scaling/