مایکروسافت کارایی هوش مصنوعی را با "کوارتت هوی متال" از کامپایلرها افزایش می دهد - رمزگشایی

مایکروسافت کارایی هوش مصنوعی را با "کوارتت هوی متال" از کامپایلرها افزایش می دهد - رمزگشایی

تمبر زمانی: 6 سپتامبر 2023، 3:01 صبح
گره منبع: 2865461

مایکروسافت مجموعه ای از چهار کامپایلر هوش مصنوعی جدید را معرفی کرده است که برای بهینه سازی عملکرد مدل های مختلف هوش مصنوعی طراحی شده اند. "کوارتت فلزات سنگین" ابزارهای کامپایل پیشرفته دارای نام های Rammer، Roller، Welder و Grinder هستند.

این ابزارها توسط تحقیقات مایکروسافت و با همکاری تعدادی از موسسات دانشگاهی توسعه داده شده است. آن‌ها راه‌حل‌های پیشرفته‌ای را برای کامپایل - اساساً تبدیل از کد منبع (قابل خواندن توسط انسان) به کد ماشین (مجموعه‌ای از یک‌ها و صفرها که یک رایانه را قابل اجرا می‌کنند) - مدل‌های اصلی هوش مصنوعی و اجرای کارآمدتر آنها بر روی شتاب‌دهنده‌های سخت‌افزاری مانند GPU ارائه می‌کنند.

In a Microsoft Research پست های وبلاگ highlighting their capabilities, the company says the compilers build on Microsoft’s extensive research and development in artificial intelligence.

Jilong Xue، محقق اصلی در MSR Asia، نوشت: کامپایلرهای هوش مصنوعی که ما توسعه دادیم، بهبود قابل توجهی را در کارایی کامپایل هوش مصنوعی نشان داده‌اند، در نتیجه آموزش و استقرار مدل‌های هوش مصنوعی را تسهیل می‌کنند. در آینده، خود این مدل‌های مقیاس بزرگ ممکن است ذاتاً به بهینه‌سازی و تدوین کمک کنند.»

چهار کامپایلر جدید هر کدام با چالش‌های متمایز در بهینه‌سازی حجم کاری هوش مصنوعی مقابله می‌کنند.

رامر focuses on maximizing hardware parallelism—the capacity of hardware to do different things simoultaneously. This is a key factor in performance, and Rammer minimizes runtime scheduling overhead through improved utilization of parallel resources.

غلتک takes a different approach to accelerate compilation, using a fast construction algorithm to find solutions, ultimately generating optimized kernels in seconds rather than hours. In other words, Roller helps create efficient computer programs for AI faster by simplifying the design process.

جوشکار reduces expensive memory access traffic by connecting operators in a concentrated pipeline. It unifies memory optimizations into a single framework for greater efficiency.

در نهایت، خرد کننده enables control-flow execution on accelerators by integrating it with data flow. This allows optimization across control flow boundaries. Think of it like an expert guiding the steps of an apprentice, telling them what to do to get the job done faster.

As one of the leading technology giants, Microsoft has been at the forefront of AI advancement. The company has partnered closely with AI research firm OpenAI on large language models like GPT-3.5 and GPT-4, which powers ChatGPT and Bing Chat. More recently, Microsoft با متا همکاری کرد to integrate LLaMA-2 in its cloud computing solution and introduced a technique called the الگوریتم افکار to enhance reasoning in models like ChatGPT.

آزمایش نشان داد که کامپایلرها به طور قابل توجهی از راه حل های موجود در معیارها بهتر عمل می کنند. Rammer تا 20 برابر در GPU از سایر کامپایلرها پیشی گرفت. غلتک با عملکرد پیشرفته مطابقت داشت یا از آن فراتر رفت در حالی که زمان کامپایل را به ترتیبی کاهش می داد. Welder از چارچوب هایی مانند PyTorch تا 21 برابر در GPU ها پیشی گرفت. مدل‌های شتاب‌دهنده آسیاب با جریان کنترلی تا 8 برابر.

The heavy metal quartet demonstrates Microsoft’s continued leadership in designing breakthrough AI systems —and coming up with fun names for its products. While big partnerships in the AI space like the one with OpenAI grab headlines, the company also actively develops vital software infrastructure to empower AI behind the scenes.

با افزایش عملکرد قابل توجهی نسبت به راه حل های موجود، Rammer، Roller، Welder و Grinder می توانند مزایای رقابتی کلیدی را با ظهور حجم های کاری پیچیده تر هوش مصنوعی فراهم کنند.

از اخبار ارزهای دیجیتال مطلع باشید، به‌روزرسانی‌های روزانه را در صندوق ورودی خود دریافت کنید.

تمبر زمان:

بیشتر از رمزگشایی کنید