Microsoft Boosts AI Efficiency With A ‘Heavy Metal Quartet’ Of Compilers - Decrypt

افلاطون کے ذریعہ دوبارہ شائع کیا گیا۔

فالونگ: 0

مائیکروسافٹ نے مختلف AI ماڈلز کی کارکردگی کو بہتر بنانے کے لیے ڈیزائن کیے گئے چار نئے مصنوعی ذہانت کے کمپائلرز کے سوٹ کی نقاب کشائی کی ہے۔ جدید تالیف کے ٹولز کی "ہیوی میٹل کوارٹیٹ" کے نام ریمر، رولر، ویلڈر اور گرائنڈر ہیں۔

یہ ٹولز مائیکروسافٹ ریسرچ نے متعدد تعلیمی اداروں کے ساتھ مل کر تیار کیے ہیں۔ وہ مرتب کرنے کے لیے جدید حل فراہم کرتے ہیں — بنیادی طور پر سورس کوڈ (انسانی پڑھنے کے قابل) سے مشین کوڈ میں تبدیلی (ایک اور زیرو کا ایک گروپ جو کمپیوٹر کو قابل عمل بناتا ہے) — مرکزی دھارے کے AI ماڈلز اور انہیں GPUs جیسے ہارڈویئر ایکسلریٹر پر زیادہ مؤثر طریقے سے چلاتے ہیں۔

In a Microsoft Research بلاگ پوسٹ highlighting their capabilities, the company says the compilers build on Microsoft’s extensive research and development in artificial intelligence.

ایم ایس آر ایشیا کے پرنسپل ریسرچر جیلونگ زیو نے لکھا، "ہم نے جو AI کمپائلرز تیار کیے ہیں، انھوں نے AI کمپائلیشن کی کارکردگی میں کافی بہتری کا مظاہرہ کیا ہے، جس سے AI ماڈلز کی تربیت اور تعیناتی میں آسانی ہوئی ہے۔" "مستقبل میں، یہ بڑے پیمانے پر ماڈل خود فطری طور پر اصلاح اور تالیف کے حصول میں مدد کر سکتے ہیں۔"

چار نئے مرتب کرنے والے ہر ایک AI کام کے بوجھ کو بہتر بنانے میں الگ الگ چیلنجوں سے نمٹتے ہیں۔

Rammer focuses on maximizing hardware parallelism—the capacity of hardware to do different things simoultaneously. This is a key factor in performance, and Rammer minimizes runtime scheduling overhead through improved utilization of parallel resources.

رولر takes a different approach to accelerate compilation, using a fast construction algorithm to find solutions, ultimately generating optimized kernels in seconds rather than hours. In other words, Roller helps create efficient computer programs for AI faster by simplifying the design process.

ویلڈر reduces expensive memory access traffic by connecting operators in a concentrated pipeline. It unifies memory optimizations into a single framework for greater efficiency.

آخر میں، چکی enables control-flow execution on accelerators by integrating it with data flow. This allows optimization across control flow boundaries. Think of it like an expert guiding the steps of an apprentice, telling them what to do to get the job done faster.

As one of the leading technology giants, Microsoft has been at the forefront of AI advancement. The company has partnered closely with AI research firm OpenAI on large language models like GPT-3.5 and GPT-4, which powers ChatGPT and Bing Chat. More recently, Microsoft میٹا کے ساتھ شراکت داری to integrate LLaMA-2 in its cloud computing solution and introduced a technique called the خیالات کا الگورتھم to enhance reasoning in models like ChatGPT.

جانچ سے پتہ چلا کہ مرتب کرنے والوں نے بینچ مارکس پر موجودہ حلوں کو نمایاں طور پر پیچھے چھوڑ دیا۔ ریمر نے GPUs پر 20x تک دوسرے کمپائلرز سے تجاوز کیا۔ رولر نے جدید ترین کارکردگی سے مماثل یا اس سے تجاوز کیا جبکہ تالیف کے وقت کو طول و عرض کے حکم سے کم کیا۔ ویلڈر نے PyTorch جیسے فریم ورک کو GPUs پر 21x تک پیچھے چھوڑ دیا۔ گرائنڈر نے 8x تک کنٹرول کے بہاؤ کے ساتھ ماڈلز کو تیز کیا۔

The heavy metal quartet demonstrates Microsoft’s continued leadership in designing breakthrough AI systems —and coming up with fun names for its products. While big partnerships in the AI space like the one with OpenAI grab headlines, the company also actively develops vital software infrastructure to empower AI behind the scenes.

موجودہ حلوں کے مقابلے میں قابل قدر کارکردگی کے فوائد کے ساتھ، ریمر، رولر، ویلڈر اور گرائنڈر کلیدی مسابقتی فوائد فراہم کر سکتے ہیں کیونکہ زیادہ پیچیدہ AI کام کا بوجھ سامنے آتا ہے۔