Microsoft підвищує ефективність штучного інтелекту за допомогою «четвірки хеві-метал» компіляторів – Decrypt

Microsoft підвищує ефективність штучного інтелекту за допомогою «четвірки хеві-метал» компіляторів – Decrypt

Мітка часу: 6 вересня 2023 р., 3:01
Вихідний вузол: 2865461

Microsoft представила набір із чотирьох нових компіляторів штучного інтелекту, призначених для оптимізації продуктивності різних моделей ШІ. «Важкий металевий квартет» найсучасніших інструментів компіляції носить назви трамбовка, ролик, зварювач і шліфувальний пристрій.

Інструменти були розроблені Microsoft Research у співпраці з низкою академічних установ. Вони пропонують передові рішення для компіляції — в основному перетворення вихідного коду (зрозумілого людині) у машинний код (купа одиниць і нулів, які роблять комп’ютер виконуваним) — стандартних моделей штучного інтелекту та їх більш ефективної роботи на апаратних прискорювачах, таких як графічні процесори.

In a Microsoft Research блог highlighting their capabilities, the company says the compilers build on Microsoft’s extensive research and development in artificial intelligence.

«Розроблені нами компілятори штучного інтелекту продемонстрували суттєве покращення ефективності компіляції штучного інтелекту, тим самим сприяючи навчанню та розгортанню моделей штучного інтелекту», — написав Джілун Сюе, головний науковий співробітник MSR Asia. «У майбутньому ці великомасштабні моделі самі по собі можуть допомогти в досягненні оптимізації та компіляції».

Кожен із чотирьох нових компіляторів вирішує різні завдання оптимізації робочих навантажень ШІ.

Трамбовка focuses on maximizing hardware parallelism—the capacity of hardware to do different things simoultaneously. This is a key factor in performance, and Rammer minimizes runtime scheduling overhead through improved utilization of parallel resources.

Ролик takes a different approach to accelerate compilation, using a fast construction algorithm to find solutions, ultimately generating optimized kernels in seconds rather than hours. In other words, Roller helps create efficient computer programs for AI faster by simplifying the design process.

Зварювальник reduces expensive memory access traffic by connecting operators in a concentrated pipeline. It unifies memory optimizations into a single framework for greater efficiency.

Нарешті, Шліфувальний верстат enables control-flow execution on accelerators by integrating it with data flow. This allows optimization across control flow boundaries. Think of it like an expert guiding the steps of an apprentice, telling them what to do to get the job done faster.

As one of the leading technology giants, Microsoft has been at the forefront of AI advancement. The company has partnered closely with AI research firm OpenAI on large language models like GPT-3.5 and GPT-4, which powers ChatGPT and Bing Chat. More recently, Microsoft співпрацює з Meta to integrate LLaMA-2 in its cloud computing solution and introduced a technique called the Алгоритм думок to enhance reasoning in models like ChatGPT.

Тестування виявило, що компілятори значно перевершують існуючі рішення за тестами. Rammer перевершив інші компілятори майже в 20 разів за графічним процесором. Roller відповідав або перевищував найсучаснішу продуктивність, одночасно зменшуючи час компіляції на порядки. Welder перевершив такі фреймворки, як PyTorch, у 21 раз на графічних процесорах. Моделі з прискоренням шліфувальної машини з контролем потоку до 8 разів.

The heavy metal quartet demonstrates Microsoft’s continued leadership in designing breakthrough AI systems —and coming up with fun names for its products. While big partnerships in the AI space like the one with OpenAI grab headlines, the company also actively develops vital software infrastructure to empower AI behind the scenes.

Зі значним приростом продуктивності в порівнянні з існуючими рішеннями трамбовка, ролик, зварювач і шліфувальна машина можуть забезпечити ключові конкурентні переваги, оскільки з’являються більш складні робочі навантаження ШІ.

Будьте в курсі криптовалютних новин, отримуйте щоденні оновлення на свою поштову скриньку.

Часова мітка:

Більше від Розшифрувати