Microsoft Boosts AI Efficiency With A ‘Heavy Metal Quartet’ Of Compilers - Decrypt

Julkaissut Platon

seuraajia: 0

Microsoft on julkistanut sarjan neljästä uudesta tekoälykääntäjästä, jotka on suunniteltu optimoimaan eri tekoälymallien suorituskykyä. Huippuluokan kokoelmatyökalujen "raskasmetallikvartetti" kantaa nimiä Rammer, Roller, Welder ja Grinder.

Microsoft Research on kehittänyt työkalut yhteistyössä useiden korkeakoulujen kanssa. Ne tarjoavat edistyneitä ratkaisuja valtavirran tekoälymallien kääntämiseen – periaatteessa muuntamiseen lähdekoodista (ihmisen luettavasta) konekoodiksi (joukko ykkösiä ja nollia, jotka tekevät tietokoneesta suoritettavan) – valtavirran tekoälymalleja ja ajaa niitä tehokkaammin laitteistokiihdyttimillä, kuten GPU:illa.

In a Microsoft Research blogi highlighting their capabilities, the company says the compilers build on Microsoft’s extensive research and development in artificial intelligence.

"Kehittämämme tekoälykääntäjät ovat osoittaneet merkittävää parannusta tekoälyn kääntämisen tehokkuudessa, mikä helpottaa tekoälymallien koulutusta ja käyttöönottoa", kirjoitti MSR Asian päätutkija Jilong Xue. "Tulevaisuudessa nämä suuren mittakaavan mallit voivat itsessään auttaa optimoinnissa ja kokoamisessa."

Kaikki neljä uutta kääntäjää kohtaavat erilaisia haasteita tekoälyn työkuormien optimoinnissa.

Rammer focuses on maximizing hardware parallelism—the capacity of hardware to do different things simoultaneously. This is a key factor in performance, and Rammer minimizes runtime scheduling overhead through improved utilization of parallel resources.

Rulla takes a different approach to accelerate compilation, using a fast construction algorithm to find solutions, ultimately generating optimized kernels in seconds rather than hours. In other words, Roller helps create efficient computer programs for AI faster by simplifying the design process.

hitsaaja reduces expensive memory access traffic by connecting operators in a concentrated pipeline. It unifies memory optimizations into a single framework for greater efficiency.

Lopuksi, Mylly enables control-flow execution on accelerators by integrating it with data flow. This allows optimization across control flow boundaries. Think of it like an expert guiding the steps of an apprentice, telling them what to do to get the job done faster.

As one of the leading technology giants, Microsoft has been at the forefront of AI advancement. The company has partnered closely with AI research firm OpenAI on large language models like GPT-3.5 and GPT-4, which powers ChatGPT and Bing Chat. More recently, Microsoft Yhteistyössä Metan kanssa to integrate LLaMA-2 in its cloud computing solution and introduced a technique called the Ajatuksen algoritmi to enhance reasoning in models like ChatGPT.

Testauksessa havaittiin, että kääntäjät suoriutuivat merkittävästi olemassa olevista ratkaisuista vertailuarvoissa. Rammer ylitti muut kääntäjät jopa 20-kertaisesti GPU:illa. Rulla vastasi tai ylitti huipputason suorituskyvyn ja lyhensi käännösaikaa suuruusluokkaa. Welder ohitti PyTorchin kaltaiset puitteet jopa 21-kertaisesti grafiikkasuorittimessa. Hiomakonekiihdytetyt mallit, joissa virtauksen ohjaus on jopa 8x.

The heavy metal quartet demonstrates Microsoft’s continued leadership in designing breakthrough AI systems —and coming up with fun names for its products. While big partnerships in the AI space like the one with OpenAI grab headlines, the company also actively develops vital software infrastructure to empower AI behind the scenes.

Rammer, Roller, Welder ja Grinder parantavat huomattavasti suorituskykyä olemassa oleviin ratkaisuihin verrattuna, joten ne voivat tarjota keskeisiä kilpailuetuja monimutkaisempien tekoälytyökuormien ilmaantuessa.