Microsoft verhoogt de AI-efficiëntie met een 'Heavy Metal Quartet' van compilers - Decrypt

Microsoft verhoogt de AI-efficiëntie met een 'Heavy Metal Quartet' van compilers – Decrypt

Tijdstempel: 6 september 2023 3:01 uur
Bronknooppunt: 2865461

Microsoft heeft een suite van vier nieuwe kunstmatige intelligentie-compilers onthuld die zijn ontworpen om de prestaties van verschillende AI-modellen te optimaliseren. Het “heavy metal kwartet” van geavanceerde compilatietools draagt ​​de namen Rammer, Roller, Welder en Grinder.

De tools zijn ontwikkeld door Microsoft Research in samenwerking met een aantal academische instellingen. Ze bieden geavanceerde oplossingen voor het compileren (in feite de transformatie van broncode (door mensen leesbaar) naar machinecode (een aantal enen en nullen die een computer uitvoerbaar maken)) van reguliere AI-modellen en deze efficiënter uit te voeren op hardwareversnellers zoals GPU's.

In a Microsoft Research blogpost highlighting their capabilities, the company says the compilers build on Microsoft’s extensive research and development in artificial intelligence.

“De AI-compilers die we hebben ontwikkeld hebben een substantiële verbetering aangetoond in de efficiëntie van AI-compilatie, waardoor de training en inzet van AI-modellen is vergemakkelijkt”, schreef Jilong Xue, hoofdonderzoeker bij MSR Asia. "In de toekomst kunnen deze grootschalige modellen zelf inherent helpen bij het bereiken van optimalisatie en compilatie."

De vier nieuwe compilers pakken elk verschillende uitdagingen aan bij het optimaliseren van AI-workloads.

Heiblok focuses on maximizing hardware parallelism—the capacity of hardware to do different things simoultaneously. This is a key factor in performance, and Rammer minimizes runtime scheduling overhead through improved utilization of parallel resources.

Rol takes a different approach to accelerate compilation, using a fast construction algorithm to find solutions, ultimately generating optimized kernels in seconds rather than hours. In other words, Roller helps create efficient computer programs for AI faster by simplifying the design process.

Lasser reduces expensive memory access traffic by connecting operators in a concentrated pipeline. It unifies memory optimizations into a single framework for greater efficiency.

Tenslotte Slijper enables control-flow execution on accelerators by integrating it with data flow. This allows optimization across control flow boundaries. Think of it like an expert guiding the steps of an apprentice, telling them what to do to get the job done faster.

As one of the leading technology giants, Microsoft has been at the forefront of AI advancement. The company has partnered closely with AI research firm OpenAI on large language models like GPT-3.5 and GPT-4, which powers ChatGPT and Bing Chat. More recently, Microsoft samen met Meta to integrate LLaMA-2 in its cloud computing solution and introduced a technique called the Algoritme van gedachten to enhance reasoning in models like ChatGPT.

Uit tests is gebleken dat de compilers aanzienlijk beter presteerden dan bestaande oplossingen op benchmarks. Rammer overtrof andere compilers tot 20x op GPU's. Roller evenaarde of overtrof de state-of-the-art prestaties, terwijl de compilatietijd met ordes van grootte werd verlaagd. Welder overtrof frameworks zoals PyTorch tot 21x op GPU's. Grinder-versnelde modellen met een regelstroom tot 8x.

The heavy metal quartet demonstrates Microsoft’s continued leadership in designing breakthrough AI systems —and coming up with fun names for its products. While big partnerships in the AI space like the one with OpenAI grab headlines, the company also actively develops vital software infrastructure to empower AI behind the scenes.

Met aanzienlijke prestatieverbeteringen ten opzichte van bestaande oplossingen zouden Rammer, Roller, Welder en Grinder belangrijke concurrentievoordelen kunnen bieden naarmate er complexere AI-workloads ontstaan.

Blijf op de hoogte van cryptonieuws, ontvang dagelijkse updates in je inbox.

Tijdstempel:

Meer van decoderen