Microsoft ökar AI-effektiviteten med en "Heavy Metal-kvartett" av kompilatorer - Dekryptera

Microsoft ökar AI-effektiviteten med en "Heavy Metal-kvartett" av kompilatorer - Dekryptera

Tidsstämpel: 6 september, 2023 3:01
Källnod: 2865461

Microsoft har avslöjat en svit med fyra nya kompilatorer för artificiell intelligens designade för att optimera prestandan hos olika AI-modeller. "Heavy metal-kvartetten" av banbrytande kompileringsverktyg bär namnen Rammer, Roller, Welder och Grinder.

Verktygen har utvecklats av Microsoft Research i samarbete med ett antal akademiska institutioner. De tillhandahåller avancerade lösningar för att kompilera – i princip omvandlingen från källkod (läsbar för människor) till maskinkod (ett gäng ettor och nollor som gör en dator körbar) – vanliga AI-modeller och köra dem mer effektivt på hårdvaruacceleratorer som GPU:er.

In a Microsoft Research blogginlägg highlighting their capabilities, the company says the compilers build on Microsoft’s extensive research and development in artificial intelligence.

"AI-kompilatorerna vi utvecklade har visat på en avsevärd förbättring av AI-kompileringseffektiviteten, och därigenom underlätta utbildningen och distributionen av AI-modeller," skrev Jilong Xue, huvudforskare vid MSR Asia. "I framtiden kan dessa storskaliga modeller i sig själva hjälpa till att uppnå optimering och kompilering."

De fyra nya kompilatorerna tar sig an olika utmaningar för att optimera AI-arbetsbelastningar.

Rammer focuses on maximizing hardware parallelism—the capacity of hardware to do different things simoultaneously. This is a key factor in performance, and Rammer minimizes runtime scheduling overhead through improved utilization of parallel resources.

Roller takes a different approach to accelerate compilation, using a fast construction algorithm to find solutions, ultimately generating optimized kernels in seconds rather than hours. In other words, Roller helps create efficient computer programs for AI faster by simplifying the design process.

Svetsare reduces expensive memory access traffic by connecting operators in a concentrated pipeline. It unifies memory optimizations into a single framework for greater efficiency.

Slutligen Grinder enables control-flow execution on accelerators by integrating it with data flow. This allows optimization across control flow boundaries. Think of it like an expert guiding the steps of an apprentice, telling them what to do to get the job done faster.

As one of the leading technology giants, Microsoft has been at the forefront of AI advancement. The company has partnered closely with AI research firm OpenAI on large language models like GPT-3.5 and GPT-4, which powers ChatGPT and Bing Chat. More recently, Microsoft samarbetat med Meta to integrate LLaMA-2 in its cloud computing solution and introduced a technique called the Algoritm för tankar to enhance reasoning in models like ChatGPT.

Testning visade att kompilatorerna överträffade de befintliga lösningarna avsevärt vad gäller benchmarks. Rammer överträffade andra kompilatorer med upp till 20x på GPU:er. Roller matchade eller överträffade toppmoderna prestanda samtidigt som kompileringstiden sänktes i storleksordningar. Welder överträffade ramverk som PyTorch med upp till 21x på GPU:er. Grinder accelererade modeller med kontrollflöde med upp till 8x.

The heavy metal quartet demonstrates Microsoft’s continued leadership in designing breakthrough AI systems —and coming up with fun names for its products. While big partnerships in the AI space like the one with OpenAI grab headlines, the company also actively develops vital software infrastructure to empower AI behind the scenes.

Med betydande prestandavinster jämfört med befintliga lösningar kan Rammer, Roller, Welder och Grinder ge viktiga konkurrensfördelar när mer komplexa AI-arbetsbelastningar uppstår.

Håll dig uppdaterad om kryptonyheter, få dagliga uppdateringar i din inkorg.

Tidsstämpel:

Mer från Avkryptera