Microsoft øger AI-effektiviteten med en 'Heavy Metal Quartet' af compilere - Dekrypter

Microsoft øger AI-effektiviteten med en 'Heavy Metal Quartet' af compilere - Dekrypter

Tidsstempel: 6. september 2023 kl. 3
Kildeknude: 2865461

Microsoft har afsløret en pakke med fire nye kunstig intelligens-kompilere designet til at optimere ydeevnen af ​​forskellige AI-modeller. "Heavy metal-kvartetten" af banebrydende kompileringsværktøjer bærer navnene Rammer, Roller, Welder og Grinder.

Værktøjerne er udviklet af Microsoft Research i samarbejde med en række akademiske institutioner. De leverer avancerede løsninger til kompilering - grundlæggende transformationen fra kildekode (læsbar for mennesker) til maskinkode (en masse eter og nuller, der gør en computer eksekverbar) - mainstream AI-modeller og køre dem mere effektivt på hardwareacceleratorer som GPU'er.

I en Microsoft Research blogindlæg for at fremhæve deres evner, siger virksomheden, at kompilatorerne bygger på Microsofts omfattende forskning og udvikling inden for kunstig intelligens.

"AI-kompilatorerne, vi udviklede, har demonstreret en væsentlig forbedring af AI-kompileringseffektiviteten, og derved letter træningen og implementeringen af ​​AI-modeller," skrev Jilong Xue, hovedforsker ved MSR Asia. "I fremtiden kan disse store modeller i sig selv hjælpe med at opnå optimering og kompilering."

De fire nye compilere tackler hver især forskellige udfordringer med at optimere AI-arbejdsbelastninger.

Rammer fokuserer på at maksimere hardwareparallelisme - hardwarens kapacitet til at gøre forskellige ting samtidigt. Dette er en nøglefaktor i ydeevnen, og Rammer minimerer overhead til køretidsplanlægning gennem forbedret udnyttelse af parallelle ressourcer.

Roller tager en anden tilgang til at fremskynde kompilering ved at bruge en hurtig konstruktionsalgoritme til at finde løsninger, hvilket i sidste ende genererer optimerede kerner på få sekunder i stedet for timer. Med andre ord hjælper Roller med at skabe effektive computerprogrammer til AI hurtigere ved at forenkle designprocessen.

Svejser reducerer dyr hukommelsesadgangstrafik ved at forbinde operatører i en koncentreret pipeline. Det forener hukommelsesoptimeringer i en enkelt ramme for større effektivitet.

Endelig Grinder muliggør udførelse af kontrolflow på acceleratorer ved at integrere det med dataflow. Dette muliggør optimering på tværs af kontrolflowgrænser. Tænk på det som en ekspert, der guider en lærlings trin og fortæller dem, hvad de skal gøre for at få arbejdet gjort hurtigere.

Som en af ​​de førende teknologigiganter har Microsoft været på forkant med AI-fremme. Virksomheden har indgået et tæt samarbejde med AI-forskningsfirmaet OpenAI om store sprogmodeller som GPT-3.5 og GPT-4, som driver ChatGPT og Bing Chat. For nylig Microsoft samarbejdet med Meta at integrere LLaMA-2 i sin cloud computing-løsning og introducerede en teknik kaldet Algorithm of Thoughts at forbedre ræsonnementet i modeller som ChatGPT.

Test viste, at kompilatorerne klarede sig betydeligt bedre end eksisterende løsninger på benchmarks. Rammer overskred andre compilere med op til 20x på GPU'er. Roller matchede eller oversteg den nyeste ydeevne, mens kompileringstiden blev reduceret i størrelsesordener. Welder overgik rammer som PyTorch med op til 21x på GPU'er. Kværneaccelererede modeller med kontrolflow med op til 8x.

Heavy metal-kvartetten demonstrerer Microsofts fortsatte lederskab i at designe banebrydende AI-systemer – og finde på sjove navne til sine produkter. Mens store partnerskaber i AI-området som det med OpenAI få fat i overskrifter, udvikler virksomheden også aktivt vital softwareinfrastruktur for at styrke AI bag kulisserne.

Med betydelige præstationsforbedringer i forhold til eksisterende løsninger kan Rammer, Roller, Welder og Grinder give vigtige konkurrencefordele, efterhånden som mere komplekse AI-arbejdsbelastninger dukker op.

Hold dig opdateret med kryptonyheder, få daglige opdateringer i din indbakke.

Tidsstempel:

Mere fra Dekryptér