Microsoft steigert die KI-Effizienz mit einem „Heavy-Metal-Quartett“ von Compilern – Entschlüsseln

Neuauflage von Plato

Verfolger: 0

Microsoft hat eine Suite von vier neuen Compilern für künstliche Intelligenz vorgestellt, die die Leistung verschiedener KI-Modelle optimieren sollen. Das „Heavy-Metal-Quartett“ modernster Zusammenstellungswerkzeuge trägt die Namen Rammer, Roller, Welder und Grinder.

Die Tools wurden von Microsoft Research in Zusammenarbeit mit einer Reihe akademischer Institutionen entwickelt. Sie bieten fortschrittliche Lösungen zum Kompilieren – im Grunde die Umwandlung von Quellcode (für Menschen lesbar) in Maschinencode (eine Reihe von Einsen und Nullen, die einen Computer ausführbar machen) – gängiger KI-Modelle und deren effizientere Ausführung auf Hardwarebeschleunigern wie GPUs.

In einer Microsoft-Recherche Blog-Post highlighting their capabilities, the company says the compilers build on Microsoft’s extensive research and development in artificial intelligence.

„Die von uns entwickelten KI-Compiler haben eine erhebliche Verbesserung der KI-Kompilierungseffizienz gezeigt und dadurch das Training und den Einsatz von KI-Modellen erleichtert“, schrieb Jilong Xue, leitender Forscher bei MSR Asia. „In Zukunft könnten diese groß angelegten Modelle selbst von Natur aus bei der Optimierung und Kompilierung hilfreich sein.“

Die vier neuen Compiler bewältigen jeweils unterschiedliche Herausforderungen bei der Optimierung von KI-Workloads.

Ramme konzentriert sich auf die Maximierung der Hardware-Parallelität – die Fähigkeit der Hardware, verschiedene Dinge gleichzeitig zu tun. Dies ist ein Schlüsselfaktor für die Leistung, und Rammer minimiert den Overhead bei der Laufzeitplanung durch eine verbesserte Nutzung paralleler Ressourcen.

Scooter verfolgt einen anderen Ansatz zur Beschleunigung der Kompilierung, indem es einen schnellen Konstruktionsalgorithmus verwendet, um Lösungen zu finden und letztendlich optimierte Kernel in Sekunden statt in Stunden zu generieren. Mit anderen Worten: Roller hilft dabei, effizientere Computerprogramme für KI schneller zu erstellen, indem der Designprozess vereinfacht wird.

Schweißer Reduziert den teuren Speicherzugriffsverkehr durch die Verbindung von Betreibern in einer konzentrierten Pipeline. Es vereint Speicheroptimierungen in einem einzigen Framework für mehr Effizienz.

Schließlich Schleifer ermöglicht die Ausführung von Kontrollflüssen auf Beschleunigern durch Integration in den Datenfluss. Dies ermöglicht eine Optimierung über Kontrollflussgrenzen hinweg. Stellen Sie sich das so vor, als ob ein Experte die Schritte eines Lehrlings anleitet und ihm sagt, was er tun muss, um die Arbeit schneller zu erledigen.

Als einer der führenden Technologiegiganten war Microsoft Vorreiter bei der Weiterentwicklung der KI. Das Unternehmen hat bei großen Sprachmodellen wie GPT-3.5 und GPT-4, die ChatGPT und Bing Chat unterstützen, eng mit dem KI-Forschungsunternehmen OpenAI zusammengearbeitet. In jüngerer Zeit Microsoft Partnerschaft mit Meta integrierte LLaMA-2 in seine Cloud-Computing-Lösung und führte eine Technik namens „ Algorithmus der Gedanken um das Denken in Modellen wie ChatGPT zu verbessern.

Tests ergaben, dass die Compiler bestehende Lösungen bei Benchmarks deutlich übertrafen. Rammer übertraf andere Compiler auf GPUs um das bis zu 20-fache. Roller erreichte oder übertraf die Leistung auf dem neuesten Stand der Technik und verkürzte gleichzeitig die Kompilierungszeit um Größenordnungen. Welder übertraf Frameworks wie PyTorch auf GPUs um das bis zu 21-fache. Schleiferbeschleunigte Modelle mit bis zu 8-facher Flusskontrolle.

Das Heavy-Metal-Quartett demonstriert die anhaltende Führungsrolle von Microsoft bei der Entwicklung bahnbrechender KI-Systeme – und der Entwicklung unterhaltsamer Namen für seine Produkte. Während große Partnerschaften im KI-Bereich wie die mit OpenAI Schlagzeilen machenDarüber hinaus entwickelt das Unternehmen aktiv eine wichtige Software-Infrastruktur, um die KI hinter den Kulissen zu stärken.

Mit erheblichen Leistungssteigerungen gegenüber bestehenden Lösungen könnten Rammer, Roller, Welder und Grinder wichtige Wettbewerbsvorteile bieten, wenn immer komplexere KI-Arbeitslasten entstehen.