Microsoft améliore l'efficacité de l'IA avec un « quatuor de compilateurs Heavy Metal »

Microsoft améliore l'efficacité de l'IA avec un « quatuor de compilateurs Heavy Metal »

Horodatage: 6 septembre 2023 3:01 AM
Nœud source: 2865461

Microsoft a dévoilé une suite de quatre nouveaux compilateurs d'intelligence artificielle conçus pour optimiser les performances de divers modèles d'IA. Le « quatuor heavy metal » d'outils de compilation de pointe porte les noms de Rammer, Roller, Welder et Grinder.

Les outils ont été développés par Microsoft Research en collaboration avec un certain nombre d'institutions universitaires. Ils fournissent des solutions avancées pour compiler – essentiellement la transformation du code source (lisible par l’homme) en code machine (un tas de uns et de zéros qui rendent un ordinateur exécutable) – des modèles d’IA traditionnels et les exécuter plus efficacement sur des accélérateurs matériels tels que les GPU.

Dans une recherche Microsoft blog récents soulignant leurs capacités, la société affirme que les compilateurs s'appuient sur les recherches et développements approfondis de Microsoft en matière d'intelligence artificielle.

"Les compilateurs d'IA que nous avons développés ont démontré une amélioration substantielle de l'efficacité de la compilation de l'IA, facilitant ainsi la formation et le déploiement de modèles d'IA", a écrit Jilong Xue, chercheur principal chez MSR Asia. "À l'avenir, ces modèles à grande échelle pourraient eux-mêmes contribuer à l'optimisation et à la compilation."

Les quatre nouveaux compilateurs relèvent chacun des défis distincts dans l’optimisation des charges de travail d’IA.

Dame se concentre sur la maximisation du parallélisme matériel, c'est-à-dire la capacité du matériel à faire différentes choses simultanément. Il s'agit d'un facteur clé de performances, et Rammer minimise les frais de planification d'exécution grâce à une meilleure utilisation des ressources parallèles.

Roller adopte une approche différente pour accélérer la compilation, en utilisant un algorithme de construction rapide pour trouver des solutions, générant finalement des noyaux optimisés en quelques secondes plutôt qu'en quelques heures. En d’autres termes, Roller permet de créer plus rapidement des programmes informatiques efficaces pour l’IA en simplifiant le processus de conception.

Soudeur réduit le trafic coûteux d’accès à la mémoire en connectant les opérateurs dans un pipeline concentré. Il unifie les optimisations de mémoire dans un cadre unique pour une plus grande efficacité.

Enfin, Broyeur permet l'exécution du flux de contrôle sur les accélérateurs en l'intégrant au flux de données. Cela permet une optimisation au-delà des limites du flux de contrôle. Considérez-le comme un expert guidant les étapes d'un apprenti, lui disant quoi faire pour accomplir le travail plus rapidement.

En tant que l’un des principaux géants de la technologie, Microsoft a été à l’avant-garde des progrès de l’IA. La société s'est associée en étroite collaboration avec la société de recherche en IA OpenAI sur de grands modèles de langage tels que GPT-3.5 et GPT-4, qui alimentent ChatGPT et Bing Chat. Plus récemment, Microsoft en partenariat avec Meta pour intégrer LLaMA-2 dans sa solution de cloud computing et a introduit une technique appelée le Algorithme de pensées pour améliorer le raisonnement dans des modèles comme ChatGPT.

Les tests ont révélé que les compilateurs surpassaient considérablement les solutions existantes sur les tests de référence. Rammer a dépassé les autres compilateurs jusqu'à 20 fois sur les GPU. Roller a égalé ou dépassé les performances de pointe tout en réduisant le temps de compilation de plusieurs ordres de grandeur. Welder a surpassé les frameworks comme PyTorch jusqu'à 21 fois sur les GPU. Modèles accélérés de broyeur avec contrôle du débit jusqu'à 8x.

Le quatuor de heavy metal démontre le leadership continu de Microsoft dans la conception de systèmes d'IA révolutionnaires et dans la création de noms amusants pour ses produits. Alors que les grands partenariats dans le domaine de l'IA comme celui avec OpenAI saisir les gros titres, la société développe également activement une infrastructure logicielle vitale pour renforcer l’IA en coulisses.

Avec des gains de performances considérables par rapport aux solutions existantes, Rammer, Roller, Welder et Grinder pourraient offrir des avantages concurrentiels clés à mesure que des charges de travail d'IA plus complexes émergent.

Restez au courant des actualités cryptographiques, recevez des mises à jour quotidiennes dans votre boîte de réception.

Horodatage:

Plus de Décrypter