Microsoft aumenta la eficiencia de la IA con un 'cuarteto de metales pesados' de compiladores - Decrypt

Microsoft aumenta la eficiencia de la IA con un 'cuarteto de metales pesados' de compiladores – Decrypt

Sello de tiempo: 6 de septiembre de 2023 3:01 a.m.
Nodo de origen: 2865461

Microsoft ha presentado un conjunto de cuatro nuevos compiladores de inteligencia artificial diseñados para optimizar el rendimiento de varios modelos de IA. El “cuarteto de heavy metal” de herramientas de compilación de vanguardia lleva los nombres Rammer, Roller, Welder y Grinder.

Las herramientas fueron desarrolladas por Microsoft Research en colaboración con varias instituciones académicas. Proporcionan soluciones avanzadas para compilar (básicamente la transformación del código fuente (legible por humanos) a código de máquina (un conjunto de unos y ceros que hacen que una computadora sea ejecutable)) modelos de IA convencionales y ejecutarlos de manera más eficiente en aceleradores de hardware como las GPU.

En una investigación de Microsoft del blog Destacando sus capacidades, la compañía dice que los compiladores se basan en la extensa investigación y desarrollo de Microsoft en inteligencia artificial.

"Los compiladores de IA que desarrollamos han demostrado una mejora sustancial en la eficiencia de la compilación de IA, facilitando así el entrenamiento y la implementación de modelos de IA", escribió Jilong Xue, investigador principal de MSR Asia. "En el futuro, estos modelos a gran escala pueden ayudar inherentemente a lograr la optimización y la compilación".

Cada uno de los cuatro nuevos compiladores aborda distintos desafíos en la optimización de las cargas de trabajo de IA.

Estiba se centra en maximizar el paralelismo del hardware: la capacidad del hardware para hacer diferentes cosas simultáneamente. Este es un factor clave en el rendimiento y Rammer minimiza la sobrecarga de programación del tiempo de ejecución mediante una mejor utilización de los recursos paralelos.

Rodillo adopta un enfoque diferente para acelerar la compilación, utilizando un algoritmo de construcción rápido para encontrar soluciones y, en última instancia, genera núcleos optimizados en segundos en lugar de horas. En otras palabras, Roller ayuda a crear programas informáticos eficientes para IA más rápido al simplificar el proceso de diseño.

Soldador reduce el costoso tráfico de acceso a la memoria al conectar a los operadores en una tubería concentrada. Unifica las optimizaciones de memoria en un único marco para una mayor eficiencia.

Finalmente, Amoladora permite la ejecución del flujo de control en aceleradores integrándolo con el flujo de datos. Esto permite la optimización a través de los límites del flujo de control. Piense en ello como un experto que guía los pasos de un aprendiz y le dice qué hacer para hacer el trabajo más rápido.

Como uno de los gigantes tecnológicos líderes, Microsoft ha estado a la vanguardia del avance de la IA. La compañía se ha asociado estrechamente con la firma de investigación de inteligencia artificial OpenAI en modelos de lenguajes grandes como GPT-3.5 y GPT-4, que impulsan ChatGPT y Bing Chat. Más recientemente, Microsoft se asoció con Meta integrar LLaMA-2 en su solución de computación en la nube e introdujo una técnica llamada Algoritmo de pensamientos para mejorar el razonamiento en modelos como ChatGPT.

Las pruebas encontraron que los compiladores superaron significativamente a las soluciones existentes en los puntos de referencia. Rammer superó a otros compiladores hasta 20 veces en GPU. Roller igualó o superó el rendimiento de última generación y al mismo tiempo redujo el tiempo de compilación en órdenes de magnitud. Welder superó marcos como PyTorch hasta 21 veces en GPU. Modelos con amoladora acelerada con control de flujo hasta 8x.

El cuarteto de heavy metal demuestra el liderazgo continuo de Microsoft en el diseño de sistemas de inteligencia artificial innovadores y en la creación de nombres divertidos para sus productos. Si bien las grandes asociaciones en el espacio de la IA, como la de OpenAI agarrar titulares, la empresa también desarrolla activamente una infraestructura de software vital para potenciar la IA entre bastidores.

Con mejoras considerables de rendimiento con respecto a las soluciones existentes, Rammer, Roller, Welder y Grinder podrían proporcionar ventajas competitivas clave a medida que surjan cargas de trabajo de IA más complejas.

Manténgase al tanto de las noticias criptográficas, obtenga actualizaciones diarias en su bandeja de entrada.

Sello de tiempo:

Mas de Descifrar