Microsoft、コンパイラの「ヘビーメタルカルテット」で AI 効率を向上 - 復号化

プラトン再発行

フォロワー： 0

Microsoft は、さまざまな AI モデルのパフォーマンスを最適化するために設計された XNUMX つの新しい人工知能コンパイラーのスイートを発表しました。最先端のコンパイルツールの「ヘビーメタルカルテット」には、Rammer、Roller、Welder、Grinder という名前が付けられています。

このツールは、Microsoft Research が多くの学術機関と協力して開発したものです。これらは、主流の AI モデルをコンパイルし (基本的にはソースコード (人間が読めるコード) からマシンコード (コンピューターを実行可能にする XNUMX と XNUMX の集まり) に変換すること)、GPU などのハードウェアアクセラレータでより効率的に実行するための高度なソリューションを提供します。

マイクロソフトのリサーチでブログ投稿 highlighting their capabilities, the company says the compilers build on Microsoft’s extensive research and development in artificial intelligence.

「私たちが開発した AI コンパイラーは、AI コンパイル効率の大幅な向上を実証しました。これにより、AI モデルのトレーニングと展開が容易になります」と MSR Asia の主任研究員 Jilong Xue 氏は述べています。「将来的には、これらの大規模モデル自体が本質的に最適化とコンパイルの達成に役立つ可能性があります。」

XNUMX つの新しいコンパイラーはそれぞれ、AI ワークロードの最適化における異なる課題に取り組んでいます。

ランマーハードウェアの並列性、つまり異なることを同時に実行できるハードウェアの能力を最大化することに焦点を当てています。これはパフォーマンスの重要な要素であり、Rammer は並列リソースの使用率を向上させることで、実行時のスケジューリングのオーバーヘッドを最小限に抑えます。

ローラーは、コンパイルを高速化するために別のアプローチを採用し、高速構築アルゴリズムを使用して解決策を見つけ、最終的には数時間ではなく数秒で最適化されたカーネルを生成します。言い換えれば、Roller は設計プロセスを簡素化することで、AI 用の効率的なコンピュータープログラムをより迅速に作成するのに役立ちます。

溶接機オペレーターを集中パイプラインで接続することで、高価なメモリアクセストラフィックを削減します。メモリの最適化を単一のフレームワークに統合して効率を高めます。

最後に、グラインダーデータフローと統合することで、アクセラレータでの制御フローの実行を可能にします。これにより、制御フローの境界を越えた最適化が可能になります。これは、専門家が見習いの手順を指導し、仕事をより早く完了させるために何をすべきかを教えるようなものだと考えてください。

マイクロソフトは、大手テクノロジー企業の 3.5 つとして、AI の進歩の最前線に立ってきました。同社は、ChatGPT や Bing Chat を支える GPT-4 や GPT-XNUMX などの大規模言語モデルに関して、AI 研究会社 OpenAI と緊密に提携しています。最近では、マイクロソフトメタと提携 LLaMA-2 をクラウドコンピューティングソリューションに統合し、と呼ばれる技術を導入しました。思考のアルゴリズム ChatGPT のようなモデルで推論を強化します。

テストの結果、コンパイラはベンチマークで既存のソリューションを大幅に上回るパフォーマンスを示しました。 Rammer は、GPU 上で他のコンパイラーを最大 20 倍上回りました。 Roller は、コンパイル時間を桁違いに短縮しながら、最先端のパフォーマンスと同等またはそれを上回りました。 Welder は、GPU 上で PyTorch などのフレームワークを最大 21 倍上回りました。制御フローを最大 8 倍まで高めたグラインダーアクセラレーションモデル。

ヘヴィメタルカルテットは、画期的な AI システムの設計と製品の楽しい名前の考案における Microsoft の継続的なリーダーシップを示しています。 OpenAI とのような AI 分野における大規模なパートナーシップとは対照的に、見出しをつかむ、同社はまた、舞台裏で AI を強化するための重要なソフトウェアインフラストラクチャの開発も積極的に行っています。

Rammer、Roller、Welder、Grinder は既存のソリューションに比べてパフォーマンスが大幅に向上しているため、より複雑な AI ワークロードが出現するにつれて重要な競争上の優位性を提供できる可能性があります。