Microsoft Meningkatkan Efisiensi AI Dengan Kompiler 'Kuartet Logam Berat' - Dekripsi

Diterbitkan Ulang Oleh Plato

Followers: 0

Microsoft telah meluncurkan empat kompiler kecerdasan buatan baru yang dirancang untuk mengoptimalkan kinerja berbagai model AI. “Kuartet logam berat” dari alat kompilasi mutakhir diberi nama Rammer, Roller, Welder, dan Grinder.

Alat tersebut dikembangkan oleh Microsoft Research bekerja sama dengan sejumlah institusi akademis. Mereka memberikan solusi canggih untuk mengkompilasi — pada dasarnya transformasi dari kode sumber (dapat dibaca manusia) menjadi kode mesin (sekumpulan angka satu dan nol yang membuat komputer dapat dieksekusi) — model AI mainstream dan menjalankannya dengan lebih efisien pada akselerator perangkat keras seperti GPU.

Dalam Penelitian Microsoft posting blog highlighting their capabilities, the company says the compilers build on Microsoft’s extensive research and development in artificial intelligence.

“Kompiler AI yang kami kembangkan telah menunjukkan peningkatan substansial dalam efisiensi kompilasi AI, sehingga memfasilitasi pelatihan dan penerapan model AI,” tulis Jilong Xue, Peneliti Utama di MSR Asia. “Di masa depan, model berskala besar ini secara inheren dapat membantu dalam mencapai optimalisasi dan kompilasi.”

Keempat kompiler baru tersebut masing-masing mengatasi tantangan berbeda dalam mengoptimalkan beban kerja AI.

Dorongan kuat-kuat berfokus pada memaksimalkan paralelisme perangkat keras—kapasitas perangkat keras untuk melakukan berbagai hal secara bersamaan. Ini adalah faktor kunci dalam kinerja, dan Rammer meminimalkan overhead penjadwalan runtime melalui peningkatan pemanfaatan sumber daya paralel.

Rol mengambil pendekatan berbeda untuk mempercepat kompilasi, menggunakan algoritma konstruksi cepat untuk menemukan solusi, yang pada akhirnya menghasilkan kernel yang dioptimalkan dalam hitungan detik, bukan jam. Dengan kata lain, Roller membantu membuat program komputer yang efisien untuk AI lebih cepat dengan menyederhanakan proses desain.

Tukang las mengurangi lalu lintas akses memori yang mahal dengan menghubungkan operator dalam saluran yang terkonsentrasi. Ini menyatukan optimasi memori ke dalam kerangka tunggal untuk efisiensi yang lebih besar.

Terakhir, Penggiling memungkinkan eksekusi aliran kontrol pada akselerator dengan mengintegrasikannya dengan aliran data. Hal ini memungkinkan optimasi melintasi batas aliran kontrol. Anggap saja seperti seorang ahli yang memandu langkah-langkah peserta magang, memberi tahu mereka apa yang harus dilakukan agar pekerjaan selesai lebih cepat.

Sebagai salah satu raksasa teknologi terkemuka, Microsoft telah menjadi yang terdepan dalam kemajuan AI. Perusahaan ini telah bermitra erat dengan firma riset AI OpenAI pada model bahasa besar seperti GPT-3.5 dan GPT-4, yang mendukung ChatGPT dan Bing Chat. Baru-baru ini, Microsoft bermitra dengan Meta untuk mengintegrasikan LLaMA-2 dalam solusi komputasi awannya dan memperkenalkan teknik yang disebut Algoritma Pemikiran untuk meningkatkan penalaran dalam model seperti ChatGPT.

Pengujian menemukan bahwa kompiler secara signifikan mengungguli solusi yang ada pada benchmark. Rammer melampaui kompiler lain hingga 20x pada GPU. Roller menyamai atau melampaui performa canggih sekaligus menurunkan waktu kompilasi hingga beberapa kali lipat. Welder melampaui kerangka kerja seperti PyTorch hingga 21x pada GPU. Model penggiling yang dipercepat dengan aliran kontrol hingga 8x.

Kuartet heavy metal menunjukkan kepemimpinan berkelanjutan Microsoft dalam merancang terobosan sistem AI —dan menghasilkan nama-nama menarik untuk produk-produknya. Sementara kemitraan besar di bidang AI seperti yang terjadi pada OpenAI ambil berita utama, perusahaan juga secara aktif mengembangkan infrastruktur perangkat lunak penting untuk memberdayakan AI di balik layar.

Dengan peningkatan kinerja yang cukup besar dibandingkan solusi yang ada, Rammer, Roller, Welder, dan Grinder dapat memberikan keunggulan kompetitif utama seiring munculnya beban kerja AI yang lebih kompleks.