Microsoft tăng cường hiệu quả AI với 'bộ tứ kim loại nặng' trình biên dịch - Giải mã

Được xuất bản lại bởi Plato

Người theo dõi: 0

Microsoft đã tiết lộ bộ bốn trình biên dịch trí tuệ nhân tạo mới được thiết kế để tối ưu hóa hiệu suất của các mô hình AI khác nhau. “Bộ tứ kim loại nặng” gồm các công cụ biên dịch tiên tiến mang tên Rammer, Roller, Welder và Grinder.

Các công cụ này được phát triển bởi Microsoft Research phối hợp với một số tổ chức học thuật. Họ cung cấp các giải pháp nâng cao để biên dịch — về cơ bản là chuyển đổi từ mã nguồn (người có thể đọc được) thành mã máy (một loạt các số XNUMX và XNUMX giúp máy tính có thể thực thi được) — các mô hình AI chính thống và chạy chúng hiệu quả hơn trên các bộ tăng tốc phần cứng như GPU.

Trong một nghiên cứu của Microsoft blog đăng bài highlighting their capabilities, the company says the compilers build on Microsoft’s extensive research and development in artificial intelligence.

Jilong Xue, Nhà nghiên cứu chính tại MSR Châu Á cho biết: “Các trình biên dịch AI mà chúng tôi phát triển đã chứng minh sự cải thiện đáng kể về hiệu quả biên dịch AI, từ đó tạo điều kiện thuận lợi cho việc đào tạo và triển khai các mô hình AI”. “Trong tương lai, bản thân các mô hình quy mô lớn này có thể hỗ trợ đạt được sự tối ưu hóa và tổng hợp.”

Bốn trình biên dịch mới, mỗi trình biên dịch giải quyết những thách thức riêng biệt trong việc tối ưu hóa khối lượng công việc AI.

Người phu quét đường tập trung vào việc tối đa hóa khả năng song song của phần cứng—khả năng của phần cứng để thực hiện đồng thời nhiều việc khác nhau. Đây là yếu tố then chốt trong hiệu suất và Rammer giảm thiểu chi phí lập kế hoạch thời gian chạy thông qua việc cải thiện việc sử dụng các tài nguyên song song.

Trục lăn thực hiện một cách tiếp cận khác để tăng tốc quá trình biên dịch, sử dụng thuật toán xây dựng nhanh để tìm giải pháp, cuối cùng tạo ra các hạt nhân được tối ưu hóa trong vài giây thay vì hàng giờ. Nói cách khác, Roller giúp tạo ra các chương trình máy tính hiệu quả cho AI nhanh hơn bằng cách đơn giản hóa quy trình thiết kế.

Thợ hàn giảm lưu lượng truy cập bộ nhớ đắt tiền bằng cách kết nối các toán tử trong một đường dẫn tập trung. Nó hợp nhất các hoạt động tối ưu hóa bộ nhớ vào một khung duy nhất để mang lại hiệu quả cao hơn.

Ngoài ra, thẻ cào Máy gia cho phép thực thi luồng điều khiển trên các bộ tăng tốc bằng cách tích hợp nó với luồng dữ liệu. Điều này cho phép tối ưu hóa trên các ranh giới luồng điều khiển. Hãy nghĩ về nó giống như một chuyên gia hướng dẫn các bước của người học việc, cho họ biết phải làm gì để hoàn thành công việc nhanh hơn.

Là một trong những gã khổng lồ công nghệ hàng đầu, Microsoft đã đi đầu trong việc phát triển AI. Công ty đã hợp tác chặt chẽ với công ty nghiên cứu AI OpenAI trên các mô hình ngôn ngữ lớn như GPT-3.5 và GPT-4, hỗ trợ ChatGPT và Bing Chat. Gần đây hơn, Microsoft hợp tác với Meta để tích hợp LLaMA-2 vào giải pháp điện toán đám mây của mình và giới thiệu một kỹ thuật gọi là Thuật toán suy nghĩ để tăng cường khả năng suy luận trong các mô hình như ChatGPT.

Thử nghiệm cho thấy trình biên dịch hoạt động tốt hơn đáng kể so với các giải pháp hiện có về điểm chuẩn. Rammer vượt xa các trình biên dịch khác tới 20 lần trên GPU. Con lăn phù hợp hoặc vượt quá hiệu suất hiện đại trong khi giảm thời gian biên dịch theo mức độ lớn. Welder đã vượt qua các hệ thống như PyTorch tới 21 lần về GPU. Các mô hình tăng tốc máy mài với lưu lượng điều khiển lên tới 8 lần.

Bộ tứ kim loại nặng thể hiện sự dẫn đầu liên tục của Microsoft trong việc thiết kế các hệ thống AI mang tính đột phá — và đưa ra những cái tên ngộ nghĩnh cho các sản phẩm của mình. Trong khi các mối quan hệ đối tác lớn trong không gian AI như với OpenAI lấy tiêu đề, công ty cũng tích cực phát triển cơ sở hạ tầng phần mềm quan trọng để hỗ trợ AI ở hậu trường.

Với mức tăng hiệu suất đáng kể so với các giải pháp hiện có, Rammer, Roller, Welder và Grinder có thể mang lại những lợi thế cạnh tranh chính khi khối lượng công việc AI phức tạp hơn xuất hiện.