Microsoft เพิ่มประสิทธิภาพ AI ด้วย 'Heavy Metal Quartet' ของคอมไพเลอร์ - ถอดรหัส

เผยแพร่ซ้ำโดยเพลโต

ผู้ติดตาม: 0

Microsoft ได้เปิดตัวชุดคอมไพเลอร์ปัญญาประดิษฐ์ใหม่สี่ชุดที่ออกแบบมาเพื่อเพิ่มประสิทธิภาพการทำงานของโมเดล AI ต่างๆ “กลุ่มโลหะหนัก” ของเครื่องมือรวบรวมที่ทันสมัยมีชื่อเรียกว่า Rammer, Roller, Welder และ Grinding

เครื่องมือดังกล่าวได้รับการพัฒนาโดย Microsoft Research โดยความร่วมมือกับสถาบันการศึกษาหลายแห่ง พวกเขานำเสนอโซลูชันขั้นสูงสำหรับการคอมไพล์ โดยพื้นฐานแล้วจะเป็นการแปลงจากซอร์สโค้ด (ที่มนุษย์อ่านได้) ไปเป็นโค้ดเครื่อง (หลายตัวและศูนย์ที่ทำให้คอมพิวเตอร์ปฏิบัติการได้)—โมเดล AI กระแสหลัก และรันโมเดลเหล่านั้นอย่างมีประสิทธิภาพมากขึ้นบนตัวเร่งฮาร์ดแวร์ เช่น GPU

ในการวิจัยของ Microsoft โพสต์บล็อก highlighting their capabilities, the company says the compilers build on Microsoft’s extensive research and development in artificial intelligence.

“คอมไพเลอร์ AI ที่เราพัฒนาขึ้นได้แสดงให้เห็นถึงการปรับปรุงประสิทธิภาพการรวบรวม AI อย่างมาก ซึ่งช่วยอำนวยความสะดวกในการฝึกอบรมและการปรับใช้โมเดล AI” Jilong Xue นักวิจัยหลักที่ MSR Asia เขียน “ในอนาคต โมเดลขนาดใหญ่เหล่านี้อาจช่วยในการเพิ่มประสิทธิภาพและการรวบรวมโดยธรรมชาติ”

คอมไพเลอร์ใหม่ทั้งสี่ตัวต่างจัดการกับความท้าทายที่แตกต่างกันในการเพิ่มประสิทธิภาพเวิร์กโหลด AI

Rammer มุ่งเน้นไปที่การเพิ่มความเท่าเทียมของฮาร์ดแวร์ให้สูงสุด—ความสามารถของฮาร์ดแวร์ในการทำสิ่งต่าง ๆ พร้อมกัน นี่คือปัจจัยสำคัญในด้านประสิทธิภาพ และ Rammer จะลดค่าใช้จ่ายในการจัดกำหนดการรันไทม์ให้เหลือน้อยที่สุดด้วยการปรับปรุงการใช้ทรัพยากรแบบขนานให้ดียิ่งขึ้น

ลูกกลิ้ง ใช้แนวทางที่แตกต่างในการเร่งการคอมไพล์ โดยใช้อัลกอริธึมการสร้างที่รวดเร็วเพื่อค้นหาวิธีแก้ปัญหา ท้ายที่สุดแล้วจะสร้างเคอร์เนลที่ได้รับการปรับปรุงให้เหมาะสมในเวลาไม่กี่วินาทีแทนที่จะเป็นชั่วโมง กล่าวอีกนัยหนึ่ง Roller ช่วยสร้างโปรแกรมคอมพิวเตอร์ที่มีประสิทธิภาพสำหรับ AI ได้เร็วขึ้นโดยทำให้กระบวนการออกแบบง่ายขึ้น

ช่างเชื่อม ลดปริมาณการเข้าถึงหน่วยความจำที่มีราคาแพงโดยการเชื่อมต่อผู้ให้บริการในไปป์ไลน์แบบรวม รวมการปรับปรุงประสิทธิภาพของหน่วยความจำไว้ในเฟรมเวิร์กเดียวเพื่อประสิทธิภาพที่ดียิ่งขึ้น

ในที่สุด โม่ เปิดใช้งานการดำเนินการควบคุมโฟลว์บนตัวเร่งความเร็วโดยการรวมเข้ากับโฟลว์ข้อมูล ซึ่งช่วยให้สามารถเพิ่มประสิทธิภาพข้ามขอบเขตการควบคุมได้ ลองคิดเหมือนผู้เชี่ยวชาญที่คอยชี้แนะขั้นตอนต่างๆ ของเด็กฝึกงาน โดยบอกพวกเขาว่าต้องทำอย่างไรเพื่อให้งานเสร็จเร็วขึ้น

ในฐานะหนึ่งในบริษัทยักษ์ใหญ่ด้านเทคโนโลยีชั้นนำ Microsoft อยู่ในแนวหน้าด้านความก้าวหน้าของ AI บริษัทได้ร่วมมืออย่างใกล้ชิดกับบริษัทวิจัย AI OpenAI เกี่ยวกับโมเดลภาษาขนาดใหญ่ เช่น GPT-3.5 และ GPT-4 ซึ่งขับเคลื่อน ChatGPT และ Bing Chat เมื่อเร็วๆ นี้ ไมโครซอฟต์ ร่วมมือกับเมตา เพื่อรวม LLaMA-2 เข้ากับโซลูชันการประมวลผลแบบคลาวด์ และแนะนำเทคนิคที่เรียกว่า อัลกอริทึมของความคิด เพื่อปรับปรุงการใช้เหตุผลในรูปแบบต่างๆ เช่น ChatGPT

การทดสอบพบว่าคอมไพเลอร์มีประสิทธิภาพเหนือกว่าโซลูชันที่มีอยู่ในการวัดประสิทธิภาพอย่างมีนัยสำคัญ Rammer เหนือกว่าคอมไพเลอร์อื่นๆ ถึง 20 เท่าบน GPU Roller จับคู่หรือเกินประสิทธิภาพที่ล้ำสมัยในขณะที่ลดเวลาในการรวบรวมตามลำดับความสำคัญ Welder เหนือกว่าเฟรมเวิร์กอย่าง PyTorch มากถึง 21 เท่าบน GPU เครื่องเจียรเร่งรุ่นพร้อมการควบคุมการไหลสูงสุด 8 เท่า

วงดนตรีเฮฟวีเมทัลแสดงให้เห็นถึงความเป็นผู้นำอย่างต่อเนื่องของ Microsoft ในการออกแบบระบบ AI ที่ก้าวล้ำ และสร้างชื่อสนุกๆ ให้กับผลิตภัณฑ์ของตน ในขณะที่ความร่วมมือครั้งใหญ่ในพื้นที่ AI เช่นเดียวกับ OpenAI คว้าพาดหัวข่าวบริษัทยังพัฒนาโครงสร้างพื้นฐานซอฟต์แวร์ที่สำคัญอย่างแข็งขันเพื่อเพิ่มศักยภาพให้กับ AI เบื้องหลัง

ด้วยประสิทธิภาพที่เพิ่มขึ้นอย่างมากจากโซลูชันที่มีอยู่ Rammer, Roller, Welder และ Grinding สามารถให้ข้อได้เปรียบทางการแข่งขันที่สำคัญเมื่อมีปริมาณงาน AI ที่ซับซ้อนมากขึ้น