โมเดลพื้นฐานที่ Edge – IBM Blog

แบบจำลองพื้นฐาน (FMs) ถือเป็นการเริ่มต้นยุคใหม่ การเรียนรู้ของเครื่อง (ML) และ ปัญญาประดิษฐ์ (AI)ซึ่งนำไปสู่การพัฒนาที่เร็วขึ้นของ AI ซึ่งสามารถปรับให้เข้ากับงานดาวน์สตรีมที่หลากหลายและปรับแต่งให้เหมาะกับอาร์เรย์ของแอปพลิเคชัน 

ด้วยความสำคัญที่เพิ่มขึ้นของการประมวลผลข้อมูลในสถานที่ทำงาน การให้บริการโมเดล AI ที่ Edge ขององค์กร ช่วยให้สามารถคาดการณ์ได้เกือบจะเรียลไทม์ ขณะเดียวกันก็ปฏิบัติตามข้อกำหนดด้านอธิปไตยของข้อมูลและความเป็นส่วนตัว โดยการผสมผสาน ไอบีเอ็ม วัตสัน ความสามารถด้านข้อมูลและแพลตฟอร์ม AI สำหรับ FM ที่มีการประมวลผลแบบเอดจ์ องค์กรต่างๆ สามารถเรียกใช้ปริมาณงาน AI สำหรับการปรับแต่ง FM แบบละเอียดและการอนุมานที่ขอบการปฏิบัติงาน ช่วยให้องค์กรต่างๆ สามารถปรับขนาดการใช้งาน AI ที่ Edge ได้ ซึ่งช่วยลดเวลาและค่าใช้จ่ายในการปรับใช้ด้วยเวลาตอบสนองที่เร็วขึ้น

โปรดตรวจสอบงวดทั้งหมดในบล็อกโพสต์ชุดนี้เกี่ยวกับ Edge Computing:

โมเดลพื้นฐานคืออะไร?

โมเดลพื้นฐาน (FM) ซึ่งได้รับการฝึกฝนเกี่ยวกับชุดข้อมูลที่ไม่มีป้ายกำกับจำนวนมาก กำลังขับเคลื่อนแอปพลิเคชันปัญญาประดิษฐ์ (AI) ที่ล้ำสมัย สามารถปรับให้เข้ากับงานดาวน์สตรีมได้หลากหลายและปรับแต่งอย่างละเอียดสำหรับแอปพลิเคชันต่างๆ โมเดล AI สมัยใหม่ซึ่งดำเนินงานเฉพาะเจาะจงในโดเมนเดียว กำลังเปิดทางให้กับ FM เพราะพวกเขาเรียนรู้โดยทั่วไปมากขึ้นและทำงานข้ามโดเมนและปัญหาต่างๆ ตามชื่อที่แสดง FM อาจเป็นรากฐานสำหรับการประยุกต์ใช้โมเดล AI มากมาย

FM จัดการกับความท้าทายสำคัญสองประการที่ทำให้องค์กรต่างๆ ไม่สามารถปรับขนาดการนำ AI มาใช้ ประการแรก องค์กรต่างๆ ผลิตข้อมูลที่ไม่มีป้ายกำกับจำนวนมหาศาล โดยมีเพียงบางส่วนเท่านั้นที่มีป้ายกำกับสำหรับการฝึกอบรมโมเดล AI ประการที่สอง งานการติดป้ายกำกับและคำอธิบายประกอบนี้เป็นงานที่ต้องใช้มนุษย์เป็นอย่างมาก โดยมักต้องใช้เวลาหลายร้อยชั่วโมงจากผู้เชี่ยวชาญเฉพาะเรื่อง (SME) ทำให้มีต้นทุนที่จำกัดในการปรับขนาดตามกรณีการใช้งาน เนื่องจากต้องใช้กองทัพของ SME และผู้เชี่ยวชาญด้านข้อมูล ด้วยการนำเข้าข้อมูลที่ไม่มีป้ายกำกับจำนวนมหาศาล และใช้เทคนิคที่มีการดูแลตนเองสำหรับการฝึกโมเดล FMs ได้ขจัดปัญหาคอขวดเหล่านี้ และเปิดช่องทางสำหรับการนำ AI มาใช้ทั่วทั้งองค์กรในวงกว้าง ข้อมูลจำนวนมหาศาลที่มีอยู่ในทุกธุรกิจกำลังรอการเผยแพร่เพื่อขับเคลื่อนข้อมูลเชิงลึก

โมเดลภาษาขนาดใหญ่คืออะไร?

โมเดลภาษาขนาดใหญ่ (LLM) เป็นคลาสของโมเดลพื้นฐาน (FM) ที่ประกอบด้วยชั้นของ เครือข่ายประสาทเทียม ที่ได้รับการฝึกอบรมเกี่ยวกับข้อมูลจำนวนมหาศาลที่ไม่มีป้ายกำกับเหล่านี้ พวกเขาใช้อัลกอริธึมการเรียนรู้ด้วยตนเองเพื่อดำเนินการต่างๆ การประมวลผลภาษาธรรมชาติ (NLP) งานในลักษณะที่คล้ายคลึงกับวิธีที่มนุษย์ใช้ภาษา (ดูรูปที่ 1)

ปรับขนาดและเร่งผลกระทบของ AI

มีหลายขั้นตอนในการสร้างและปรับใช้โมเดลพื้นฐาน (FM) สิ่งเหล่านี้รวมถึงการนำเข้าข้อมูล การเลือกข้อมูล การประมวลผลข้อมูลล่วงหน้า การฝึกอบรม FM ล่วงหน้า การปรับแต่งโมเดลสำหรับงานดาวน์สตรีมหนึ่งงานขึ้นไป การให้บริการการอนุมาน และการกำกับดูแลโมเดลข้อมูลและ AI และการจัดการวงจรชีวิต ซึ่งทั้งหมดนี้สามารถอธิบายได้ว่าเป็น FMOPs.

เพื่อช่วยในเรื่องทั้งหมดนี้ IBM จึงนำเสนอเครื่องมือและความสามารถที่จำเป็นแก่องค์กรเพื่อใช้ประโยชน์จากพลังของ FM เหล่านี้ผ่านทาง ไอบีเอ็ม วัตสันซึ่งเป็นแพลตฟอร์ม AI และข้อมูลที่พร้อมใช้งานระดับองค์กร ซึ่งได้รับการออกแบบมาเพื่อเพิ่มผลกระทบของ AI ทั่วทั้งองค์กร IBM watsonx ประกอบด้วยสิ่งต่อไปนี้:

1. ไอบีเอ็ม watsonx.ai นำมาซึ่งสิ่งใหม่ AI กำเนิด ความสามารถที่ขับเคลื่อนโดย FM และการเรียนรู้ของเครื่องแบบดั้งเดิม (ML) กลายเป็นสตูดิโออันทรงพลังที่ครอบคลุมวงจรชีวิต AI
2. ไอบีเอ็ม watsonx.data เป็นที่จัดเก็บข้อมูลที่เหมาะกับวัตถุประสงค์ที่สร้างขึ้นบนสถาปัตยกรรมเลคเฮาส์แบบเปิดเพื่อปรับขนาดปริมาณงาน AI สำหรับข้อมูลทั้งหมดของคุณได้ทุกที่
3. IBM watsonx.การกำกับดูแล คือชุดเครื่องมือกำกับดูแลวงจร AI อัตโนมัติแบบครบวงจรที่สร้างขึ้นเพื่อช่วยให้เวิร์กโฟลว์ AI มีความรับผิดชอบ โปร่งใส และอธิบายได้

เวกเตอร์ที่สำคัญอีกประการหนึ่งคือความสำคัญที่เพิ่มขึ้นของการประมวลผลที่ขอบองค์กร เช่น ที่ตั้งอุตสาหกรรม ชั้นการผลิต ร้านค้าปลีก ไซต์ขอบโทรคมนาคม ฯลฯ โดยเฉพาะอย่างยิ่ง AI ที่ขอบองค์กรช่วยให้สามารถประมวลผลข้อมูลที่มีการดำเนินงานสำหรับ การวิเคราะห์แบบใกล้เรียลไทม์ Edge ขององค์กรคือที่ซึ่งข้อมูลองค์กรจำนวนมหาศาลถูกสร้างขึ้น และที่ที่ AI สามารถให้ข้อมูลเชิงลึกทางธุรกิจที่มีคุณค่า ทันเวลา และนำไปปฏิบัติได้

การให้บริการโมเดล AI ที่ Edge ช่วยให้คาดการณ์ได้ใกล้เคียงเรียลไทม์ ในขณะเดียวกันก็ปฏิบัติตามข้อกำหนดด้านอธิปไตยของข้อมูลและความเป็นส่วนตัว ซึ่งช่วยลดเวลาแฝงซึ่งมักเกี่ยวข้องกับการได้มา การส่งผ่าน การเปลี่ยนแปลง และการประมวลผลข้อมูลการตรวจสอบได้อย่างมาก การทำงานที่ Edge ช่วยให้เราสามารถปกป้องข้อมูลองค์กรที่ละเอียดอ่อนและลดต้นทุนการถ่ายโอนข้อมูลด้วยเวลาตอบสนองที่เร็วขึ้น

อย่างไรก็ตาม การปรับขนาดการใช้งาน AI ที่ Edge นั้นไม่ใช่เรื่องง่าย ท่ามกลางความท้าทายที่เกี่ยวข้องกับข้อมูล (ความหลากหลาย ปริมาณ และกฎระเบียบ) และทรัพยากรที่มีข้อจำกัด (การประมวลผล การเชื่อมต่อเครือข่าย พื้นที่เก็บข้อมูล และแม้แต่ทักษะด้านไอที) สิ่งเหล่านี้สามารถอธิบายอย่างกว้าง ๆ ได้เป็นสองประเภท:

• เวลา/ค่าใช้จ่ายในการปรับใช้: การใช้งานแต่ละครั้งประกอบด้วยฮาร์ดแวร์และซอฟต์แวร์หลายชั้นที่จำเป็นต้องติดตั้ง กำหนดค่า และทดสอบก่อนใช้งาน ปัจจุบัน ผู้เชี่ยวชาญด้านบริการอาจใช้เวลาถึงหนึ่งหรือสองสัปดาห์ในการติดตั้ง ในแต่ละสถานที่ จำกัดอย่างรุนแรงถึงความรวดเร็วและคุ้มค่าขององค์กรในการขยายขนาดการใช้งานทั่วทั้งองค์กร                                  
• การจัดการวันที่ 2: Edge ที่ใช้งานอยู่จำนวนมากและตำแหน่งทางภูมิศาสตร์ของการปรับใช้แต่ละครั้งมักจะทำให้การให้การสนับสนุนด้านไอทีในพื้นที่ในแต่ละสถานที่มีค่าใช้จ่ายสูง เพื่อตรวจสอบ บำรุงรักษา และอัปเดตการปรับใช้เหล่านี้

การปรับใช้ Edge AI

IBM พัฒนาสถาปัตยกรรม Edge ที่จัดการกับความท้าทายเหล่านี้โดยนำโมเดลอุปกรณ์ฮาร์ดแวร์/ซอฟต์แวร์ (HW/SW) แบบบูรณาการมาปรับใช้กับ Edge AI ประกอบด้วยกระบวนทัศน์หลักหลายประการที่ช่วยในการปรับขนาดการใช้งาน AI:

• การจัดสรรชุดซอฟต์แวร์แบบเต็มตามนโยบายและไม่ต้องสัมผัส
• การตรวจสอบความสมบูรณ์ของระบบ Edge อย่างต่อเนื่อง
• ความสามารถในการจัดการและผลักดันการอัปเดตซอฟต์แวร์/ความปลอดภัย/การกำหนดค่าไปยังตำแหน่ง Edge จำนวนมาก ทั้งหมดนี้มาจากตำแหน่งบนระบบคลาวด์ส่วนกลางสำหรับการจัดการวันที่ 2

สถาปัตยกรรมฮับและพูดแบบกระจายสามารถใช้เพื่อปรับขนาดการใช้งาน AI ขององค์กรที่ Edge โดยที่คลาวด์ส่วนกลางหรือศูนย์ข้อมูลขององค์กรทำหน้าที่เป็นฮับ และอุปกรณ์ Edge-in-a-box ทำหน้าที่เป็นซี่ที่ตำแหน่ง Edge. โมเดลฮับและซี่ล้อนี้ขยายไปทั่วสภาพแวดล้อมคลาวด์แบบไฮบริดและ Edge แสดงให้เห็นความสมดุลที่จำเป็นในการใช้ทรัพยากรที่จำเป็นสำหรับการดำเนินงาน FM ได้อย่างเหมาะสมที่สุด (ดูรูปที่ 2)

การฝึกอบรมล่วงหน้าสำหรับโมเดลภาษาขนาดใหญ่พื้นฐาน (LLM) และโมเดลพื้นฐานประเภทอื่นๆ โดยใช้เทคนิคที่มีการดูแลตนเองบนชุดข้อมูลขนาดใหญ่ที่ไม่มีป้ายกำกับ มักต้องการทรัพยากรการประมวลผล (GPU) จำนวนมาก และดำเนินการได้ดีที่สุดที่ฮับ ทรัพยากรการประมวลผลที่แทบไม่มีขีดจำกัดและกองข้อมูลขนาดใหญ่ที่มักจัดเก็บไว้ในระบบคลาวด์ช่วยให้สามารถฝึกอบรมโมเดลพารามิเตอร์ขนาดใหญ่ล่วงหน้าได้ และปรับปรุงความแม่นยำของโมเดลพื้นฐานเหล่านี้อย่างต่อเนื่อง

ในทางกลับกัน การปรับ FM ฐานเหล่านี้สำหรับงานดาวน์สตรีม ซึ่งต้องใช้ตัวอย่างข้อมูลที่ติดป้ายกำกับและการให้บริการการอนุมานเพียงไม่กี่สิบหรือหลายร้อยรายการ สามารถทำได้โดยใช้ GPU เพียงไม่กี่ตัวที่ Edge ระดับองค์กร ซึ่งช่วยให้ข้อมูลที่ติดป้ายกำกับละเอียดอ่อน (หรือข้อมูล Crown-Jewel ขององค์กร) ยังคงอยู่ในสภาพแวดล้อมการปฏิบัติงานขององค์กรได้อย่างปลอดภัย ในขณะเดียวกันก็ลดต้นทุนการถ่ายโอนข้อมูลอีกด้วย

ด้วยการใช้วิธีการแบบฟูลสแตกในการปรับใช้แอปพลิเคชันบน Edge นักวิทยาศาสตร์ด้านข้อมูลจึงสามารถดำเนินการปรับแต่ง ทดสอบ และปรับใช้โมเดลอย่างละเอียดได้ ซึ่งสามารถทำได้ในสภาพแวดล้อมเดียวในขณะที่ลดวงจรการพัฒนาเพื่อให้บริการโมเดล AI ใหม่แก่ผู้ใช้ปลายทาง แพลตฟอร์ม เช่น Red Hat OpenShift Data Science (RHODS) และ Red Hat OpenShift AI ที่เพิ่งประกาศไปเมื่อเร็ว ๆ นี้ มอบเครื่องมือในการพัฒนาและปรับใช้โมเดล AI ที่พร้อมสำหรับการผลิตอย่างรวดเร็วใน เมฆกระจาย และสภาพแวดล้อมที่ขอบ

สุดท้ายนี้ การให้บริการโมเดล AI ที่ได้รับการปรับแต่งอย่างละเอียดที่ Edge ขององค์กรจะช่วยลดเวลาแฝงซึ่งมักเกี่ยวข้องกับการได้มา การส่งข้อมูล การแปลง และการประมวลผลข้อมูลได้อย่างมาก การแยกการฝึกอบรมล่วงหน้าในระบบคลาวด์จากการปรับแต่งอย่างละเอียดและการอนุมานบน Edge จะช่วยลดต้นทุนการดำเนินงานโดยรวมโดยการลดเวลาที่ต้องใช้และต้นทุนการเคลื่อนย้ายข้อมูลที่เกี่ยวข้องกับงานการอนุมานใดๆ (ดูรูปที่ 3)

เพื่อแสดงให้เห็นถึงคุณค่าที่นำเสนอแบบ end-to-end นี้ โมเดลพื้นฐานที่อิงวิสัยทัศน์ของหม้อแปลงสำหรับโครงสร้างพื้นฐานทางแพ่ง (ได้รับการฝึกอบรมล่วงหน้าโดยใช้ชุดข้อมูลสาธารณะและเฉพาะอุตสาหกรรมที่กำหนดเอง) ได้รับการปรับแต่งอย่างละเอียดและปรับใช้สำหรับการอนุมานบนขอบสามโหนด (พูด) คลัสเตอร์ ชุดซอฟต์แวร์ประกอบด้วย Red Hat OpenShift Container Platform และ Red Hat OpenShift Data Science คลัสเตอร์ Edge นี้ยังเชื่อมต่อกับอินสแตนซ์ของ Red Hat Advanced Cluster Management สำหรับฮับ Kubernetes (RHACM) ที่ทำงานในระบบคลาวด์

การจัดเตรียมแบบไม่มีการสัมผัส

การจัดเตรียมแบบ Zero-Touch ตามนโยบายเสร็จสิ้นด้วย Red Hat Advanced Cluster Management for Kubernetes (RHACM) ผ่านนโยบายและแท็กตำแหน่ง ซึ่งเชื่อมโยงคลัสเตอร์ Edge เฉพาะกับชุดส่วนประกอบซอฟต์แวร์และการกำหนดค่า ส่วนประกอบซอฟต์แวร์เหล่านี้ซึ่งขยายทั่วทั้งสแตกและครอบคลุมการประมวลผล พื้นที่จัดเก็บ เครือข่าย และเวิร์กโหลด AI ได้รับการติดตั้งโดยใช้ตัวดำเนินการ OpenShift ต่างๆ การจัดเตรียมบริการแอปพลิเคชันที่จำเป็น และ S3 Bucket (พื้นที่เก็บข้อมูล)

โมเดลพื้นฐาน (FM) ที่ได้รับการฝึกอบรมล่วงหน้าสำหรับโครงสร้างพื้นฐานทางแพ่งได้รับการปรับแต่งอย่างละเอียดผ่าน Jupyter Notebook ภายใน Red Hat OpenShift Data Science (RHODS) โดยใช้ข้อมูลที่ติดป้ายกำกับเพื่อจำแนกข้อบกพร่อง XNUMX ประเภทที่พบในสะพานคอนกรีต การให้บริการอนุมานของ FM ที่ได้รับการปรับแต่งนี้ยังแสดงให้เห็นโดยใช้เซิร์ฟเวอร์ Triton นอกจากนี้ การตรวจสอบความสมบูรณ์ของระบบ Edge นี้เกิดขึ้นได้ด้วยการรวมตัววัดความสามารถในการสังเกตจากส่วนประกอบฮาร์ดแวร์และซอฟต์แวร์ผ่าน Prometheus ไปยังแดชบอร์ด RHACM ส่วนกลางในระบบคลาวด์ องค์กรด้านโครงสร้างพื้นฐานทางแพ่งสามารถติดตั้ง FM เหล่านี้ได้ที่ตำแหน่ง Edge ของตน และใช้ภาพถ่ายโดรนเพื่อตรวจจับข้อบกพร่องในแบบเรียลไทม์ ซึ่งช่วยเร่งเวลาในการทำความเข้าใจและลดค่าใช้จ่ายในการย้ายข้อมูลความละเอียดสูงปริมาณมากเข้าและออกจากระบบคลาวด์

สรุป

รวม ไอบีเอ็ม วัตสัน ความสามารถด้านข้อมูลและแพลตฟอร์ม AI สำหรับโมเดลพื้นฐาน (FM) พร้อมด้วยอุปกรณ์ Edge-in-a-Box ช่วยให้องค์กรต่างๆ สามารถรันเวิร์กโหลด AI สำหรับการปรับแต่ง FM อย่างละเอียดและการอนุมานที่ขอบการปฏิบัติงาน อุปกรณ์นี้สามารถจัดการกรณีการใช้งานที่ซับซ้อนได้ทันที และสร้างเฟรมเวิร์กแบบฮับและพูดสำหรับการจัดการแบบรวมศูนย์ ระบบอัตโนมัติ และการบริการตนเอง การใช้งาน Edge FM สามารถลดลงจากสัปดาห์เหลือเพียงไม่กี่ชั่วโมงโดยสามารถทำซ้ำได้ มีความยืดหยุ่นและความปลอดภัยสูงขึ้น

เรียนรู้เพิ่มเติมเกี่ยวกับโมเดลพื้นฐาน

โปรดตรวจสอบงวดทั้งหมดในบล็อกโพสต์ชุดนี้เกี่ยวกับ Edge Computing: