किनारे पर मूलभूत मॉडल - आईबीएम ब्लॉग

मूलभूत मॉडल (एफएम) में एक नए युग की शुरुआत का प्रतीक हैं मशीन लर्निंग (एमएल) और कृत्रिम बुद्धिमत्ता (AI), जो एआई के तेजी से विकास की ओर ले जा रहा है जिसे डाउनस्ट्रीम कार्यों की एक विस्तृत श्रृंखला के लिए अनुकूलित किया जा सकता है और अनुप्रयोगों की एक श्रृंखला के लिए ठीक किया जा सकता है। 

जहां काम किया जा रहा है वहां डेटा प्रोसेसिंग के बढ़ते महत्व के साथ, एंटरप्राइज़ एज पर एआई मॉडल की सेवा डेटा संप्रभुता और गोपनीयता आवश्यकताओं का पालन करते हुए, वास्तविक समय की भविष्यवाणियों को सक्षम बनाती है। को मिलाकर आईबीएम वाटसनएक्स एज कंप्यूटिंग के साथ एफएम के लिए डेटा और एआई प्लेटफॉर्म क्षमताएं, उद्यम परिचालन किनारे पर एफएम फाइन-ट्यूनिंग और अनुमान के लिए एआई वर्कलोड चला सकते हैं। यह उद्यमों को किनारे पर एआई तैनाती को स्केल करने में सक्षम बनाता है, जिससे तेजी से प्रतिक्रिया समय के साथ तैनाती के लिए समय और लागत कम हो जाती है।

कृपया एज कंप्यूटिंग पर ब्लॉग पोस्ट की इस श्रृंखला की सभी किश्तों को अवश्य देखें:

मूलभूत मॉडल क्या हैं?

फाउंडेशनल मॉडल (एफएम), जिन्हें बड़े पैमाने पर बिना लेबल वाले डेटा के व्यापक सेट पर प्रशिक्षित किया जाता है, अत्याधुनिक कृत्रिम बुद्धिमत्ता (एआई) अनुप्रयोगों को चला रहे हैं। उन्हें डाउनस्ट्रीम कार्यों की एक विस्तृत श्रृंखला के लिए अनुकूलित किया जा सकता है और अनुप्रयोगों की एक श्रृंखला के लिए ठीक किया जा सकता है। आधुनिक एआई मॉडल, जो एक ही डोमेन में विशिष्ट कार्यों को निष्पादित करते हैं, एफएम को रास्ता दे रहे हैं क्योंकि वे अधिक सामान्यतः सीखते हैं और डोमेन और समस्याओं पर काम करते हैं। जैसा कि नाम से पता चलता है, एक एफएम एआई मॉडल के कई अनुप्रयोगों की नींव हो सकता है।

एफएम दो प्रमुख चुनौतियों का समाधान करते हैं जिन्होंने उद्यमों को एआई अपनाने से रोक रखा है। सबसे पहले, उद्यम बड़ी मात्रा में बिना लेबल वाले डेटा का उत्पादन करते हैं, जिसका केवल एक अंश एआई मॉडल प्रशिक्षण के लिए लेबल किया जाता है। दूसरा, यह लेबलिंग और एनोटेशन कार्य अत्यंत मानव-गहन है, जिसके लिए अक्सर विषय वस्तु विशेषज्ञ (एसएमई) के कई सैकड़ों घंटों के समय की आवश्यकता होती है। इससे उपयोग के मामलों में बड़े पैमाने पर लागत-निषेधात्मक हो जाता है क्योंकि इसके लिए एसएमई और डेटा विशेषज्ञों की सेनाओं की आवश्यकता होगी। भारी मात्रा में बिना लेबल वाले डेटा को ग्रहण करके और मॉडल प्रशिक्षण के लिए स्व-पर्यवेक्षित तकनीकों का उपयोग करके, एफएम ने इन बाधाओं को दूर कर दिया है और पूरे उद्यम में एआई को व्यापक पैमाने पर अपनाने का रास्ता खोल दिया है। प्रत्येक व्यवसाय में मौजूद भारी मात्रा में डेटा अंतर्दृष्टि बढ़ाने के लिए सामने आने की प्रतीक्षा कर रहा है।

बड़े भाषा मॉडल क्या हैं?

बड़े भाषा मॉडल (एलएलएम) मूलभूत मॉडल (एफएम) का एक वर्ग है जिसमें परतें शामिल होती हैं तंत्रिका जाल जिन्हें इन भारी मात्रा में बिना लेबल वाले डेटा पर प्रशिक्षित किया गया है। वे विभिन्न प्रकार के प्रदर्शन करने के लिए स्व-पर्यवेक्षित शिक्षण एल्गोरिदम का उपयोग करते हैं प्राकृतिक भाषा प्रसंस्करण (एनएलपी) ऐसे तरीकों से कार्य करना जो मनुष्य द्वारा भाषा का उपयोग करने के तरीके के समान हों (चित्र 1 देखें)।

एआई के प्रभाव को मापें और तेज़ करें

मूलभूत मॉडल (एफएम) के निर्माण और तैनाती के कई चरण हैं। इनमें डेटा अंतर्ग्रहण, डेटा चयन, डेटा प्री-प्रोसेसिंग, एफएम प्री-ट्रेनिंग, एक या अधिक डाउनस्ट्रीम कार्यों के लिए मॉडल ट्यूनिंग, अनुमान सेवा, और डेटा और एआई मॉडल गवर्नेंस और जीवनचक्र प्रबंधन शामिल हैं - जिनमें से सभी को इस प्रकार वर्णित किया जा सकता है एफएमओपीएस.

इस सब में मदद करने के लिए, आईबीएम उद्यमों को इन एफएम की शक्ति का लाभ उठाने के लिए आवश्यक उपकरण और क्षमताएं प्रदान कर रहा है आईबीएम वाटसनएक्स, एक उद्यम-तैयार एआई और डेटा प्लेटफ़ॉर्म जिसे पूरे उद्यम में एआई के प्रभाव को बढ़ाने के लिए डिज़ाइन किया गया है। IBM watsonx में निम्नलिखित शामिल हैं:

1. आईबीएम watsonx.ai नया लाता है जनरेटिव ए.आई. एफएम और पारंपरिक मशीन लर्निंग (एमएल) द्वारा संचालित क्षमताएं - एआई जीवनचक्र को फैलाने वाले एक शक्तिशाली स्टूडियो में।
2. आईबीएम वाट्सनएक्स.डेटा कहीं भी, आपके सभी डेटा के लिए एआई वर्कलोड को स्केल करने के लिए एक ओपन लेकहाउस आर्किटेक्चर पर बनाया गया एक उपयुक्त डेटा स्टोर है।
3. आईबीएम वाटसनएक्स.गवर्नेंस एक एंड-टू-एंड स्वचालित एआई जीवनचक्र शासन टूलकिट है जो जिम्मेदार, पारदर्शी और समझाने योग्य एआई वर्कफ़्लो को सक्षम करने के लिए बनाया गया है।

एक अन्य प्रमुख वेक्टर एंटरप्राइज़ एज पर कंप्यूटिंग का बढ़ता महत्व है, जैसे औद्योगिक स्थान, विनिर्माण फ़्लोर, रिटेल स्टोर, टेल्को एज साइट्स इत्यादि। अधिक विशेष रूप से, एंटरप्राइज़ एज पर एआई डेटा के प्रसंस्करण को सक्षम बनाता है जहां काम किया जा रहा है। वास्तविक समय विश्लेषण के निकट। एंटरप्राइज एज वह जगह है जहां बड़ी मात्रा में एंटरप्राइज डेटा उत्पन्न किया जा रहा है और जहां एआई मूल्यवान, समय पर और कार्रवाई योग्य व्यावसायिक अंतर्दृष्टि प्रदान कर सकता है।

एआई मॉडल को किनारे पर पेश करना डेटा संप्रभुता और गोपनीयता आवश्यकताओं का पालन करते हुए वास्तविक समय की भविष्यवाणियों को सक्षम बनाता है। यह अक्सर निरीक्षण डेटा के अधिग्रहण, संचरण, परिवर्तन और प्रसंस्करण से जुड़ी विलंबता को काफी कम कर देता है। किनारे पर काम करने से हमें संवेदनशील उद्यम डेटा को सुरक्षित रखने और तेज़ प्रतिक्रिया समय के साथ डेटा स्थानांतरण लागत को कम करने की अनुमति मिलती है।

हालाँकि, डेटा (विषमता, मात्रा और नियामक) और सीमित संसाधनों (गणना, नेटवर्क कनेक्टिविटी, भंडारण और यहां तक ​​​​कि आईटी कौशल) से संबंधित चुनौतियों के बीच एआई तैनाती को बढ़ाना एक आसान काम नहीं है। इन्हें मोटे तौर पर दो श्रेणियों में वर्णित किया जा सकता है:

• तैनात करने का समय/लागत: प्रत्येक परिनियोजन में हार्डवेयर और सॉफ़्टवेयर की कई परतें होती हैं जिन्हें परिनियोजन से पहले स्थापित, कॉन्फ़िगर और परीक्षण करने की आवश्यकता होती है। आज, किसी सेवा पेशेवर को स्थापना में एक या दो सप्ताह तक का समय लग सकता है प्रत्येक स्थान पर, यह गंभीर रूप से सीमित कर रहा है कि उद्यम कितनी तेजी से और लागत प्रभावी ढंग से अपने संगठन में तैनाती बढ़ा सकते हैं।                                  
• दिन-2 प्रबंधन: तैनात किनारों की विशाल संख्या और प्रत्येक तैनाती की भौगोलिक स्थिति अक्सर इन तैनाती की निगरानी, ​​​​रखरखाव और अद्यतन करने के लिए प्रत्येक स्थान पर स्थानीय आईटी सहायता प्रदान करना बेहद महंगा बना सकती है।

एज एआई परिनियोजन

आईबीएम ने एक एज आर्किटेक्चर विकसित किया है जो एआई तैनाती को बढ़ाने के लिए एक एकीकृत हार्डवेयर/सॉफ्टवेयर (एचडब्ल्यू/एसडब्ल्यू) उपकरण मॉडल लाकर इन चुनौतियों का समाधान करता है। इसमें कई प्रमुख प्रतिमान शामिल हैं जो एआई तैनाती की मापनीयता में सहायता करते हैं:

• संपूर्ण सॉफ़्टवेयर स्टैक का नीति-आधारित, शून्य-स्पर्श प्रावधान।
• एज सिस्टम स्वास्थ्य की निरंतर निगरानी
• सॉफ्टवेयर/सुरक्षा/कॉन्फिगरेशन अपडेट को कई किनारे वाले स्थानों पर प्रबंधित करने और पुश करने की क्षमता - सभी दूसरे दिन के प्रबंधन के लिए एक केंद्रीय क्लाउड-आधारित स्थान से।

एक वितरित हब-एंड-स्पोक आर्किटेक्चर का उपयोग किनारे पर एंटरप्राइज़ एआई तैनाती को स्केल करने के लिए किया जा सकता है, जिसमें एक केंद्रीय क्लाउड या एंटरप्राइज़ डेटा सेंटर एक हब के रूप में कार्य करता है और एज-इन-द-बॉक्स उपकरण किनारे के स्थान पर एक स्पोक के रूप में कार्य करता है।. यह हब और स्पोक मॉडल, हाइब्रिड क्लाउड और एज वातावरणों में फैला हुआ, एफएम संचालन के लिए आवश्यक संसाधनों के इष्टतम उपयोग के लिए आवश्यक संतुलन को सबसे अच्छा दिखाता है (चित्र 2 देखें)।

इन आधार बड़े भाषा मॉडल (एलएलएम) और अन्य प्रकार के फाउंडेशन मॉडल के पूर्व-प्रशिक्षण के लिए विशाल गैर-लेबल डेटासेट पर स्व-पर्यवेक्षित तकनीकों का उपयोग करने के लिए अक्सर महत्वपूर्ण गणना (जीपीयू) संसाधनों की आवश्यकता होती है और यह एक हब पर सबसे अच्छा प्रदर्शन किया जाता है। वस्तुतः असीमित गणना संसाधन और बड़े डेटा ढेर जो अक्सर क्लाउड में संग्रहीत होते हैं, बड़े पैरामीटर मॉडल के पूर्व-प्रशिक्षण और इन बेस फाउंडेशन मॉडल की सटीकता में निरंतर सुधार की अनुमति देते हैं।

दूसरी ओर, डाउनस्ट्रीम कार्यों के लिए इन बेस एफएम की ट्यूनिंग - जिसके लिए केवल कुछ दसियों या सैकड़ों लेबल किए गए डेटा नमूनों और अनुमान सेवा की आवश्यकता होती है - एंटरप्राइज़ किनारे पर केवल कुछ जीपीयू के साथ पूरा किया जा सकता है। यह संवेदनशील लेबल वाले डेटा (या एंटरप्राइज़ क्राउन-ज्वेल डेटा) को एंटरप्राइज़ परिचालन वातावरण में सुरक्षित रूप से रहने की अनुमति देता है जबकि डेटा ट्रांसफर लागत को भी कम करता है।

अनुप्रयोगों को किनारे पर तैनात करने के लिए पूर्ण-स्टैक दृष्टिकोण का उपयोग करके, एक डेटा वैज्ञानिक मॉडलों की फाइन-ट्यूनिंग, परीक्षण और तैनाती कर सकता है। अंतिम उपयोगकर्ताओं को नए एआई मॉडल पेश करने के लिए विकास जीवनचक्र को छोटा करते हुए इसे एक ही वातावरण में पूरा किया जा सकता है। रेड हैट ओपनशिफ्ट डेटा साइंस (आरएचओडीएस) और हाल ही में घोषित रेड हैट ओपनशिफ्ट एआई जैसे प्लेटफॉर्म उत्पादन-तैयार एआई मॉडल को तेजी से विकसित करने और तैनात करने के लिए उपकरण प्रदान करते हैं। वितरित बादल और किनारे का वातावरण।

अंत में, एंटरप्राइज़ एज पर फाइन-ट्यून किए गए एआई मॉडल की सेवा से अक्सर डेटा के अधिग्रहण, ट्रांसमिशन, परिवर्तन और प्रसंस्करण से जुड़ी विलंबता कम हो जाती है। क्लाउड में प्री-ट्रेनिंग को फ़ाइन-ट्यूनिंग और किनारे पर अनुमान लगाने से अलग करने से किसी भी अनुमान कार्य से जुड़े आवश्यक समय और डेटा मूवमेंट लागत को कम करके समग्र परिचालन लागत कम हो जाती है (चित्र 3 देखें)।

इस मूल्य प्रस्ताव को शुरू से अंत तक प्रदर्शित करने के लिए, नागरिक बुनियादी ढांचे के लिए एक अनुकरणीय दृष्टि-ट्रांसफार्मर-आधारित फाउंडेशन मॉडल (सार्वजनिक और कस्टम उद्योग-विशिष्ट डेटासेट का उपयोग करके पूर्व-प्रशिक्षित) को तीन-नोड किनारे पर अनुमान के लिए ठीक से तैयार और तैनात किया गया था। (बोला) क्लस्टर। सॉफ़्टवेयर स्टैक में Red Hat OpenShift कंटेनर प्लेटफ़ॉर्म और Red Hat OpenShift डेटा साइंस शामिल थे। यह एज क्लस्टर क्लाउड में चल रहे कुबेरनेट्स (आरएचएसीएम) हब के लिए रेड हैट एडवांस्ड क्लस्टर मैनेजमेंट के एक उदाहरण से भी जुड़ा था।

जीरो-टच प्रोविजनिंग

नीतियों और प्लेसमेंट टैग के माध्यम से कुबेरनेट्स (आरएचएसीएम) के लिए रेड हैट एडवांस्ड क्लस्टर मैनेजमेंट के साथ नीति-आधारित, शून्य-स्पर्श प्रावधान किया गया था, जो विशिष्ट एज क्लस्टर को सॉफ्टवेयर घटकों और कॉन्फ़िगरेशन के एक सेट से बांधता है। ये सॉफ़्टवेयर घटक - पूरे स्टैक में विस्तारित और कंप्यूट, स्टोरेज, नेटवर्क और एआई वर्कलोड को कवर करते हुए - विभिन्न ओपनशिफ्ट ऑपरेटरों, आवश्यक एप्लिकेशन सेवाओं के प्रावधान और एस 3 बकेट (स्टोरेज) का उपयोग करके स्थापित किए गए थे।

नागरिक बुनियादी ढांचे के लिए पूर्व-प्रशिक्षित फाउंडेशनल मॉडल (एफएम) को कंक्रीट पुलों पर पाए जाने वाले छह प्रकार के दोषों को वर्गीकृत करने के लिए लेबल किए गए डेटा का उपयोग करके रेड हैट ओपनशिफ्ट डेटा साइंस (आरएचओडीएस) के भीतर ज्यूपिटर नोटबुक के माध्यम से ठीक किया गया था। ट्राइटन सर्वर का उपयोग करके इस सुव्यवस्थित एफएम की अनुमानित सेवा का भी प्रदर्शन किया गया। इसके अलावा, इस एज सिस्टम के स्वास्थ्य की निगरानी को प्रोमेथियस के माध्यम से क्लाउड में केंद्रीय आरएचएसीएम डैशबोर्ड तक हार्डवेयर और सॉफ्टवेयर घटकों से अवलोकन मेट्रिक्स को एकत्रित करके संभव बनाया गया था। नागरिक अवसंरचना उद्यम इन एफएम को अपने किनारे के स्थानों पर तैनात कर सकते हैं और वास्तविक समय में दोषों का पता लगाने के लिए ड्रोन इमेजरी का उपयोग कर सकते हैं - समय-से-अंतर्दृष्टि में तेजी ला सकते हैं और क्लाउड से और उच्च-परिभाषा डेटा की बड़ी मात्रा में ले जाने की लागत को कम कर सकते हैं।

सारांश

का मेल आईबीएम वाटसनएक्स एज-इन-द-बॉक्स उपकरण के साथ फाउंडेशन मॉडल (एफएम) के लिए डेटा और एआई प्लेटफॉर्म क्षमताएं उद्यमों को एफएम फाइन-ट्यूनिंग और परिचालन किनारे पर अनुमान लगाने के लिए एआई वर्कलोड चलाने की अनुमति देती हैं। यह उपकरण जटिल उपयोग के मामलों को बॉक्स से बाहर संभाल सकता है, और यह केंद्रीकृत प्रबंधन, स्वचालन और स्वयं-सेवा के लिए हब-एंड-स्पोक ढांचे का निर्माण करता है। दोहराई जा सकने वाली सफलता, उच्च लचीलेपन और सुरक्षा के साथ एज एफएम की तैनाती को हफ्तों से घटाकर घंटों तक किया जा सकता है।

मूलभूत मॉडलों के बारे में और जानें

कृपया एज कंप्यूटिंग पर ब्लॉग पोस्ट की इस श्रृंखला की सभी किश्तों को अवश्य देखें: