कुबेरनेट्स पर एक बहु-ढांचे वाले गहन शिक्षण मंच को तैनात और उपयोग करें

Description

एक गहन शिक्षण व्यवसायी के रूप में, आप अपने प्रशिक्षण कार्यों को व्यवस्थित करते समय विश्वसनीयता और मापनीयता चाहते हैं। इसके अलावा, आप इसे कई पुस्तकालयों में सुसंगत तरीके से करना चाहेंगे। कुबेरनेट्स पर फैब्रिक फॉर डीप लर्निंग (एफएफडीएल) के साथ, आप उपयोगकर्ताओं को न्यूनतम प्रयास के साथ लचीले तरीके से क्लाउड में कैफ़े, टॉर्च और टेन्सरफ्लो जैसे गहन शिक्षण पुस्तकालयों का लाभ उठाने की क्षमता देकर इसे प्राप्त कर सकते हैं। प्लेटफ़ॉर्म एक वितरण और ऑर्केस्ट्रेशन परत का उपयोग करता है जो कंप्यूट नोड्स में उचित समय में बड़ी मात्रा में डेटा से सीखने की सुविधा प्रदान करता है। एक संसाधन प्रावधान परत एक सेवा (आईएएएस) क्लाउड के रूप में बुनियादी ढांचे में ग्राफिक्स प्रोसेसिंग इकाइयों (जीपीयू) और केंद्रीय प्रसंस्करण इकाइयों (सीपीयू) जैसे विषम संसाधनों पर लचीले नौकरी प्रबंधन को सक्षम बनाती है।

अवलोकन

गहरे तंत्रिका नेटवर्क का प्रशिक्षण, जिसे गहन शिक्षण (मशीन सीखने के तरीकों का हिस्सा) के रूप में जाना जाता है, अत्यधिक जटिल और कम्प्यूटेशनल रूप से गहन है। गहन शिक्षण का एक विशिष्ट उपयोगकर्ता अनावश्यक रूप से अंतर्निहित हार्डवेयर और सॉफ्टवेयर बुनियादी ढांचे के विवरण से अवगत कराया जाता है, जिसमें महंगी जीपीयू मशीनों को कॉन्फ़िगर करना, गहन शिक्षण पुस्तकालयों को स्थापित करना और विफलताओं और पुनर्प्राप्ति को संभालने के लिए निष्पादन के दौरान नौकरियों का प्रबंधन करना शामिल है। IaaS क्लाउड से हार्डवेयर प्राप्त करने और घंटे के हिसाब से भुगतान करने में आसानी के बावजूद, उपयोगकर्ता को अभी भी उन मशीनों को प्रबंधित करने, आवश्यक लाइब्रेरी स्थापित करने और गहन शिक्षण प्रशिक्षण नौकरियों की लचीलापन सुनिश्चित करने की आवश्यकता है।

यहीं पर सेवा के रूप में गहन सीखने का अवसर निहित है। इस कोड पैटर्न में, हम आपको दिखाते हैं कि कुबेरनेट्स पर गहन शिक्षण फैब्रिक को कैसे तैनात किया जाए। कुबेरनेट्स, माइक्रोसर्विसेज, हेल्म चार्ट और ऑब्जेक्ट स्टोरेज जैसे क्लाउड देशी वास्तुशिल्प कलाकृतियों का उपयोग करके, हम आपको दिखाते हैं कि गहन शिक्षण फैब्रिक को कैसे तैनात और उपयोग किया जाए। यह फैब्रिक TensorFlow, Caffe और PyTorch जैसे कई गहन शिक्षण इंजनों तक फैला हुआ है। यह गहन शिक्षण की शक्ति के साथ क्लाउड सेवा के लचीलेपन, उपयोग में आसानी और अर्थव्यवस्था को जोड़ती है। आपको इसका उपयोग करना आसान लगेगा और REST API का उपयोग करके, आप उपयोगकर्ता की आवश्यकताओं या बजट के अनुसार विभिन्न संसाधनों के साथ प्रशिक्षण को अनुकूलित कर सकते हैं। उपयोगकर्ताओं को दोषों पर ध्यान केंद्रित करने के बजाय गहन शिक्षण और अनुप्रयोगों पर ध्यान केंद्रित करने की अनुमति दें।

फ्लो

1. एफएफडीएल परिनियोजनकर्ता एफएफडीएल कोड बेस को कुबेरनेट्स क्लस्टर में तैनात करता है। कुबेरनेट्स क्लस्टर को प्रयुक्त जीपीयू, सीपीयू या दोनों के लिए कॉन्फ़िगर किया गया है, और इसमें एस 3-संगत ऑब्जेक्ट स्टोरेज तक पहुंच है। यदि निर्दिष्ट नहीं है, तो एक स्थानीय रूप से सिम्युलेटेड S3 पॉड बनाया जाता है।
2. एक बार तैनात होने के बाद, डेटा वैज्ञानिक मॉडल प्रशिक्षण डेटा को S3-संगत ऑब्जेक्ट स्टोर पर अपलोड करता है। एफएफडीएल मानता है कि डेटा पहले से ही विभिन्न गहन शिक्षण ढांचे द्वारा निर्धारित आवश्यक प्रारूप में है।
3. उपयोगकर्ता एक FfDL मॉडल मेनिफेस्ट फ़ाइल बनाता है। मेनिफेस्ट फ़ाइल में विभिन्न फ़ील्ड शामिल हैं जो एफएफडीएल में मॉडल, इसकी ऑब्जेक्ट स्टोर जानकारी, इसकी संसाधन आवश्यकताओं और कई तर्क (हाइपरपैरामीटर सहित) का वर्णन करते हैं जो प्रशिक्षण और परीक्षण के दौरान मॉडल निष्पादन के लिए आवश्यक हैं। इसके बाद उपयोगकर्ता मॉडल परिभाषा फ़ाइल के साथ एफएफडीएल मॉडल मेनिफेस्ट फ़ाइल को तैनात करने के लिए सीएलआई/एसडीके या यूआई का उपयोग करके एफएफडीएल के साथ इंटरैक्ट करता है। उपयोगकर्ता प्रशिक्षण कार्य शुरू करता है और उसकी प्रगति की निगरानी करता है।
4. प्रशिक्षण कार्य पूरा होने के बाद उपयोगकर्ता प्रशिक्षित मॉडल और संबंधित लॉग डाउनलोड करता है।

अनुदेश

README में इस पैटर्न के लिए विस्तृत चरण खोजें। चरण आपको दिखाएंगे कि कैसे:

1. संकलित करें और कोड करें और डॉकर छवियां बनाएं।
2. हेल्म इंस्टाल के साथ एफएफडीएल घटकों को स्थापित करें।
3. एफएफडीएल की निगरानी के लिए ग्राफाना को कॉन्फ़िगर करने के लिए एक स्क्रिप्ट चलाएँ।
4. अपना ग्राफाना, एफएफडीएल वेब यूआई और एफएफडीएल रेस्ट एपीआई एंडपॉइंट प्राप्त करें।
5. TensorFlow और Caffe का उपयोग करके कन्वेन्शनल नेटवर्क मॉडल को प्रशिक्षित करने के लिए कुछ सरल कार्य चलाएँ।

स्रोत: https://developer.ibm.com/patterns/deploy-and-use-a-multi-framework-dep-learning-platform-on-kubernetes/