मशीन लर्निंग मॉडल शक्तिशाली उपकरण हैं जो व्यवसायों को अधिक सूचित निर्णय लेने और उनके संचालन को अनुकूलित करने में मदद कर सकते हैं। हालाँकि, जैसे ही ये मॉडल तैनात किए जाते हैं और उत्पादन में चलाए जाते हैं, वे मॉडल बहाव के रूप में जानी जाने वाली घटना के अधीन होते हैं।
मॉडल बहाव तब होता है जब अंतर्निहित डेटा में परिवर्तन के कारण मशीन लर्निंग मॉडल का प्रदर्शन समय के साथ खराब हो जाता है, जिससे गलत भविष्यवाणियां होती हैं और व्यवसाय के लिए संभावित रूप से महत्वपूर्ण परिणाम होते हैं। इस चुनौती से निपटने के लिए, संगठन एमएलओपीएस की ओर रुख कर रहे हैं, जो प्रथाओं और उपकरणों का एक सेट है जो उत्पादन मशीन सीखने के जीवनचक्र को प्रबंधित करने में मदद करता है।
In this article, we’ll explore model drift, the different types of it, how to detect it, and most importantly, how to handle it in production using MLOps. By understanding and managing model drift, businesses can ensure that their machine learning models remain accurate and effective over time, delivering the insights and outcomes that they need to thrive.
द्वारा फोटो निकोलस पेरोल on Unsplash
मॉडल बहाव, जिसे मॉडल क्षय के रूप में भी जाना जाता है, मशीन लर्निंग में एक घटना है जिसमें समय के साथ मॉडल का प्रदर्शन कम हो जाता है। इसका मतलब यह है कि मॉडल धीरे-धीरे खराब भविष्यवाणियां देना शुरू कर देगा जिससे समय के साथ सटीकता कम हो जाएगी।
मॉडल में बदलाव के अलग-अलग कारण हैं जैसे डेटा संग्रह में बदलाव या चर के बीच अंतर्निहित संबंध। इसलिए मॉडल इन परिवर्तनों को पकड़ने में विफल रहेगा और परिवर्तन बढ़ने पर प्रदर्शन कम हो जाएगा।
मॉडल ड्रिफ्ट का पता लगाना और उसका समाधान करना एमएलओपीएस द्वारा हल किए जाने वाले आवश्यक कार्यों में से एक है। मॉडल मॉनिटरिंग जैसी तकनीकों का उपयोग मॉडल बहाव की उपस्थिति का पता लगाने के लिए किया जाता है और मॉडल पुनर्प्रशिक्षण मॉडल बहाव पर काबू पाने के लिए उपयोग की जाने वाली मुख्य तकनीकों में से एक है।
डेटा में हुए परिवर्तनों के आधार पर मॉडल को अद्यतन करने के लिए मॉडल बहाव के प्रकार को समझना आवश्यक है। बहाव के तीन मुख्य प्रकार हैं:
अवधारणा बहाव
अवधारणा विचलन तब होता है जब लक्ष्य और इनपुट के बीच संबंध बदलता है। इसलिए मशीन लर्निंग एल्गोरिदम सटीक भविष्यवाणी प्रदान नहीं करेगा। अवधारणा बहाव के चार मुख्य प्रकार हैं:
- अचानक बहाव: अचानक अवधारणा विचलन तब होता है जब स्वतंत्र और आश्रित चर के बीच संबंध अचानक होता है। इसका एक बहुत प्रसिद्ध उदाहरण है, अचानक से सामने आई कोविड-19 महामारी। महामारी की घटना ने विभिन्न क्षेत्रों में लक्ष्य चर और सुविधाओं के बीच संबंध को अचानक बदल दिया है, इसलिए पूर्व-प्रशिक्षित डेटा पर प्रशिक्षित एक पूर्वानुमानित मॉडल महामारी के समय के दौरान सटीक भविष्यवाणी करने में सक्षम नहीं होगा।
- क्रमिक बहाव: In a gradual concept drift, the relation between the input and the target may change slowly and subtly. This can result in a slow decline in the performance of a machine learning model, as the model becomes less accurate over time. An example of the gradual concept drift is fraudulent behavior. Fraudsters tend to understand how the fraud detection system works and change their behavior over time to escape the system. Therefore a machine learning model trained on historical fraudulent transaction data will not accurately predict the gradual changes in the fraudster’s behavior. For example, consider a machine learning model used for predicting stock prices in which the model is trained on data from the past five years and its performance is evaluated on new data from the current year. However, as time goes by, the market dynamics may change, and the relationship between the variables that influence stock prices may evolve gradually. This can result in incremental drift, where the model’s accuracy gradually deteriorates over time as it becomes less effective at capturing the changing relationship between the variables.
- वृद्धिशील बहाव: वृद्धिशील बहाव तब होता है जब लक्ष्य चर और इनपुट के बीच संबंध समय के साथ धीरे-धीरे बदलता है जो आमतौर पर डेटा जनरेटिंग प्रक्रिया में बदलाव के कारण होता है।
- आवर्ती बहाव: इसे मौसमी भी कहा जाता है। एक विशिष्ट उदाहरण क्रिसमस या ब्लैक फ्राइडे के दौरान बिक्री में वृद्धि है। एक मशीन लर्निंग मॉडल जो इन मौसमी परिवर्तनों को ध्यान में नहीं रखेगा, अंततः इन मौसमी परिवर्तनों के लिए गलत भविष्यवाणियाँ प्रदान करेगा।
इन चार प्रकार की अवधारणा बहाव को नीचे दिए गए चित्र में दिखाया गया है।
अवधारणा बहाव के प्रकार | छवि से अवधारणा बहाव के तहत सीखना: एक समीक्षा.
डेटा बहाव
डेटा बहाव तब होता है जब इनपुट डेटा के सांख्यिकीय गुण बदल जाते हैं। इसका एक उदाहरण समय के साथ एक निश्चित एप्लिकेशन के उपयोगकर्ता के आयु वितरण में परिवर्तन है, इसलिए एक विशिष्ट आयु वितरण पर प्रशिक्षित मॉडल जिसका उपयोग विपणन रणनीतियों के लिए किया जाता है, को बदलना होगा क्योंकि आयु में परिवर्तन प्रभावित करेगा मार्केटिंग स्ट्रेटेजीज।
अपस्ट्रीम डेटा परिवर्तन
तीसरे प्रकार का बहाव अपस्ट्रीम डेटा परिवर्तन है। यह डेटा पाइपलाइन में परिचालन डेटा परिवर्तनों को संदर्भित करता है। इसका एक विशिष्ट उदाहरण तब होता है जब कोई विशिष्ट सुविधा उत्पन्न नहीं होती जिसके परिणामस्वरूप मान गायब हो जाता है। एक अन्य उदाहरण माप की इकाई में बदलाव है, उदाहरण के लिए यदि एक निश्चित सेंसर सेल्सियस में मात्रा मापता है और फिर फ़ारेनहाइट में बदल जाता है।
मॉडल ड्रिफ्ट का पता लगाना आसान नहीं है और इसका पता लगाने के लिए कोई सार्वभौमिक तरीका नहीं है। हालाँकि, हम इसका पता लगाने के कुछ लोकप्रिय तरीकों पर चर्चा करेंगे:
- कोलमोगोरोव-स्मिरनोव परीक्षण (केएस परीक्षण): केएस परीक्षण डेटा वितरण में परिवर्तन का पता लगाने के लिए एक गैर-पैरामीट्रिक परीक्षण है। इसका उपयोग प्रशिक्षण डेटा और प्रशिक्षण के बाद के डेटा की तुलना करने और उनके बीच वितरण परिवर्तनों का पता लगाने के लिए किया जाता है। इस परीक्षण सेट के लिए शून्य परिकल्पना बताती है कि दो डेटासेट से वितरण समान है, इसलिए यदि शून्य परिकल्पना खारिज कर दी जाती है, तो एक मॉडल बदलाव होगा।
- जनसंख्या स्थिरता सूचकांक (PSI): पीएसआई एक सांख्यिकीय माप है जिसका उपयोग दो अलग-अलग डेटासेट में श्रेणीबद्ध चर के वितरण में समानता को मापने के लिए किया जाता है। इसलिए इसका उपयोग प्रशिक्षण और प्रशिक्षण के बाद डेटासेट में श्रेणीबद्ध चर की विशेषताओं में परिवर्तन को मापने के लिए किया जा सकता है।
- पेज-हिंकले विधि: पेज-हिंकली भी एक सांख्यिकीय पद्धति है जिसका उपयोग समय के साथ डेटा के माध्य में परिवर्तन का निरीक्षण करने के लिए किया जाता है। इसका उपयोग आमतौर पर माध्य में छोटे बदलावों का पता लगाने के लिए किया जाता है जो डेटा को देखते समय स्पष्ट नहीं होते हैं।
- निष्पादन की निगरानी: अवधारणा बदलाव का पता लगाने के लिए सबसे महत्वपूर्ण तरीकों में से एक उत्पादन में मशीन लर्निंग मॉडल के प्रदर्शन की निगरानी करना और उसके परिवर्तन का निरीक्षण करना है और यदि यह एक निश्चित सीमा को पार करता है तो हम इस अवधारणा बदलाव को ठीक करने के लिए एक निश्चित कार्रवाई शुरू कर सकते हैं।
उत्पादन में बहाव को संभालना | द्वारा छवि ijeab फ़्रीपिक पर.
Finally, let’s see how to handle the detected model drift in production. There is a wide spectrum of strategies used to handle the model drift depending on the type of drift, the data we are working on, and the project in production. Here is a summary of the popular methods that are used to handle model drift in production:
- ऑनलाइन सीखने: चूंकि अधिकांश वास्तविक दुनिया के एप्लिकेशन स्ट्रीमिंग डेटा पर चलते हैं, इसलिए ऑनलाइन सीखना उन सामान्य तरीकों में से एक है जिसका उपयोग बहाव को संभालने के लिए किया जाता है। ऑनलाइन शिक्षण में मॉडल को तुरंत अपडेट किया जाता है क्योंकि मॉडल एक समय में एक नमूने से निपटता है।
- समय-समय पर मॉडल पुनः प्रशिक्षण: एक बार जब मॉडल का प्रदर्शन एक निश्चित सीमा से नीचे आ जाता है या डेटा में बदलाव देखा जाता है तो हाल के डेटा के साथ मॉडल को फिर से प्रशिक्षित करने के लिए एक ट्रिगर सेट किया जा सकता है।
- समय-समय पर एक प्रतिनिधि उपनमूना पर पुनः प्रशिक्षण लें: अवधारणा विचलन को संभालने का एक अधिक प्रभावी तरीका जनसंख्या के एक प्रतिनिधि उप-नमूने का चयन करना और मानव विशेषज्ञों का उपयोग करके उन्हें लेबल करना और उन पर मॉडल को फिर से प्रशिक्षित करना है।
- फ़ीचर ड्रॉपिंग: यह एक सरल लेकिन प्रभावी तरीका है जिसका उपयोग अवधारणा बहाव को संभालने के लिए किया जा सकता है। इस पद्धति का उपयोग करके हम एक सुविधा का उपयोग करके कई मॉडलों को प्रशिक्षित करेंगे और प्रत्येक मॉडल के लिए, एयूसी-आरओसी प्रतिक्रिया की निगरानी की जाएगी, और यदि एयूसी-आरओसी का मूल्य किसी विशेष सुविधा का उपयोग करके एक निश्चित सीमा से अधिक हो जाता है तो हम इसे छोड़ सकते हैं यह बहाव में भाग ले सकता है।
संदर्भ
इस लेख में, हमने मॉडल ड्रिफ्ट पर चर्चा की, जो मशीन लर्निंग की घटना है जहां अंतर्निहित डेटा में बदलाव के कारण समय के साथ मॉडल का प्रदर्शन खराब हो जाता है। व्यवसाय इन चुनौतियों से पार पाने के लिए एमएलओपीएस की ओर रुख कर रहे हैं, जो प्रथाओं और उपकरणों का एक सेट है जो उत्पादन में मशीन लर्निंग मॉडल के जीवनचक्र का प्रबंधन करता है।
हमने विभिन्न प्रकार के बहाव की रूपरेखा तैयार की है, जिसमें अवधारणा बहाव, डेटा बहाव और अपस्ट्रीम डेटा परिवर्तन शामिल हैं, और कोलमोगोरोव-स्मिरनोव परीक्षण, जनसंख्या स्थिरता सूचकांक और पेज-हिंकले विधि जैसे तरीकों का उपयोग करके मॉडल बहाव का पता कैसे लगाया जाए। अंत में, हमने उत्पादन में मॉडल बहाव को संभालने के लिए लोकप्रिय तकनीकों पर चर्चा की, जिसमें ऑनलाइन शिक्षण, आवधिक मॉडल पुन: प्रशिक्षण, प्रतिनिधि उप-नमूने पर समय-समय पर पुन: प्रशिक्षण और फीचर ड्रॉपिंग शामिल हैं।
युसूफ राफात एक कंप्यूटर विजन रिसर्चर और डेटा साइंटिस्ट हैं। उनका शोध हेल्थकेयर अनुप्रयोगों के लिए रीयल-टाइम कंप्यूटर विज़न एल्गोरिदम विकसित करने पर केंद्रित है। उन्होंने मार्केटिंग, फाइनेंस और हेल्थकेयर डोमेन में 3 साल से अधिक समय तक डेटा साइंटिस्ट के रूप में भी काम किया।
- एसईओ संचालित सामग्री और पीआर वितरण। आज ही प्रवर्धित हो जाओ।
- प्लेटोआईस्ट्रीम। Web3 डेटा इंटेलिजेंस। ज्ञान प्रवर्धित। यहां पहुंचें।
- मिंटिंग द फ्यूचर डब्ल्यू एड्रिएन एशले। यहां पहुंचें।
- PREIPO® के साथ PRE-IPO कंपनियों में शेयर खरीदें और बेचें। यहां पहुंचें।
- स्रोत: https://www.kdnuggets.com/2023/05/managing-model-drift-production-mlops.html?utm_source=rss&utm_medium=rss&utm_campaign=managing-model-drift-in-production-with-mlops
- :हैस
- :है
- :नहीं
- :कहाँ
- $यूपी
- a
- योग्य
- लेखा
- शुद्धता
- सही
- सही रूप में
- कार्य
- पता
- को संबोधित
- को प्रभावित
- उम्र
- कलन विधि
- एल्गोरिदम
- भी
- an
- और
- अन्य
- स्पष्ट
- आवेदन
- अनुप्रयोगों
- हैं
- लेख
- AS
- At
- बुरा
- आधारित
- BE
- हो जाता है
- नीचे
- के बीच
- परे
- काली
- ब्लैक फ्राइडे
- व्यापार
- व्यवसायों
- लेकिन
- by
- कर सकते हैं
- कैप्चरिंग
- कुश्ती
- सेल्सियस
- कुछ
- चुनौती
- चुनौतियों
- परिवर्तन
- बदल
- परिवर्तन
- बदलना
- विशेषताएँ
- क्रिसमस
- संग्रह
- सामान्य
- तुलना
- कंप्यूटर
- Computer Vision
- संकल्पना
- Consequences
- विचार करना
- सही
- सका
- Covidien
- वर्तमान
- तिथि
- आँकड़े वाला वैज्ञानिक
- डेटासेट
- सौदा
- निर्णय
- अस्वीकार
- कमी
- पहुंचाने
- निर्भर
- निर्भर करता है
- तैनात
- पता चला
- खोज
- विकासशील
- विभिन्न
- चर्चा करना
- चर्चा की
- वितरण
- डोमेन
- बूंद
- छोड़ने
- दो
- दौरान
- गतिकी
- से प्रत्येक
- प्रभावी
- समाप्त
- सुनिश्चित
- बच
- आवश्यक
- ईथर (ईटीएच)
- मूल्यांकित
- विकसित करना
- उदाहरण
- विशेषज्ञों
- का पता लगाने
- असफल
- फॉल्स
- प्रसिद्ध
- Feature
- विशेषताएं
- फ़ील्ड
- आकृति
- अंत में
- वित्त
- खोज
- केंद्रित
- के लिए
- चार
- धोखा
- धोखाधड़ी का पता लगाना
- धोखेबाजों
- कपटपूर्ण
- शुक्रवार
- से
- उत्पन्न
- सृजन
- देना
- चला जाता है
- क्रमिक
- धीरे - धीरे
- संभालना
- है
- he
- स्वास्थ्य सेवा
- मदद
- यहाँ उत्पन्न करें
- उसके
- ऐतिहासिक
- कैसे
- How To
- तथापि
- HTTPS
- मानव
- if
- की छवि
- महत्वपूर्ण
- in
- ग़लत
- सहित
- बढ़ना
- स्वतंत्र
- अनुक्रमणिका
- प्रभाव
- सूचित
- निवेश
- अंतर्दृष्टि
- में
- IT
- आईटी इस
- जेपीजी
- केडनगेट्स
- जानने वाला
- लेबलिंग
- प्रमुख
- सीख रहा हूँ
- कम
- जीवन चक्र
- लिंक्डइन
- ll
- लंबे समय तक
- देख
- मशीन
- यंत्र अधिगम
- मुख्य
- बनाना
- प्रबंधन
- प्रबंध
- बाजार
- विपणन (मार्केटिंग)
- मार्केटिंग स्ट्रेटेजीज
- मई..
- मतलब
- साधन
- माप
- माप
- तरीका
- तरीकों
- हो सकता है
- लापता
- एमएलओपीएस
- आदर्श
- मॉडल
- नजर रखी
- निगरानी
- अधिक
- अधिकांश
- विभिन्न
- आवश्यकता
- नया
- निकोलस
- नहीं
- निरीक्षण
- हुआ
- of
- on
- एक बार
- ONE
- ऑनलाइन
- ऑनलाइन सीखने
- परिचालन
- संचालन
- ऑप्टिमाइज़ करें
- or
- संगठनों
- परिणामों
- उल्लिखित
- के ऊपर
- काबू
- महामारी
- भाग लेना
- विशेष
- अतीत
- पीडीएफ
- प्रदर्शन
- समय-समय
- घटना
- पाइपलाइन
- प्लेटो
- प्लेटो डेटा इंटेलिजेंस
- प्लेटोडाटा
- लोकप्रिय
- आबादी
- संभावित
- शक्तिशाली
- प्रथाओं
- भविष्यवाणी करना
- की भविष्यवाणी
- भविष्यवाणी
- भविष्यवाणियों
- उपस्थिति
- मूल्य
- प्रक्रिया
- उत्पादन
- परियोजना
- गुण
- प्रदान करना
- प्रदान कर
- मात्रा
- असली दुनिया
- वास्तविक समय
- कारण
- हाल
- संदर्भित करता है
- संबंध
- संबंध
- रिश्ते
- रहना
- प्रतिनिधि
- अनुसंधान
- शोधकर्ता
- प्रतिक्रिया
- परिणाम
- जिसके परिणामस्वरूप
- फिर से शिक्षित करना
- रन
- s
- विक्रय
- वही
- वैज्ञानिक
- मौसमी
- देखना
- का चयन
- सेट
- पाली
- स्थानांतरण
- दिखाया
- महत्वपूर्ण
- सरल
- के बाद से
- धीमा
- धीरे से
- छोटा
- So
- हल
- कुछ
- विशिष्ट
- स्पेक्ट्रम
- स्थिरता
- प्रारंभ
- राज्य
- सांख्यिकीय
- स्टॉक
- सरल
- रणनीतियों
- स्ट्रीमिंग
- विषय
- ऐसा
- अचानक
- सारांश
- प्रणाली
- लक्ष्य
- कार्य
- तकनीक
- परीक्षण
- से
- कि
- RSI
- लेकिन हाल ही
- उन
- फिर
- वहाँ।
- इसलिये
- इन
- वे
- तीसरा
- इसका
- तीन
- द्वार
- कामयाब होना
- पहर
- सेवा मेरे
- उपकरण
- रेलगाड़ी
- प्रशिक्षित
- प्रशिक्षण
- ट्रांजेक्शन
- ट्रिगर
- मोड़
- दो
- टाइप
- प्रकार
- ठेठ
- के अंतर्गत
- आधारभूत
- समझना
- समझ
- इकाई
- सार्वभौम
- अपडेट
- अद्यतन
- अपस्ट्रीम डेटा
- प्रयुक्त
- उपयोगकर्ता
- का उपयोग
- आमतौर पर
- मूल्य
- बहुत
- दृष्टि
- मार्ग..
- we
- कब
- कौन कौन से
- चौड़ा
- मर्जी
- साथ में
- काम किया
- काम कर रहे
- कार्य
- वर्ष
- साल
- जेफिरनेट