A Guide To Data Science Project Management Methodologies - KDnuggets

प्लेटो द्वारा पुनर्प्रकाशित

अनुयायियों: 0

डेटा विज्ञान परियोजना प्रबंधन पद्धतियों के लिए एक गाइड
लेखक द्वारा छवि

एक डेटा विज्ञान परियोजना में कई तत्व होते हैं। इस प्रक्रिया में कई लोग शामिल हैं, और रास्ते में कई चुनौतियों का सामना करना पड़ता है। बहुत सी कंपनियाँ डेटा विज्ञान की आवश्यकता को देखती हैं, और इसे आज हमारे जीवन में लागू किया गया है। हालाँकि, कुछ लोग इस बात को लेकर संघर्ष करते हैं कि अपने डेटा एनालिटिक्स का उपयोग कैसे किया जाए और वहां तक पहुंचने के लिए किस रास्ते का उपयोग किया जाए।

डेटा विज्ञान का उपयोग करते समय कंपनियां जो सबसे बड़ी धारणा बनाती हैं, वह यह है कि प्रोग्रामिंग भाषा के उपयोग के कारण, यह सॉफ्टवेयर इंजीनियरिंग के समान पद्धति का अनुकरण करती है। हालाँकि, मॉडल का अंतर्निहित डेटा विज्ञान और सॉफ़्टवेयर भिन्न हैं।

डेटा विज्ञान को सफल होने के लिए अपने अद्वितीय जीवनचक्र और कार्यप्रणाली की आवश्यकता होती है।

डेटा विज्ञान जीवनचक्र को 7 चरणों में विभाजित किया जा सकता है।

बिजनेस अंडरस्टैंडिंग

यदि आप किसी कंपनी के लिए कुछ भी उत्पादन कर रहे हैं, तो आपका नंबर 1 प्रश्न 'क्यों?' होना चाहिए। हमें ऐसा करने की आवश्यकता क्यों है? यह व्यवसाय के लिए क्यों महत्वपूर्ण है? क्यों? क्यों? क्यों?

डेटा साइंस टीम एक मॉडल बनाने और व्यवसाय की आवश्यकता के आधार पर डेटा एनालिटिक्स तैयार करने के लिए जिम्मेदार है। डेटा विज्ञान जीवनचक्र के इस चरण के दौरान, डेटा विज्ञान टीम और कंपनी के अधिकारियों को परियोजना के केंद्रीय उद्देश्यों की पहचान करनी चाहिए, उदाहरण के लिए उन चरों पर ध्यान देना चाहिए जिनकी भविष्यवाणी करने की आवश्यकता है।

यह किस प्रकार का डेटा विज्ञान प्रोजेक्ट पर आधारित है? क्या यह प्रतिगमन या वर्गीकरण कार्य, क्लस्टरिंग, या विसंगति का पता लगाना है? एक बार जब आप अपनी वस्तु का समग्र उद्देश्य समझ जाते हैं, तो आप पूछते रह सकते हैं कि क्यों, क्या, कहाँ, कब और कैसे! सही प्रश्न पूछना एक कला है, और यह डेटा विज्ञान टीम को परियोजना के बारे में गहन संदर्भ प्रदान करेगा।

आँकड़ा खनन

एक बार जब आपके पास परियोजना के लिए आवश्यक सभी व्यावसायिक समझ हो, तो आपका अगला कदम डेटा एकत्र करके परियोजना शुरू करना होगा। डेटा माइनिंग चरण में विभिन्न स्रोतों से डेटा एकत्र करना शामिल है जो आपके प्रोजेक्ट उद्देश्य के अनुरूप हैं।

इस चरण के दौरान आप जो प्रश्न पूछेंगे वे हैं: इस परियोजना के लिए मुझे किस डेटा की आवश्यकता होगी? मुझे यह डेटा कहां से मिल सकता है? क्या यह डेटा मेरे उद्देश्य को पूरा करने में मदद करेगा? मैं यह डेटा कहां संग्रहीत करूंगा?

डेटा की सफाई

कुछ डेटा वैज्ञानिक डेटा माइनिंग और डेटा सफाई चरणों को एक साथ मिलाना चुनते हैं। हालाँकि, बेहतर वर्कफ़्लो के लिए चरणों को अलग करना अच्छा है।

डेटा विज्ञान वर्कफ़्लो में डेटा सफ़ाई सबसे अधिक समय लेने वाला चरण है। आपका डेटा जितना बड़ा होगा, इसमें उतना ही अधिक समय लगेगा। इसे पूरा होने में आम तौर पर डेटा वैज्ञानिक का 50-80% तक समय लग सकता है। इसमें इतना समय लगने का कारण यह है कि डेटा कभी साफ़ नहीं होता। आप उस डेटा से निपट सकते हैं जिसमें विसंगतियां, गुम डेटा, गलत लेबल, वर्तनी की गलतियाँ और बहुत कुछ है।

कोई भी विश्लेषणात्मक कार्य करने से पहले, आपको यह सुनिश्चित करने के लिए इन त्रुटियों को ठीक करना होगा कि जिस डेटा के साथ आप काम करने की योजना बना रहे हैं वह सही है और सटीक आउटपुट देगा।

डेटा अन्वेषण

डेटा को साफ करने में बहुत समय और ऊर्जा खर्च करने के बाद, अब आपके पास एकदम साफ-सुथरा डेटा है जिसके साथ आप काम कर सकते हैं। डेटा अन्वेषण का समय! यह चरण आपके समग्र परियोजना उद्देश्य का विचार-मंथन है। आप डेटा, छिपे हुए पैटर्न, आगे की अंतर्दृष्टि और अधिक खोजने के लिए विज़ुअलाइज़ेशन बनाने से क्या पा सकते हैं, इसकी गहराई में जाना चाहते हैं।

इस जानकारी के साथ, आप एक ऐसी परिकल्पना बनाने में सक्षम होंगे जो आपके व्यावसायिक उद्देश्य के अनुरूप हो और इसे एक संदर्भ बिंदु के रूप में उपयोग करके यह सुनिश्चित करें कि आप काम पर हैं।

फ़ीचर इंजीनियरिंग

फ़ीचर इंजीनियरिंग कच्चे डेटा से नए डेटा फ़ीचर का विकास और निर्माण है। आप कच्चा डेटा लेते हैं और ऐसी सूचनात्मक सुविधाएँ बनाते हैं जो आपके व्यावसायिक उद्देश्य के अनुरूप हों। फ़ीचर इंजीनियरिंग चरण में फ़ीचर चयन और फ़ीचर निर्माण शामिल हैं।

फ़ीचर चयन तब होता है जब आप अपने पास मौजूद फ़ीचर की संख्या में कटौती करते हैं जो वास्तविक मूल्यवान जानकारी की तुलना में डेटा में अधिक शोर जोड़ते हैं। बहुत अधिक सुविधाएँ होने से आयामीता का अभिशाप हो सकता है, मॉडल के लिए आसानी से और प्रभावी ढंग से सीखने के लिए डेटा में जटिलता बढ़ सकती है।

फीचर निर्माण नाम में है. यह नई सुविधाओं का निर्माण है. आपके पास वर्तमान में मौजूद सुविधाओं का उपयोग करके, आप नई सुविधाएँ बना सकते हैं, उदाहरण के लिए, यदि आपका उद्देश्य वरिष्ठ सदस्यों पर केंद्रित है, तो आप अपनी इच्छित आयु के लिए एक सीमा बना सकते हैं।

यह चरण बहुत महत्वपूर्ण है क्योंकि यह आपके पूर्वानुमान मॉडल की सटीकता को प्रभावित करेगा।

भविष्य कहनेवाला मॉडलिंग

यहीं से मज़ा शुरू होता है, और आप देखेंगे कि आपने अपना व्यावसायिक उद्देश्य पूरा कर लिया है या नहीं। पूर्वानुमानित मॉडलिंग में डेटा को प्रशिक्षित करना, उसका परीक्षण करना और व्यापक सांख्यिकीय तरीकों का उपयोग करना शामिल है ताकि यह सुनिश्चित किया जा सके कि मॉडल के परिणाम बनाई गई परिकल्पना के लिए महत्वपूर्ण हैं।

'बिजनेस अंडरस्टैंडिंग' चरण में आपके द्वारा पूछे गए सभी प्रश्नों के आधार पर, आप यह निर्धारित करने में सक्षम होंगे कि आपके कार्य के लिए कौन सा मॉडल सही है। आपकी पसंद का मॉडल एक परीक्षण और त्रुटि प्रक्रिया हो सकती है, लेकिन यह सुनिश्चित करना महत्वपूर्ण है कि आप एक सफल मॉडल बनाएं जो सटीक आउटपुट देता है।

एक बार जब आप अपना मॉडल बना लेंगे, तो आप इसे अपने डेटासेट पर प्रशिक्षित करना चाहेंगे और इसके प्रदर्शन का मूल्यांकन करना चाहेंगे। सटीकता को मापने के लिए आप विभिन्न मूल्यांकन मेट्रिक्स जैसे कि के-फोल्ड क्रॉस-वैलिडेशन का उपयोग कर सकते हैं और ऐसा तब तक जारी रख सकते हैं जब तक आप अपने सटीकता मूल्य से खुश नहीं हो जाते।

परीक्षण और सत्यापन डेटा का उपयोग करके अपने मॉडल का परीक्षण करने से सटीकता सुनिश्चित होती है और आपका मॉडल अच्छा प्रदर्शन करता है। अपने डेटा को अदृश्य डेटा के साथ फीड करना यह देखने का एक अच्छा तरीका है कि मॉडल उस डेटा के साथ कैसा प्रदर्शन करता है जिस पर उसे पहले प्रशिक्षित नहीं किया गया है। यह आपके मॉडल को कार्यशील बनाता है!

डेटा विज़ुअलाइज़ेशन

एक बार जब आप अपने मॉडल के प्रदर्शन से खुश हो जाते हैं, तो आप वापस जाकर कंपनी के अधिकारियों को सब कुछ समझाने के लिए तैयार होते हैं। डेटा विज़ुअलाइज़ेशन बनाना उन लोगों को अपने निष्कर्ष समझाने का एक अच्छा तरीका है जो तकनीकी नहीं हैं, और यह डेटा के बारे में एक कहानी बताने का भी एक अच्छा तरीका है।

डेटा विज़ुअलाइज़ेशन संचार, सांख्यिकी और कला का एक संयोजन है। ऐसे कई तरीके हैं जिनसे आप अपने डेटा निष्कर्षों को सौंदर्यपूर्ण रूप से मनभावन तरीके से प्रस्तुत कर सकते हैं। आप जैसे टूल का उपयोग कर सकते हैं माटप्लोटलिब प्रलेखन, सीबॉर्न ट्यूटोरियल, तथा प्लॉटली लाइब्रेरी. यदि आप पायथन का उपयोग कर रहे हैं, तो इसे पढ़ें: पायथन ग्राफ गैलरी के साथ अद्भुत विज़ुअलाइज़ेशन करें.

और ऐसे ही आप जीवन चक्र के अंत पर हैं, लेकिन याद रखें कि यह एक चक्र है। तो आपको शुरुआत में वापस जाना होगा: बिजनेस अंडरस्टैंडिंग। आपको बनाई गई परिकल्पना के साथ-साथ मूल व्यावसायिक समझ और उद्देश्य के संबंध में अपने मॉडल की सफलता का मूल्यांकन करने की आवश्यकता होगी।

अब हम डेटा विज्ञान जीवनचक्र से गुजर चुके हैं, आप सोच रहे होंगे कि यह बहुत सरल लगता है। यह बस एक के बाद एक कदम है। लेकिन हम सभी जानते हैं कि चीजें इतनी सीधी नहीं हैं। इसे यथासंभव सरल और प्रभावी बनाने के लिए, प्रबंधन पद्धतियों को लागू करने की आवश्यकता है।

डेटा विज्ञान परियोजनाएँ अब केवल डेटा वैज्ञानिकों की ज़िम्मेदारी के अंतर्गत नहीं हैं - यह एक टीम प्रयास है। इसलिए, परियोजना प्रबंधन को मानकीकृत करना अत्यावश्यक है, और ऐसे तरीके हैं जिनका उपयोग आप इसे सुनिश्चित करने के लिए कर सकते हैं। आइए उन पर नजर डालें.

झरना पद्धति

झरने की तरह ही, झरना पद्धति एक क्रमिक विकास प्रक्रिया है जो किसी परियोजना के सभी चरणों से होकर गुजरती है। अगला चरण शुरू करने के लिए प्रत्येक चरण को पूरा करना आवश्यक होगा। चरणों के बीच कोई ओवरलैप नहीं है, जिससे यह एक प्रभावी तरीका बन जाता है क्योंकि इसमें कोई टकराव नहीं होता है। यदि आपको पिछले चरणों को दोबारा देखना है, तो इसका मतलब है कि टीम ने खराब योजना बनाई है।

यह पाँच चरणों से बना है:

आवश्यकताएँ
डिज़ाइन
कार्यान्वयन
सत्यापन (परीक्षण)
रखरखाव (तैनाती)

तो आपको जलप्रपात पद्धति का उपयोग कब करना चाहिए? चूँकि यह पानी की तरह बहता है, इसलिए सब कुछ स्पष्ट होना चाहिए। इसका मतलब है कि उद्देश्य परिभाषित है, टीम को अंदर से बाहर तक प्रौद्योगिकी के बारे में पता है, और एक सुचारू और प्रभावी प्रक्रिया सुनिश्चित करने के लिए परियोजना के सभी तत्व मौजूद हैं।

लेकिन आइये वास्तविकता पर वापस आते हैं। क्या डेटा विज्ञान परियोजनाएँ आसानी से पानी की तरह बह रही हैं? नहीं, उन्हें बहुत सारे प्रयोग, आवश्यकता परिवर्तन और बहुत कुछ की आवश्यकता होती है। हालाँकि, इसका मतलब यह नहीं है कि आप वॉटरफॉल पद्धति के तत्वों का उपयोग नहीं कर सकते। जलप्रपात पद्धति के लिए बहुत अधिक योजना की आवश्यकता होती है। यदि आप हर चीज की योजना बनाते हैं, तो हां, रास्ते में आपको अभी भी 1 या 2 समस्याएं आ सकती हैं, लेकिन चुनौतियां कम होंगी और प्रक्रिया उतनी कठोर नहीं होगी।

चंचल कार्यप्रणाली

RSI चंचल कार्यप्रणाली इसका जन्म 2001 की शुरुआत में हुआ था जब 17 लोग सॉफ्टवेयर विकास के भविष्य पर चर्चा करने के लिए एक साथ आए थे। इसकी स्थापना 4 मूल मूल्यों और 12 सिद्धांतों पर की गई थी।

चुस्त कार्यप्रणाली आज की तकनीक के अधिक अनुरूप है, क्योंकि यह तेज़ गति वाले, हमेशा बदलते प्रौद्योगिकी उद्योग में काम करती है। यदि आप एक तकनीकी पेशेवर हैं, तो आप जानते हैं कि डेटा विज्ञान या सॉफ़्टवेयर प्रोजेक्ट में आवश्यकताएँ हर समय बदलती रहती हैं। इसलिए, सही पद्धति का होना महत्वपूर्ण है जो आपको इन परिवर्तनों के प्रति शीघ्रता से अनुकूलन करने की अनुमति दे।

एजाइल कार्यप्रणाली एक आदर्श डेटा विज्ञान परियोजना प्रबंधन पद्धति है क्योंकि यह टीम को परियोजना के बढ़ने के साथ उसकी आवश्यकताओं की लगातार समीक्षा करने की अनुमति देती है। कार्यकारी अधिकारी और डेटा विज्ञान प्रबंधक उन परिवर्तनों के बारे में निर्णय ले सकते हैं जिन्हें विकास प्रक्रिया के दौरान किए जाने की आवश्यकता है, न कि सब कुछ पूरा होने के बाद।

यह अत्यधिक प्रभावी साबित हुआ है क्योंकि मॉडल उपयोगकर्ता-केंद्रित आउटपुट को प्रतिबिंबित करने, समय, धन और ऊर्जा की बचत करने के लिए विकसित हुआ है।

चुस्त विधि का एक उदाहरण है जमघट. स्क्रम विधि एक ढांचे का उपयोग करती है जो मूल्यों, सिद्धांतों और प्रथाओं के एक सेट का उपयोग करके एक टीम में संरचना बनाने में मदद करती है। उदाहरण के लिए, स्क्रम का उपयोग करके, एक डेटा विज्ञान परियोजना अपने बड़े प्रोजेक्ट को छोटी परियोजनाओं की श्रृंखला में तोड़ सकती है। इनमें से प्रत्येक मिनी-प्रोजेक्ट को स्प्रिंट कहा जाएगा और इसमें उद्देश्यों, आवश्यकताओं, जिम्मेदारियों और बहुत कुछ को परिभाषित करने के लिए स्प्रिंट योजना शामिल होगी।

हाइब्रिड कार्यप्रणाली

दो अलग-अलग तरीकों का एक साथ उपयोग क्यों नहीं किया जाता? इसे हाइब्रिड पद्धति कहा जाता है, जहां दो या दो से अधिक पद्धतियों का उपयोग एक ऐसी पद्धति बनाने के लिए किया जाता है जो व्यवसाय के लिए पूरी तरह से अद्वितीय होती है। कंपनियां सभी प्रकार की परियोजनाओं के लिए हाइब्रिड तरीकों का उपयोग कर सकती हैं, हालांकि, इसके पीछे का तर्क उत्पाद वितरण तक सीमित है।

उदाहरण के लिए, यदि किसी ग्राहक को किसी उत्पाद की आवश्यकता है, लेकिन वह एजाइल पद्धति में स्प्रिंट के उपयोग के आधार पर उत्पादन की समय-सीमा से खुश नहीं है। तो ऐसा लगता है कि कंपनी को थोड़ी और योजना बनाने की ज़रूरत है, है ना? किस विधि में बहुत अधिक योजना होती है? हाँ, यह सही है, झरना। कंपनी विशेष रूप से ग्राहक की आवश्यकता को पूरा करने के लिए अपने तरीके में वॉटरफॉल अपना सकती है।

कुछ कंपनियों में वाटरफॉल जैसी गैर-फुर्तीली विधि के साथ एक चुस्त विधि के संयोजन के बारे में मिश्रित भावनाएं हो सकती हैं। ये दोनों विधियाँ सह-अस्तित्व में हो सकती हैं, हालाँकि, यह कंपनी की ज़िम्मेदारी है कि वह एक सरल दृष्टिकोण सुनिश्चित करे जो समझ में आए, हाइब्रिड विधि की सफलता को मापे और उत्पादकता प्रदान करे।

अनुसंधान और विकास

कुछ लोग इसे एक पद्धति के रूप में मान सकते हैं, हालाँकि, मेरा मानना है कि यह डेटा विज्ञान परियोजना प्रक्रिया के लिए एक महत्वपूर्ण आधार है। वॉटरफॉल पद्धति की तरह, यथासंभव अधिक जानकारी के साथ योजना बनाने और खुद को तैयार करने में कोई बुराई नहीं है।

लेकिन मैं यहां उस बारे में बात नहीं कर रहा हूं। हां, किसी प्रोजेक्ट को शुरू करने से पहले हर चीज पर शोध करना बहुत अच्छा है। लेकिन प्रभावी परियोजना प्रबंधन सुनिश्चित करने का एक अच्छा तरीका यह है कि आप अपनी परियोजना को एक अनुसंधान और विकास परियोजना के रूप में देखें। यह डेटा विज्ञान टीम सहयोग के लिए एक प्रभावी उपकरण है।

आप अपने डेटा विज्ञान प्रोजेक्ट को चलाने और संचालित करने से पहले चलना चाहते हैं जैसे कि यह एक शोध पत्र है। कुछ डेटा विज्ञान परियोजनाओं में कठोर समय सीमा होती है जो इस प्रक्रिया को कठिन बनाती है, हालांकि, अपने अंतिम उत्पाद में जल्दबाजी करना हमेशा आगे की चुनौतियों के साथ आता है। आप एक प्रभावी और सफल मॉडल बनाना चाहते हैं जो आपके प्रारंभिक डेटा विज्ञान जीवनचक्र चरण: व्यावसायिक समझ को पूरा करता हो।

डेटा विज्ञान परियोजना में अनुसंधान और विकास नवाचार के लिए दरवाजे खुले रखता है, रचनात्मकता बढ़ाता है और टीम को किसी ऐसी चीज़ पर समझौता करने के लिए सीमित नहीं करता है जो बहुत बड़ी हो सकती है!

हालाँकि चुनने के लिए अलग-अलग पद्धतियाँ हैं, अंततः यह व्यवसाय के संचालन पर निर्भर करता है। कुछ तरीके जो एक कंपनी में लोकप्रिय हैं, हो सकता है कि वे किसी अन्य कंपनी के लिए सर्वोत्तम दृष्टिकोण न हों।

व्यक्तियों के काम करने के तरीके अलग-अलग हो सकते हैं, इसलिए सबसे अच्छा तरीका एक ऐसा तरीका बनाना है जो सभी के लिए काम करे।

यदि आप अपने डेटा विज्ञान वर्कफ़्लो को स्वचालित करने के बारे में जानना चाहते हैं, तो इसे पढ़ें: डेटा साइंस वर्कफ़्लोज़ में स्वचालन.

निशा आर्य KDnuggets में एक डेटा वैज्ञानिक, स्वतंत्र तकनीकी लेखक और सामुदायिक प्रबंधक हैं। वह विशेष रूप से डेटा साइंस करियर सलाह या ट्यूटोरियल और डेटा साइंस के आसपास सिद्धांत आधारित ज्ञान प्रदान करने में रुचि रखती है। वह उन विभिन्न तरीकों का पता लगाना चाहती हैं जिनसे आर्टिफिशियल इंटेलिजेंस मानव जीवन की दीर्घायु को लाभ पहुंचा सकता है। एक उत्सुक शिक्षार्थी, दूसरों का मार्गदर्शन करने में मदद करते हुए, अपने तकनीकी ज्ञान और लेखन कौशल को व्यापक बनाना चाहती है।