सर्वेक्षण: मशीन लर्निंग प्रोजेक्ट अभी भी नियमित रूप से तैनात होने में विफल हैं - केडनगेट्स

मशीन लर्निंग प्रोजेक्ट कितनी बार सफल परिनियोजन तक पहुंचते हैं? अक्सर पर्याप्त नहीं. वहाँ है बहुत सारे of उद्योग अनुसंधान दिखा एमएल परियोजनाएं आम तौर पर रिटर्न देने में विफल रहती हैं, लेकिन बहुत कम लोगों ने डेटा वैज्ञानिकों के नजरिए से विफलता और सफलता के अनुपात का आकलन किया है - वे लोग जो उन मॉडलों को विकसित करते हैं जिन्हें इन परियोजनाओं को तैनात करने के लिए बनाया गया है।

पर चल रहा है एक डेटा वैज्ञानिक सर्वेक्षण जो मैंने पिछले वर्ष KDnuggets के साथ संचालित किया था, इस वर्ष का उद्योग-अग्रणी डेटा विज्ञान सर्वेक्षण एमएल कंसल्टेंसी द्वारा संचालित रेक्सर एनालिटिक्स ने प्रश्न को संबोधित किया - आंशिक रूप से क्योंकि कंपनी के संस्थापक और अध्यक्ष कार्ल रेक्सर ने आपको वास्तव में भाग लेने की अनुमति दी, जिससे तैनाती की सफलता के बारे में प्रश्नों को शामिल किया गया (एक साल की एनालिटिक्स प्रोफेसरशिप के दौरान मेरे काम का हिस्सा) यूवीए डार्डन में)।

खबर अच्छी नहीं है. केवल 22% डेटा वैज्ञानिकों का कहना है कि उनकी "क्रांतिकारी" पहल - एक नई प्रक्रिया या क्षमता को सक्षम करने के लिए विकसित किए गए मॉडल - आमतौर पर तैनात होते हैं। 43% का कहना है कि 80% या अधिक तैनाती करने में विफल रहते हैं।

उस पार सब एमएल परियोजनाओं के प्रकार - मौजूदा तैनाती के लिए ताज़ा मॉडल सहित - केवल 32% कहते हैं कि उनके मॉडल आमतौर पर तैनात होते हैं।

सर्वेक्षण के उस भाग के विस्तृत परिणाम यहां दिए गए हैं, जैसा कि रेक्सर एनालिटिक्स द्वारा प्रस्तुत किया गया है, जो तीन प्रकार की एमएल पहलों में तैनाती दरों को तोड़ता है:
 

कुंजी:

• मौजूदा पहल: मौजूदा मॉडल को अद्यतन/रीफ्रेश करने के लिए मॉडल विकसित किए गए हैं जिन्हें पहले ही सफलतापूर्वक तैनात किया जा चुका है
• नई पहल: मौजूदा प्रक्रिया को बढ़ाने के लिए मॉडल विकसित किए गए जिसके लिए पहले से ही कोई मॉडल तैनात नहीं किया गया था
• क्रांतिकारी पहल: किसी नई प्रक्रिया या क्षमता को सक्षम करने के लिए मॉडल विकसित किए गए

मेरे विचार में, तैनात करने का यह संघर्ष दो मुख्य योगदान देने वाले कारकों से उपजा है: स्थानिक अल्प-योजना और व्यावसायिक हितधारकों के पास ठोस दृश्यता का अभाव। कई डेटा पेशेवर और बिजनेस लीडर यह नहीं समझ पाए हैं कि एमएल के इच्छित संचालन की योजना बहुत विस्तार से बनाई जानी चाहिए और प्रत्येक एमएल प्रोजेक्ट की शुरुआत से आक्रामक तरीके से आगे बढ़ाया जाना चाहिए।

वास्तव में, मैंने इसके बारे में एक नई किताब लिखी है: एआई प्लेबुक: मशीन लर्निंग परिनियोजन की दुर्लभ कला में महारत हासिल करना. इस पुस्तक में, मैं मशीन सीखने की परियोजनाओं को अवधारणा से लेकर तैनाती तक शुरू करने के लिए एक तैनाती-केंद्रित, छह-चरणीय अभ्यास पेश करता हूं जिसे मैं कहता हूं बिज़एमएल (हार्डकवर या ई-बुक को प्री-ऑर्डर करें और ऑडियोबुक संस्करण की निःशुल्क उन्नत प्रति प्राप्त करें बिल्कुल अभी)।

एक एमएल प्रोजेक्ट के प्रमुख हितधारक - सुधार के लिए लक्षित परिचालन प्रभावशीलता के प्रभारी व्यक्ति, जैसे लाइन-ऑफ-बिजनेस मैनेजर - को सटीक रूप से दृश्यता की आवश्यकता होती है कि एमएल अपने संचालन में कैसे सुधार करेगा और सुधार से कितना मूल्य मिलने की उम्मीद है। अंततः किसी मॉडल की तैनाती को हरी झंडी देने के लिए और साथ ही, इससे पहले, तैनाती-पूर्व चरणों के दौरान परियोजना के निष्पादन पर ध्यान देने के लिए उन्हें इसकी आवश्यकता होती है।

लेकिन एमएल का प्रदर्शन अक्सर मापा नहीं जाता है! जब रेक्सर सर्वेक्षण ने पूछा, "आपकी कंपनी/संगठन कितनी बार विश्लेषणात्मक परियोजनाओं के प्रदर्शन को मापता है?" केवल 48% डेटा वैज्ञानिकों ने "हमेशा" या "अधिकांश समय" कहा। यह बहुत जंगली है. यह 99% या 100% जैसा होना चाहिए।

और जब प्रदर्शन को मापा जाता है, तो यह तकनीकी मैट्रिक्स के संदर्भ में होता है जो रहस्यमय होता है और ज्यादातर व्यावसायिक हितधारकों के लिए अप्रासंगिक होता है। डेटा वैज्ञानिक बेहतर जानते हैं, लेकिन आम तौर पर इसका पालन नहीं करते हैं - आंशिक रूप से चूंकि एमएल उपकरण आम तौर पर केवल तकनीकी मेट्रिक्स प्रदान करते हैं। सर्वेक्षण के अनुसार, डेटा वैज्ञानिक आरओआई और राजस्व जैसे व्यावसायिक केपीआई को सबसे महत्वपूर्ण मेट्रिक्स के रूप में रैंक करते हैं, फिर भी वे लिफ्ट और एयूसी जैसे तकनीकी मेट्रिक्स को सबसे आम तौर पर मापे जाने वाले के रूप में सूचीबद्ध करते हैं।

तकनीकी प्रदर्शन मेट्रिक्स "व्यावसायिक हितधारकों के लिए मौलिक रूप से बेकार और उनसे अलग हैं," के अनुसार हार्वर्ड डेटा साइंस समीक्षा. इसका कारण यह है: वे आपको केवल यही बताते हैं सापेक्ष किसी मॉडल का प्रदर्शन, जैसे कि इसकी तुलना अनुमान लगाने या किसी अन्य आधार रेखा से कैसे की जाती है। बिजनेस मेट्रिक्स आपको बताते हैं पूर्ण मॉडल द्वारा व्यवसायिक मूल्य प्रदान करने की अपेक्षा की जाती है - या, तैनाती के बाद मूल्यांकन करते समय, कि यह वितरित करने में सिद्ध हुआ है। ऐसे मेट्रिक्स परिनियोजन-केंद्रित एमएल परियोजनाओं के लिए आवश्यक हैं।

बिजनेस मेट्रिक्स तक पहुंच के अलावा, बिजनेस हितधारकों को भी आगे बढ़ने की जरूरत है। जब रेक्सर सर्वेक्षण ने पूछा, "क्या आपके संगठन के प्रबंधक और निर्णय-निर्माता, जिन्हें मॉडल परिनियोजन को मंजूरी देनी है, आम तौर पर इतने जानकार हैं कि वे ऐसे निर्णय अच्छी तरह से सूचित तरीके से ले सकें?" केवल 49% उत्तरदाताओं ने उत्तर दिया "अधिकांश समय" या "हमेशा।"

मेरा मानना ​​है कि यही हो रहा है। जब तैनाती को अधिकृत करने की बात आती है तो डेटा वैज्ञानिक के "ग्राहक", व्यावसायिक हितधारक, अक्सर ठंडे पैर पकड़ लेते हैं, क्योंकि इसका मतलब कंपनी की सबसे बड़े पैमाने की प्रक्रियाओं में एक महत्वपूर्ण परिचालन परिवर्तन करना होगा। उनके पास प्रासंगिक ढांचा नहीं है। उदाहरण के लिए, वे आश्चर्य करते हैं, "मैं कैसे समझ पाऊंगा कि यह मॉडल, जो क्रिस्टल-बॉल पूर्णता से बहुत दूर है, वास्तव में कितनी मदद करेगा?" इस प्रकार परियोजना ख़त्म हो जाती है। फिर, रचनात्मक रूप से "प्राप्त अंतर्दृष्टि" पर किसी प्रकार का सकारात्मक प्रभाव डालने से विफलता को बड़े करीने से छुपाया जा सकता है। एआई का प्रचार तब भी बरकरार है, जबकि संभावित मूल्य, परियोजना का उद्देश्य खो गया है।

इस विषय पर - हितधारकों को आगे बढ़ाना - मैं अपनी नई पुस्तक लिखूंगा, एआई प्लेबुक, बस एक बार और। बिज़एमएल अभ्यास को कवर करते हुए, पुस्तक अर्ध-तकनीकी पृष्ठभूमि ज्ञान की एक महत्वपूर्ण लेकिन अनुकूल खुराक प्रदान करके व्यावसायिक पेशेवरों को भी उन्नत करती है, जो सभी हितधारकों को मशीन लर्निंग परियोजनाओं में शुरू से अंत तक नेतृत्व करने या भाग लेने के लिए आवश्यक होती है। यह व्यवसाय और डेटा पेशेवरों को एक ही पृष्ठ पर रखता है ताकि वे संयुक्त रूप से सटीक रूप से स्थापित होकर गहराई से सहयोग कर सकें भविष्यवाणी करने के लिए मशीन लर्निंग को क्या कहा जाता है, यह कितनी अच्छी भविष्यवाणी करती है, और संचालन में सुधार के लिए इसकी भविष्यवाणियों पर कैसे कार्य किया जाता है. ये आवश्यक चीज़ें प्रत्येक पहल को बनाती या बिगाड़ती हैं - इन्हें सही करने से मशीन लर्निंग के मूल्य-संचालित परिनियोजन का मार्ग प्रशस्त होता है।

यह कहना सुरक्षित है कि यह वहां कठिन है, विशेष रूप से नई, प्रथम-प्रयास एमएल पहलों के लिए। जैसे-जैसे एआई प्रचार की प्रबल शक्ति लगातार भरपाई करने की क्षमता खोती जा रही है

वादे से कम एहसास मूल्य, एमएल के परिचालन मूल्य को साबित करने के लिए अधिक से अधिक दबाव होगा।? तो मैं कहता हूं, अब इससे आगे बढ़ें - क्रॉस-एंटरप्राइज़ सहयोग और तैनाती-उन्मुख परियोजना नेतृत्व की अधिक प्रभावी संस्कृति स्थापित करना शुरू करें!

अधिक विस्तृत परिणामों के लिए 2023 रेक्सर एनालिटिक्स डेटा साइंस सर्वेक्लिक करें, यहाँ उत्पन्न करें. यह उद्योग में डेटा विज्ञान और विश्लेषण पेशेवरों का सबसे बड़ा सर्वेक्षण है। इसमें लगभग 35 बहुविकल्पीय और ओपन-एंडेड प्रश्न शामिल हैं जो केवल तैनाती सफलता दर से कहीं अधिक को कवर करते हैं - डेटा खनन विज्ञान और अभ्यास के सात सामान्य क्षेत्र: (1) क्षेत्र और लक्ष्य, (2) एल्गोरिदम, (3) मॉडल, ( 4) उपकरण (प्रयुक्त सॉफ्टवेयर पैकेज), (5) प्रौद्योगिकी, (6) चुनौतियाँ, और (7) भविष्य। यह डेटा विज्ञान समुदाय के लिए एक सेवा (कॉर्पोरेट प्रायोजन के बिना) के रूप में आयोजित किया जाता है, और परिणाम आमतौर पर यहां घोषित किए जाते हैं मशीन लर्निंग वीक सम्मेलन और स्वतंत्र रूप से उपलब्ध सारांश रिपोर्ट के माध्यम से साझा किया गया।
 

यह लेख लेखक के काम का एक उत्पाद है, जब उन्होंने यूवीए डार्डन स्कूल ऑफ बिजनेस में एनालिटिक्स में बॉडीली बाइसेन्टेनियल प्रोफेसर के रूप में एक साल का पद संभाला था, जिसका अंत अंततः प्रकाशन के साथ हुआ। एआई प्लेबुक: मशीन लर्निंग परिनियोजन की दुर्लभ कला में महारत हासिल करना (निःशुल्क ऑडियोबुक ऑफर).

एरिक सीगल, पीएच.डी., एक अग्रणी सलाहकार और कोलंबिया विश्वविद्यालय के पूर्व प्रोफेसर हैं जो मशीन लर्निंग को समझने योग्य और मनोरंजक बनाते हैं। वह के संस्थापक हैं भविष्य कहनेवाला विश्लेषिकी दुनिया और डीप लर्निंग वर्ल्ड सम्मेलन श्रृंखला, जिसने 17,000 से 2009 से अधिक उपस्थित लोगों को सेवा प्रदान की है, प्रशंसित पाठ्यक्रम के प्रशिक्षक मशीन लर्निंग लीडरशिप एंड प्रैक्टिस - एंड-टू-एंड मास्टरीएक लोकप्रिय वक्ता, जिसके लिए कमीशन किया गया है 100+ मुख्य भाषण, और के कार्यकारी संपादक द मशीन लर्निंग टाइम्स। उन्होंने बेस्टसेलिंग के लेखक थे प्रीडिक्टिव एनालिटिक्स: द पावर टू प्रीडिक्ट हू विल, क्लिक, बाय, लाइ या डाई, जिसका उपयोग 35 से अधिक विश्वविद्यालयों में पाठ्यक्रमों में किया गया है, और उन्होंने कोलंबिया विश्वविद्यालय में प्रोफेसर होने पर, जहां उन्होंने गाया था, शिक्षण पुरस्कार जीते। शैक्षिक गाने अपने छात्रों को। एरिक भी प्रकाशित करता है ऑप-एड एनालिटिक्स और सामाजिक न्याय पर। उस पर चलो @predictanalytic.

• एसईओ संचालित सामग्री और पीआर वितरण। आज ही प्रवर्धित हो जाओ।
• प्लेटोडेटा.नेटवर्क वर्टिकल जेनरेटिव एआई। स्वयं को शक्तिवान बनाएं। यहां पहुंचें।
• प्लेटोआईस्ट्रीम। Web3 इंटेलिजेंस। ज्ञान प्रवर्धित। यहां पहुंचें।
• प्लेटोईएसजी. कार्बन, क्लीनटेक, ऊर्जा, पर्यावरण, सौर, कचरा प्रबंधन। यहां पहुंचें।
• प्लेटोहेल्थ। बायोटेक और क्लिनिकल परीक्षण इंटेलिजेंस। यहां पहुंचें।
• स्रोत: https://www.kdnuggets.com/survey-machine-learning-projects-still-routinely-fail-to-deploy?utm_source=rss&utm_medium=rss&utm_campaign=survey-machine-learning-projects-still-routinely-fail-to-deploy