Survey: Machine Learning Projects Still Routinely Fail To Deploy - KDnuggets

প্লেটো দ্বারা প্রকাশিত

অনুসরণকারী: 0

কত ঘন ঘন মেশিন লার্নিং প্রকল্প সফল স্থাপনায় পৌঁছায়? প্রায়ই যথেষ্ট নয়। সেখানে প্রচুর of শিল্প গবেষণা দেখাচ্ছে যে ML প্রকল্পগুলি সাধারণত রিটার্ন সরবরাহ করতে ব্যর্থ হয়, তবে মূল্যবান কিছু ডেটা বিজ্ঞানীদের দৃষ্টিকোণ থেকে সাফল্যের ব্যর্থতার অনুপাতকে পরিমাপ করেছেন - যারা এই প্রকল্পগুলিকে মোতায়েন করার জন্য খুব মডেলগুলি বিকাশ করে।

উপর অনুসরণ একটি তথ্য বিজ্ঞানী জরিপ যেটা আমি গত বছর KDnuggets এর সাথে পরিচালনা করেছিলাম, এই বছরের শিল্প-নেতৃস্থানীয় ডেটা সায়েন্স সার্ভে এমএল কনসালটেন্সি রেক্সার অ্যানালিটিক্স দ্বারা পরিচালিত প্রশ্নটি সম্বোধন করেছে – কারণ কার্ল রেক্সার, কোম্পানির প্রতিষ্ঠাতা এবং সভাপতি, আপনাকে সত্যিকার অর্থে অংশগ্রহণের অনুমতি দিয়েছেন, মোতায়েন সাফল্যের বিষয়ে প্রশ্নগুলি অন্তর্ভুক্ত করার জন্য (আমার এক বছরের অ্যানালিটিক্স প্রফেসরশিপ চলাকালীন আমার কাজের অংশ) UVA Darden এ)।

খবরটি দুর্দান্ত নয়। শুধুমাত্র 22% ডেটা সায়েন্টিস্ট বলেছেন যে তাদের "বিপ্লবী" উদ্যোগ - একটি নতুন প্রক্রিয়া বা সক্ষমতা সক্ষম করার জন্য তৈরি মডেলগুলি - সাধারণত স্থাপন করা হয়। 43% বলে যে 80% বা তার বেশি স্থাপন করতে ব্যর্থ হয়।

দিয়ে সব এমএল প্রকল্পের ধরণের - বিদ্যমান স্থাপনার জন্য রিফ্রেশিং মডেল সহ - শুধুমাত্র 32% বলে যে তাদের মডেলগুলি সাধারণত স্থাপন করা হয়।

এখানে সমীক্ষার সেই অংশের বিশদ ফলাফল রয়েছে, যেমনটি রেক্সার অ্যানালিটিক্স দ্বারা উপস্থাপিত হয়েছে, তিন ধরণের এমএল উদ্যোগ জুড়ে স্থাপনার হার ভেঙেছে:

সমীক্ষা: মেশিন লার্নিং প্রকল্পগুলি এখনও নিয়মিতভাবে স্থাপন করতে ব্যর্থ হয়৷

চাবি:

বিদ্যমান উদ্যোগ: একটি বিদ্যমান মডেল আপডেট/রিফ্রেশ করার জন্য মডেলগুলি তৈরি করা হয়েছে যা ইতিমধ্যে সফলভাবে স্থাপন করা হয়েছে
নতুন উদ্যোগ: একটি বিদ্যমান প্রক্রিয়া উন্নত করার জন্য মডেলগুলি তৈরি করা হয়েছে যার জন্য কোনও মডেল ইতিমধ্যেই স্থাপন করা হয়নি
বিপ্লবী উদ্যোগ: একটি নতুন প্রক্রিয়া বা ক্ষমতা সক্ষম করার জন্য মডেলগুলি তৈরি করা হয়েছে

আমার দৃষ্টিতে, মোতায়েন করার এই সংগ্রাম দুটি প্রধান অবদানকারী কারণ থেকে উদ্ভূত: স্থানীয় আন্ডার-প্ল্যানিং এবং ব্যবসায়িক স্টেকহোল্ডারদের কংক্রিট দৃশ্যমানতার অভাব। অনেক ডেটা পেশাদার এবং ব্যবসায়িক নেতারা স্বীকার করতে পারেননি যে ML-এর উদ্দিষ্ট অপারেশনালাইজেশনকে অবশ্যই বিশদভাবে পরিকল্পনা করা উচিত এবং প্রতিটি ML প্রকল্পের সূচনা থেকেই আক্রমনাত্মকভাবে অনুসরণ করা উচিত।

আসলে, আমি এটি সম্পর্কে একটি নতুন বই লিখেছি: দ্য এআই প্লেবুক: মেশিন লার্নিং ডিপ্লোয়মেন্টের বিরল শিল্প আয়ত্ত করা. এই বইটিতে, আমি একটি স্থাপনা-কেন্দ্রিক, গর্ভধারণ থেকে স্থাপনা পর্যন্ত মেশিন লার্নিং প্রকল্পগুলি চালু করার জন্য ছয়-পদক্ষেপ অনুশীলনের পরিচয় করিয়েছি যা আমি বলি bizML (হার্ডকভার বা ই-বুক প্রি-অর্ডার করুন এবং অডিওবুক সংস্করণের একটি বিনামূল্যের উন্নত কপি পান অবিলম্বে)।

একজন ML প্রকল্পের মূল স্টেকহোল্ডার - উন্নতির লক্ষ্যে কর্মক্ষম কার্যকারিতার দায়িত্বে থাকা ব্যক্তি, যেমন একজন লাইন-অফ-বিজনেস ম্যানেজার - ML কীভাবে তাদের ক্রিয়াকলাপগুলিকে উন্নত করবে এবং উন্নতির কতটা মূল্য প্রত্যাশিত হবে সে সম্পর্কে দৃশ্যমানতা প্রয়োজন৷ চূড়ান্তভাবে একটি মডেলের স্থাপনাকে গ্রিনলাইট করার জন্য এবং এর আগে, প্রাক-নিয়োজন পর্যায় জুড়ে প্রকল্পের বাস্তবায়নের উপর ওজন করার জন্য তাদের এটি প্রয়োজন।

কিন্তু এমএল এর কর্মক্ষমতা প্রায়ই পরিমাপ করা হয় না! যখন রেক্সার সমীক্ষা জিজ্ঞাসা করেছিল, "আপনার কোম্পানি/সংস্থা কত ঘন ঘন বিশ্লেষণমূলক প্রকল্পের কর্মক্ষমতা পরিমাপ করে?" মাত্র 48% ডেটা বিজ্ঞানী বলেছেন "সর্বদা" বা "বেশিরভাগ সময়।" এটি বেশ বন্য। এটি 99% বা 100% এর মতো হওয়া উচিত।

এবং যখন কর্মক্ষমতা পরিমাপ করা হয়, এটি প্রযুক্তিগত মেট্রিক্সের পরিপ্রেক্ষিতে যা আশ্চর্যজনক এবং বেশিরভাগ ব্যবসায়িক স্টেকহোল্ডারদের কাছে অপ্রাসঙ্গিক। ডেটা বিজ্ঞানীরা ভাল জানেন, কিন্তু সাধারণত মেনে চলেন না - কারণ ML টুলগুলি সাধারণত শুধুমাত্র প্রযুক্তিগত মেট্রিক্স পরিবেশন করে। সমীক্ষা অনুসারে, ডেটা সায়েন্টিস্টরা ব্যবসায়িক কেপিআই যেমন ROI এবং রাজস্বকে সবচেয়ে গুরুত্বপূর্ণ মেট্রিক হিসাবে র‍্যাঙ্ক করে, তবুও তারা লিফ্ট এবং AUC-এর মতো প্রযুক্তিগত মেট্রিকগুলিকে সর্বাধিক পরিমাপ করা হিসাবে তালিকাভুক্ত করে।

প্রযুক্তিগত কর্মক্ষমতা মেট্রিক্স "ব্যবসায়িক স্টেকহোল্ডারদের থেকে মৌলিকভাবে অকেজো এবং সংযোগ বিচ্ছিন্ন," অনুসারে হার্ভার্ড ডেটা সায়েন্স রিভিউ. এখানে কেন: তারা শুধুমাত্র আপনাকে বলে উপর একটি মডেলের কর্মক্ষমতা, যেমন এটি অনুমান বা অন্য বেসলাইনের সাথে কীভাবে তুলনা করে। ব্যবসার পরিমাপ আপনাকে বলে পরম ব্যবসায়িক মূল্য মডেলটি সরবরাহ করবে বলে আশা করা হচ্ছে - বা, স্থাপনার পরে মূল্যায়ন করার সময়, এটি সরবরাহ করেছে বলে প্রমাণিত হয়েছে। এই ধরনের মেট্রিক্স স্থাপনা-কেন্দ্রিক এমএল প্রকল্পের জন্য অপরিহার্য।

ব্যবসার মেট্রিক্স অ্যাক্সেসের বাইরে, ব্যবসায়িক স্টেকহোল্ডারদেরও র‌্যাম্প আপ করতে হবে। যখন রেক্সার সমীক্ষায় জিজ্ঞাসা করা হয়েছিল, "আপনার সংস্থার ব্যবস্থাপক এবং সিদ্ধান্ত গ্রহণকারীরা যারা মডেল স্থাপনার অনুমোদন করতে হবে তারা কি এই ধরনের সিদ্ধান্তগুলি ভালভাবে জানার জন্য যথেষ্ট জ্ঞানী?" উত্তরদাতাদের মাত্র 49% উত্তর দিয়েছেন "বেশিরভাগ সময়" বা "সর্বদা।"

এখানে আমি যা বিশ্বাস করি তা ঘটছে। ডেটা সায়েন্টিস্টের "ক্লায়েন্ট", ব্যবসায়িক স্টেকহোল্ডার, প্রায়শই ঠাণ্ডা পায়ে যখন এটি স্থাপনের অনুমোদনের জন্য নেমে আসে, কারণ এর অর্থ কোম্পানির রুটি এবং মাখন, এর বৃহত্তম স্কেল প্রক্রিয়াগুলিতে একটি উল্লেখযোগ্য অপারেশনাল পরিবর্তন করা। তাদের প্রাসঙ্গিক কাঠামো নেই। উদাহরণস্বরূপ, তারা ভাবছে, "আমি কীভাবে বুঝব যে এই মডেলটি, যা ক্রিস্টাল-বলের পরিপূর্ণতা থেকে অনেক বেশি লাজুক কাজ করে, আসলে কতটা সাহায্য করবে?" এভাবে প্রকল্পের মৃত্যু হয়। তারপরে, সৃজনশীলভাবে "অর্জিত অন্তর্দৃষ্টি" এর উপর একধরনের ইতিবাচক ঘূর্ণন স্থাপন করা পাটির নীচে ব্যর্থতাকে সুন্দরভাবে ঝাড়ু দেয়। সম্ভাব্য মান, প্রকল্পের উদ্দেশ্য হারিয়ে গেলেও এআই হাইপ অক্ষত থাকে।

এই বিষয়ে - স্টেকহোল্ডারদের র‍্যাম্পিং - আমি আমার নতুন বইটি প্লাগ করব, এআই প্লেবুক, আর মাত্র এক বার। বিজএমএল অনুশীলনকে কভার করার সময়, বইটি আধা-প্রযুক্তিগত পটভূমি জ্ঞানের একটি অত্যাবশ্যক কিন্তু বন্ধুত্বপূর্ণ ডোজ সরবরাহ করার মাধ্যমে ব্যবসায়িক পেশাদারদের দক্ষতা বৃদ্ধি করে যা সমস্ত স্টেকহোল্ডারদের মেশিন লার্নিং প্রকল্পে নেতৃত্ব দিতে বা অংশগ্রহণ করার জন্য প্রয়োজন। এটি ব্যবসা এবং ডেটা পেশাদারদের একই পৃষ্ঠায় রাখে যাতে তারা গভীরভাবে সহযোগিতা করতে পারে, যৌথভাবে সুনির্দিষ্টভাবে প্রতিষ্ঠা করে ভবিষ্যদ্বাণী করার জন্য কোন মেশিন লার্নিংকে বলা হয়, এটি কতটা ভালোভাবে ভবিষ্যদ্বাণী করে এবং কীভাবে এর ভবিষ্যদ্বাণীগুলিকে ক্রিয়াকলাপের উন্নতির জন্য কাজ করা হয়. এই অত্যাবশ্যকীয় জিনিসগুলি প্রতিটি উদ্যোগ তৈরি করে বা ভেঙে দেয় - সেগুলিকে সঠিকভাবে নেওয়া মেশিন লার্নিংয়ের মূল্য-চালিত স্থাপনার পথ প্রশস্ত করে।

এটা বলা নিরাপদ যে এটি সেখানে পাথুরে, বিশেষ করে নতুন, প্রথম-প্রয়াস ML উদ্যোগের জন্য। যেহেতু AI হাইপের নিছক শক্তি ক্রমাগত মেক আপ করার ক্ষমতা হারিয়ে ফেলে

প্রতিশ্রুতির চেয়ে কম উপলব্ধি করা মান, এমএল-এর কার্যক্ষম মান প্রমাণ করার জন্য আরও বেশি চাপ থাকবে।? তাই আমি বলছি, এখনই এর থেকে বেরিয়ে আসুন - ক্রস-এন্টারপ্রাইজ সহযোগিতা এবং স্থাপনা-ভিত্তিক প্রকল্প নেতৃত্বের আরও কার্যকর সংস্কৃতি গড়ে তোলা শুরু করুন!

থেকে আরো বিস্তারিত ফলাফলের জন্য 2023 রেক্সার অ্যানালিটিক্স ডেটা সায়েন্স সার্ভে, ক্লিক এখানে. এটি শিল্পের ডেটা সায়েন্স এবং অ্যানালিটিক্স পেশাদারদের সবচেয়ে বড় জরিপ। এটি প্রায় 35টি বহুনির্বাচনী এবং উন্মুক্ত প্রশ্ন নিয়ে গঠিত যা শুধুমাত্র স্থাপনার সাফল্যের হারের চেয়ে অনেক বেশি কভার করে - ডেটা মাইনিং বিজ্ঞান এবং অনুশীলনের সাতটি সাধারণ ক্ষেত্র: (1) ক্ষেত্র এবং লক্ষ্য, (2) অ্যালগরিদম, (3) মডেল, ( 4) সরঞ্জাম (ব্যবহৃত সফ্টওয়্যার প্যাকেজ), (5) প্রযুক্তি, (6) চ্যালেঞ্জ, এবং (7) ভবিষ্যত। এটি ডেটা বিজ্ঞান সম্প্রদায়ের জন্য একটি পরিষেবা (কর্পোরেট স্পনসরশিপ ছাড়া) হিসাবে পরিচালিত হয় এবং ফলাফলগুলি সাধারণত ঘোষণা করা হয় মেশিন লার্নিং সপ্তাহের সম্মেলন এবং অবাধে উপলব্ধ সারাংশ রিপোর্টের মাধ্যমে ভাগ করা হয়।

এই নিবন্ধটি লেখকের কাজের একটি পণ্য যখন তিনি ইউভিএ ডারডেন স্কুল অফ বিজনেস-এ অ্যানালিটিক্সে শারীরিক দ্বিশতবর্ষীয় অধ্যাপক হিসাবে এক বছরের পদে অধিষ্ঠিত ছিলেন, যা শেষ পর্যন্ত প্রকাশনার মাধ্যমে শেষ হয়েছিল দ্য এআই প্লেবুক: মেশিন লার্নিং ডিপ্লোয়মেন্টের বিরল শিল্প আয়ত্ত করা (বিনামূল্যে audiobook অফার).

এরিক সিগেল, Ph.D., একজন নেতৃস্থানীয় পরামর্শদাতা এবং কলাম্বিয়া বিশ্ববিদ্যালয়ের প্রাক্তন অধ্যাপক যিনি মেশিন লার্নিংকে বোধগম্য এবং চিত্তাকর্ষক করে তোলে। তিনি এর প্রতিষ্ঠাতা ভবিষ্যদ্বাণীপূর্ণ বিশ্লেষণ বিশ্ব এবং ডিপ লার্নিং ওয়ার্ল্ড কনফারেন্স সিরিজ, যা 17,000 সাল থেকে 2009 এরও বেশি অংশগ্রহণকারীদের পরিবেশন করেছে, প্রশংসিত কোর্সের প্রশিক্ষক মেশিন লার্নিং লিডারশিপ এবং অনুশীলন – এন্ড-টু-এন্ড মাস্টারি, একজন জনপ্রিয় স্পিকার যার জন্য কমিশন করা হয়েছে 100+ মূল বক্তব্য ঠিকানা, এবং নির্বাহী সম্পাদক মেশিন লার্নিং টাইমস. তিনি বেস্ট সেলিং লেখেন ভবিষ্যদ্বাণীমূলক বিশ্লেষণ: কে ক্লিক করবে, কিনবে, মিথ্যা বলবে বা মারা যাবে তা অনুমান করার ক্ষমতা, যা 35টিরও বেশি বিশ্ববিদ্যালয়ে কোর্সে ব্যবহার করা হয়েছে, এবং তিনি যখন কলম্বিয়া বিশ্ববিদ্যালয়ের অধ্যাপক ছিলেন তখন তিনি শিক্ষাদানের পুরস্কার জিতেছিলেন, যেখানে তিনি গান গেয়েছিলেন শিক্ষামূলক গান তার ছাত্রদের কাছে। এরিকও প্রকাশ করে বিশ্লেষণ এবং সামাজিক ন্যায়বিচার উপর অপ-এড। তাকে অনুসরণ করুন @অনুমানসূচক.