Survey: Machine Learning Projects Still Routinely Fail To Deploy - KDnuggets

افلاطون کے ذریعہ دوبارہ شائع کیا گیا۔

فالونگ: 0

مشین لرننگ پروجیکٹ کتنی بار کامیاب تعیناتی تک پہنچتے ہیں؟ اکثر کافی نہیں۔ وہاں ہے۔ کافی مقدار of صنعت تحقیق ظاہر کہ ML پروجیکٹس عام طور پر منافع فراہم کرنے میں ناکام رہتے ہیں، لیکن چند قیمتی لوگوں نے ڈیٹا سائنسدانوں کے نقطہ نظر سے کامیابی کے ناکامی کے تناسب کا اندازہ لگایا ہے - وہ لوگ جو ان ماڈلز کو تیار کرتے ہیں جو ان پروجیکٹس کو تعینات کرنے کے لیے ہیں۔

مندرجہ ذیل ڈیٹا سائنسدان کا سروے جو میں نے پچھلے سال KDnuggets کے ساتھ کیا تھا، اس سال کا صنعت کا معروف ڈیٹا سائنس سروے ایم ایل کنسلٹنسی کے زیر انتظام ریکسر اینالیٹکس نے سوال کا جواب دیا - جزوی طور پر کیونکہ کمپنی کے بانی اور صدر کارل ریکسر نے آپ کو واقعی شرکت کرنے کی اجازت دی، تعیناتی کی کامیابی کے بارے میں سوالات کو شامل کرنا (میرے ایک سالہ تجزیاتی پروفیسر شپ کے دوران میرے کام کا حصہ) UVA Darden میں)۔

خبر اچھی نہیں ہے۔ صرف 22% ڈیٹا سائنسدانوں کا کہنا ہے کہ ان کے "انقلابی" اقدامات - ایک نئے عمل یا صلاحیت کو فعال کرنے کے لیے تیار کردہ ماڈلز - عام طور پر تعینات ہوتے ہیں۔ 43٪ کا کہنا ہے کہ 80٪ یا اس سے زیادہ تعینات کرنے میں ناکام رہتے ہیں۔

مجموعی طور پر تمام ایم ایل پروجیکٹس کی اقسام - بشمول موجودہ تعیناتیوں کے لیے ریفریشنگ ماڈلز - صرف 32% کا کہنا ہے کہ ان کے ماڈل عام طور پر تعینات ہوتے ہیں۔

یہاں سروے کے اس حصے کے تفصیلی نتائج ہیں، جیسا کہ Rexer Analytics نے پیش کیا ہے، تین قسم کے ML اقدامات میں تعیناتی کی شرح کو توڑتے ہوئے:

سروے: مشین لرننگ پروجیکٹس اب بھی معمول کے مطابق تعینات کرنے میں ناکام رہتے ہیں۔

کلیدی:

موجودہ اقدامات: ایک موجودہ ماڈل کو اپ ڈیٹ/ریفریش کرنے کے لیے تیار کیے گئے ماڈلز جو پہلے ہی کامیابی کے ساتھ تعینات کیے جا چکے ہیں۔
نئے اقدامات: ایک موجودہ عمل کو بڑھانے کے لیے ماڈلز تیار کیے گئے جس کے لیے پہلے سے کوئی ماڈل تعینات نہیں کیا گیا تھا۔
انقلابی اقدامات: ایک نئے عمل یا صلاحیت کو فعال کرنے کے لیے تیار کردہ ماڈلز

میرے خیال میں، تعیناتی کے لیے یہ جدوجہد دو اہم عوامل سے پیدا ہوتی ہے: مقامی انڈر پلاننگ اور کاروباری اسٹیک ہولڈرز جن میں ٹھوس مرئیت کا فقدان ہے۔ ڈیٹا کے بہت سے پیشہ ور افراد اور کاروباری رہنما اس بات کو تسلیم نہیں کر پائے ہیں کہ ML کے مطلوبہ آپریشنلائزیشن کی بہت تفصیل سے منصوبہ بندی کی جانی چاہیے اور ہر ML پروجیکٹ کے آغاز سے ہی جارحانہ طریقے سے اس پر عمل کیا جانا چاہیے۔

درحقیقت، میں نے اس کے بارے میں ایک نئی کتاب لکھی ہے: اے آئی پلے بک: مشین لرننگ کی تعیناتی کے نادر فن میں مہارت حاصل کرنا. اس کتاب میں، میں تصور سے لے کر تعیناتی تک مشین لرننگ پروجیکٹس کو شروع کرنے کے لیے ایک تعیناتی پر مرکوز، چھ قدمی پریکٹس متعارف کراتی ہوں جسے میں کہتا ہوں۔ bizML (ہارڈ کوور یا ای بک کا پہلے سے آرڈر کریں اور آڈیو بک ورژن کی مفت ایڈوانس کاپی حاصل کریں۔ فورا).

ایک ML پروجیکٹ کا کلیدی اسٹیک ہولڈر - جس شخص کو بہتر بنانے کے لیے ہدف بنایا گیا آپریشنل تاثیر کا انچارج، جیسے کہ ایک لائن آف بزنس مینیجر - کو واضح طور پر اس بات کی مرئیت کی ضرورت ہے کہ ML اپنے کاموں کو کس طرح بہتر بنائے گا اور بہتری کی کتنی اہمیت کی توقع ہے۔ انہیں حتمی طور پر کسی ماڈل کی تعیناتی کو گرین لائٹ کرنے کے ساتھ ساتھ، اس سے پہلے، پہلے سے تعیناتی کے تمام مراحل کے دوران پراجیکٹ کے نفاذ پر غور کرنے کے لیے اس کی ضرورت ہے۔

لیکن ایم ایل کی کارکردگی اکثر ناپی جاتی ہے! جب Rexer سروے نے پوچھا، "آپ کی کمپنی/تنظیم تجزیاتی منصوبوں کی کارکردگی کی کتنی بار پیمائش کرتی ہے؟" صرف 48% ڈیٹا سائنسدانوں نے کہا کہ "ہمیشہ" یا "زیادہ تر وقت"۔ یہ کافی جنگلی ہے۔ اسے 99% یا 100% کی طرح زیادہ ہونا چاہیے۔

اور جب کارکردگی کی پیمائش کی جاتی ہے، تو یہ تکنیکی میٹرکس کے لحاظ سے ہوتی ہے جو غیر معمولی اور زیادہ تر کاروباری اسٹیک ہولڈرز کے لیے غیر متعلقہ ہوتی ہیں۔ ڈیٹا سائنسدان بہتر جانتے ہیں، لیکن عام طور پر اس کی پابندی نہیں کرتے - جزوی طور پر چونکہ ML ٹولز عام طور پر صرف تکنیکی میٹرکس کو پورا کرتے ہیں۔ سروے کے مطابق، ڈیٹا سائنسدان کاروباری KPIs جیسے ROI اور ریونیو کو سب سے اہم میٹرکس کے طور پر درجہ دیتے ہیں، پھر بھی وہ لفٹ اور AUC جیسے ٹیکنیکل میٹرکس کو سب سے زیادہ ماپا جانے والے کے طور پر درج کرتے ہیں۔

تکنیکی کارکردگی کی پیمائشیں "بنیادی طور پر بیکار ہیں اور کاروباری اسٹیک ہولڈرز سے منقطع ہیں،" کے مطابق ہارورڈ ڈیٹا سائنس کا جائزہ. یہاں کیوں ہے: وہ صرف آپ کو بتاتے ہیں۔ رشتہ دار کسی ماڈل کی کارکردگی، جیسے کہ یہ اندازہ لگانے یا کسی اور بیس لائن سے کیسے موازنہ کرتا ہے۔ بزنس میٹرکس آپ کو بتاتے ہیں۔ مطلق کاروباری قدر جو ماڈل سے ڈیلیور کرنے کی توقع کی جاتی ہے - یا، جب تعیناتی کے بعد جائزہ لیا جائے، کہ اس نے ڈیلیور کرنا ثابت کیا ہے۔ اس طرح کے میٹرکس تعیناتی پر مرکوز ایم ایل پروجیکٹس کے لیے ضروری ہیں۔

کاروباری میٹرکس تک رسائی کے علاوہ، کاروباری اسٹیک ہولڈرز کو بھی آگے بڑھنے کی ضرورت ہے۔ جب Rexer سروے نے پوچھا، "کیا آپ کی تنظیم کے مینیجرز اور فیصلہ ساز ہیں جنہیں ماڈل کی تعیناتی کی منظوری دینی چاہیے، عام طور پر اس طرح کے فیصلے باخبر طریقے سے کرنے کے لیے کافی علم رکھتے ہیں؟" صرف 49% جواب دہندگان نے "زیادہ تر وقت" یا "ہمیشہ" کا جواب دیا۔

یہاں وہی ہے جو مجھے یقین ہے کہ ہو رہا ہے۔ ڈیٹا سائنسدان کا "کلائنٹ"، کاروباری اسٹیک ہولڈر، جب تعیناتی کی اجازت دینے کے لیے آتا ہے تو اکثر ٹھنڈے پاؤں پڑ جاتا ہے، کیونکہ اس کا مطلب کمپنی کی روٹی اور مکھن، اس کے سب سے بڑے پیمانے کے عمل میں ایک اہم آپریشنل تبدیلی لانا ہوگا۔ ان کے پاس سیاق و سباق کا فریم ورک نہیں ہے۔ مثال کے طور پر، وہ سوچتے ہیں، "میں یہ کیسے سمجھوں کہ یہ ماڈل، جو کرسٹل بال پرفیکشن سے بہت زیادہ شرمیلی کارکردگی کا مظاہرہ کرتا ہے، حقیقت میں کتنی مدد کرے گا؟" اس طرح پراجیکٹ دم توڑ جاتا ہے۔ اس کے بعد، تخلیقی طور پر "حاصل کردہ بصیرت" پر کسی قسم کا مثبت گھومنا قالین کے نیچے ناکامی کو صاف ستھرا کرنے کا کام کرتا ہے۔ AI ہائپ برقرار ہے یہاں تک کہ ممکنہ قدر، پروجیکٹ کا مقصد کھو گیا ہے۔

اس موضوع پر - اسٹیک ہولڈرز کو بڑھانا - میں اپنی نئی کتاب کو پلگ کروں گا، اے آئی پلے بک، صرف ایک بار۔ bizML پریکٹس کا احاطہ کرتے ہوئے، یہ کتاب کاروباری پیشہ ور افراد کو نیم تکنیکی پس منظر کے علم کی ایک اہم لیکن دوستانہ خوراک فراہم کر کے ہنر مند بناتی ہے جس کی تمام سٹیک ہولڈرز کو مشین لرننگ پروجیکٹس کی قیادت کرنے یا ان میں حصہ لینے کے لیے ضرورت ہوتی ہے۔ یہ کاروبار اور ڈیٹا کے پیشہ ور افراد کو ایک ہی صفحہ پر رکھتا ہے تاکہ وہ گہرائی سے تعاون کر سکیں، مشترکہ طور پر درست طریقے سے قائم کر سکیں پیشین گوئی کرنے کے لیے کس مشین لرننگ کا مطالبہ کیا جاتا ہے، یہ کتنی اچھی پیش گوئیاں کرتی ہے، اور اس کی پیشین گوئیوں پر کارروائیوں کو بہتر بنانے کے لیے کس طرح عمل کیا جاتا ہے۔. یہ لوازم ہر ایک پہل کو بناتے یا توڑتے ہیں – انہیں صحیح طریقے سے حاصل کرنا مشین لرننگ کی قدر پر مبنی تعیناتی کی راہ ہموار کرتا ہے۔

یہ کہنا محفوظ ہے کہ یہ وہاں پتھریلا ہے، خاص طور پر نئے، پہلی بار کوشش کرنے والے ML اقدامات کے لیے۔ جیسا کہ AI ہائپ کی سراسر قوت مستقل طور پر بنانے کی اپنی صلاحیت کھو دیتی ہے۔

وعدے سے کم سمجھی گئی قدر، ایم ایل کی آپریشنل ویلیو ثابت کرنے کے لیے زیادہ سے زیادہ دباؤ پڑے گا۔ اس لیے میں کہتا ہوں، ابھی اس سے آگے نکلیں - کراس انٹرپرائز تعاون اور تعیناتی پر مبنی پروجیکٹ لیڈر شپ کا زیادہ موثر کلچر پیدا کرنا شروع کریں!

سے مزید تفصیلی نتائج کے لیے 2023 Rexer Analytics ڈیٹا سائنس سروےپر کلک کریں، یہاں. یہ صنعت میں ڈیٹا سائنس اور تجزیاتی پیشہ ور افراد کا سب سے بڑا سروے ہے۔ یہ تقریباً 35 متعدد انتخابی اور کھلے سوالات پر مشتمل ہے جو صرف تعیناتی کی کامیابی کی شرحوں سے کہیں زیادہ کا احاطہ کرتے ہیں - ڈیٹا مائننگ سائنس اور پریکٹس کے سات عمومی شعبے: (1) فیلڈ اور اہداف، (2) الگورتھم، (3) ماڈلز، ( 4) ٹولز (استعمال شدہ سافٹ ویئر پیکجز)، (5) ٹیکنالوجی، (6) چیلنجز، اور (7) مستقبل۔ یہ ڈیٹا سائنس کمیونٹی کی خدمت (کارپوریٹ اسپانسرشپ کے بغیر) کے طور پر منعقد کیا جاتا ہے، اور نتائج کا اعلان عام طور پر کیا جاتا ہے۔ مشین لرننگ ویک کانفرنس اور آزادانہ طور پر دستیاب سمری رپورٹس کے ذریعے اشتراک کیا گیا۔

یہ مضمون مصنف کے کام کی پیداوار ہے جب کہ وہ یو وی اے ڈارڈن اسکول آف بزنس میں تجزیات میں باڈیلی بائیسنٹینیئل پروفیسر کے طور پر ایک سال کے عہدے پر فائز تھا، جو بالآخر اس کی اشاعت کے ساتھ اختتام پذیر ہوا۔ اے آئی پلے بک: مشین لرننگ کی تعیناتی کے نادر فن میں مہارت حاصل کرنا (مفت آڈیو بک آفر).

ایرک سیگل, Ph.D.، ایک سرکردہ کنسلٹنٹ اور کولمبیا یونیورسٹی کے سابق پروفیسر ہیں جو مشین لرننگ کو قابل فہم اور دلکش بناتے ہیں۔ وہ کے بانی ہیں۔ پیشن گوئی تجزیات کی دنیا اور گہری سیکھنے کی دنیا کانفرنس سیریز، جس نے 17,000 سے لے کر اب تک 2009 سے زیادہ حاضرین کی خدمت کی ہے، تعریف شدہ کورس کے انسٹرکٹر مشین لرننگ لیڈرشپ اور پریکٹس – آخر سے آخر تک مہارت، ایک مقبول اسپیکر جس کے لیے کمیشن بنایا گیا ہے۔ 100+ کلیدی پتے، اور کے ایگزیکٹو ایڈیٹر مشین لرننگ ٹائمز. اس نے سب سے زیادہ فروخت ہونے والی تصنیف کی۔ پیشین گوئی تجزیات: یہ پیشین گوئی کرنے کی طاقت کہ کون کلک کرے گا، خریدے گا، جھوٹ بولے گا یا مرے گا۔، جو 35 سے زیادہ یونیورسٹیوں کے کورسز میں استعمال ہوتا رہا ہے، اور جب وہ کولمبیا یونیورسٹی میں پروفیسر تھے تو اس نے تدریسی ایوارڈز جیتا، جہاں اس نے گایا۔ تعلیمی گانے اس کے طلباء کو. ایرک بھی شائع کرتا ہے۔ تجزیات اور سماجی انصاف پر آپشن ایڈز. اس پر عمل کریں @predictanalytic.