مشین لرننگ ماڈلز طاقتور ٹولز ہیں جو کاروباروں کو زیادہ باخبر فیصلے کرنے اور اپنے کاموں کو بہتر بنانے میں مدد کر سکتے ہیں۔ تاہم، جیسا کہ یہ ماڈل تعینات کیے جاتے ہیں اور پیداوار میں چلتے ہیں، وہ ایک ایسے رجحان کے تابع ہیں جسے ماڈل ڈرفٹ کہا جاتا ہے۔
ماڈل ڈرفٹ اس وقت ہوتا ہے جب مشین لرننگ ماڈل کی کارکردگی وقت کے ساتھ ساتھ بنیادی ڈیٹا میں تبدیلیوں کی وجہ سے گرتی ہے، جس کی وجہ سے غلط پیشین گوئیاں اور کاروبار کے لیے ممکنہ طور پر اہم نتائج نکلتے ہیں۔ اس چیلنج سے نمٹنے کے لیے، تنظیمیں MLOps کی طرف رجوع کر رہی ہیں، طریقوں اور ٹولز کا ایک مجموعہ جو پروڈکشن مشین لرننگ کے لائف سائیکل کو منظم کرنے میں مدد کرتا ہے۔
In this article, we’ll explore model drift, the different types of it, how to detect it, and most importantly, how to handle it in production using MLOps. By understanding and managing model drift, businesses can ensure that their machine learning models remain accurate and effective over time, delivering the insights and outcomes that they need to thrive.
کی طرف سے تصویر نکولس پیرول on Unsplash سے
ماڈل ڈرفٹ، جسے ماڈل ڈے کے نام سے بھی جانا جاتا ہے، مشین لرننگ میں ایک ایسا رجحان ہے جس میں وقت کے ساتھ ساتھ ماڈل کی کارکردگی کم ہوتی جاتی ہے۔ اس کا مطلب ہے کہ ماڈل آہستہ آہستہ خراب پیشین گوئیاں دینا شروع کر دے گا جس کی درستگی وقت کے ساتھ ساتھ کم ہو جائے گی۔
ماڈل میں تبدیلی کی مختلف وجوہات ہیں جیسے ڈیٹا اکٹھا کرنے میں تبدیلی یا متغیر کے درمیان بنیادی تعلقات۔ اس لیے ماڈل ان تبدیلیوں کو پکڑنے میں ناکام ہو جائے گا اور تبدیلیاں بڑھنے کے ساتھ ہی کارکردگی کم ہو جائے گی۔
ماڈل ڈرفٹ کا پتہ لگانا اور اس سے نمٹنا ایک ضروری کام ہے جسے MLOps حل کرتے ہیں۔ ماڈل مانیٹرنگ جیسی تکنیکوں کا استعمال ماڈل ڈرفٹ کی موجودگی کا پتہ لگانے کے لیے کیا جاتا ہے اور ماڈل ری ٹریننگ ماڈل ڈرفٹ پر قابو پانے کے لیے استعمال ہونے والی اہم تکنیکوں میں سے ایک ہے۔
ڈیٹا میں ہونے والی تبدیلیوں کی بنیاد پر ماڈل کو اپ ڈیٹ کرنے کے لیے ماڈل ڈرفٹ کی قسم کو سمجھنا ضروری ہے۔ بہاؤ کی تین اہم اقسام ہیں:
تصور آلگائے
تصور میں اضافہ اس وقت ہوتا ہے جب ہدف اور ان پٹ کے درمیان تعلق بدل جاتا ہے۔ لہذا مشین لرننگ الگورتھم درست پیشین گوئی فراہم نہیں کرے گا۔ تصور کے بڑھنے کی چار اہم اقسام ہیں:
- اچانک بہاؤ: ایک اچانک تصور بڑھتا ہے اگر آزاد اور منحصر متغیرات کے درمیان تعلق اچانک واقع ہو جائے۔ ایک بہت مشہور مثال کوویڈ 19 وبائی بیماری کا اچانک رونما ہونا ہے۔ وبائی مرض کی موجودگی نے ہدف کے متغیر اور مختلف شعبوں میں خصوصیات کے درمیان تعلق کو اچانک تبدیل کر دیا ہے لہذا پہلے سے تربیت یافتہ اعداد و شمار پر تربیت یافتہ پیشن گوئی کرنے والا ماڈل وبائی وقت کے دوران درست طریقے سے پیش گوئی نہیں کر سکے گا۔
- بتدریج بہاؤ: In a gradual concept drift, the relation between the input and the target may change slowly and subtly. This can result in a slow decline in the performance of a machine learning model, as the model becomes less accurate over time. An example of the gradual concept drift is fraudulent behavior. Fraudsters tend to understand how the fraud detection system works and change their behavior over time to escape the system. Therefore a machine learning model trained on historical fraudulent transaction data will not accurately predict the gradual changes in the fraudster’s behavior. For example, consider a machine learning model used for predicting stock prices in which the model is trained on data from the past five years and its performance is evaluated on new data from the current year. However, as time goes by, the market dynamics may change, and the relationship between the variables that influence stock prices may evolve gradually. This can result in incremental drift, where the model’s accuracy gradually deteriorates over time as it becomes less effective at capturing the changing relationship between the variables.
- اضافی بڑھاؤ: اضافی بڑھاؤ اس وقت ہوتا ہے جب ہدف متغیر اور ان پٹ کے درمیان تعلق وقت کے ساتھ آہستہ آہستہ تبدیل ہوتا ہے جو عام طور پر ڈیٹا پیدا کرنے کے عمل میں تبدیلیوں کی وجہ سے ہوتا ہے۔
- بار بار چلنے والا بہاؤ: اسے موسمی بھی کہا جاتا ہے۔ ایک عام مثال کرسمس یا بلیک فرائیڈے کے دوران فروخت میں اضافہ ہے۔ ایک مشین لرننگ ماڈل جو ان موسمی تبدیلیوں کو درست نہیں کرے گا ان موسمی تبدیلیوں کے لیے غلط پیشین گوئیاں فراہم کرے گا۔
یہ چار قسم کے تصوراتی بہاؤ کو ذیل کی شکل میں دکھایا گیا ہے۔
تصور بہاؤ کی اقسام | سے تصویر تصور بہاؤ کے تحت سیکھنا: ایک جائزہ.
ڈیٹا ڈرفٹ
ڈیٹا کا بہاؤ اس وقت ہوتا ہے جب ان پٹ ڈیٹا کی شماریاتی خصوصیات تبدیل ہوتی ہیں۔ اس کی ایک مثال وقت کے ساتھ ساتھ کسی مخصوص ایپلی کیشن کے استعمال کنندہ کی عمر کی تقسیم میں تبدیلی ہے، اس لیے ایک مخصوص عمر کی تقسیم پر تربیت یافتہ ماڈل جو کہ مارکیٹنگ کی حکمت عملیوں کے لیے استعمال کیا جاتا ہے، کو تبدیل کرنا پڑے گا کیونکہ عمر میں ہونے والی تبدیلی پر اثر پڑے گی۔ مارکیٹنگ کی حکمت عملی.
اپ اسٹریم ڈیٹا تبدیلیاں
بہاؤ کی تیسری قسم اپ اسٹریم ڈیٹا کی تبدیلی ہے۔ اس سے مراد ڈیٹا پائپ لائن میں آپریشنل ڈیٹا کی تبدیلیاں ہیں۔ اس کی ایک عام مثال یہ ہے کہ جب کوئی خاص خصوصیت مزید پیدا نہیں ہوتی ہے جس کے نتیجے میں قدر غائب ہوجاتی ہے۔ ایک اور مثال پیمائش کی اکائی میں تبدیلی ہے مثال کے طور پر اگر ایک مخصوص سینسر مقدار کو سیلسیس میں ماپتا ہے اور پھر فارن ہائیٹ میں تبدیل ہوتا ہے۔
ماڈل ڈرفٹ کا پتہ لگانا سیدھا سیدھا نہیں ہے اور اس کا پتہ لگانے کا کوئی آفاقی طریقہ نہیں ہے۔ تاہم، ہم اس کا پتہ لگانے کے چند مشہور طریقوں پر بات کریں گے:
- کولموگوروف سمرنوف ٹیسٹ (KS ٹیسٹ): KS ٹیسٹ ڈیٹا کی تقسیم میں تبدیلی کا پتہ لگانے کے لیے ایک نان پیرامیٹرک ٹیسٹ ہے۔ اس کا استعمال ٹریننگ ڈیٹا اور پوسٹ ٹریننگ ڈیٹا کا موازنہ کرنے اور ان کے درمیان تقسیم کی تبدیلیوں کو تلاش کرنے کے لیے کیا جاتا ہے۔ اس ٹیسٹ سیٹ کے لیے null hypothesis میں کہا گیا ہے کہ دو ڈیٹا سیٹس کی تقسیم ایک جیسی ہے، لہذا اگر null hypothesis کو مسترد کر دیا جاتا ہے، تو ایک ماڈل شفٹ ہو گا۔
- آبادی استحکام انڈیکس (PSI): PSI ایک شماریاتی پیمانہ ہے جو دو مختلف ڈیٹا سیٹس میں زمرہ وار متغیرات کی تقسیم میں مماثلت کی پیمائش کے لیے استعمال ہوتا ہے۔ لہذا اس کا استعمال ٹریننگ اور پوسٹ ٹریننگ ڈیٹاسیٹ میں متغیرات کی خصوصیات میں ہونے والی تبدیلیوں کی پیمائش کے لیے کیا جا سکتا ہے۔
- صفحہ ہنکلی طریقہ: Page-Hinkely ایک شماریاتی طریقہ بھی ہے جو وقت کے ساتھ ساتھ ڈیٹا کے وسط میں ہونے والی تبدیلیوں کو دیکھنے کے لیے استعمال ہوتا ہے۔ یہ عام طور پر وسط میں چھوٹی تبدیلیوں کا پتہ لگانے کے لیے استعمال ہوتا ہے جو ڈیٹا کو دیکھتے وقت ظاہر نہیں ہوتا ہے۔
- کارکردگی کی نگرانی: تصور کی تبدیلی کا پتہ لگانے کا ایک اہم ترین طریقہ پیداوار میں مشین لرننگ ماڈل کی کارکردگی کی نگرانی کرنا اور اس کی تبدیلی کا مشاہدہ کرنا ہے اور اگر یہ ایک خاص حد کو عبور کرتا ہے تو ہم اس تصور کی تبدیلی کو درست کرنے کے لیے ایک خاص کارروائی کو متحرک کر سکتے ہیں۔
پیداوار میں بڑھے کو ہینڈل کرنا | تصویر بذریعہ ایجاب Freepik پر۔
Finally, let’s see how to handle the detected model drift in production. There is a wide spectrum of strategies used to handle the model drift depending on the type of drift, the data we are working on, and the project in production. Here is a summary of the popular methods that are used to handle model drift in production:
- آن لائن سیکھنا: چونکہ زیادہ تر حقیقی دنیا کی ایپلی کیشنز سٹریمنگ ڈیٹا پر چلتی ہیں، اس لیے آن لائن لرننگ ان عام طریقوں میں سے ایک ہے جو بڑھے ہوئے کو سنبھالنے کے لیے استعمال کیے جاتے ہیں۔ آن لائن سیکھنے میں ماڈل کو فلائی پر اپ ڈیٹ کیا جاتا ہے کیونکہ ماڈل ایک وقت میں ایک نمونے کے ساتھ ڈیل کرتا ہے۔
- وقتاً فوقتاً ماڈل ری ٹرین: ایک بار جب ماڈل کی کارکردگی ایک خاص حد سے نیچے آجاتی ہے یا ڈیٹا شفٹ کا مشاہدہ کیا جاتا ہے تو حالیہ ڈیٹا کے ساتھ ماڈل کو دوبارہ تربیت دینے کے لیے ایک ٹرگر سیٹ کیا جا سکتا ہے۔
- وقتا فوقتا ایک نمائندہ ذیلی نمونہ پر دوبارہ تربیت کریں۔: تصور کے بہاؤ کو سنبھالنے کا ایک زیادہ مؤثر طریقہ آبادی کے نمائندہ ذیلی نمونے کو منتخب کرنا اور انسانی ماہرین کا استعمال کرتے ہوئے ان پر لیبل لگانا اور ان پر ماڈل کو دوبارہ تربیت دینا ہے۔
- فیچر ڈراپنگ: یہ ایک سادہ لیکن مؤثر طریقہ ہے جو تصور کے بڑھے ہوئے کو سنبھالنے کے لیے استعمال کیا جا سکتا ہے۔ اس طریقہ کار کا استعمال کرتے ہوئے ہم ایک سے زیادہ ماڈلز کو تربیت دیں گے ہر ایک کو ایک خصوصیت کا استعمال کرتے ہوئے اور ہر ماڈل کے لیے، پھر AUC-ROC ردعمل کی نگرانی کی جاتی ہے، اور اگر AUC-ROC کی قدر کسی خاص خصوصیت کا استعمال کرتے ہوئے ایک خاص حد سے آگے بڑھ جاتی ہے تو ہم اسے اس طرح چھوڑ سکتے ہیں۔ یہ بہتی میں حصہ لے سکتا ہے.
حوالہ جات
اس مضمون میں، ہم نے ماڈل ڈرفٹ پر تبادلہ خیال کیا، جو کہ مشین لرننگ میں ایک ایسا رجحان ہے جہاں بنیادی ڈیٹا میں تبدیلیوں کی وجہ سے وقت کے ساتھ ساتھ ماڈل کی کارکردگی بگڑ جاتی ہے۔ ان چیلنجوں پر قابو پانے کے لیے کاروبار MLOps، طریقوں اور ٹولز کا ایک مجموعہ جو پیداوار میں مشین لرننگ ماڈلز کے لائف سائیکل کو منظم کرتے ہیں، کی طرف رجوع کر رہے ہیں۔
ہم نے مختلف قسم کے بڑھنے کا خاکہ پیش کیا جو ہو سکتا ہے، بشمول تصور بڑھنے، ڈیٹا ڈرفٹ، اور اپ اسٹریم ڈیٹا کی تبدیلیاں، اور کولموگوروف-سمرنوف ٹیسٹ، پاپولیشن سٹیبلٹی انڈیکس، اور پیج-ہنکلے طریقہ جیسے طریقوں کا استعمال کرتے ہوئے ماڈل ڈرفٹ کا پتہ لگانے کا طریقہ۔ آخر میں، ہم نے پروڈکشن میں ماڈل کے بڑھنے کو ہینڈل کرنے کی مقبول تکنیکوں پر تبادلہ خیال کیا جس میں آن لائن سیکھنا، متواتر ماڈل ری ٹرین، وقتاً فوقتاً نمائندہ ذیلی نمونے پر دوبارہ ٹرین کرنا، اور فیچر ڈراپ کرنا شامل ہیں۔
یوسف رفعت کمپیوٹر ویژن ریسرچر اور ڈیٹا سائنسدان ہے۔ اس کی تحقیق صحت کی دیکھ بھال کی ایپلی کیشنز کے لیے حقیقی وقت کے کمپیوٹر وژن الگورتھم تیار کرنے پر مرکوز ہے۔ اس نے مارکیٹنگ، فنانس، اور ہیلتھ کیئر ڈومین میں 3 سال سے زائد عرصے تک ڈیٹا سائنسدان کے طور پر بھی کام کیا۔
- SEO سے چلنے والا مواد اور PR کی تقسیم۔ آج ہی بڑھا دیں۔
- پلیٹوآئ اسٹریم۔ ویب 3 ڈیٹا انٹیلی جنس۔ علم میں اضافہ۔ یہاں تک رسائی حاصل کریں۔
- ایڈریین ایشلے کے ساتھ مستقبل کا نقشہ بنانا۔ یہاں تک رسائی حاصل کریں۔
- PREIPO® کے ساتھ PRE-IPO کمپنیوں میں حصص خریدیں اور بیچیں۔ یہاں تک رسائی حاصل کریں۔
- ماخذ: https://www.kdnuggets.com/2023/05/managing-model-drift-production-mlops.html?utm_source=rss&utm_medium=rss&utm_campaign=managing-model-drift-in-production-with-mlops
- : ہے
- : ہے
- : نہیں
- :کہاں
- $UP
- a
- قابلیت
- اکاؤنٹ
- درستگی
- درست
- درست طریقے سے
- عمل
- پتہ
- خطاب کرتے ہوئے
- پر اثر انداز
- عمر
- یلگورتم
- یلگوردمز
- بھی
- an
- اور
- ایک اور
- واضح
- درخواست
- ایپلی کیشنز
- کیا
- مضمون
- AS
- At
- برا
- کی بنیاد پر
- BE
- ہو جاتا ہے
- نیچے
- کے درمیان
- سے پرے
- سیاہ
- جمعہ
- کاروبار
- کاروبار
- لیکن
- by
- کر سکتے ہیں
- گرفتاری
- پکڑو
- سیلسیس
- کچھ
- چیلنج
- چیلنجوں
- تبدیل
- تبدیل کر دیا گیا
- تبدیلیاں
- تبدیل کرنے
- خصوصیات
- کرسمس
- مجموعہ
- کامن
- موازنہ
- کمپیوٹر
- کمپیوٹر ویژن
- تصور
- نتائج
- غور کریں
- درست
- سکتا ہے
- کوویڈ
- موجودہ
- اعداد و شمار
- ڈیٹا سائنسدان
- ڈیٹاسیٹس
- نمٹنے کے
- فیصلے
- کو رد
- کمی
- ترسیل
- انحصار
- منحصر ہے
- تعینات
- پتہ چلا
- کھوج
- ترقی
- مختلف
- بات چیت
- بات چیت
- تقسیم
- ڈومین
- چھوڑ
- چھوڑنا
- دو
- کے دوران
- حرکیات
- ہر ایک
- موثر
- آخر
- کو یقینی بنانے کے
- فرار ہونے میں
- ضروری
- Ether (ETH)
- اندازہ
- تیار
- مثال کے طور پر
- ماہرین
- تلاش
- FAIL
- آبشار
- مشہور
- نمایاں کریں
- خصوصیات
- قطعات
- اعداد و شمار
- آخر
- کی مالی اعانت
- مل
- توجہ مرکوز
- کے لئے
- چار
- دھوکہ دہی
- فراڈ کا پتہ لگانے
- دھوکہ دہی
- دھوکہ دہی
- جمعہ
- سے
- پیدا
- پیدا کرنے والے
- دے دو
- جاتا ہے
- بتدریج
- آہستہ آہستہ
- ہینڈل
- ہے
- he
- صحت کی دیکھ بھال
- مدد
- یہاں
- ان
- تاریخی
- کس طرح
- کیسے
- تاہم
- HTTPS
- انسانی
- if
- تصویر
- اہم
- in
- غلط
- سمیت
- اضافہ
- آزاد
- انڈکس
- اثر و رسوخ
- مطلع
- ان پٹ
- بصیرت
- میں
- IT
- میں
- فوٹو
- KDnuggets
- جانا جاتا ہے
- لیبل
- معروف
- سیکھنے
- کم
- زندگی کا دورانیہ
- لنکڈ
- ll
- اب
- تلاش
- مشین
- مشین لرننگ
- مین
- بنا
- انتظام
- مینیجنگ
- مارکیٹ
- مارکیٹنگ
- مارکیٹنگ کی حکمت عملی
- مئی..
- مطلب
- کا مطلب ہے کہ
- پیمائش
- پیمائش
- طریقہ
- طریقوں
- شاید
- لاپتہ
- ایم ایل اوپس
- ماڈل
- ماڈل
- نگرانی کی
- نگرانی
- زیادہ
- سب سے زیادہ
- ایک سے زیادہ
- ضرورت ہے
- نئی
- نکولس
- نہیں
- مشاہدہ
- ہوا
- of
- on
- ایک بار
- ایک
- آن لائن
- آن لائن سیکھنا
- آپریشنل
- آپریشنز
- کی اصلاح کریں
- or
- تنظیمیں
- نتائج
- بیان کیا
- پر
- پر قابو پانے
- وبائی
- شرکت
- خاص طور پر
- گزشتہ
- کارکردگی
- متواتر
- رجحان
- پائپ لائن
- پلاٹا
- افلاطون ڈیٹا انٹیلی جنس
- پلیٹو ڈیٹا
- مقبول
- آبادی
- ممکنہ طور پر
- طاقتور
- طریقوں
- پیشن گوئی
- پیش گوئی
- کی پیشن گوئی
- پیشن گوئی
- کی موجودگی
- قیمتیں
- عمل
- پیداوار
- منصوبے
- خصوصیات
- فراہم
- فراہم کرنے
- مقدار
- حقیقی دنیا
- اصل وقت
- وجوہات
- حال ہی میں
- مراد
- سلسلے
- تعلقات
- تعلقات
- رہے
- نمائندے
- تحقیق
- محقق
- جواب
- نتیجہ
- نتیجے
- دوبارہ پڑھنا
- رن
- s
- فروخت
- اسی
- سائنسدان
- موسمیاتی
- دیکھنا
- منتخب
- مقرر
- منتقل
- منتقلی
- دکھایا گیا
- اہم
- سادہ
- بعد
- سست
- آہستہ آہستہ
- چھوٹے
- So
- حل
- کچھ
- مخصوص
- سپیکٹرم
- استحکام
- شروع کریں
- امریکہ
- شماریات
- اسٹاک
- براہ راست
- حکمت عملیوں
- محرومی
- موضوع
- اس طرح
- اچانک
- خلاصہ
- کے نظام
- ہدف
- کاموں
- تکنیک
- ٹیسٹ
- سے
- کہ
- ۔
- ان
- ان
- تو
- وہاں.
- لہذا
- یہ
- وہ
- تھرڈ
- اس
- تین
- حد
- ترقی کی منازل طے
- وقت
- کرنے کے لئے
- اوزار
- ٹرین
- تربیت یافتہ
- ٹریننگ
- ٹرانزیکشن
- ٹرگر
- ٹرننگ
- دو
- قسم
- اقسام
- ٹھیٹھ
- کے تحت
- بنیادی
- سمجھ
- افہام و تفہیم
- یونٹ
- یونیورسل
- اپ ڈیٹ کریں
- اپ ڈیٹ
- اپ اسٹریم ڈیٹا
- استعمال کیا جاتا ہے
- رکن کا
- کا استعمال کرتے ہوئے
- عام طور پر
- قیمت
- بہت
- نقطہ نظر
- راستہ..
- we
- جب
- جس
- وسیع
- گے
- ساتھ
- کام کیا
- کام کر
- کام کرتا ہے
- سال
- سال
- زیفیرنیٹ