تعد نماذج التعلم الآلي أدوات قوية يمكنها مساعدة الشركات على اتخاذ قرارات أكثر استنارة وتحسين عملياتها. ومع ذلك، نظرًا لنشر هذه النماذج وتشغيلها في الإنتاج، فإنها تخضع لظاهرة تُعرف باسم انجراف النماذج.
يحدث انحراف النموذج عندما يتدهور أداء نموذج التعلم الآلي بمرور الوقت بسبب التغيرات في البيانات الأساسية، مما يؤدي إلى تنبؤات غير دقيقة وعواقب محتملة كبيرة على الشركة. ولمواجهة هذا التحدي، تتجه المؤسسات إلى MLOps، وهي مجموعة من الممارسات والأدوات التي تساعد في إدارة دورة حياة التعلم الآلي للإنتاج.
In this article, we’ll explore model drift, the different types of it, how to detect it, and most importantly, how to handle it in production using MLOps. By understanding and managing model drift, businesses can ensure that their machine learning models remain accurate and effective over time, delivering the insights and outcomes that they need to thrive.
تصوير نيكولا بيرول on Unsplash
انجراف النموذج، المعروف أيضًا باسم اضمحلال النموذج، هو ظاهرة في التعلم الآلي حيث يتناقص أداء النموذج بمرور الوقت. وهذا يعني أن النموذج سيبدأ تدريجياً في إعطاء تنبؤات سيئة من شأنها أن تقلل من الدقة بمرور الوقت.
هناك أسباب مختلفة لتغيير النموذج مثل التغييرات في جمع البيانات أو العلاقات الأساسية بين المتغيرات. لذلك سيفشل النموذج في التقاط هذه التغييرات وسيقل الأداء مع زيادة التغييرات.
يعد اكتشاف ومعالجة انجراف النماذج إحدى المهام الأساسية التي تحلها عمليات MLOs. تُستخدم تقنيات مثل مراقبة النماذج للكشف عن وجود انحراف النموذج، كما تُعد إعادة تدريب النموذج إحدى التقنيات الرئيسية المستخدمة للتغلب على انحراف النموذج.
يعد فهم نوع انحراف النموذج أمرًا ضروريًا لتحديث النموذج بناءً على التغييرات التي حدثت في البيانات. هناك ثلاثة أنواع رئيسية من الانجراف:
مفهوم الانجراف
يحدث انحراف المفهوم عندما تتغير العلاقة بين الهدف والمدخلات. ولذلك فإن خوارزمية التعلم الآلي لن توفر تنبؤًا دقيقًا. هناك أربعة أنواع رئيسية من انجراف المفهوم:
- الانجراف المفاجئ: يحدث انحراف مفاجئ للمفاهيم إذا حدثت العلاقة بين المتغيرات المستقلة والتابعة فجأة. ومن الأمثلة الشهيرة جدًا الظهور المفاجئ لوباء كوفيد 19. لقد أدى حدوث الجائحة إلى تغيير مفاجئ في العلاقة بين المتغير المستهدف والمميزات في المجالات المختلفة، لذلك لن يتمكن النموذج التنبؤي المدرب على البيانات المدربة مسبقًا من التنبؤ بدقة خلال وقت الجائحة.
- الانجراف التدريجي: In a gradual concept drift, the relation between the input and the target may change slowly and subtly. This can result in a slow decline in the performance of a machine learning model, as the model becomes less accurate over time. An example of the gradual concept drift is fraudulent behavior. Fraudsters tend to understand how the fraud detection system works and change their behavior over time to escape the system. Therefore a machine learning model trained on historical fraudulent transaction data will not accurately predict the gradual changes in the fraudster’s behavior. For example, consider a machine learning model used for predicting stock prices in which the model is trained on data from the past five years and its performance is evaluated on new data from the current year. However, as time goes by, the market dynamics may change, and the relationship between the variables that influence stock prices may evolve gradually. This can result in incremental drift, where the model’s accuracy gradually deteriorates over time as it becomes less effective at capturing the changing relationship between the variables.
- الانجراف المتزايد: يحدث الانجراف المتزايد عندما تتغير العلاقة بين المتغير المستهدف والمدخلات تدريجيًا مع مرور الوقت، وهو ما يحدث عادةً بسبب التغيرات في عملية توليد البيانات.
- الانجراف المتكرر: يُعرف هذا أيضًا بالموسمية. والمثال النموذجي هو الزيادة في المبيعات خلال عيد الميلاد أو الجمعة السوداء. إن نموذج التعلم الآلي الذي لن يأخذ هذه التغييرات الموسمية في الاعتبار بشكل غير دقيق سينتهي به الأمر إلى تقديم تنبؤات غير دقيقة لهذه التغييرات الموسمية.
تظهر هذه الأنواع الأربعة من انجراف المفهوم في الشكل أدناه.
أنواع انجراف المفهوم | صورة من التعلم في ظل انجراف المفهوم: مراجعة.
انجراف البيانات
يحدث انحراف البيانات عندما تتغير الخصائص الإحصائية لبيانات الإدخال. مثال على ذلك هو التغير في التوزيع العمري لمستخدم تطبيق معين مع مرور الوقت، لذلك يجب تغيير النموذج المدرب على توزيع عمري محدد والذي يستخدم لاستراتيجيات التسويق حيث أن التغير في العمر سيؤثر على استراتيجيات التسويق.
تغييرات البيانات المنبع
النوع الثالث من الانجراف هو تغييرات البيانات المنبع. يشير هذا إلى تغييرات البيانات التشغيلية في خط أنابيب البيانات. ومن الأمثلة النموذجية على ذلك عندما لا يتم إنشاء ميزة معينة مما يؤدي إلى فقدان القيمة. مثال آخر هو التغيير في وحدة القياس، على سبيل المثال إذا كان جهاز استشعار معين يقيس الكمية بالمئوية ثم يتغير إلى فهرنهايت.
إن اكتشاف انحراف النموذج ليس بالأمر السهل ولا توجد طريقة عالمية لاكتشافه. ومع ذلك، سنناقش بعض الطرق الشائعة لاكتشافه:
- اختبار كولموجوروف-سميرنوف (اختبار K-S): اختبار K-S هو اختبار غير معلمي للكشف عن التغيير في توزيع البيانات. يتم استخدامه لمقارنة بيانات التدريب وبيانات ما بعد التدريب وإيجاد تغيرات التوزيع بينهما. تنص الفرضية الصفرية لمجموعة الاختبار هذه على أن التوزيع من مجموعتي البيانات هو نفسه، لذلك إذا تم رفض الفرضية الصفرية، فسيكون هناك تحول في النموذج.
- مؤشر الاستقرار السكاني (PSI): PSI هو مقياس إحصائي يستخدم لقياس التشابه في توزيع المتغيرات الفئوية في مجموعتين مختلفتين من البيانات. ولذلك يمكن استخدامه لقياس التغيرات في خصائص المتغيرات الفئوية في مجموعة بيانات التدريب وما بعد التدريب.
- طريقة صفحة هينكلي: تعتبر Page-Hinkely أيضًا طريقة إحصائية تُستخدم لمراقبة التغيرات في متوسط البيانات بمرور الوقت. وعادة ما يستخدم للكشف عن التغييرات الصغيرة في المتوسط التي لا تظهر عند النظر إلى البيانات.
- مراقبة الاداء: ومن أهم الطرق للكشف عن تحول المفهوم هي مراقبة أداء نموذج التعلم الآلي في الإنتاج وملاحظة تغيره وإذا تجاوز عتبة معينة يمكننا إطلاق إجراء معين لتصحيح هذا التحول في المفهوم.
التعامل مع الانجراف في الإنتاج | الصورة بواسطة ijab على فريبيك.
Finally, let’s see how to handle the detected model drift in production. There is a wide spectrum of strategies used to handle the model drift depending on the type of drift, the data we are working on, and the project in production. Here is a summary of the popular methods that are used to handle model drift in production:
- تعليم على الانترنت: نظرًا لأن معظم تطبيقات العالم الحقيقي تعمل على تدفق البيانات، يعد التعلم عبر الإنترنت أحد الأساليب الشائعة المستخدمة للتعامل مع هذا الانجراف. في التعلم عبر الإنترنت، يتم تحديث النموذج بسرعة حيث يتعامل النموذج مع عينة واحدة في كل مرة.
- إعادة تدريب النموذج بشكل دوري: بمجرد انخفاض أداء النموذج عن حد معين أو ملاحظة تحول في البيانات، يمكن تعيين مشغل لإعادة تدريب النموذج باستخدام البيانات الحديثة.
- إعادة التدريب بشكل دوري على عينة فرعية تمثيلية: الطريقة الأكثر فعالية للتعامل مع انحراف المفهوم هي اختيار عينة فرعية تمثيلية من السكان وتصنيفها باستخدام خبراء بشريين وإعادة تدريب النموذج عليهم.
- إسقاط الميزة: هذه طريقة بسيطة ولكنها فعالة يمكن استخدامها للتعامل مع انحراف المفهوم. باستخدام هذه الطريقة سنقوم بتدريب نماذج متعددة كل منها باستخدام ميزة واحدة ولكل نموذج، يتم بعد ذلك مراقبة استجابة AUC-ROC، وإذا تجاوزت قيمة AUC-ROC عتبة معينة باستخدام ميزة معينة فيمكننا إسقاطها كما يلي هذا قد يشارك في الانجراف.
مراجع حسابات
في هذه المقالة، ناقشنا انحراف النموذج، وهي ظاهرة في التعلم الآلي حيث يتدهور أداء النموذج بمرور الوقت بسبب التغيرات في البيانات الأساسية. تتجه الشركات إلى MLOps، وهي مجموعة من الممارسات والأدوات التي تدير دورة حياة نماذج التعلم الآلي في الإنتاج، للتغلب على هذه التحديات.
لقد أوجزنا الأنواع المختلفة من الانجراف التي يمكن أن تحدث، بما في ذلك انحراف المفهوم، وانجراف البيانات، وتغييرات البيانات الأولية، وكيفية اكتشاف انحراف النموذج باستخدام طرق مثل اختبار كولموجوروف-سميرنوف، ومؤشر الاستقرار السكاني، وطريقة بيج-هينكلي. أخيرًا، ناقشنا التقنيات الشائعة للتعامل مع انحراف النموذج في الإنتاج بما في ذلك التعلم عبر الإنترنت، وإعادة تدريب النموذج بشكل دوري، وإعادة التدريب بشكل دوري على عينة فرعية تمثيلية، وإسقاط الميزات.
يوسف رفعت باحث في رؤية الكمبيوتر وعالم بيانات. يركز بحثه على تطوير خوارزميات الرؤية الحاسوبية في الوقت الحقيقي لتطبيقات الرعاية الصحية. عمل أيضًا كعالم بيانات لأكثر من 3 سنوات في مجال التسويق والتمويل والرعاية الصحية.
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- أفلاطونايستريم. ذكاء بيانات Web3. تضخيم المعرفة. الوصول هنا.
- سك المستقبل مع أدرين أشلي. الوصول هنا.
- شراء وبيع الأسهم في شركات ما قبل الاكتتاب مع PREIPO®. الوصول هنا.
- المصدر https://www.kdnuggets.com/2023/05/managing-model-drift-production-mlops.html?utm_source=rss&utm_medium=rss&utm_campaign=managing-model-drift-in-production-with-mlops
- :لديها
- :يكون
- :ليس
- :أين
- $ UP
- a
- ماهرون
- حسابي
- دقة
- دقيق
- بدقة
- اكشن
- العنوان
- معالجة
- تؤثر
- السن
- خوارزمية
- خوارزميات
- أيضا
- an
- و
- آخر
- واضح
- تطبيق
- التطبيقات
- هي
- البند
- AS
- At
- سيئة
- على أساس
- BE
- يصبح
- أقل من
- ما بين
- Beyond
- اسود
- سيبر مونداي
- الأعمال
- الأعمال
- لكن
- by
- CAN
- اسر
- يو كاتش
- درجة مئوية
- معين
- تحدى
- التحديات
- تغيير
- غير
- التغييرات
- متغير
- الخصائص
- عيد الميلاد
- مجموعة شتاء XNUMX
- مشترك
- قارن
- الكمبيوتر
- رؤية الكمبيوتر
- مفهوم
- النتائج
- نظر
- تصحيح
- استطاع
- Covid
- حالياًّ
- البيانات
- عالم البيانات
- قواعد البيانات
- صفقة
- القرارات
- رفض
- تخفيض
- تقديم
- تابع
- اعتمادا
- نشر
- الكشف عن
- كشف
- تطوير
- مختلف
- بحث
- ناقش
- توزيع
- نطاق
- قطرة
- إسقاط
- اثنان
- أثناء
- دينامية
- كل
- الطُرق الفعّالة
- النهاية
- ضمان
- هرب
- أساسي
- الأثير (ETH)
- تقييم
- يتطور
- مثال
- خبرائنا
- اكتشف
- يفشلون
- شلالات
- مشهور
- الميزات
- المميزات
- مجال
- الشكل
- أخيرا
- تمويل
- ويركز
- في حالة
- أربعة
- احتيال
- الكشف عن الغش
- المحتالين
- محتال
- الجمعة
- تبدأ من
- ولدت
- توليد
- منح
- يذهب
- تدريجي
- تدريجيا
- مقبض
- يملك
- he
- الرعاية الصحية
- مساعدة
- هنا
- له
- تاريخي
- كيفية
- كيفية
- لكن
- HTTPS
- الانسان
- if
- صورة
- أهمية
- in
- غير دقيق
- بما فيه
- القيمة الاسمية
- مستقل
- مؤشر
- تأثير
- وأبلغ
- إدخال
- رؤى
- إلى
- IT
- انها
- JPG
- KD nuggets
- معروف
- وصفها
- قيادة
- تعلم
- أقل
- دورة حياة
- لينكدين:
- ll
- يعد
- أبحث
- آلة
- آلة التعلم
- الرئيسية
- جعل
- إدارة
- إدارة
- تجارة
- التسويق
- استراتيجيات التسويق
- مايو..
- تعني
- يعني
- قياس
- قياس
- طريقة
- طرق
- ربما
- مفقود
- MLOps
- نموذج
- عارضات ازياء
- مراقبة
- مراقبة
- الأكثر من ذلك
- أكثر
- متعدد
- حاجة
- جديد
- نيكولا
- لا
- رصد
- حدث
- of
- on
- مرة
- ONE
- online
- تعليم على الانترنت
- تشغيل
- عمليات
- الأمثل
- or
- المنظمات
- النتائج
- أوجز
- على مدى
- تغلب
- وباء
- شارك
- خاص
- الماضي
- أداء
- دوري
- ظاهرة
- خط أنابيب
- أفلاطون
- الذكاء افلاطون البيانات
- أفلاطون داتا
- الرائج
- سكان
- يحتمل
- قوي
- الممارسات
- تنبأ
- توقع
- تنبؤ
- تنبؤات
- وجود
- الأسعار
- عملية المعالجة
- الإنتــاج
- تنفيذ المشاريع
- HAS
- تزود
- توفير
- كمية
- العالم الحقيقي
- في الوقت الحقيقي
- الأسباب
- الأخيرة
- يشير
- علاقة
- صلة
- العلاقات
- لا تزال
- ممثل
- بحث
- الباحث
- استجابة
- نتيجة
- مما أدى
- إعادة التدريب
- يجري
- s
- الأملاح
- نفسه
- عالم
- موسمي
- انظر تعريف
- اختيار
- طقم
- نقل
- التحول
- أظهرت
- هام
- الاشارات
- منذ
- بطيء
- ببطء
- صغير
- So
- حل
- بعض
- محدد
- طيف
- استقرار
- بداية
- المحافظة
- إحصائي
- مخزون
- صريح
- استراتيجيات
- متدفق
- موضوع
- هذه
- مفاجئ
- ملخص
- نظام
- الهدف
- المهام
- تقنيات
- تجربه بالعربي
- من
- أن
- •
- من مشاركة
- منهم
- then
- هناك.
- وبالتالي
- تشبه
- هم
- الثالث
- ثلاثة
- عتبة
- تزدهر
- الوقت
- إلى
- أدوات
- قطار
- متدرب
- قادة الإيمان
- صفقة
- يثير
- تحول
- اثنان
- نوع
- أنواع
- نموذجي
- مع
- التي تقوم عليها
- فهم
- فهم
- وحدة
- عالمي
- تحديث
- تحديث
- بيانات المنبع
- مستعمل
- مستخدم
- استخدام
- عادة
- قيمنا
- جدا
- رؤيتنا
- طريق..
- we
- متى
- التي
- واسع
- سوف
- مع
- عمل
- عامل
- أعمال
- عام
- سنوات
- زفيرنت