تمت كتابة هذا المنشور بالاشتراك مع جاياديب بابيسيتي، كبير متخصصي هندسة البيانات في شركة Merck، وبراباكاران ماثايان، كبير مهندس تعلم الآلة في Tiger Analytics.
تتطلب دورة حياة تطوير نموذج التعلم الآلي (ML) الكبيرة عملية إصدار نموذج قابلة للتطوير مماثلة لعملية تطوير البرمجيات. غالبًا ما يعمل مطورو النماذج معًا في تطوير نماذج ML ويتطلبون منصة MLOps قوية للعمل فيها. تحتاج منصة MLOps القابلة للتطوير إلى تضمين عملية للتعامل مع سير عمل تسجيل نموذج ML، والموافقة عليه، والترقية إلى مستوى البيئة التالي (التطوير والاختبار ، UAT، أو الإنتاج).
عادةً ما يبدأ مطور النماذج العمل في بيئة تطوير ML فردية بداخلها الأمازون SageMaker. عندما يتم تدريب النموذج ويصبح جاهزًا للاستخدام، يجب الموافقة عليه بعد تسجيله في سجل نموذج Amazon SageMaker. في هذا المنشور، نناقش كيفية تعاون فريق AWS AI/ML مع فريق Merck Human Health IT MLOps لبناء حل يستخدم سير عمل تلقائي للموافقة على نموذج ML والترويج له مع التدخل البشري في المنتصف.
نظرة عامة على الحل
يركز هذا المنشور على حل سير العمل الذي يمكن أن تستخدمه دورة حياة تطوير نموذج ML بين مسار التدريب وخط أنابيب الاستدلال. يوفر الحل سير عمل قابلاً للتطوير لـ MLOps في دعم الموافقة على نموذج ML وعملية الترويج بالتدخل البشري. يحتاج نموذج ML المسجل بواسطة عالم البيانات إلى جهة اعتماد لمراجعته والموافقة عليه قبل استخدامه لخط أنابيب الاستدلال وفي مستوى البيئة التالي (الاختبار، أو اختبار UAT، أو الإنتاج). يستخدم الحل AWS لامدا, بوابة أمازون API, أمازون إيفينت بريدجو SageMaker لأتمتة سير العمل مع تدخل الموافقة البشرية في المنتصف. يوضح الرسم التخطيطي التالي التصميم العام للنظام وخدمات AWS المستخدمة وسير العمل للموافقة على نماذج تعلم الآلة والترويج لها مع التدخل البشري من التطوير إلى الإنتاج.
يتضمن سير العمل الخطوات التالية:
- يقوم مسار التدريب بتطوير نموذج وتسجيله في سجل نموذج SageMaker. عند هذه النقطة، حالة النموذج
PendingManualApproval
. - يقوم EventBridge بمراقبة أحداث تغيير الحالة لاتخاذ الإجراءات تلقائيًا بقواعد بسيطة.
- تستدعي قاعدة حدث تسجيل نموذج EventBridge وظيفة Lambda التي تقوم بإنشاء بريد إلكتروني يحتوي على رابط للموافقة على النموذج المسجل أو رفضه.
- يتلقى المعتمد رسالة بريد إلكتروني تحتوي على رابط لمراجعة النموذج والموافقة عليه أو رفضه.
- يوافق المعتمد على النموذج باتباع الرابط الموجود في البريد الإلكتروني إلى نقطة نهاية بوابة API.
- تستدعي بوابة API وظيفة Lambda لبدء تحديثات النموذج.
- يتم تحديث سجل النموذج لحالة النموذج (
Approved
لبيئة التطوير، ولكنPendingManualApproval
للاختبار، UAT، والإنتاج). - يتم تخزين تفاصيل النموذج في متجر معلمات AWS، قدرة مدير أنظمة AWS، بما في ذلك الإصدار النموذجي، والبيئة المستهدفة المعتمدة، وحزمة النموذج.
- يجلب خط أنابيب الاستدلال النموذج المعتمد للبيئة المستهدفة من Parameter Store.
- تقوم وظيفة Lambda لإشعار ما بعد الاستدلال بجمع مقاييس الاستدلال المجمعة وترسل بريدًا إلكترونيًا إلى المعتمد لترويج النموذج في البيئة التالية.
المتطلبات الأساسية المسبقة
يفترض سير العمل في هذا المنشور أنه تم إعداد بيئة مسار التدريب في SageMaker، إلى جانب الموارد الأخرى. المدخلات إلى مسار التدريب هي مجموعة بيانات الميزات. لم يتم تضمين تفاصيل إنشاء الميزات في هذا المنشور، ولكنه يركز على تسجيل نماذج تعلم الآلة والموافقة عليها والترويج لها بعد تدريبها. يتم تسجيل النموذج في السجل النموذجي ويخضع لإطار المراقبة في الأمازون SageMaker نموذج مراقب للكشف عن أي انحراف والبدء في إعادة التدريب في حالة انحراف النموذج.
تفاصيل سير العمل
يبدأ سير عمل الموافقة بنموذج تم تطويره من مسار التدريب. عندما يقوم علماء البيانات بتطوير نموذج، فإنهم يقومون بتسجيله في SageMaker Model Registry بحالة النموذج PendingManualApproval
. يقوم EventBridge بمراقبة SageMaker لحدث تسجيل النموذج ويقوم بتشغيل قاعدة حدث تستدعي وظيفة Lambda. تقوم وظيفة Lambda بشكل ديناميكي بإنشاء بريد إلكتروني للموافقة على النموذج مع رابط إلى نقطة نهاية بوابة API إلى وظيفة Lambda أخرى. عندما يتبع المعتمد الرابط للموافقة على النموذج، تقوم بوابة API بإعادة توجيه إجراء الموافقة إلى وظيفة Lambda، التي تقوم بتحديث سجل نموذج SageMaker وسمات النموذج في Parameter Store. يجب أن تتم مصادقة المعتمد وأن يكون جزءًا من مجموعة الموافقين التي تتم إدارتها بواسطة Active Directory. الموافقة المبدئية تشير إلى النموذج على أنه Approved
لتطوير ولكن PendingManualApproval
للاختبار، UAT، والإنتاج. تتضمن سمات النموذج المحفوظة في Parameter Store إصدار النموذج وحزمة النموذج والبيئة المستهدفة المعتمدة.
عندما يحتاج مسار الاستدلال إلى جلب نموذج، فإنه يتحقق من متجر المعلمات بحثًا عن أحدث إصدار نموذج معتمد للبيئة المستهدفة ويحصل على تفاصيل الاستدلال. عند اكتمال مسار الاستدلال، يتم إرسال إشعار بالبريد الإلكتروني بعد الاستدلال إلى أحد أصحاب المصلحة لطلب الموافقة لترقية النموذج إلى مستوى البيئة التالي. يحتوي البريد الإلكتروني على تفاصيل حول النموذج والمقاييس بالإضافة إلى رابط الموافقة إلى نقطة نهاية بوابة API لوظيفة Lambda التي تقوم بتحديث سمات النموذج.
فيما يلي تسلسل الأحداث وخطوات التنفيذ لسير عمل الموافقة/الترويج لنموذج ML من إنشاء النموذج إلى الإنتاج. يتم ترقية النموذج من بيئات التطوير إلى الاختبار وUAT والإنتاج بموافقة بشرية صريحة في كل خطوة.
نبدأ بمسار التدريب، وهو جاهز لتطوير النموذج. يبدأ إصدار النموذج بالرقم 0 في SageMaker Model Registry.
- يقوم مسار تدريب SageMaker بتطوير نموذج وتسجيله في SageMaker Model Registry. تم تسجيل إصدار النموذج 1 ويبدأ بـ في انتظار الموافقة اليدوية الحالة.تحتوي بيانات تعريف السجل النموذجي على أربعة حقول مخصصة للبيئات:
dev, test, uat
وprod
. - يقوم EventBridge بمراقبة سجل نموذج SageMaker لتغيير الحالة لاتخاذ الإجراء تلقائيًا باستخدام قواعد بسيطة.
- تستدعي قاعدة حدث تسجيل النموذج وظيفة Lambda التي تقوم بإنشاء بريد إلكتروني يحتوي على رابط للموافقة على النموذج المسجل أو رفضه.
- يتلقى المعتمد رسالة بريد إلكتروني تحتوي على رابط لمراجعة النموذج والموافقة عليه (أو رفضه).
- يوافق المعتمد على النموذج باتباع الرابط المؤدي إلى نقطة نهاية بوابة واجهة برمجة التطبيقات (API Gateway) في البريد الإلكتروني.
- تستدعي بوابة API وظيفة Lambda لبدء تحديثات النموذج.
- يتم تحديث سجل نموذج SageMaker بحالة النموذج.
- يتم تخزين معلومات تفاصيل النموذج في Parameter Store، بما في ذلك إصدار النموذج والبيئة المستهدفة المعتمدة وحزمة النموذج.
- يجلب خط أنابيب الاستدلال النموذج المعتمد للبيئة المستهدفة من Parameter Store.
- تقوم وظيفة Lambda لإشعار ما بعد الاستدلال بجمع مقاييس الاستدلال المجمعة وترسل بريدًا إلكترونيًا إلى المعتمد لترويج النموذج في البيئة التالية.
- يوافق المعتمد على ترقية النموذج إلى المستوى التالي باتباع الارتباط المؤدي إلى نقطة نهاية بوابة واجهة برمجة التطبيقات (API Gateway)، التي تقوم بتشغيل وظيفة Lambda لتحديث سجل نموذج SageMaker ومتجر المعلمات.
يتم حفظ السجل الكامل لإصدار النموذج والموافقة عليه للمراجعة في Parameter Store.
وفي الختام
تتطلب دورة حياة تطوير نموذج تعلم الآلة الكبيرة عملية موافقة على نموذج تعلم الآلة قابلة للتطوير. في هذا المنشور، شاركنا تنفيذ سير عمل نموذج ML والموافقة والترويج مع التدخل البشري باستخدام SageMaker Model Registry وEventBridge وAPI Gateway وLambda. إذا كنت تفكر في عملية تطوير نموذج ML قابل للتطوير لمنصة MLOps الخاصة بك، فيمكنك اتباع الخطوات الواردة في هذا المنشور لتنفيذ سير عمل مماثل.
عن المؤلفين
توم كيم هو مهندس حلول أول في AWS، حيث يساعد عملائه على تحقيق أهداف أعمالهم من خلال تطوير الحلول على AWS. يتمتع بخبرة واسعة في هندسة أنظمة المؤسسات والعمليات في العديد من الصناعات - خاصة في مجال الرعاية الصحية وعلوم الحياة. يتعلم توم دائمًا تقنيات جديدة تؤدي إلى نتائج الأعمال المرغوبة للعملاء - على سبيل المثال. الذكاء الاصطناعي/التعلم الآلي، GenAI وتحليلات البيانات. كما أنه يستمتع بالسفر إلى أماكن جديدة ولعب ملاعب جولف جديدة كلما وجد الوقت.
شاميكا أرياوانسايعمل كمهندس أول لحلول الذكاء الاصطناعي/تعلم الآلة في قسم الرعاية الصحية وعلوم الحياة في Amazon Web Services (AWS)، وهو متخصص في الذكاء الاصطناعي التوليدي، مع التركيز على التدريب على نماذج اللغات الكبيرة (LLM)، وتحسينات الاستدلال، وMLOPs (التعلم الآلي). عمليات). وهو يرشد العملاء في دمج الذكاء الاصطناعي التوليدي المتقدم في مشاريعهم، مما يضمن عمليات تدريب قوية وآليات استدلال فعالة وممارسات MLOps مبسطة لحلول الذكاء الاصطناعي الفعالة والقابلة للتطوير. إلى جانب التزاماته المهنية، يتابع شاميكا بشغف التزلج ومغامرات الطرق الوعرة.
جاياديب بابيسيتي هو أحد كبار مهندسي ML/البيانات في Merck، حيث يقوم بتصميم وتطوير حلول ETL وMLOps لفتح علوم البيانات والتحليلات للأعمال. إنه متحمس دائمًا لتعلم التقنيات الجديدة واستكشاف طرق جديدة واكتساب المهارات اللازمة للتطور مع صناعة تكنولوجيا المعلومات المتغيرة باستمرار. يتابع في أوقات فراغه شغفه بالرياضة ويحب السفر واستكشاف أماكن جديدة.
براباكاران ماثايان هو أحد كبار مهندسي التعلم الآلي في Tiger Analytics LLC، حيث يساعد عملائه على تحقيق أهداف أعمالهم من خلال توفير حلول لبناء النماذج والتدريب والتحقق من الصحة والمراقبة وCICD وتحسين حلول التعلم الآلي على AWS. يتعلم Prabakaran دائمًا تقنيات جديدة تؤدي إلى نتائج الأعمال المرغوبة للعملاء - على سبيل المثال. AI/ML وGenAI وGPT وLLM. كما أنه يستمتع بلعب الكريكيت كلما وجد الوقت.
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
- أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
- أفلاطون كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
- أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
- المصدر https://aws.amazon.com/blogs/machine-learning/build-an-amazon-sagemaker-model-registry-approval-and-promotion-workflow-with-human-intervention/
- :لديها
- :يكون
- :ليس
- :أين
- $ UP
- 1
- 100
- 110
- 116
- a
- من نحن
- التأهيل
- كسب
- في
- اكشن
- الإجراءات
- نشط
- نشط الدليل
- متقدم
- مغامرات
- بعد
- AI
- AI / ML
- على طول
- أيضا
- دائما
- أمازون
- الأمازون SageMaker
- أمازون ويب سيرفيسز
- أمازون ويب سيرفيسز (أوس)
- an
- تحليلات
- و
- آخر
- أي وقت
- API
- موافقة
- الموافقة على
- من وزارة الصحة
- هندسة معمارية
- هي
- AS
- يفترض
- At
- سمات
- موثق
- أتمتة
- الآلي
- تلقائيا
- السبل
- AWS
- BE
- قبل
- يجري
- ما بين
- Beyond
- الملابس السفلية
- نساعدك في بناء
- ابني
- حافلة
- الأعمال
- لكن
- by
- CAN
- قدرة
- يهمني
- حقيبة
- تغيير
- الشيكات
- الكود
- تعاونت
- يجمع
- الالتزامات
- إكمال
- النظر
- دورات
- خلق
- كريكيت
- على
- العملاء
- البيانات
- تحليلات البيانات
- علم البيانات
- عالم البيانات
- تصميم
- تصاميم
- مطلوب
- التفاصيل
- تفاصيل
- بكشف أو
- ديف
- تطوير
- المتقدمة
- المطور
- المطورين
- تطوير
- التطوير التجاري
- يطور
- بحث
- تقسيم
- حيوي
- e
- كل
- الطُرق الفعّالة
- فعال
- البريد الإلكتروني
- تضمين
- نقطة النهاية
- مهندس
- الهندسة
- ضمان
- مشروع
- متحمس
- البيئة
- البيئات
- الأثير (ETH)
- الحدث/الفعالية
- أحداث
- دائم التغير
- يتطور
- الخبره في مجال الغطس
- اكتشف
- استكشاف
- واسع
- خبرة واسعة
- الميزات
- المميزات
- مجال
- تركز
- ويركز
- اتباع
- متابعيك
- متابعات
- في حالة
- أربعة
- الإطار
- تبدأ من
- وظيفة
- بوابة
- جيل
- توليدي
- الذكاء الاصطناعي التوليدي
- الغولف
- يحكم
- تجمع
- دليل
- معالجة
- he
- صحة الإنسان
- الرعاية الصحية
- الرعاية الصحية
- يساعد
- له
- تاريخ
- كيفية
- HTML
- HTTPS
- الانسان
- if
- تنفيذ
- التنفيذ
- تحسين
- in
- تتضمن
- شامل
- يشمل
- بما فيه
- فرد
- الصناعات
- العالمية
- معلومات
- في البداية
- بدء
- إدخال
- التكامل
- تدخل
- إلى
- يتضرع
- IT
- صناعة تكنولوجيا المعلومات
- JPG
- لغة
- كبير
- آخر
- قيادة
- تعلم
- مستوى
- الحياة
- علم الحياة
- علوم الحياة
- دورة حياة
- الإعجابات
- LINK
- LLC
- آلة
- آلة التعلم
- تمكن
- كتيب
- آليات
- ميرك
- البيانات الوصفية
- المقاييس
- وسط
- ML
- MLOps
- نموذج
- عارضات ازياء
- مراقبة
- شاشات
- يجب
- ضروري
- إحتياجات
- جديد
- التكنولوجيات الجديدة
- التالي
- إعلام
- أهداف
- of
- غالبا
- on
- عمليات
- or
- أخرى
- نتيجة
- الكلي
- صفقة
- المعلمة
- جزء
- خاصة
- شغف
- نمط
- خط أنابيب
- وجهات
- المنصة
- أفلاطون
- الذكاء افلاطون البيانات
- أفلاطون داتا
- لعب
- البوينت
- صورة
- منشور
- الممارسات
- والمضي قدما
- عملية المعالجة
- العمليات
- الإنتــاج
- محترف
- مشروع ناجح
- تعزيز
- الترويج
- تعزيز
- ترقية
- ويوفر
- توفير
- يسعى
- استعداد
- تسجيل جديد
- مسجل
- سجلات
- التسجيل
- سجل
- الافراج عن
- طلب
- تطلب
- يتطلب
- الموارد
- إعادة التدريب
- مراجعة
- قوي
- طريق
- قاعدة
- القواعد
- s
- sagemaker
- تم الحفظ
- تحجيم
- علوم
- علوم
- عالم
- العلماء
- يرسل
- كبير
- أرسلت
- تسلسل
- خدماتنا
- خدمة
- طقم
- عدة
- شاركت
- يظهر
- مماثل
- الاشارات
- مهارات
- تطبيقات الكمبيوتر
- تطوير البرمجيات
- حل
- الحلول
- متخصص
- تتخصص
- رياضة
- أصحاب المصلحة
- بداية
- يبدأ
- الحالة
- خطوة
- خطوات
- متجر
- تخزين
- تبسيط
- دعم
- نظام
- أنظمة
- أخذ
- الهدف
- فريق
- التكنولوجيا
- تجربه بالعربي
- أن
- •
- من مشاركة
- هم
- نمر
- الوقت
- إلى
- سويا
- توم
- متدرب
- قادة الإيمان
- سفر
- السفر
- عادة
- فتح
- تحديث
- تحديث
- آخر التحديثات
- تستخدم
- مستعمل
- يستخدم
- استخدام
- التحقق من صحة
- الإصدار
- we
- الويب
- خدمات ويب
- حسن
- متى
- كلما
- التي
- مع
- في غضون
- للعمل
- العمل معا
- سير العمل
- لصحتك!
- حل متجر العقارات الشامل الخاص بك في جورجيا
- زفيرنت