تعلن AWS اليوم عن توفر ترقيات الإصدار الموضعية لـ سير العمل المُدار من أمازون لتدفق هواء أباتشي (أمازون MWAA). يتيح لك هذا التحسين ترقية بيئات Apache Airflow الإصدار 2.x بسلاسة إلى الإصدارات الأحدث المتاحة مع الاحتفاظ بسجل تشغيل سير العمل وتكوينات البيئة. يمكنك الآن الاستفادة من أحدث إمكانيات منصة Apache Airflow دون الحاجة إلى إنشاء بيئة Amazon MWAA جديدة تمامًا.
حتى الآن، إذا كنت تريد ترقية بيئة Amazon MWAA الخاصة بك إلى إصدار Apache Airflow مختلف، كان عليك اتباع ترحيل بيئة أمازون MWAA تعليمات. يتضمن ذلك إنشاء بيئة Amazon MWAA جديدة ثم ترحيل كافة التكوينات والملفات الخاصة بك الرسوم البيانية غير الدورية الموجهة (داغ) إليها. إذا كنت بحاجة أيضًا إلى الاحتفاظ بسجل عمليات تشغيل DAG، فيجب عليك أخذ نسخة احتياطية من قاعدة بيانات التعريف الخاصة بك ثم استعادة تلك النسخة الاحتياطية في البيئة التي تم إنشاؤها حديثًا. كانت هذه العملية عرضة للخطأ، ويدوية، وتتضمن تكاليف إضافية لصيانة بيئتي Amazon MWAA المنفصلتين حتى تتمكن من التحقق من البيئة الجديدة وإيقاف تشغيل القديمة.
في هذا المنشور، نقدم نظرة عامة على ميزة ترقية الإصدار الموضعي، ونستكشف حالات الاستخدام القابلة للتطبيق، ونفصل خطوات استخدامها، ونقدم إرشادات إضافية حول إمكانياتها.
نظرة عامة على الحل
توفر ترقيات الإصدار الموضعي التي تم تقديمها حديثًا بواسطة Amazon MWAA انتقالًا مبسطًا من البيئات القائمة المستندة إلى الإصدار 2.x من Apache Airflow إلى إصدارات Apache Airflow الأحدث المتوفرة. تدير Amazon MWAA عملية الترقية بأكملها، بدءًا من توفير إصدارات Apache Airflow الجديدة وحتى ترقية قاعدة بيانات البيانات التعريفية. في حالة فشل الترقية، تم تصميم Amazon MWAA للرجوع إلى الإصدار الثابت السابق باستخدام لقطة قاعدة بيانات التعريف المرتبطة.
تعد ترقية بيئاتك الحالية على Amazon MWAA عملية مباشرة. يمكنك ترقية Apache Airflow 2.0 والبيئات الأحدث الموجودة لديك على Amazon MWAA ببضع نقرات فقط على وحدة تحكم Amazon MWAA، باستخدام Amazon MWAA API، واجهة سطر الأوامر AWS (AWS CLI)، أو باستخدام أدوات مثل تكوين سحابة AWSأطلقت حملة مجموعة تطوير سحابة AWS (AWS CDK)، أو Terraform. تتوفر هذه الميزة في جميع مناطق Amazon MWAA المدعومة حاليًا.
على وحدة تحكم Amazon MWAA، ما عليك سوى تحرير البيئة وتحديد إصدار Apache Airflow المتوفر أعلى من الإصدار الحالي لبيئتك الحالية. يمكنك أيضًا استخدام UpdateEnvironment API وحدد إصدار Apache Airflow الجديد لبدء عملية الترقية. لمعرفة المزيد حول ترقيات الإصدار الموضعي، راجع ترقية إصدار Apache Airflow من وثائق أمازون MWAA.
أثناء الترقية، يقوم Amazon MWAA أولاً بإنشاء لقطة لقاعدة بيانات التعريف الخاصة بالبيئة الحالية، والتي تعمل بعد ذلك كأساس لقاعدة بيانات جديدة. بعد ذلك، تتم ترقية جميع مكونات Apache Airflow — خادم الويب والمجدول والعاملين. وأخيرًا، تمت ترقية قاعدة بيانات التعريف المنشأة حديثًا، مما يكمل عملية الانتقال إلى البيئة الجديدة بشكل فعال.
حالات الاستخدام القابلة للتطبيق
يجب أن تفكر في ترقية إصدار Apache Airflow الخاص بك على Amazon MWAA إذا كانت مسارات العمل الحالية لديك قادرة على استيعاب التغيير وكان الإصدار الجديد متاحًا بميزات أو تحسينات تتوافق مع حالة الاستخدام الخاصة بك. من خلال الترقية، يمكنك الاستفادة من أحدث إمكانات منصة Apache Airflow والحفاظ على التوافق مع الميزات الجديدة وأفضل الممارسات مثل الجدولة المستندة إلى البيانات وحزم موفر Amazon الجديدة تم إصداره في Apache Airflow 2.4.3. تتضمن عملية الترقية فترة تعطل للبيئة يمكن أن تستغرق ما يصل إلى ساعتين حتى تكتمل اعتمادًا على حجم البيئة ويمكن إجراؤها عند الطلب في الوقت الذي يناسبك. إذا كانت بيئتك الحالية مستخدمة بكثرة بحيث لا يمكنك تحمل فترة التوقف عن العمل، ففكر في إنشاء بيئة جديدة بدلاً من ذلك.
المتطلبات الأساسية المسبقة
عند التحضير للترقية، تأكد من إكمال الخطوات الأساسية التالية:
- تحقق من تغييرات Apache Airflow بين الإصدارات الحالية والجديدة من البيئة. مراجعة تدفق الهواء أباتشي ملاحظات الإصدار لفهم تأثير الميزات الجديدة والتغييرات الهامة وإصلاحات الأخطاء التي قامت بها جميع إصدارات Apache Airflow المتوسطة بين إصداري المصدر والوجهة.
- قم بمراجعة الموجود لديك
requirements.txt
ملف للتحقق من المجموعة الصحيحة من التبعيات المطلوبة للبيئة المستهدفة. بالإضافة إلى ذلك، تحقق من أن حسابكrequirements.txt
يحتوي الملف على ملف القيود الصحيحة المضاف في أعلى الملف ليتوافق مع البيئة المستهدفة. يحدد ملف قيود Apache Airflow الوحدات التابعة وإصدارات الموفر المتوفرة في وقت إصدار Apache Airflow. تؤدي إضافة ملف قيود إلى منع تثبيت المكتبات غير المتوافقة في بيئتك. في المثال التالي، استبدل{Airflow-version}
مع رقم إصدار البيئة المستهدفة، و{Python-version}
مع إصدار Python المتوافق مع بيئتك:--constraint "https://raw.githubusercontent.com/apache/airflow/constraints-{Airflow-version}/constraints-{Python-version}.txt"
- قم بمراجعة توافق مكتبات Python الإضافية المذكورة في ملفك
requirements.txt
الملف ليتناسب مع البيئة المستهدفة. يستخدم Apache Airflow v2.4.3 والإصدارات الأحدث Python v3.10، بينما تستخدم إصدارات Apache Airflow الأقدم Python v3.7. لذلك، إذا كنت تحاول ترقية البيئة الحالية المستندة إلى Apache Airflow v2.0.2/2.2.2 إلى Apache Airflow v2.4.3 أو أعلى، فيجب عليك تحديث مكتبات Python الإضافية لتتوافق مع Python v3.10. - مع Apache Airflow v2.4.3 والإصدارات الأحدث، تغيرت قائمة حزم الموفرين التي تقوم Amazon MWAA بتثبيتها افتراضيًا لبيئتك. لاحظ أن بعض الواردات وأسماء المشغلين قد تغيرت في حزمة الموفر الجديدة في Apache Airflow من أجل توحيد اصطلاح التسمية عبر حزم الموفر. مقارنة قائمة حزم الموفر المثبتة بشكل افتراضي في Apache Airflow v2.2.2 أو v2.0.2، وقم بتكوين أي حزم إضافية قد تحتاجها لـ Apache Airflow v2.4.3 الجديد والبيئة الأعلى.
- تأكد من أن DAGs وموارد سير العمل الأخرى متوافقة مع إصدار Apache Airflow الجديد الذي تقوم بالترقية إليه.
- استخدم عداء محلي أوس موا الأداة المساعدة لاختبار DAGs والمتطلبات والمكونات الإضافية والتبعيات الموجودة لديك محليًا قبل النشر إلى Amazon MWAA. يمكنك إنشاء بيئة Apache Airflow مستهدفة تشبه صورة إنتاج Amazon MWAA محليًا
aws-mwaa-local-runner
وتحقق من عمل جميع مكوناتك قبل محاولة ترقية بيئة Amazon MWAA الخاصة بك. بالإضافة إلى ذلك، اختبر عملية ترقية البيئة الجديدة في بيئات Amazon MWAA الأقل مثل التطوير أو التدريج قبل طرح الترقية في بيئات الإنتاج.
عملية الترقية
عند بدء الترقية، تقوم Amazon MWAA بإيقاف مكونات Apache Airflow الأساسية الحالية (خادم الويب والمجدول والعاملين). توقف هذه العملية أية مهام عاملة قيد التشغيل حاليًا. ستظهر حالة بيئتك في هذه المرحلة على أنها UPDATING
. تقوم عملية الترقية بعد ذلك بإنشاء لقطة قاعدة بيانات لقاعدة بيانات التعريف، مع تمييزها بالحالة CREATING_SNAPSHOT
. عند اكتمال اللقطة، تعود حالة البيئة إلى UPDATING
حيث يقوم Amazon MWAA بتشغيل إنشاء بيئة Apache Airflow جديدة تتوافق مع الإصدار الذي حددته وتطبق تغييرات المخطط الضرورية على قاعدة بيانات البيانات التعريفية الحالية لمواءمتها مع بيئة Apache Airflow المستهدفة. خلال هذه المرحلة، يتم تثبيت متطلباتك المحددة والمكونات الإضافية والتبعيات الأخرى.
عند الانتهاء، يتم وضع علامة على بيئتك الجديدة على أنها AVAILABLE
مما يشير إلى أن عملية الترقية تمت بنجاح وأن البيئة جاهزة للاختبار. يمكنك الآن تسجيل الدخول إلى واجهة مستخدم Apache Airflow للتحقق من وجود DAGs الموجودة لديك وعمليات التشغيل التاريخية والاتصالات التي تم تكوينها والمزيد.
ومع ذلك، إذا كانت هناك حالات فشل في تثبيت ملفات المتطلبات والمكونات الإضافية والتبعيات المحددة، فستبدأ البيئة في العودة إلى الإصدار المستقر السابق. خلال هذه العملية، ستظهر حالة البيئة الخاصة بك كـ ROLLING_BACK
. إذا نجحت عملية الاستعادة، فستكون البيئة المستقرة السابقة متاحة وسيتم عرض الحالة على أنها UPDATE_FAILED
حتى تتم محاولة التحديث الجديد وينجح. إذا فشلت عملية الاستعادة، ستظهر الحالة كـ UNAVAILABLE
، مما يشير إلى أن بيئتك لا تعمل.
إذا فشلت عملية ترقية البيئة لديك، فمن المحتمل أن تكون المشكلة الأساسية خدمة الأمازون المرنة للحاويات (أمازون ECS) AWS فارجيت واجهت المجموعات مشكلات في الاستقرار ناجمة عن تعارض المتطلبات والمكونات الإضافية، أو مشكلات في الشبكات، أو مشكلات في ترحيل قاعدة البيانات بعد ترقية مكون Apache Airflow. للتخفيف من حدة هذه المشكلات، تأكد من أن DAGs ومتطلباتك تعمل دون مشاكل في استخدام aws-mwaa-local-runner
الأداة المساعدة، وبشكل مثالي، الاختبار في بيئة Amazon MWAA المرحلية.
اعتبارات إضافية
ضع في اعتبارك المعلومات الإضافية التالية لهذه الميزة:
- عملية الترقية متاحة عند الطلب، وستقتصر على الانتقال إلى الإصدارات الأحدث. ترقيات الإصدار الموضعي على Amazon MWAA غير مدعومة للإصدار 1.10.z. لإجراء ترقية إصدار رئيسي، على سبيل المثال من الإصدار 1.yz إلى 2.yz، يجب عليك إنشاء بيئة جديدة وترحيل الموارد الخاصة بك.
- يمكنك فقط تحديد الإصدارات الأعلى القابلة للتطبيق والتي يمكنك الترقية إليها. الرجوع إلى إصدار أقل غير متاح.
- يمكن أن تستغرق عملية التراجع وقتًا إضافيًا، إذا كان لديك خدمة تخزين أمازون البسيطة تم تمكين إصدار الحاوية (Amazon S3)، وتم تصميم Amazon MWAA لإعادة البيئة إلى تكوين العمل السابق، بما في ذلك المكونات الإضافية والمتطلبات. ومع ذلك، لن يتم التراجع عن أي تغييرات يدوية تم إجراؤها على DAGs أثناء هذه العملية.
- بعد اكتمال عملية الترقية بنجاح وتوافر البيئة، تتم جدولة أي DAGs قيد التشغيل تمت مقاطعتها أثناء الترقية لإعادة المحاولة، اعتمادًا على الطريقة التي تقوم بها بتكوين إعادة المحاولة لـ DAGs الخاصة بك. يمكنك أيضًا تشغيلها يدويًا أو انتظار التشغيل المجدول التالي.
- يجب عليك ترقية بيئاتك بشكل متكرر بدءًا بالبيئات الأقل أهمية أولاً.
وفي الختام
تحدثنا في هذا المنشور عن الميزة الجديدة لـ Amazon MWAA التي تتيح لك ترقية بيئة Amazon MWAA الحالية إلى إصدارات Apache Airflow الأعلى. يتم دعم هذه الميزة في بيئات Amazon MWAA الجديدة والحالية التي تعمل بنظام Apache Airflow 2.x والإصدارات الأحدث. استخدم هذه الميزة لترقية إصدارات Apache Airflow مع الاحتفاظ بسجلات تشغيل سير العمل الحالية وتكوينات البيئة. من خلال الترقية، يمكنك الاستفادة من أحدث إمكانيات نظام Apache Airflow والحفاظ على التوافق مع الميزات الجديدة والالتزام بأفضل الممارسات.
للحصول على تفاصيل إضافية وأمثلة على التعليمات البرمجية على Amazon MWAA ، قم بزيارة دليل مستخدم Amazon MWAA و أمثلة Amazon MWAA GitHub repo.
تُعد Apache و Apache Airflow و Airflow إما علامات تجارية مسجلة أو علامات تجارية لشركة مؤسسة اباتشي للبرمجيات في الولايات المتحدة و / أو دول أخرى.
حول المؤلف
بارناب باشاك هو مهندس حلول ومتخصص بدون خادم في AWS. إنه متخصص في إنشاء حلول جديدة سحابية أصلية باستخدام ممارسات تطوير البرامج الحديثة مثل عدم وجود خادم ، و DevOps ، والتحليلات. تعمل Parnab عن كثب في مساحة خدمات التحليلات والتكامل لمساعدة العملاء على اعتماد خدمات AWS لتلبية احتياجات تنظيم سير العمل الخاصة بهم.
فرناندو جاميرو هو مهندس أول للحلول في AWS، ويتمتع بخبرة تزيد عن 25 عامًا في صناعة التكنولوجيا، بدءًا من الاتصالات والخدمات المصرفية وحتى الشركات الناشئة. وهو يساعد الآن العملاء في بناء بنيات تعتمد على الأحداث، واعتماد حلول إنترنت الأشياء على الحافة، وتحويل مسارات البيانات والتعلم الآلي الخاصة بهم على نطاق واسع.
شوبهام ميهتا هو مدير منتج ذو خبرة مع أكثر من ثماني سنوات من الخبرة وسجل حافل في تقديم منتجات ناجحة. في منصبه الحالي كمدير أول للمنتجات في AWS ، يشرف على Amazon Managed Workflow for Apache Airflow (Amazon MWAA) ويقود مساهمات Apache Airflow مفتوحة المصدر لزيادة تحسين وظائف المنتج.
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- أفلاطونايستريم. ذكاء بيانات Web3. تضخيم المعرفة. الوصول هنا.
- سك المستقبل مع أدرين أشلي. الوصول هنا.
- شراء وبيع الأسهم في شركات ما قبل الاكتتاب مع PREIPO®. الوصول هنا.
- المصدر https://aws.amazon.com/blogs/big-data/introducing-in-place-version-upgrades-with-amazon-mwaa/
- :لديها
- :يكون
- :ليس
- $ UP
- 1
- 10
- 100
- 110
- 7
- a
- من نحن
- فوق
- استيعاب
- في
- اسيكليك
- وأضاف
- مضيفا
- إضافي
- معلومات اضافية
- وبالإضافة إلى ذلك
- انضمت
- تبنى
- اعتماد
- مميزات
- بعد
- محاذاة
- الكل
- يسمح
- أيضا
- أمازون
- مهام سير العمل المُدارة من أمازون لتدفق الهواء من أمازون (Amazon MWAA)
- أمازون ويب سيرفيسز
- an
- تحليلات
- و
- اعلان
- أي وقت
- أباتشي
- API
- ذو صلة
- هي
- AS
- أسوشيتد
- At
- حاول
- محاولة
- توفر
- متاح
- AWS
- الى الخلف
- دعم
- البنوك والمصارف
- أساس
- BE
- كان
- قبل
- يجري
- أفضل
- أفضل الممارسات
- ما بين
- علة
- ابني
- by
- CAN
- قدرات
- حقيبة
- الحالات
- تسبب
- تغيير
- غير
- التغييرات
- عن كثب
- سحابة
- سحابة الأصلية
- الكود
- قارن
- التوافق
- متوافق
- إكمال
- الطلب مكتمل
- الانتهاء
- إكمال
- عنصر
- مكونات
- الاعداد
- متضارب
- التواصل
- نظر
- كنسولات
- القيود
- وعاء
- مساهمات
- اتفاقية
- تصحيح
- التكاليف
- استطاع
- دولة
- خلق
- خلق
- يخلق
- خلق
- خلق
- حرج
- حالياًّ
- حاليا
- العملاء
- DAG
- البيانات
- تعتمد على البيانات
- قاعدة البيانات
- الترتيب
- تقديم
- الطلب
- تابع
- اعتمادا
- نشر
- تصميم
- افضل الرحلات السياحية
- التفاصيل
- تفاصيل
- ديف
- التطوير التجاري
- DevOps
- مختلف
- العرض
- توثيق
- الوقت الضائع
- مدفوع
- أثناء
- حافة
- على نحو فعال
- إما
- تمكين
- مهندس
- تعزيز
- زيادة
- ضمان
- كامل
- تماما
- البيئة
- البيئات
- خطأ
- الأثير (ETH)
- الحدث/الفعالية
- مثال
- أمثلة
- القائمة
- الخبره في مجال الغطس
- تمكنت
- اكتشف
- فشل
- فشل
- الميزات
- المميزات
- قليل
- قم بتقديم
- ملفات
- أخيرا
- الاسم الأول
- اتباع
- متابعيك
- في حالة
- تبدأ من
- وظيفي
- وظيفة
- إضافي
- GitHub جيثب:
- توجيه
- كان
- يملك
- وجود
- he
- بشكل كبير
- مساعدة
- أعلى
- له
- تاريخي
- تاريخ
- ساعات العمل
- لكن
- HTML
- HTTP
- HTTPS
- if
- صورة
- التأثير
- واردات
- تحسينات
- in
- بما فيه
- تتعارض
- مبينا
- العالمية
- معلومات
- يبادر
- تركيب
- بدلًا من ذلك
- تعليمات
- التكامل
- متوسط
- متقطع
- أدخلت
- إدخال
- المشاركة
- قام المحفل
- مسائل
- IT
- انها
- JPG
- م
- الى وقت لاحق
- آخر
- تعلم
- تعلم
- الأقل
- المكتبات
- مثل
- على الأرجح
- محدود
- خط
- قائمة
- محليا
- سجل
- آلة
- آلة التعلم
- صنع
- المحافظة
- رائد
- جعل
- تمكن
- مدير
- يدير
- كتيب
- يدويا
- ملحوظ
- مباراة
- المذكورة
- البيانات الوصفية
- ربما
- الهجرة
- المهاجرة
- هجرة
- مانع
- تخفيف
- تقدم
- الوحدات
- الأكثر من ذلك
- يتحرك
- يجب
- أسماء
- تسمية
- محلي
- ضروري
- حاجة
- بحاجة
- إحتياجات
- الشبكات
- جديد
- ميزة جديدة
- مزايا جديدة
- حلول جديدة
- حديثا
- التالي
- الآن
- عدد
- of
- قديم
- on
- منها
- فقط
- المصدر المفتوح
- عامل
- or
- تزامن
- طلب
- أخرى
- خارج
- على مدى
- نظرة عامة
- صفقة
- حزم
- نفذ
- تنفيذ
- مرحلة جديدة
- المنصة
- أفلاطون
- الذكاء افلاطون البيانات
- أفلاطون داتا
- الإضافات
- منشور
- الممارسات
- إعداد
- وجود
- يمنع
- سابق
- عملية المعالجة
- المنتج
- مدير المنتج
- الإنتــاج
- المنتجات
- ثبت
- تزود
- مزود
- بايثون
- استعداد
- سجل
- المناطق
- مسجل
- الافراج عن
- النشرات
- يحل محل
- مطلوب
- المتطلبات الأساسية
- الموارد
- على استعادة
- الاحتفاظ
- عائدات
- العودة
- مراجعة
- النوع
- لفة
- المتداول
- يجري
- تشغيل
- حجم
- المقرر
- جدولة
- بسلاسة
- اختيار
- كبير
- مستقل
- Serverless
- يخدم
- خدماتنا
- طقم
- ينبغي
- إظهار
- هام
- مماثل
- الاشارات
- ببساطة
- المقاس
- لقطة
- تطبيقات الكمبيوتر
- تطوير البرمجيات
- الحلول
- بعض
- مصدر
- الفضاء
- متخصص
- تتخصص
- محدد
- مستقر
- المسرح
- انطلاق
- ابتداء
- البدء
- المحافظة
- الحالة
- خطوات
- توقف
- تخزين
- صريح
- تبسيط
- بعد ذلك
- ناجح
- بنجاح
- هذه
- مدعومة
- أخذ
- الهدف
- المهام
- تكنولوجيا
- الاتصالات
- Terraform
- تجربه بالعربي
- الاختبار
- من
- أن
- •
- من مشاركة
- منهم
- then
- هناك.
- وبالتالي
- تشبه
- الوقت
- إلى
- أدوات
- تيشرت
- مسار
- العلامات التجارية
- تحويل
- انتقال
- يثير
- اثنان
- ui
- التي تقوم عليها
- فهم
- متحد
- الولايات المتحدة
- حتى
- تحديث
- ترقية
- ترقية
- ترقيات
- تستخدم
- حالة الاستخدام
- مستعمل
- مستخدم
- استخدام
- سهل حياتك
- تحقق من
- الإصدار
- قم بزيارتنا
- انتظر
- مطلوب
- وكان
- طريق..
- we
- الويب
- خادم الويب
- خدمات ويب
- كان
- متى
- التي
- في حين
- سوف
- مع
- بدون
- للعمل
- عامل
- العمال
- سير العمل
- سير العمل
- عامل
- أعمال
- X
- سنوات
- لصحتك!
- حل متجر العقارات الشامل الخاص بك في جورجيا
- زفيرنت