في هذا المنشور، نعرض النشر الآلي لـ تدفقات عمل أمازون المدارة لتدفق أباتشي (Amazon MWAA) باستخدام نقاط النهاية التي يديرها العميل في VPC، مما يوفر التوافق مع VPCs المشتركة أو المقيدة بأي شكل آخر.
لقد صنع علماء ومهندسو البيانات أباتشي تدفق الهواء أداة رائدة مفتوحة المصدر لإنشاء خطوط أنابيب البيانات نظرًا لمجتمعها النشط مفتوح المصدر، وتطوير Python المألوف مثل سير عمل الرسم البياني اللاحلقي المباشر (DAG)، ومكتبة واسعة من عمليات التكامل المعدة مسبقًا. Amazon MWAA هي خدمة مُدارة لـ Airflow تسهل تشغيل Airflow على AWS دون العبء التشغيلي المتمثل في الاضطرار إلى إدارة البنية التحتية الأساسية. لكل بيئة Airflow، تقوم Amazon MWAA بإنشاء خدمة VPC ذات مستأجر واحد، والتي تستضيف قاعدة البيانات التعريفية التي تخزن الحالات وخادم الويب الذي يوفر واجهة المستخدم. تقوم Amazon MWAA أيضًا بإدارة جدولة Airflow ومثيلات العامل في VPC المملوكة والمدارة للعميل، من أجل جدولة وتشغيل المهام التي تتفاعل مع موارد العميل. تصل حاويات Airflow الموجودة في VPC للعميل إلى الموارد الموجودة في خدمة VPC عبر a نقطة نهاية VPC.
تختار العديد من المنظمات ذلك إدارة VPC الخاصة بهم مركزيًا استخدام منظمات AWS، مما يسمح بمشاركة VPC في حساب المالك مع الموارد الموجودة في حساب مشارك مختلف. ومع ذلك، نظرًا لأن إنشاء مسار جديد خارج VPC يعتبر عملية مميزة، فلا يمكن لحسابات المشاركين إنشاء نقاط نهاية في VPCs المالكة. علاوة على ذلك، لا يرغب العديد من العملاء في توسيع امتيازات الأمان المطلوبة لإنشاء نقاط نهاية VPC لجميع المستخدمين الذين يقومون بتزويد بيئات Amazon MWAA. بالإضافة إلى نقاط نهاية VPC، يرغب العملاء أيضًا في تقييد خروج البيانات عبرها خدمة Amazon Simple Queue Service (Amazon SQS)، ويعد الوصول إلى Amazon SQS أحد المتطلبات في بنية أمازون MWAA.
يضيف دعم VPC المشترك لـ Amazon MWAA القدرة على إدارة نقاط النهاية الخاصة بك داخل VPCs الخاصة بك، مما يضيف التوافق مع VPCs المشتركة والمقيدة. يوفر تحديد نقاط النهاية التي يديرها العميل أيضًا القدرة على تلبية سياسات الأمان الصارمة من خلال تقييد الوصول إلى موارد VPC بشكل صريح على تلك التي تحتاجها بيئات Amazon MWAA الخاصة بك فقط. يوضح هذا المنشور كيفية عمل نقاط النهاية التي يديرها العميل مع Amazon MWAA ويقدم أمثلة حول كيفية أتمتة توفير نقاط النهاية هذه.
حل نظرة عامة
يتيح دعم VPC المشترك لـ Amazon MWAA لحسابات AWS المتعددة إنشاء بيئات Airflow الخاصة بها في VPCs مشتركة ومُدارة مركزيًا. يقوم الحساب الذي يملك VPC (المالك) بمشاركة الشبكتين الفرعيتين الخاصتين المطلوبتين بواسطة Amazon MWAA مع حسابات أخرى (مشاركين) تنتمي إلى نفس المؤسسة من مؤسسات AWS. بعد مشاركة الشبكات الفرعية، يمكن للمشاركين عرض وإنشاء وتعديل وحذف بيئات Amazon MWAA في الشبكات الفرعية المشتركة معهم.
عندما يحدد المستخدمون الحاجة إلى VPC مشترك، أو مقيد بالسياسة، أثناء إنشاء البيئة، ستقوم Amazon MWAA أولاً بإنشاء موارد VPC للخدمة، ثم تدخل حالة معلقة لمدة تصل إلى 72 ساعة، مع أمازون إيفينت بريدج إشعار بتغيير الحالة. يتيح ذلك للمالكين إنشاء نقاط النهاية المطلوبة نيابة عن المشاركين بناءً على معلومات خدمة نقطة النهاية من وحدة تحكم Amazon MWAA أو واجهة برمجة التطبيقات، أو برمجيًا عبر AWS لامدا الدالة وقاعدة EventBridge، كما في المثال الموجود في هذا المنشور.
بعد إنشاء نقاط النهاية هذه على حساب المالك، ستكتشف خدمة نقطة النهاية في Amazon MWAA VPC للمستأجر الفردي حدث اتصال نقطة النهاية وتستأنف إنشاء البيئة. في حالة وجود مشكلة، يمكنك إلغاء إنشاء البيئة عن طريق حذف البيئة أثناء هذه الحالة المعلقة.
تتيح لك هذه الميزة أيضًا إزالة إنشاء وتعديل وحذف امتيازات VPCE من إدارة الهوية والوصول AWS (IAM) يقوم بإنشاء بيئات Amazon MWAA، حتى عند عدم استخدام VPC مشترك، لأنه سيتم فرض هذا الإذن بدلاً من ذلك على مبدأ IAM الذي ينشئ نقطة النهاية (وظيفة Lambda في مثالنا). علاوة على ذلك، ستوفر بيئة Amazon MWAA قائمة انتظار SQS Amazon Resource Name (ARN) التي يستخدمها Airflow Celery Executor لوضع المهام في قائمة الانتظار (قائمة انتظار Celery Executor)، مما يسمح لك بإدخال هذه الموارد بشكل صريح في سياسة شبكتك بدلاً من الاضطرار إلى توفير إذن أكثر انفتاحًا وتعميمًا.
في هذا المثال، قمنا بإنشاء بيئة VPC وAmazon MWAA في نفس الحساب. بالنسبة إلى VPCs المشتركة عبر الحسابات، ستكون قاعدة EventBridge ووظيفة Lambda موجودة في حساب المالك، وسيتم إنشاء بيئة Amazon MWAA في حساب المشارك. يرى إرسال واستقبال أحداث Amazon EventBridge بين حسابات AWS للمزيد من المعلومات.
المتطلبات الأساسية المسبقة
يجب أن يكون لديك المتطلبات الأساسية التالية:
- حساب AWS
- مستخدم AWS في هذا الحساب، لديه أذونات لإنشاء VPCs ونقاط نهاية VPC وبيئات Amazon MWAA
- An خدمة تخزين أمازون البسيطة (Amazon S3) في هذا الحساب، مع مجلد يسمى
dags
قم بإنشاء VPC
نبدأ بإنشاء VPC مقيد باستخدام تكوين سحابة AWS القالب، لمحاكاة إنشاء نقطة نهاية VPC الضرورية وتعديل سياسة نقطة نهاية SQS. إذا كنت تريد استخدام VPC موجود، فيمكنك المتابعة إلى القسم التالي.
- قم بتنزيل نموذج CloudFormation المشار إليها في الخيار الثالث: إنشاء شبكة Amazon VPC دون الوصول إلى الإنترنت.
- استخرج الملف
cfn-vpc-private-bjs.yml
من أرشيف ZIP الذي تم تنزيله. - نقوم الآن بتحرير قالب CloudFormation الخاص بنا لتقييد الوصول إلى Amazon SQS. في
cfn-vpc-private-bjs.yml
، قم بتحريرSqsVpcEndoint
ليظهر القسم بالشكل التالي
يمنع إدخال مستند السياسة الإضافي هذا خروج Amazon SQS إلى أي مورد غير مدرج بشكل صريح.
الآن يمكننا إنشاء مكدس CloudFormation الخاص بنا.
- في وحدة تحكم AWS CloudFormation ، اختر إنشاء مكدس.
- أختار قم بتحميل ملف قالب.
- اختار اختر ملف.
- استعرض للوصول إلى الملف الذي قمت بتعديله.
- اختار التالى.
- في حالة اسم المكدس، أدخل
MWAA-Environment-VPC
. - اختار التالى حتى تصل إلى صفحة المراجعة.
- اختار تسجيل.
قم بإنشاء وظيفة Lambda
لدينا خياران لإدارة نقاط النهاية الخاصة بنا ذاتيًا: اليدوية والآلية. في هذا المثال، قمنا بإنشاء وظيفة Lambda التي تستجيب لإشعار Amazon MWAA EventBridge. يمكنك أيضًا استخدام إشعار EventBridge لإرسال رسالة خدمة إعلام أمازون البسيطة رسالة (Amazon SNS)، مثل رسالة بريد إلكتروني، إلى شخص لديه إذن بإنشاء نقطة نهاية VPC يدويًا.
أولاً، نقوم بإنشاء وظيفة Lambda للاستجابة لحدث EventBridge الذي سيصدره Amazon MWAA.
- في وحدة تحكم لامدا ، اختر خلق وظيفة.
- في حالة الاسم، أدخل
mwaa-create-lambda
. - في حالة وقت التشغيل، اختر بيثون 3.11.
- اختار خلق وظيفة.
- في حالة رمز، في شفرة المصدر القسم ل
lambda_function
، أدخل الرمز التالي: - اختار نشر.
- على الاعداد علامة التبويب الخاصة بوظيفة Lambda، في التكوين العام القسم، اختر تعديل.
- في حالة مهلة، increate إلى 5 دقائق، 0 ثانية.
- اختار حفظ.
- في مجلة أذونات القسم، تحت دور التنفيذ، اختر اسم الدور لتحرير أذونات هذه الوظيفة.
- في حالة سياسات الأذونات، اختر الرابط أدناه اسم السياسة.
- اختار تعديل وأضف فاصلة والعبارة التالية:
يجب أن تبدو السياسة الكاملة مشابهة لما يلي:
- اختار التالى حتى تصل إلى صفحة المراجعة.
- اختار حفظ التغييرات.
قم بإنشاء قاعدة EventBridge
بعد ذلك، نقوم بتكوين EventBridge لإرسال إشعارات Amazon MWAA إلى وظيفة Lambda الخاصة بنا.
- في وحدة تحكم EventBridge ، اختر إنشاء قاعدة.
- في حالة الاسم، أدخل mwaa-create.
- أختار حكم مع نمط الحدث.
- اختار التالى.
- في حالة طريقة الخلق، اختر نموذج نمط المستخدم.
- اختار تحرير النمط.
- في حالة نمط الحدث، أدخل التالي:
- اختار التالى.
- في حالة حدد هدفا، اختر وظيفة لامدا.
يمكنك أيضًا تحديد إشعار SNS لتلقي رسالة عند تغيير حالة البيئةs.
- في حالة المسمى الوظيفي، اختر
mwaa-create-lambda
. - اختار التالى حتى تصل إلى القسم الأخير، ثم اختر إنشاء قاعدة.
قم بإنشاء بيئة Amazon MWAA
وأخيرًا، نقوم بإنشاء بيئة Amazon MWAA بنقاط نهاية يديرها العميل.
- في وحدة تحكم Amazon MWAA ، اختر خلق البيئة.
- في حالة الاسم، أدخل اسمًا فريدًا لبيئتك.
- في حالة نسخة تدفق الهواء، اختر أحدث إصدار من Airflow.
- في حالة دلو S3، اختر تصفح S3 واختر حاوية S3 الخاصة بك، أو أدخل Amazon S3 URI.
- في حالة مجلد DAGs، اختر تصفح S3 واختيار
dags/
المجلد الموجود في حاوية S3 الخاصة بك، أو أدخل عنوان URI الخاص بـ Amazon S3. - اختار التالى.
- في حالة سحابة خاصة افتراضية، اختر VPC الذي قمت بإنشائه مسبقًا.
- في حالة الوصول إلى خادم الويب، اختر شبكة عامة (يمكن الوصول إلى الإنترنت).
- في حالة مجموعات الأمان، قم بإلغاء التحديد إنشاء مجموعة أمان جديدة.
- اختر مجموعة أمان VPC المشتركة التي تم إنشاؤها بواسطة قالب CloudFormation.
لأن المجموعات الأمنية في AWS الرابط الخاص نقاط النهاية من الخطوة السابقة هي مرجعية ذاتية، ويجب عليك اختيار نفس مجموعة الأمان لبيئة Amazon MWAA الخاصة بك.
- في حالة إدارة نقطة النهاية، اختر نقاط النهاية التي يديرها العميل.
- احتفظ بالإعدادات المتبقية كإعدادات افتراضية واختر التالى.
- اختار خلق البيئة.
عندما تكون البيئة الخاصة بك متاحة، يمكنك الوصول إليها عبر افتح واجهة مستخدم تدفق الهواء الرابط على وحدة تحكم Amazon MWAA.
تنظيف
يؤدي تنظيف الموارد التي لا يتم استخدامها بشكل فعال إلى تقليل التكاليف ويعتبر من أفضل الممارسات. إذا لم تقم بحذف مواردك، فقد تتحمل رسومًا إضافية. لتنظيف مواردك، أكمل الخطوات التالية:
- حذف الخاص بك بيئة أمازون MWAA, قاعدة EventBridgeو وظيفة لامدا.
- حذف نقاط نهاية VPC تم إنشاؤها بواسطة وظيفة لامدا.
- احذف أي ملف مجموعات الأمان تم إنشاؤها، إذا كان ذلك ممكنا.
- بعد اكتمال عملية الحذف للموارد المذكورة أعلاه، قم بحذف الملف مكدس CloudFormation للتأكد من أنك قمت بإزالة جميع الموارد المتبقية.
نبذة عامة
وصف هذا المنشور كيفية أتمتة إنشاء البيئة من خلال دعم VPC المشترك في Amazon MWAA. ويمنحك هذا القدرة على إدارة نقاط النهاية الخاصة بك داخل VPC الخاص بك، مما يضيف التوافق إلى VPCs المشتركة أو المقيدة. يوفر تحديد نقاط النهاية التي يديرها العميل أيضًا القدرة على تلبية سياسات الأمان الصارمة من خلال تقييد الوصول إلى موارد VPC بشكل صريح على تلك التي تحتاجها بيئات Amazon MWAA الخاصة بهم فقط. لمعرفة المزيد حول Amazon MWAA، راجع دليل مستخدم Amazon MWAA. لمزيد من المنشورات حول Amazon MWAA، قم بزيارة صفحة موارد Amazon MWAA.
عن المؤلف
جون جاكسون يتمتع بخبرة برمجية تزيد عن 25 عامًا كمطور ومهندس أنظمة ومدير منتج في كل من الشركات الناشئة والشركات الكبيرة وهو مدير المنتج الرئيسي في AWS والمسؤول عن Amazon MWAA.
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
- أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
- أفلاطون كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
- أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
- المصدر https://aws.amazon.com/blogs/big-data/introducing-shared-vpc-support-on-amazon-mwaa/
- :لديها
- :يكون
- :ليس
- $ UP
- 10
- 100
- 11
- 13
- 15%
- 200
- 25
- 41
- 72
- 8
- a
- القدرة
- من نحن
- فوق
- الوصول
- يمكن الوصول
- حسابي
- الحسابات
- في
- اكشن
- نشط
- بنشاط
- اسيكليك
- تضيف
- مضيفا
- إضافة
- إضافي
- يضيف
- بعد
- الكل
- السماح
- سمح
- السماح
- يسمح
- سابقا
- أيضا
- أمازون
- أمازون ويب سيرفيسز
- an
- و
- أي وقت
- أباتشي
- API
- تظهر
- ذو صلة
- أرشيف
- هي
- AS
- أتمتة
- الآلي
- أتمتة
- متاح
- AWS
- تكوين سحابة AWS
- على أساس
- BE
- لان
- بدأ
- باسمى او لاجلى
- يجري
- أفضل
- ما بين
- الجسدي
- الخطّ الغامق
- على حد سواء
- استراحة
- عبء
- لكن
- by
- تسمى
- CAN
- يستطيع الحصول على
- تغيير
- التغييرات
- اسعارنا محددة من قبل وزارة العمل
- اختار
- نظيف
- زبون
- الكود
- COM
- مجتمع
- التوافق
- إكمال
- الطلب مكتمل
- صلة
- نظرت
- كنسولات
- حاويات
- سياق الكلام
- الشركات
- التكاليف
- استطاع
- خلق
- خلق
- يخلق
- خلق
- خلق
- زبون
- العملاء
- DAG
- البيانات
- قاعدة البيانات
- الترتيب
- شرح
- يوضح
- نشر
- وصف
- وصف
- التفاصيل
- بكشف أو
- المطور
- التطوير التجاري
- مختلف
- توجه
- وثيقة
- هل
- لا
- اثنان
- أثناء
- كل
- في وقت سابق
- سهل
- تأثير
- آخر
- البريد الإلكتروني
- نقطة النهاية
- النهاية
- المهندسين
- ضمان
- أدخل
- دخول
- البيئة
- البيئات
- الأثير (ETH)
- حتى
- الحدث/الفعالية
- أحداث
- مثال
- أمثلة
- يوجد
- القائمة
- الخبره في مجال الغطس
- صراحة
- مد
- واسع
- مألوف
- الميزات
- قم بتقديم
- تصفية
- نهائي
- الاسم الأول
- متابعيك
- متابعات
- في حالة
- وجدت
- تبدأ من
- وظيفة
- إضافي
- علاوة على ذلك
- دولار فقط واحصل على خصم XNUMX% على جميع
- يعطي
- رسم بياني
- تجمع
- مجموعات
- يملك
- وجود
- المضيفين
- ساعات العمل
- كيفية
- كيفية
- لكن
- HTML
- HTTP
- HTTPS
- IAM
- ID
- هوية
- if
- استيراد
- مفروض
- in
- info
- معلومات
- البنية التحتية
- حالات
- بدلًا من ذلك
- التكاملات
- تفاعل
- السطح البيني
- Internet
- إلى
- إدخال
- قضية
- IT
- انها
- JPG
- جسون
- م
- القفل
- كبير
- آخر
- قيادة
- تعلم
- المكتبة
- LINK
- المدرج
- تسجيل
- بحث
- صنع
- يصنع
- إدارة
- تمكن
- مدير
- يدير
- كتيب
- يدويا
- كثير
- مايو..
- تعرف علي
- الرسالة
- دقائق
- تم التعديل
- تعديل
- الأكثر من ذلك
- متعدد
- يجب
- الاسم
- ضروري
- حاجة
- بحاجة
- شبكة
- جديد
- التالي
- إعلام
- الإخطارات
- of
- on
- جاكيت
- المصدر المفتوح
- عملية
- تشغيل
- مزيد من الخيارات
- or
- طلب
- منظمة
- المنظمات
- أخرى
- وإلا
- لنا
- في الخارج
- على مدى
- الخاصة
- كاتوا ديلز
- أصحاب
- تملك
- صفحة
- مشارك
- المشاركون
- نمط
- ريثما
- إذن
- أذونات
- أفلاطون
- الذكاء افلاطون البيانات
- أفلاطون داتا
- سياسات الخصوصية والبيع
- سياسة
- منشور
- المنشورات
- ممارسة
- الشروط
- يمنع
- رئيسي
- خاص
- متميز
- الامتيازات
- والمضي قدما
- المنتج
- مدير المنتج
- HAS
- تزود
- ويوفر
- توفير
- بايثون
- R
- بدلا
- الوصول
- تسلم
- يستلم
- يقلل
- الرجوع
- المتبقية
- إزالة
- إزالة
- مطلوب
- المتطلبات
- مورد
- الموارد
- الرد
- استجابة
- مسؤول
- بتقييد
- مقيد
- تقييد
- تقييدي
- استئنف
- عائد أعلى
- مراجعة
- النوع
- طريق
- قاعدة
- يجري
- s
- نفسه
- جدول
- العلماء
- ثواني
- القسم
- أمن
- السياسات الأمنية
- انظر تعريف
- إرسال
- الخادم
- الخدمة
- خدماتنا
- إعدادات
- شاركت
- مشاركة
- ينبغي
- مماثل
- الاشارات
- So
- تطبيقات الكمبيوتر
- شخص ما
- مصدر
- كومة
- البدء
- الولايه او المحافظه
- ملخص الحساب
- المحافظة
- الحالة
- خطوة
- خطوات
- تخزين
- متجر
- فروعنا
- صارم
- الشبكات الفرعية
- هذه
- الدعم
- أنظمة
- المهام
- قالب
- من
- أن
- •
- من مشاركة
- منهم
- then
- هناك.
- هؤلاء
- ثلاثة
- إلى
- أداة
- صحيح
- اثنان
- نوع
- مع
- التي تقوم عليها
- فريد من نوعه
- حتى
- تحديث
- URI
- تستخدم
- مستعمل
- مستخدم
- واجهة المستخدم
- المستخدمين
- استخدام
- قيمنا
- القيم
- الإصدار
- بواسطة
- المزيد
- قم بزيارتنا
- تريد
- we
- الويب
- خادم الويب
- خدمات ويب
- متى
- التي
- سوف
- مع
- في غضون
- بدون
- للعمل
- عامل
- سير العمل
- سوف
- سنوات
- لصحتك!
- حل متجر العقارات الشامل الخاص بك في جورجيا
- زفيرنت
- الرمز البريدي