در این پست، استقرار خودکار را نشان می دهیم آمازون گردش های کاری را برای Apache Airflow مدیریت کرد (Amazon MWAA) با استفاده از نقاط پایانی مدیریت شده توسط مشتری در VPC، سازگاری با VPC های مشترک یا محدود شده را فراهم می کند.
دانشمندان و مهندسان داده ساخته اند جریان هوای آپاچی یک ابزار منبع باز پیشرو برای ایجاد خطوط لوله داده به دلیل جامعه منبع باز فعال، توسعه آشنای پایتون به عنوان جریان های کاری گراف غیرمجاز (DAG) و کتابخانه گسترده ادغام های از پیش ساخته شده. Amazon MWAA یک سرویس مدیریت شده برای Airflow است که اجرای Airflow را در AWS بدون نیاز به مدیریت زیرساخت های اساسی آسان می کند. برای هر محیط جریان هوا، آمازون MWAA یک سرویس VPC یک مستاجر ایجاد میکند که میزبان پایگاه دادههای فرادادهای است که حالتها را ذخیره میکند و وب سروری که رابط کاربری را فراهم میکند. آمازون MWAA بیشتر موارد زمانبندی جریان هوا و نمونههای کارگر را در یک VPC تحت مالکیت و مدیریت مشتری مدیریت میکند تا وظایفی را که با منابع مشتری در تعامل هستند را برنامهریزی و اجرا کند. آن کانتینرهای جریان هوا در VPC مشتری از طریق a به منابع موجود در VPC سرویس دسترسی دارند نقطه پایانی VPC.
بسیاری از سازمان ها انتخاب می کنند به صورت متمرکز VPC خود را مدیریت کنند با استفاده از سازمانهای AWS، به یک VPC در یک حساب مالک اجازه می دهد تا با منابع موجود در یک حساب شرکت کننده دیگر به اشتراک گذاشته شود. با این حال، از آنجا که ایجاد یک مسیر جدید خارج از VPC یک عملیات ممتاز در نظر گرفته میشود، حسابهای شرکتکننده نمیتوانند نقاط پایانی را در VPCهای مالک ایجاد کنند. علاوه بر این، بسیاری از مشتریان نمیخواهند امتیازات امنیتی مورد نیاز برای ایجاد نقاط پایانی VPC را به همه کاربرانی که محیطهای آمازون MWAA را ارائه میکنند، گسترش دهند. علاوه بر نقاط پایانی VPC، مشتریان همچنین مایلند خروج داده ها را از طریق آن محدود کنند سرویس صف ساده آمازون صفهای (Amazon SQS) و دسترسی Amazon SQS یک الزام در معماری آمازون MWAA.
پشتیبانی مشترک VPC برای آمازون MWAA این توانایی را برای شما میافزاید تا نقاط پایانی خود را در VPCهای خود مدیریت کنید، و سازگاری را با VPCهای مشترک یا محدود شده اضافه میکند. مشخص کردن نقاط پایانی مدیریت شده توسط مشتری همچنین با محدود کردن صریح دسترسی به منابع VPC فقط به مواردی که توسط محیطهای آمازون MWAA شما مورد نیاز است، امکان رعایت سیاستهای امنیتی سختگیرانه را فراهم میکند. این پست نشان میدهد که نقاط پایانی مدیریت شده توسط مشتری چگونه با آمازون MWAA کار میکنند و نمونههایی از نحوه خودکارسازی ارائه آن نقاط پایانی را ارائه میدهد.
بررسی اجمالی راه حل
پشتیبانی مشترک VPC برای آمازون MWAA به چندین حساب AWS اجازه میدهد تا محیطهای جریان هوای خود را در VPCهای مشترک با مدیریت مرکزی ایجاد کنند. حسابی که مالک VPC (مالک) است، دو زیرشبکه خصوصی مورد نیاز Amazon MWAA را با سایر حسابها (شرکتکنندگان) که متعلق به همان سازمان از سازمانهای AWS هستند، به اشتراک میگذارد. پس از اشتراک گذاری زیرشبکه ها، شرکت کنندگان می توانند محیط های آمازون MWAA را در زیرشبکه های به اشتراک گذاشته شده با آنها مشاهده، ایجاد، اصلاح و حذف کنند.
هنگامی که کاربران نیاز به یک VPC مشترک یا محدود به سیاست را در حین ایجاد محیط مشخص میکنند، آمازون MWAA ابتدا منابع VPC سرویس را ایجاد میکند، سپس تا 72 ساعت در حالت معلق قرار میگیرد. پل رویداد آمازون اطلاع از تغییر وضعیت این به مالکان اجازه می دهد تا نقاط پایانی مورد نیاز را از طرف شرکت کنندگان بر اساس اطلاعات سرویس نقطه پایانی از کنسول آمازون MWAA یا API ایجاد کنند، یا به صورت برنامه ریزی شده از طریق یک AWS لامبدا تابع و قانون EventBridge، مانند مثال در این پست.
پس از ایجاد این نقاط پایانی در حساب مالک، سرویس نقطه پایانی در آمازون MWAA VPC تک مستاجر، رویداد اتصال نقطه پایانی را شناسایی کرده و ایجاد محیط را از سر می گیرد. اگر مشکلی وجود داشته باشد، میتوانید با حذف محیط در این حالت معلق، ایجاد محیط را لغو کنید.
این ویژگی همچنین به شما اجازه می دهد تا حذف کنید امتیازات VPCE را ایجاد، اصلاح و حذف کنید از هویت AWS و مدیریت دسترسی اصلی (IAM) محیطهای آمازون MWAA را ایجاد میکند، حتی زمانی که از VPC مشترک استفاده نمیشود، زیرا این مجوز در عوض به اصلی IAM که نقطه پایانی را ایجاد میکند تحمیل میشود (عملکرد Lambda در مثال ما). علاوه بر این، محیط آمازون MWAA صف SQS نام منبع آمازون (ARN) را که توسط Airflow Celery Executor برای صفبندی وظایف (صف اجراکننده Celery) استفاده میشود، فراهم میکند و به شما این امکان را میدهد که بهصراحت آن منابع را در خطمشی شبکه خود وارد کنید نه اینکه نیاز به ارائه یک اجازه بازتر و عمومی تر
در این مثال، ما محیط VPC و Amazon MWAA را در یک حساب ایجاد می کنیم. برای VPC های مشترک بین حساب ها، قانون EventBridge و تابع Lambda در حساب مالک وجود دارد و محیط آمازون MWAA در حساب شرکت کننده ایجاد می شود. دیدن ارسال و دریافت رویدادهای Amazon EventBridge بین حسابهای AWS برای اطلاعات بیشتر.
پیش نیازها
شما باید پیش نیازهای زیر را داشته باشید:
- یک حساب AWS
- یک کاربر AWS در آن حساب، با مجوز برای ایجاد VPC، نقاط پایانی VPC، و محیطهای آمازون MWAA
- An سرویس ذخیره سازی ساده آمازون سطل (Amazon S3) در آن حساب، با یک پوشه به نام
dags
VPC را ایجاد کنید
ما با ایجاد یک VPC محدود کننده با استفاده از یک شروع می کنیم AWS CloudFormation الگو، به منظور شبیه سازی ایجاد نقطه پایانی VPC ضروری و اصلاح سیاست نقطه پایانی SQS. اگر می خواهید از VPC موجود استفاده کنید، می توانید به بخش بعدی بروید.
- قالب CloudFormation را دانلود کنید ارجاع شده در گزینه سوم: ایجاد شبکه VPC آمازون بدون دسترسی به اینترنت.
- پرونده را استخراج کنید
cfn-vpc-private-bjs.yml
از بایگانی ZIP دانلود شده - اکنون ما قالب CloudFormation خود را ویرایش می کنیم تا دسترسی به Amazon SQS را محدود کنیم. که در
cfn-vpc-private-bjs.yml
، ویرایش کنیدSqsVpcEndoint
بخش به صورت زیر ظاهر می شود:
این ورودی سند خط مشی اضافی از خروج آمازون SQS به هر منبعی که به صراحت فهرست نشده است جلوگیری می کند.
اکنون می توانیم پشته CloudFormation خود را ایجاد کنیم.
- در کنسول AWS CloudFormation، را انتخاب کنید پشته ایجاد کنید.
- انتخاب کنید یک فایل قالب بارگذاری کنید.
- را انتخاب کنید انتخاب فایل.
- به فایلی که اصلاح کردید بروید.
- را انتخاب کنید بعدی.
- برای نام پشته، وارد
MWAA-Environment-VPC
. - را انتخاب کنید بعدی تا زمانی که به صفحه بررسی برسید.
- را انتخاب کنید ارسال.
تابع Lambda را ایجاد کنید
ما دو گزینه برای خود مدیریت نقاط پایانی داریم: دستی و خودکار. در این مثال، ما یک تابع Lambda ایجاد می کنیم که به اعلان آمازون MWAA EventBridge پاسخ می دهد. همچنین می توانید از اعلان EventBridge برای ارسال پیام استفاده کنید سرویس اطلاع رسانی ساده آمازون پیام (Amazon SNS)، مانند ایمیل، به شخصی که اجازه ایجاد نقطه پایانی VPC را به صورت دستی دارد.
ابتدا یک تابع Lambda ایجاد می کنیم تا به رویداد EventBridge که آمازون MWAA منتشر می کند پاسخ دهد.
- در کنسول لامبدا، را انتخاب کنید ایجاد تابع.
- برای نام، وارد
mwaa-create-lambda
. - برای زمان اجرا، انتخاب کنید پایتون 3.11.
- را انتخاب کنید ایجاد تابع.
- برای رمز، در کد منبع بخش، برای
lambda_function
، کد زیر را وارد کنید: - را انتخاب کنید گسترش.
- بر پیکر بندی زبانه تابع Lambda، در پیکربندی عمومی بخش، را انتخاب کنید ویرایش.
- برای وقفه، به 5 دقیقه و 0 ثانیه افزایش دهید.
- را انتخاب کنید ذخیره.
- در ویرایش بخش، زیر نقش اجرا، نام نقش را برای ویرایش مجوزهای این تابع انتخاب کنید.
- برای سیاست های مجوز، لینک زیر را انتخاب کنید نام خط مشی.
- را انتخاب کنید ویرایش و یک کاما و عبارت زیر اضافه کنید:
خط مشی کامل باید شبیه موارد زیر باشد:
- را انتخاب کنید بعدی تا زمانی که به صفحه بررسی برسید.
- را انتخاب کنید ذخیره تغییرات.
یک قانون EventBridge ایجاد کنید
بعد، ما EventBridge را برای ارسال اعلانهای آمازون MWAA به تابع Lambda ما پیکربندی میکنیم.
- در کنسول EventBridge، را انتخاب کنید قانون ایجاد کنید.
- برای نامmwaa-create را وارد کنید.
- انتخاب کنید قانون با الگوی رویداد.
- را انتخاب کنید بعدی.
- برای روش آفرینش، انتخاب کنید فرم الگوی کاربر.
- را انتخاب کنید ویرایش الگو.
- برای الگوی رویداد، زیر را وارد کنید:
- را انتخاب کنید بعدی.
- برای یک هدف را انتخاب کنید، انتخاب کنید تابع لامبدا.
همچنین می توانید یک اعلان SNS را برای دریافت پیام در هنگام تغییر وضعیت محیط تعیین کنیدs.
- برای عملکرد، انتخاب کنید
mwaa-create-lambda
. - را انتخاب کنید بعدی تا به بخش نهایی برسید، سپس انتخاب کنید قانون ایجاد کنید.
یک محیط آمازون MWAA ایجاد کنید
در نهایت، ما یک محیط آمازون MWAA با نقاط پایانی مدیریت شده توسط مشتری ایجاد می کنیم.
- در کنسول آمازون MWAA، را انتخاب کنید ایجاد محیط.
- برای نام، یک نام منحصر به فرد برای محیط خود وارد کنید.
- برای نسخه جریان هوا، آخرین نسخه Airflow را انتخاب کنید.
- برای سطل S3، انتخاب کنید S3 را مرور کنید و سطل S3 خود را انتخاب کنید یا URI آمازون S3 را وارد کنید.
- برای پوشه DAGs، انتخاب کنید S3 را مرور کنید و انتخاب کنید
dags/
پوشه را در سطل S3 خود وارد کنید یا URI آمازون S3 را وارد کنید. - را انتخاب کنید بعدی.
- برای ابر خصوصی مجازی، VPC را که قبلا ایجاد کردید انتخاب کنید.
- برای دسترسی به وب سرور، انتخاب کنید شبکه عمومی (در دسترس اینترنت).
- برای گروه های امنیتی، انتخاب را لغو کنید ایجاد گروه امنیتی جدید.
- گروه امنیتی VPC مشترک ایجاد شده توسط الگوی CloudFormation را انتخاب کنید.
زیرا گروه های امنیتی از AWS PrivateLink نقاط پایانی مرحله قبلی به خود ارجاع می دهند، شما باید همان گروه امنیتی را برای محیط آمازون MWAA خود انتخاب کنید.
- برای مدیریت نقطه پایانی، انتخاب کنید نقاط پایانی مدیریت شده توسط مشتری.
- تنظیمات باقیمانده را به عنوان پیش فرض نگه دارید و انتخاب کنید بعدی.
- را انتخاب کنید ایجاد محیط.
هنگامی که محیط شما در دسترس است، می توانید از طریق آن به آن دسترسی داشته باشید رابط کاربری جریان هوا را باز کنید پیوند در کنسول آمازون MWAA.
پاک کردن
پاکسازی منابعی که بطور فعال استفاده نمی شوند هزینه ها را کاهش می دهد و بهترین روش است. اگر منابع خود را حذف نکنید، می توانید هزینه های اضافی را متحمل شوید. برای پاکسازی منابع خود، مراحل زیر را انجام دهید:
- خود را حذف کنید محیط آمازون MWAA, قانون EventBridgeو تابع لامبدا.
- حذف نقاط پایانی VPC توسط تابع Lambda ایجاد شده است.
- هر کدام را حذف کنید گروه های امنیتی ایجاد شده، در صورت وجود
- پس از حذف کامل منابع بالا، آن را حذف کنید پشته CloudFormation مطمئن شوید که تمام منابع باقیمانده را حذف کرده اید.
خلاصه
در این پست نحوه خودکارسازی ایجاد محیط با پشتیبانی مشترک VPC در آمازون MWAA توضیح داده شده است. این به شما این امکان را می دهد که نقاط پایانی خود را در VPC خود مدیریت کنید، و سازگاری را به VPC های مشترک یا محدود شده اضافه کنید. مشخص کردن نقاط پایانی مدیریت شده توسط مشتری همچنین با محدود کردن صریح دسترسی به منابع VPC فقط به موارد مورد نیاز محیطهای آمازون MWAA، امکان رعایت سیاستهای امنیتی سختگیرانه را فراهم میکند. برای کسب اطلاعات بیشتر در مورد آمازون MWAA، مراجعه کنید راهنمای کاربر آمازون MWAA. برای پست های بیشتر در مورد آمازون MWAA، به سایت مراجعه کنید صفحه منابع آمازون MWAA.
درباره نویسنده
جان جکسون دارای بیش از 25 سال تجربه نرم افزاری به عنوان توسعه دهنده، معمار سیستم و مدیر محصول در استارتاپ ها و شرکت های بزرگ و مدیر محصول اصلی AWS است که مسئول آمازون MWAA است.
- محتوای مبتنی بر SEO و توزیع روابط عمومی. امروز تقویت شوید.
- PlatoData.Network Vertical Generative Ai. به خودت قدرت بده دسترسی به اینجا.
- PlatoAiStream. هوش وب 3 دانش تقویت شده دسترسی به اینجا.
- PlatoESG. کربن ، CleanTech، انرژی، محیط، خورشیدی، مدیریت پسماند دسترسی به اینجا.
- PlatoHealth. هوش بیوتکنولوژی و آزمایشات بالینی. دسترسی به اینجا.
- منبع: https://aws.amazon.com/blogs/big-data/introducing-shared-vpc-support-on-amazon-mwaa/
- : دارد
- :است
- :نه
- $UP
- 10
- 100
- 11
- 13
- ٪۱۰۰
- 200
- 25
- 41
- 72
- 8
- a
- توانایی
- درباره ما
- بالاتر
- دسترسی
- در دسترس
- حساب
- حساب ها
- در میان
- عمل
- فعال
- فعالانه
- حلقوی
- اضافه کردن
- اضافه کردن
- اضافه
- اضافی
- می افزاید:
- پس از
- معرفی
- اجازه دادن
- مجاز
- اجازه دادن
- اجازه می دهد تا
- قبلا
- همچنین
- آمازون
- آمازون خدمات وب
- an
- و
- هر
- آپاچی
- API
- ظاهر شدن
- مربوط
- بایگانی
- هستند
- AS
- خودکار بودن
- خودکار
- اتوماسیون
- در دسترس
- AWS
- AWS CloudFormation
- مستقر
- BE
- زیرا
- شروع
- از طرف
- بودن
- بهترین
- میان
- بدن
- جسور
- هر دو
- شکستن
- بار
- اما
- by
- نام
- CAN
- می توانید دریافت کنید
- تغییر دادن
- تبادل
- بار
- را انتخاب کنید
- تمیز
- مشتری
- رمز
- COM
- انجمن
- سازگاری
- کامل
- تکمیل شده
- ارتباط
- در نظر گرفته
- کنسول
- ظروف
- زمینه
- شرکت ها
- هزینه
- میتوانست
- ایجاد
- ایجاد شده
- ایجاد
- ایجاد
- ایجاد
- مشتری
- مشتریان
- DAG
- داده ها
- پایگاه داده
- به طور پیش فرض
- نشان دادن
- نشان می دهد
- گسترش
- توصیف
- شرح داده شده
- جزئیات
- تشخیص
- توسعه دهنده
- پروژه
- مختلف
- جهت دار
- سند
- میکند
- آیا
- دو
- در طی
- هر
- پیش از آن
- ساده
- اثر
- دیگر
- پست الکترونیک
- نقطه پایانی
- نقاط پایان
- مورد تأیید
- اطمینان حاصل شود
- وارد
- ورود
- محیط
- محیط
- اتر (ETH)
- حتی
- واقعه
- حوادث
- مثال
- مثال ها
- وجود داشته باشد
- موجود
- تجربه
- به صراحت
- گسترش
- وسیع
- آشنا
- ویژگی
- پرونده
- فیلتر
- نهایی
- نام خانوادگی
- پیروی
- به دنبال آن است
- برای
- یافت
- از جانب
- تابع
- بیشتر
- بعلاوه
- دریافت کنید
- می دهد
- گراف
- گروه
- گروه ها
- آیا
- داشتن
- میزبان
- ساعت ها
- چگونه
- چگونه
- اما
- HTML
- HTTP
- HTTPS
- IAM
- ID
- هویت
- if
- واردات
- تحمیل
- in
- اطلاعات
- اطلاعات
- شالوده
- نمونه ها
- در عوض
- یکپارچگی
- تعامل
- رابط
- اینترنت
- به
- معرفی
- موضوع
- IT
- ITS
- JPG
- json
- تنها
- کلید
- بزرگ
- آخرین
- برجسته
- یاد گرفتن
- کتابخانه
- ارتباط دادن
- ذکر شده
- ورود به سیستم
- نگاه کنيد
- ساخته
- باعث می شود
- مدیریت
- اداره می شود
- مدیر
- مدیریت می کند
- کتابچه راهنمای
- دستی
- بسیاری
- ممکن است..
- دیدار
- پیام
- دقیقه
- اصلاح شده
- تغییر
- بیش
- چندگانه
- باید
- نام
- لازم
- نیاز
- ضروری
- شبکه
- جدید
- بعد
- اخطار
- اطلاعیه ها
- of
- on
- باز کن
- منبع باز
- عمل
- قابل استفاده
- گزینه
- or
- سفارش
- کدام سازمان ها
- سازمان های
- دیگر
- در غیر این صورت
- ما
- خارج از
- روی
- خود
- مالک
- صاحبان
- مالک است
- با ما
- شرکت کننده
- شرکت کنندگان
- الگو
- انتظار
- اجازه
- مجوز
- افلاطون
- هوش داده افلاطون
- PlatoData
- سیاست
- سیاست
- پست
- پست ها
- تمرین
- پیش نیازها
- جلوگیری از
- اصلی
- خصوصی
- ممتاز
- امتیازات
- ادامه
- محصول
- مدیر تولید
- املاک
- ارائه
- فراهم می کند
- ارائه
- پــایتــون
- R
- نسبتا
- رسیدن به
- گرفتن
- دریافت
- را کاهش می دهد
- مراجعه
- باقی مانده
- برداشتن
- حذف شده
- ضروری
- نیاز
- منابع
- منابع
- پاسخ
- پاسخ
- مسئوليت
- محدود کردن
- منحصر
- محدود کردن
- محدود کننده
- ادامه
- برگشت
- این فایل نقد می نویسید:
- نقش
- مسیر
- قانون
- دویدن
- s
- همان
- برنامه
- دانشمندان
- ثانیه
- بخش
- تیم امنیت لاتاری
- سیاست های امنیتی
- دیدن
- ارسال
- سرور
- سرویس
- خدمات
- تنظیمات
- به اشتراک گذاشته شده
- سهام
- باید
- مشابه
- ساده
- So
- نرم افزار
- کسی
- منبع
- پشته
- نوپا
- دولت
- بیانیه
- ایالات
- وضعیت
- گام
- مراحل
- ذخیره سازی
- opbevare
- پرده
- سخت
- زیرشبکه ها
- چنین
- پشتیبانی
- سیستم های
- وظایف
- قالب
- نسبت به
- که
- La
- شان
- آنها
- سپس
- آنجا.
- این
- کسانی که
- سه
- به
- ابزار
- درست
- دو
- نوع
- زیر
- اساسی
- منحصر به فرد
- تا
- به روز رسانی
- URI
- استفاده کنید
- استفاده
- کاربر
- رابط کاربری
- کاربران
- با استفاده از
- ارزش
- ارزشها
- نسخه
- از طريق
- چشم انداز
- بازدید
- می خواهم
- we
- وب
- وب سرور
- خدمات وب
- چه زمانی
- که
- اراده
- با
- در داخل
- بدون
- مهاجرت کاری
- کارگر
- گردش کار
- خواهد بود
- سال
- شما
- شما
- زفیرنت
- زیپ