امروز، AWS در دسترس بودن نسخه های به روز رسانی در محل را اعلام می کند آمازون گردش کار را برای Apache Airflow مدیریت کرد (Amazon MWAA). این ارتقاء به شما امکان میدهد تا محیطهای موجود Apache Airflow نسخه 2.x را به نسخههای موجود جدیدتر ارتقا دهید و در عین حال سابقه اجرای گردش کار و تنظیمات محیط را حفظ کنید. اکنون میتوانید از آخرین قابلیتهای پلتفرم Apache Airflow بدون نیاز به ایجاد یک محیط کاملاً جدید آمازون MWAA استفاده کنید.
تا به حال، اگر می خواستید محیط آمازون MWAA خود را به یک نسخه Apache Airflow متفاوت ارتقا دهید، باید از مهاجرت محیطی آمازون MWAA دستورالعمل ها. این شامل ایجاد یک محیط جدید آمازون MWAA و سپس مهاجرت تمام تنظیمات و گراف های غیر چرخشی هدایت شده (DAGs) به آن. اگر همچنین نیاز به حفظ تاریخچه اجرای DAG داشتید، باید از پایگاه داده ابرداده خود یک نسخه پشتیبان تهیه میکردید و سپس آن نسخه پشتیبان را در محیط جدید ایجاد شده بازیابی میکردید. این فرآیند مستعد خطا، دستی و مستلزم هزینههای اضافی برای حفظ دو محیط آمازون MWAA مجزا بود تا زمانی که بتوانید جدید را تأیید کنید و محیط قدیمی را از کار بیندازید.
در این پست، مروری بر ویژگی ارتقاء نسخه در محل ارائه میکنیم، موارد استفاده قابل اجرا را بررسی میکنیم، مراحل استفاده از آن را به تفصیل شرح میدهیم، و راهنماییهای بیشتری در مورد قابلیتهای آن ارائه میکنیم.
بررسی اجمالی راه حل
بهروزرسانیهای نسخه درجا که اخیراً توسط Amazon MWAA معرفی شدهاند، انتقال سادهای را از محیطهای مبتنی بر Apache Airflow نسخه 2.x به نسخههای جدیدتر Apache Airflow ارائه میدهند. آمازون MWAA کل فرآیند ارتقا را مدیریت میکند، از ارائه نسخههای جدید Apache Airflow تا ارتقاء پایگاه داده ابرداده. در صورت خرابی ارتقا، آمازون MWAA طوری طراحی شده است که با استفاده از عکس فوری پایگاه داده ابرداده مرتبط، به نسخه پایدار قبلی برگردد.
ارتقاء محیط های موجود در آمازون MWAA یک فرآیند ساده است. شما می توانید محیط های موجود Apache Airflow 2.0 و جدیدتر خود را در Amazon MWAA تنها با چند کلیک بر روی کنسول آمازون MWAA با استفاده از Amazon MWAA API ارتقا دهید. رابط خط فرمان AWS (AWS CLI)، یا با استفاده از ابزارهایی مانند AWS CloudFormationاز کیت توسعه ابری AWS (AWS CDK)، یا Terraform. این ویژگی در تمام مناطق آمازون MWAA پشتیبانی میشود.
در کنسول آمازون MWAA، به سادگی محیط را ویرایش کنید و نسخه موجود Apache Airflow را بالاتر از نسخه فعلی محیط موجود خود انتخاب کنید. شما همچنین می توانید استفاده کنید UpdateEnvironment API و نسخه جدید Apache Airflow را برای شروع فرآیند ارتقا مشخص کنید. برای کسب اطلاعات بیشتر در مورد ارتقاء نسخه در محل، مراجعه کنید ارتقاء نسخه Apache Airflow از مستندات آمازون MWAA.
در طول یک ارتقا، آمازون MWAA ابتدا یک عکس فوری از پایگاه داده ابرداده محیط موجود ایجاد می کند، که سپس به عنوان پایه ای برای یک پایگاه داده جدید عمل می کند. متعاقباً، تمام اجزای Apache Airflow - سرور وب، زمانبندی و کارگران - ارتقا مییابند. در نهایت، پایگاه داده ابرداده جدید ایجاد شده ارتقا یافته است و به طور موثر انتقال به محیط جدید را تکمیل می کند.
موارد استفاده قابل اجرا
اگر جریان های کاری موجود شما می توانند این تغییرات را برآورده کنند و نسخه جدیدی با ویژگی ها یا بهبودهایی که با موارد استفاده شما همخوانی دارد در دسترس است، باید نسخه Apache Airflow خود را در آمازون MWAA ارتقا دهید. با ارتقا، میتوانید از آخرین قابلیتهای پلتفرم Apache Airflow بهره ببرید و با ویژگیهای جدید و بهترین روشها مانند زمانبندی مبتنی بر داده و بستههای ارائهدهنده جدید آمازون سازگاری داشته باشید. منتشر شده در Apache Airflow 2.4.3. فرآیند ارتقا شامل یک زمان از کار افتادن محیط است که بسته به اندازه محیط ممکن است تا 2 ساعت طول بکشد و می تواند بنا به تقاضا در زمانی که به بهترین وجه برای شما مناسب است انجام شود. اگر از محیط موجود شما بهشدت استفاده میشود به طوری که نمیتوانید از پس هزینهها برآیید، به جای آن یک محیط جدید ایجاد کنید.
پیش نیازها
هنگام آماده شدن برای ارتقاء، مطمئن شوید که مراحل پیش نیاز زیر را انجام داده اید:
- بررسی تغییرات Apache Airflow بین نسخه های موجود و جدید محیط. جریان هوای آپاچی را مرور کنید یادداشت های انتشار برای درک تأثیر ویژگیهای جدید، تغییرات مهم و رفع اشکالهایی که همه نسخههای میانی Apache Airflow بین نسخههای مبدأ و مقصد شما ایجاد میکنند.
- موجود خود را مرور کنید
requirements.txt
فایل برای تأیید مجموعه صحیح وابستگی های مورد نیاز برای محیط هدف شما. علاوه بر این، بررسی کنید که شماrequirements.txt
فایل دارای فایل محدودیت های صحیحی است که در بالای فایل برای مطابقت با محیط هدف شما اضافه شده است. فایل محدودیتهای جریان هوای Apache ماژولهای وابسته و نسخههای ارائهدهنده موجود در زمان انتشار Apache Airflow را مشخص میکند. افزودن یک فایل محدودیت ها از نصب کتابخانه های ناسازگار در محیط شما جلوگیری می کند. در مثال زیر جایگزین کنید{Airflow-version}
با شماره نسخه محیط مورد نظر خود و{Python-version}
با نسخه پایتون که با محیط شما سازگار است:--constraint "https://raw.githubusercontent.com/apache/airflow/constraints-{Airflow-version}/constraints-{Python-version}.txt"
- سازگاری کتابخانه های پایتون اضافی ذکر شده در خود را بررسی کنید
requirements.txt
فایل متناسب با محیط مورد نظر شما. Apache Airflow نسخه 2.4.3 و بالاتر از Python نسخه 3.10 استفاده می کند، در حالی که نسخه های قدیمی تر Apache Airflow از Python v3.7 استفاده می کنند. بنابراین، اگر میخواهید محیط مبتنی بر Apache Airflow v2.0.2/2.2.2 موجود خود را به Apache Airflow نسخه 2.4.3 یا بالاتر ارتقا دهید، باید کتابخانههای Python اضافی خود را برای مطابقت با Python v3.10 بهروزرسانی کنید. - با Apache Airflow نسخه 2.4.3 و بالاتر، لیست بسته های ارائه دهنده Amazon MWAA که به طور پیش فرض برای محیط شما نصب می کند تغییر کرده است. توجه داشته باشید که برخی از واردات و نامهای اپراتور در بسته ارائهدهنده جدید در Apache Airflow به منظور استاندارد کردن قرارداد نامگذاری در بستههای ارائهدهنده تغییر کرده است. مقایسه کنید لیست بسته های ارائه دهنده نصب شده به طور پیش فرض در Apache Airflow v2.2.2 یا v2.0.2، و هر بسته اضافی را که ممکن است برای محیط جدید Apache Airflow v2.4.3 و بالاتر نیاز دارید پیکربندی کنید.
- مطمئن شوید که DAG ها و سایر منابع گردش کار شما با نسخه جدید Apache Airflow که به آن ارتقا می دهید، سازگار هستند.
- استفاده از aws-mwaa-local-runner ابزاری برای آزمایش DAG ها، الزامات، پلاگین ها و وابستگی های موجود به صورت محلی قبل از استقرار در آمازون MWAA. شما می توانید یک محیط هدف Apache Airflow ایجاد کنید که شبیه به تصویر تولید آمازون MWAA به صورت محلی است
aws-mwaa-local-runner
و قبل از تلاش برای ارتقاء محیط آمازون MWAA خود، کارکرد تمام اجزای خود را تأیید کنید. علاوه بر این، قبل از اجرای ارتقا در محیطهای تولید، فرآیند ارتقاء محیط جدید را در محیطهای پایینتر آمازون MWAA مانند توسعهدهندگان یا مرحلهبندی آزمایش کنید.
فرآیند ارتقا
هنگامی که یک ارتقاء آغاز شد، آمازون MWAA اجزای اصلی جریان هوای آپاچی (سرور وب، زمانبندی، و کارگران) را متوقف میکند. این فرآیند هر گونه وظایف کارگری را که در حال حاضر در حال اجرا هستند متوقف می کند. وضعیت محیط شما در این مرحله به صورت نمایش داده می شود UPDATING
. سپس فرآیند ارتقا، یک عکس فوری پایگاه داده از پایگاه داده ابرداده ایجاد می کند که با وضعیت مشخص شده است. CREATING_SNAPSHOT
. هنگامی که عکس فوری کامل شد، وضعیت محیط به حالت اولیه باز می گردد UPDATING
همانطور که آمازون MWAA ایجاد یک محیط جدید Apache Airflow را آغاز می کند که با انتخاب نسخه شما مطابقت دارد و تغییرات طرحواره لازم را در پایگاه داده ابرداده موجود اعمال می کند تا آن را با محیط Apache Airflow هدف هماهنگ کند. در طی این مرحله، نیازمندی ها، افزونه ها و سایر وابستگی های مشخص شده شما نصب می شوند.
پس از تکمیل، محیط جدید شما به عنوان علامت گذاری می شود AVAILABLE
، نشان می دهد که فرآیند ارتقا با موفقیت انجام شده و محیط برای آزمایش آماده است. اکنون می توانید وارد رابط کاربری Apache Airflow خود شوید تا حضور DAG های موجود، اجرای تاریخی آنها، اتصالات پیکربندی شده و موارد دیگر را تأیید کنید.
با این حال، اگر در نصب نیازمندیها، افزونهها و فایلهای وابستگیهای مشخصشده شما اشکالاتی وجود داشته باشد، محیط بازگشت به نسخه پایدار قبلی را آغاز میکند. در طی این فرآیند، وضعیت محیط شما به صورت نمایش داده می شود ROLLING_BACK
. اگر بازگشت موفقیت آمیز باشد، محیط پایدار قبلی شما در دسترس خواهد بود و وضعیت به صورت نمایش داده می شود UPDATE_FAILED
تا زمانی که به روز رسانی جدیدی انجام شود و موفق شود. اگر بازگشت ناموفق باشد، وضعیت به عنوان نشان داده می شود UNAVAILABLE
، نشان می دهد که محیط شما کاربردی نیست.
اگر فرآیند ارتقاء محیط شما با شکست مواجه شود، احتمالاً زیربنای آن وجود دارد سرویس کانتینر الاستیک آمازون (Amazon ECS) AWS Fargate پس از ارتقاء مؤلفه Apache Airflow، خوشهها مشکلات تثبیتسازی ناشی از الزامات و افزونههای متناقض، مشکلات شبکه یا مشکلات مهاجرت DB داشتند. برای کاهش این مشکلات، مطمئن شوید که DAG ها و الزامات شما بدون مشکل با استفاده از آن کار می کنند aws-mwaa-local-runner
ابزار و، در حالت ایده آل، آزمایش در محیط آمازون MWAA مرحله بندی.
ملاحظات اضافی
اطلاعات اضافی زیر را از این ویژگی به خاطر داشته باشید:
- فرآیند ارتقا در صورت تقاضا در دسترس است و به انتقال به نسخه های جدیدتر محدود می شود. ارتقاء نسخه درجا در Amazon MWAA برای نسخه 1.10.z پشتیبانی نمی شود. برای انجام یک ارتقاء نسخه اصلی، به عنوان مثال از نسخه 1.yz به 2.yz، باید یک محیط جدید ایجاد کنید و منابع خود را انتقال دهید.
- شما فقط می توانید نسخه های بالاتر قابل اجرا را انتخاب کنید که می توانید به آن ها ارتقا دهید. تنزل به نسخه پایین تر در دسترس نیست.
- روند بازگشت به عقب می تواند زمان بیشتری را ببرد و اگر دارید سرویس ذخیره سازی ساده آمازون (Amazon S3) نسخه سطلی فعال است، Amazon MWAA برای بازگرداندن محیط به تنظیمات قبلی، از جمله افزونه ها و الزامات، طراحی شده است. با این حال، تغییرات دستی ایجاد شده در DAG های شما در طول این فرآیند برگردانده نمی شود.
- پس از اینکه فرآیند ارتقا با موفقیت به پایان رسید و محیط در دسترس قرار گرفت، هر DAG در حال اجرا که در حین ارتقا قطع شد، بسته به روشی که تلاشهای مجدد را برای DAG خود پیکربندی میکنید، برای امتحان مجدد برنامهریزی میشوند. همچنین می توانید آنها را به صورت دستی فعال کنید یا منتظر اجرای برنامه ریزی شده بعدی باشید.
- ابتدا باید محیط های خود را به طور مکرر ارتقا دهید و ابتدا با کمترین موارد بحرانی شروع کنید.
نتیجه
در این پست، در مورد ویژگی جدید Amazon MWAA صحبت کردیم که به شما امکان می دهد محیط آمازون MWAA موجود خود را به نسخه های Apache Airflow بالاتر ارتقا دهید. این ویژگی در محیطهای جدید و موجود آمازون MWAA با Apache Airflow 2.x و بالاتر پشتیبانی میشود. از این ویژگی برای ارتقاء نسخههای Apache Airflow خود استفاده کنید و در عین حال تاریخچههای اجرای جریان کار و پیکربندیهای محیطی خود را حفظ کنید. با ارتقا، میتوانید از آخرین قابلیتهای پلتفرم Apache Airflow بهره ببرید و سازگاری خود را با ویژگیهای جدید حفظ کنید و به بهترین شیوهها پایبند باشید.
برای جزئیات بیشتر و نمونه کد در آمازون MWAA، به سایت مراجعه کنید راهنمای کاربر آمازون MWAA و آمازون MWAA مخزن GitHub را مثال میزند.
Apache، Apache Airflow و Airflow علائم تجاری یا علائم تجاری ثبت شده این شرکت هستند Apache Software Foundation در ایالات متحده و / یا کشورهای دیگر.
درباره نویسنده
پرناب بساک یک معمار راه حل و یک متخصص بدون سرور در AWS است. او در ایجاد راه حل های جدید که بومی ابر هستند با استفاده از شیوه های توسعه نرم افزار مدرن مانند بدون سرور، DevOps و تجزیه و تحلیل تخصص دارد. Parnab در فضای خدمات تجزیه و تحلیل و یکپارچه سازی همکاری نزدیکی دارد و به مشتریان کمک می کند تا خدمات AWS را برای نیازهای هماهنگ سازی گردش کار خود اتخاذ کنند.
فرناندو گامرو مهندس معمار ارشد راه حل در AWS است که بیش از 25 سال تجربه در صنعت فناوری، از مخابرات، بانکداری تا استارت آپ ها دارد. او اکنون به مشتریان در ساخت معماریهای رویداد محور، اتخاذ راهحلهای IoT در Edge و تغییر خطوط لوله دادهها و یادگیری ماشین در مقیاس کمک میکند.
شوبهام مهتا یک مدیر محصول با تجربه با بیش از هشت سال تجربه و سابقه اثبات شده در ارائه محصولات موفق است. در نقش فعلی خود به عنوان مدیر ارشد محصول در AWS، او بر گردشهای کاری مدیریت شده آمازون برای جریان هوای آپاچی (Amazon MWAA) نظارت میکند و کمکهای منبع باز Apache Airflow را برای ارتقای بیشتر عملکرد محصول رهبری میکند.
- محتوای مبتنی بر SEO و توزیع روابط عمومی. امروز تقویت شوید.
- PlatoAiStream. Web3 Data Intelligence دانش تقویت شده دسترسی به اینجا.
- ضرب کردن آینده با آدرین اشلی. دسترسی به اینجا.
- خرید و فروش سهام در شرکت های PRE-IPO با PREIPO®. دسترسی به اینجا.
- منبع: https://aws.amazon.com/blogs/big-data/introducing-in-place-version-upgrades-with-amazon-mwaa/
- : دارد
- :است
- :نه
- $UP
- 1
- 10
- 100
- 110
- 7
- a
- درباره ما
- بالاتر
- تطبیق
- در میان
- حلقوی
- اضافه
- اضافه کردن
- اضافی
- اطلاعات اضافی
- علاوه بر این
- پایبند بودن
- اتخاذ
- تصویب
- مزیت - فایده - سود - منفعت
- پس از
- تراز
- معرفی
- اجازه می دهد تا
- همچنین
- آمازون
- گردشهای کاری مدیریتشده آمازون برای Apache Airflow (Amazon MWAA)
- آمازون خدمات وب
- an
- علم تجزیه و تحلیل
- و
- اعلام كردن
- هر
- آپاچی
- API
- مربوط
- هستند
- AS
- مرتبط است
- At
- تلاش
- تلاش
- دسترس پذیری
- در دسترس
- AWS
- به عقب
- پشتیبان گیری
- بانکداری
- اساس
- BE
- بوده
- قبل از
- بودن
- بهترین
- بهترین شیوه
- میان
- اشکال
- بنا
- by
- CAN
- قابلیت های
- مورد
- موارد
- ایجاد می شود
- تغییر دادن
- تغییر
- تبادل
- نزدیک
- ابر
- ابر بومی
- رمز
- مقايسه كردن
- سازگاری
- سازگار
- کامل
- تکمیل شده
- تکمیل
- اتمام
- جزء
- اجزاء
- پیکر بندی
- درگیری
- اتصالات
- در نظر بگیرید
- کنسول
- محدودیت ها
- ظرف
- مشارکت
- قرارداد
- اصلاح
- هزینه
- میتوانست
- کشور
- ایجاد
- ایجاد شده
- ایجاد
- ایجاد
- ایجاد
- بحرانی
- جاری
- در حال حاضر
- مشتریان
- DAG
- داده ها
- داده محور
- پایگاه داده
- به طور پیش فرض
- تحویل
- تقاضا
- وابسته
- بستگی دارد
- استقرار
- طراحی
- مقصد
- جزئیات
- جزئیات
- برنامه نویس
- پروژه
- DevOps
- مختلف
- نمایش دادن
- مستندات
- مدت از کار افتادگی
- رانده
- در طی
- لبه
- به طور موثر
- هر دو
- فعال
- مهندس
- بالا بردن
- تقویت
- اطمینان حاصل شود
- تمام
- به طور کامل
- محیط
- محیط
- خطا
- اتر (ETH)
- واقعه
- مثال
- مثال ها
- موجود
- تجربه
- با تجربه
- اکتشاف
- نتواند
- شکست
- ویژگی
- امکانات
- کمی از
- پرونده
- فایل ها
- سرانجام
- نام خانوادگی
- به دنبال
- پیروی
- برای
- از جانب
- تابعی
- قابلیت
- بیشتر
- GitHub
- راهنمایی
- بود
- آیا
- داشتن
- he
- به شدت
- کمک
- بالاتر
- خود را
- تاریخی
- تاریخ
- ساعت ها
- اما
- HTML
- HTTP
- HTTPS
- if
- تصویر
- تأثیر
- واردات
- ارتقاء
- in
- از جمله
- ناسازگار
- نشان دادن
- صنعت
- اطلاعات
- شروع می کند
- نصب کردن
- در عوض
- دستورالعمل
- ادغام
- حد واسط
- منقطع
- معرفی
- معرفی
- گرفتار
- اینترنت اشیا
- مسائل
- IT
- ITS
- JPG
- تنها
- بعد
- آخرین
- یاد گرفتن
- یادگیری
- کمترین
- کتابخانه ها
- پسندیدن
- احتمالا
- محدود شده
- لاین
- فهرست
- به صورت محلی
- ورود به سیستم
- دستگاه
- فراگیری ماشین
- ساخته
- حفظ
- عمده
- ساخت
- اداره می شود
- مدیر
- مدیریت می کند
- کتابچه راهنمای
- دستی
- علامت گذاری شده
- مسابقه
- ذکر شده
- متاداده
- قدرت
- مهاجرت
- مهاجرت
- مهاجرت
- ذهن
- کاهش
- مدرن
- ماژول ها
- بیش
- متحرک
- باید
- نام
- نامگذاری
- بومی
- لازم
- نیاز
- ضروری
- نیازهای
- شبکه
- جدید
- ویژگی های جدید
- ویژگی های جدید
- راه حل های جدید
- به تازگی
- بعد
- اکنون
- عدد
- of
- قدیمی
- on
- آنهایی که
- فقط
- منبع باز
- اپراتور
- or
- تنظیم و ارکستراسیون
- سفارش
- دیگر
- خارج
- روی
- مروری
- بسته
- بسته
- انجام دادن
- انجام
- فاز
- سکو
- افلاطون
- هوش داده افلاطون
- PlatoData
- پلاگین ها
- پست
- شیوه های
- آماده
- حضور
- جلوگیری از
- قبلی
- روند
- محصول
- مدیر تولید
- تولید
- محصولات
- اثبات شده
- ارائه
- ارائه دهنده
- پــایتــون
- اماده
- رکورد
- مناطق
- ثبت نام
- آزاد
- منتشر شده
- جایگزین کردن
- ضروری
- مورد نیاز
- منابع
- بازیابی
- حفظ
- بازده
- برگرداندن
- این فایل نقد می نویسید:
- نقش
- نورد
- نورد
- دویدن
- در حال اجرا
- مقیاس
- برنامه ریزی
- زمان بندی
- یکپارچه
- انتخاب
- ارشد
- جداگانه
- بدون سرور
- خدمت
- خدمات
- تنظیم
- باید
- نشان
- قابل توجه
- مشابه
- ساده
- به سادگی
- اندازه
- عکس فوری
- نرم افزار
- توسعه نرم افزار
- مزایا
- برخی از
- منبع
- فضا
- متخصص
- تخصص دارد
- مشخص شده
- پایدار
- صحنه
- استقرار
- راه افتادن
- نوپا
- ایالات
- وضعیت
- مراحل
- توقف
- ذخیره سازی
- ساده
- ساده
- متعاقبا
- موفق
- موفقیت
- چنین
- پشتیبانی
- گرفتن
- هدف
- وظایف
- پیشرفته
- ارتباط از راه دور
- Terraform
- آزمون
- تست
- نسبت به
- که
- La
- شان
- آنها
- سپس
- آنجا.
- از این رو
- اینها
- این
- زمان
- به
- ابزار
- بالا
- مسیر
- علائم تجاری
- تبدیل شدن
- انتقال
- ماشه
- دو
- ui
- اساسی
- فهمیدن
- متحد
- ایالات متحده
- تا
- بروزرسانی
- ارتقاء
- به روز رسانی
- ارتقاء
- استفاده کنید
- مورد استفاده
- استفاده
- کاربر
- با استفاده از
- سودمندی
- بررسی
- نسخه
- بازدید
- صبر کنيد
- خواسته
- بود
- مسیر..
- we
- وب
- وب سرور
- خدمات وب
- بود
- چه زمانی
- که
- در حین
- اراده
- با
- بدون
- مهاجرت کاری
- کارگر
- کارگران
- گردش کار
- گردش کار
- کارگر
- با این نسخهها کار
- X
- سال
- شما
- شما
- زفیرنت