היום, AWS מכריזה על זמינות של שדרוגי גרסאות במקום עבור אמזון מנוהל זרימת עבודה עבור Apache Airflow (Amazon MWAA). שיפור זה מאפשר לך לשדרג בצורה חלקה את סביבות Apache Airflow גרסה 2.x הקיימות שלך לגרסאות זמינות חדשות יותר תוך שמירה על היסטוריית הריצה של זרימת העבודה ותצורות הסביבה. כעת אתה יכול לנצל את היכולות העדכניות ביותר של פלטפורמת Apache Airflow מבלי ליצור סביבת MWAA חדשה לגמרי של אמזון.
עד עכשיו, אם רצית לשדרג את סביבת ה-Amazon MWAA שלך לגרסת Apache Airflow אחרת, היית צריך לעקוב אחר העברת סביבת MWAA של אמזון הוראות. זה כלל יצירת סביבת MWAA חדשה של אמזון ולאחר מכן העברת כל התצורות שלך ו בימוי גרפים אציקליים (DAGs) אליו. אם גם אתה צריך לשמר את ההיסטוריה של ריצות DAG, היית צריך לקחת גיבוי של מסד הנתונים של המטא נתונים שלך ואז לשחזר את הגיבוי בסביבה החדשה שנוצרה. תהליך זה היה מועד לשגיאות, ידני וכרוך בעלויות נוספות כדי לשמור על שתי סביבות MWAA נפרדות של אמזון עד שתוכל לאמת את החדשה ולבטל את הישנה.
בפוסט זה, אנו מספקים סקירה כללית של תכונת שדרוג הגרסה במקום, חוקרים מקרי שימוש ישימים, מפרטים את השלבים לשימוש בו ומספקים הנחיות נוספות לגבי היכולות שלה.
סקירה כללית של הפיתרון
שדרוגי הגרסה החדשים שהוצגו במקום על ידי Amazon MWAA מספקים מעבר יעיל מסביבות מבוססות Apache Airflow גרסת 2.x הקיימות שלך לגרסאות זמינות חדשות יותר של Apache Airflow. Amazon MWAA מנהלת את כל תהליך השדרוג, מהקצאת גרסאות חדשות של Apache Airflow ועד לשדרוג מסד הנתונים של המטא נתונים. במקרה של כשל בשדרוג, אמזון MWAA מתוכננת לחזור לגרסה היציבה הקודמת באמצעות תמונת מצב של מסד הנתונים המזוהה עם המטא נתונים.
שדרוג הסביבות הקיימות שלך באמזון MWAA הוא תהליך פשוט. אתה יכול לשדרג את סביבות ה-Apache Airflow 2.0 ומעלה הקיימות שלך באמזון MWAA בכמה לחיצות על קונסולת Amazon MWAA, על ידי שימוש ב-Amazon MWAA API, ממשק שורת הפקודה של AWS (AWS CLI), או על ידי שימוש בכלים כמו AWS CloudFormation, ה ערכת פיתוח ענן AWS (AWS CDK), או Terraform. תכונה זו זמינה בכל אזורי ה-MWAA של אמזון הנתמכים כעת.
בקונסולת Amazon MWAA, פשוט ערוך את הסביבה ובחר גרסת Apache Airflow זמינה גבוהה יותר מהגרסה הנוכחית של הסביבה הקיימת שלך. אתה יכול גם להשתמש ב עדכן סביבה API וציין את הגרסה החדשה של Apache Airflow כדי להפעיל תהליך שדרוג. למידע נוסף על שדרוגי גרסאות במקום, עיין ב שדרוג גרסת Apache Airflow מתיעוד של אמזון MWAA.
במהלך שדרוג, אמזון MWAA יוצרת תחילה תמונת מצב של מסד הנתונים המטא-נתונים של הסביבה הקיימת, אשר משמשת לאחר מכן כבסיס למסד נתונים חדש. לאחר מכן, כל רכיבי Apache Airflow - שרת אינטרנט, מתזמן ועובדים - משודרגים. לבסוף, מסד הנתונים החדש של המטא נתונים משודרג, ומשלים למעשה את המעבר לסביבה החדשה.
מקרי שימוש ישימים
עליך לשקול לשדרג את גרסת ה-Apache Airflow שלך ב-Amazon MWAA אם זרימות העבודה הקיימות שלך יכולות להכיל את השינוי וגרסה חדשה זמינה עם תכונות או שיפורים המתואמים עם מקרה השימוש שלך. על ידי שדרוג, אתה יכול לנצל את היכולות העדכניות ביותר של פלטפורמת Apache Airflow ולשמור על תאימות עם תכונות חדשות ושיטות עבודה מומלצות כמו תזמון מונחה נתונים וחבילות חדשות של ספקי אמזון שוחרר ב-Apache Airflow 2.4.3. תהליך השדרוג כרוך בהשבתה של הסביבה שיכולה להימשך עד שעתיים להשלמתו בהתאם לגודל הסביבה וניתן לבצעה לפי דרישה בזמן המתאים לכם ביותר. אם הסביבה הקיימת שלך נמצאת בשימוש רב כך שאינך יכול להרשות לעצמך השבתה, שקול ליצור סביבה חדשה במקום זאת.
תנאים מוקדמים
בעת הכנה לשדרוג, הקפד לבצע את השלבים המוקדמים הבאים:
- אמת את השינויים ב-Apache Airflow בין הגרסה הקיימת והחדשה שלך של הסביבה. סקור את זרימת האוויר של Apache מכתבי שחרור כדי להבין את ההשפעה של תכונות חדשות, שינויים משמעותיים ותיקוני באגים שכל מהדורות הביניים של Apache Airflow ביצעו בין גרסאות המקור והיעד שלך.
- בדוק את הקיים שלך
requirements.txt
קובץ כדי לאמת את קבוצת התלות הנכונה הנדרשת עבור סביבת היעד שלך. בנוסף, ודא כי שלךrequirements.txt
לקובץ יש את קובץ האילוצים הנכון נוסף בראש הקובץ כדי להתאים לסביבת היעד שלך. קובץ אילוצי Apache Airflow מציין את המודולים התלויים ואת גרסאות הספק הזמינות בזמן שחרור Apache Airflow. הוספת קובץ אילוצים מונעת התקנה של ספריות לא תואמות בסביבה שלך. בדוגמה הבאה, החלף{Airflow-version}
עם מספר הגרסה של סביבת היעד שלך, ו{Python-version}
עם הגרסה של Python התואמת לסביבה שלך:--constraint "https://raw.githubusercontent.com/apache/airflow/constraints-{Airflow-version}/constraints-{Python-version}.txt"
- סקור את התאימות של ספריות Python נוספות המוזכרות בקובץ שלך
requirements.txt
קובץ שיתאים לסביבת היעד שלך. Apache Airflow v2.4.3 ומעלה משתמש ב-Python v3.10, בעוד שגרסאות Apache Airflow ישנות יותר משתמשות ב-Python v3.7. לכן, אם אתה מנסה לשדרג את הסביבה הקיימת שלך מבוססת Apache Airflow v2.0.2/2.2.2 ל-Apache Airflow v2.4.3 ומעלה, עליך לעדכן את ספריות Python הנוספות שלך כך שיתאימו ל-Python v3.10. - עם Apache Airflow v2.4.3 ומעלה, רשימת חבילות הספקים שאמזון MWAA מתקינה כברירת מחדל עבור הסביבה שלך השתנתה. שים לב שחלק מהייבוא ושמות המפעילים השתנו בחבילת הספקים החדשה ב- Apache Airflow על מנת לתקן את מוסכמות השמות בין חבילות הספקים. השווה את רשימה של חבילות ספקים המותקנות כברירת מחדל ב-Apache Airflow v2.2.2 או v2.0.2, ולהגדיר את כל החבילות הנוספות שתזדקק לסביבה החדשה שלך Apache Airflow v2.4.3 ומעלה.
- ודא שה-DAGs ומשאבי זרימת העבודה האחרים שלך תואמים לגרסה החדשה של Apache Airflow שאליה אתה משדרג.
- השתמש aws-mwaa-local-runner כלי לבדיקת ה-DAG, הדרישות, הפלאגינים והתלות הקיימים שלך באופן מקומי לפני פריסה ל-Amazon MWAA. אתה יכול ליצור סביבת יעד Apache Airflow הדומה לתמונת ייצור של Amazon MWAA באופן מקומי באמצעות
aws-mwaa-local-runner
וודא שכל הרכיבים שלך פועלים לפני שתנסה לשדרג את סביבת ה-MWAA של Amazon שלך. בנוסף, בדוק את תהליך שדרוג הסביבה החדש בסביבות אמזון נמוכות יותר של MWAA כמו dev או staging לפני הפעלת השדרוג בסביבות ייצור.
תהליך השדרוג
כאשר שדרוג הופעל, אמזון MWAA עוצר את רכיבי ה-Apache Airflow הקיימים (שרת אינטרנט, מתזמן ועובדים). תהליך זה עוצר את כל משימות העובד הפועלות כעת. מצב הסביבה שלך בשלב זה יראה כ UPDATING
. תהליך השדרוג יוצר לאחר מכן תמונת מצב של מסד הנתונים של מטא נתונים, המסומן על ידי הסטטוס CREATING_SNAPSHOT
. כאשר תמונת המצב הושלמה, מצב הסביבה חוזר ל UPDATING
כמו Amazon MWAA מפעילה יצירה של סביבת Apache Airflow חדשה התואמת את בחירת הגרסה שלך ומחילה את שינויי הסכימה הדרושים על מסד הנתונים המטא נתונים הקיים כדי ליישר אותו עם סביבת היעד של Apache Airflow. במהלך שלב זה מותקנים הדרישות שצוינו, התוספים ותלויות אחרות.
בסיום, הסביבה החדשה שלך מסומנת כ AVAILABLE
, המציין שתהליך השדרוג הצליח והסביבה מוכנה לבדיקה. כעת תוכל להתחבר לממשק המשתמש שלך ב-Apache Airflow כדי לאמת את נוכחות ה-DAGs הקיימים שלך, הריצות ההיסטוריות שלהם, החיבורים המוגדרים ועוד.
עם זאת, אם יש כשלים בהתקנת הדרישות, התוספות וקבצי התלות שצוינו, הסביבה יוזמת חזרה לגרסה היציבה הקודמת. במהלך תהליך זה, מצב הסביבה שלך יראה כ ROLLING_BACK
. אם ההחזרה לאחור תצליח, הסביבה היציבה הקודמת שלך תהיה זמינה והסטטוס יוצג כ UPDATE_FAILED
עד שננסה עדכון חדש ויצליח. אם ההחזרה לאחור נכשלת, הסטטוס יוצג כ UNAVAILABLE
, המציין שהסביבה שלך אינה מתפקדת.
אם תהליך שדרוג הסביבה שלך נכשל, סביר להניח שהבסיס שירות מיכלים אלסטי של אמזון (אמזון ECS) AWS פרגייט לאשכולות היו בעיות ייצוב שנגרמו כתוצאה מדרישות ותוספים סותרים, בעיות ברשת או בעיות הגירה של DB לאחר שדרוג רכיב Apache Airflow. כדי להפחית את הבעיות הללו, ודא שה-DAG והדרישות שלך פועלות ללא בעיות בשימוש aws-mwaa-local-runner
כלי שירות, ובאופן אידיאלי, בדיקה בסביבת MWAA של אמזון.
שיקולים נוספים
זכור את המידע הנוסף הבא של תכונה זו:
- תהליך השדרוג זמין לפי דרישה, ויוגבל למעבר לגרסאות חדשות יותר. שדרוגי גרסה במקום ב-Amazon MWAA אינם נתמכים עבור גרסה 1.10.z. כדי לבצע שדרוג גרסה גדול, למשל מגרסה 1.y.z ל-2.y.z, עליך ליצור סביבה חדשה ולהעביר את המשאבים שלך.
- אתה יכול לבחור רק גרסאות גבוהות יותר רלוונטיות שאליהן תוכל לשדרג. שדרוג לאחור לגרסה נמוכה יותר אינו זמין.
- תהליך ההחזרה לאחור יכול לקחת זמן נוסף, ואם יש לך שירות אחסון פשוט של אמזון (Amazon S3) גרסאות דלי מופעלות, Amazon MWAA נועד להחזיר את הסביבה לתצורת העבודה הקודמת, כולל תוספים ודרישות. עם זאת, שינויים ידניים שנעשו ב-DAG שלך לא יבוטלו במהלך תהליך זה.
- לאחר שתהליך השדרוג הסתיים בהצלחה והסביבה זמינה, כל DAGs הפועלים שהופסקו במהלך השדרוג מתוזמנים לניסיון חוזר, בהתאם לאופן שבו אתה מגדיר נסיונות חוזרים עבור DAGs שלך. אתה יכול גם להפעיל אותם באופן ידני או להמתין לריצה המתוזמנת הבאה.
- עליך לשדרג באופן איטרטיבי את הסביבות שלך, החל מהסביבות הפחות קריטיות תחילה.
סיכום
בפוסט הזה, דיברנו על התכונה החדשה של Amazon MWAA המאפשרת לכם לשדרג את סביבת ה-Amazon MWAA הקיימת שלכם לגרסאות גבוהות יותר של Apache Airflow. תכונה זו נתמכת בסביבות חדשות וקיימות של Amazon MWAA המרצות את Apache Airflow 2.x ומעלה. השתמש בתכונה זו כדי לשדרג את גרסאות ה-Apache Airflow שלך תוך שמירה על היסטוריית ריצת זרימת העבודה ותצורות הסביבה הקיימות שלך. על ידי שדרוג, תוכל לנצל את היכולות העדכניות ביותר של פלטפורמת Apache Airflow ולשמור על תאימות עם תכונות חדשות ולדבוק בשיטות עבודה מומלצות.
לפרטים נוספים ודוגמאות קוד ב-Amazon MWAA, בקר באתר מדריך למשתמש של אמזון MWAA ו אמזון MWAA דוגמת ריפו של GitHub.
Apache, Apache Airflow ו-Airflow הם סימנים מסחריים רשומים או סימנים מסחריים של קרן אפאצ 'י תוכנה בארצות הברית ו / או במדינות אחרות.
על הכותבים
פרנב בסאק הוא אדריכל פתרונות ומומחה ללא שרתים ב-AWS. הוא מתמחה ביצירת פתרונות חדשים מקוריים בענן תוך שימוש בשיטות פיתוח תוכנה מודרניות כמו ללא שרת, DevOps ואנליטיקה. פארנב עובדת בשיתוף פעולה הדוק בתחום שירותי הניתוח והאינטגרציה ומסייעת ללקוחות לאמץ שירותי AWS לצרכי תזמור זרימת העבודה שלהם.
פרננדו גאמרו הוא מהנדס אדריכל פתרונות בכיר ב-AWS, בעל יותר מ-25 שנות ניסיון בתעשיית הטכנולוגיה, מטלקומוניקציה, בנקאות ועד סטארט-אפים. כעת הוא עוזר ללקוחות בבניית ארכיטקטורות מונעות אירועים, אימוץ פתרונות IoT בקצה, ומשנה את צינורות הנתונים ולמידת המכונה שלהם בקנה מידה.
שובאם מהטה הוא מנהל מוצר מנוסה עם למעלה משמונה שנות ניסיון ורקורד מוכח של אספקת מוצרים מוצלחים. בתפקידו הנוכחי כמנהל מוצר בכיר ב-AWS, הוא מפקח על זרימות עבודה מנוהלות של אמזון עבור Apache Airflow (Amazon MWAA) ועומד בראש התרומות של Apache Airflow בקוד פתוח כדי לשפר עוד יותר את הפונקציונליות של המוצר.
- הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
- PlatoAiStream. Web3 Data Intelligence. הידע מוגבר. גישה כאן.
- הטבעת העתיד עם אדריאן אשלי. גישה כאן.
- קנה ומכירה של מניות בחברות PRE-IPO עם PREIPO®. גישה כאן.
- מקור: https://aws.amazon.com/blogs/big-data/introducing-in-place-version-upgrades-with-amazon-mwaa/
- :יש ל
- :הוא
- :לֹא
- $ למעלה
- 1
- 10
- 100
- 110
- 7
- a
- אודות
- מֵעַל
- להתאים
- לרוחב
- מחזורי
- הוסיף
- מוסיף
- נוסף
- מידע נוסף
- בנוסף
- לדבוק
- לְאַמֵץ
- אימוץ
- יתרון
- לאחר
- ליישר
- תעשיות
- מאפשר
- גם
- אמזון בעברית
- אמזון מנוהל זרימות עבודה עבור Apache Airflow (Amazon MWAA)
- אמזון שירותי אינטרנט
- an
- ניתוח
- ו
- מכריז
- כל
- אַפָּשׁ
- API
- ישים
- ARE
- AS
- המשויך
- At
- ניסיתי
- מנסה
- זמינות
- זמין
- AWS
- בחזרה
- גיבוי
- בנקאות
- בסיס
- BE
- היה
- לפני
- להיות
- הטוב ביותר
- שיטות עבודה מומלצות
- בֵּין
- חרק
- בִּניָן
- by
- CAN
- יכולות
- מקרה
- מקרים
- גרם
- שינוי
- השתנה
- שינויים
- מקרוב
- ענן
- ענן יליד
- קוד
- לְהַשְׁווֹת
- תאימות
- תואם
- להשלים
- השלמת
- מַשׁלִים
- השלמה
- רְכִיב
- רכיבים
- תְצוּרָה
- מתנגש
- חיבורי
- לשקול
- קונסול
- אילוצים
- מכולה
- תרומות
- אמנה
- לתקן
- עלויות
- יכול
- מדינות
- לִיצוֹר
- נוצר
- יוצר
- יוצרים
- יצירה
- קריטי
- נוֹכְחִי
- כיום
- לקוחות
- DAG
- נתונים
- נתונים מונחים
- מסד נתונים
- בְּרִירַת מֶחדָל
- אספקה
- דרישה
- תלוי
- תלוי
- פריסה
- מעוצב
- יעד
- פרט
- פרטים
- dev
- צעצועי התפתחות
- דופים
- אחר
- לְהַצִיג
- תיעוד
- זמן השבתה
- מונע
- בְּמַהֲלָך
- אדג '
- יעילות
- או
- מופעל
- מהנדס
- להגביר את
- הגברה
- לְהַבטִיחַ
- שלם
- לַחֲלוּטִין
- סביבה
- סביבות
- שגיאה
- Ether (ETH)
- אירוע
- דוגמה
- דוגמאות
- קיימים
- ניסיון
- מנוסה
- לחקור
- נכשל
- כשלון
- מאפיין
- תכונות
- מעטים
- שלח
- קבצים
- בסופו של דבר
- ראשון
- לעקוב
- הבא
- בעד
- החל מ-
- פונקציונלי
- פונקציונלי
- נוסף
- GitHub
- הדרכה
- היה
- יש
- יש
- he
- בִּכְבֵדוּת
- עזרה
- גבוה יותר
- שֶׁלוֹ
- היסטורי
- היסטוריה
- שעות
- אולם
- HTML
- http
- HTTPS
- if
- תמונה
- פְּגִיעָה
- יבוא
- שיפורים
- in
- כולל
- שאינו עולה בקנה אחד
- המציין
- תעשייה
- מידע
- יוזם
- התקנה
- במקום
- הוראות
- השתלבות
- ביניים
- נקטע
- הציג
- החדרה
- מעורב
- IOT
- בעיות
- IT
- שֶׁלָה
- jpg
- רק
- מאוחר יותר
- האחרון
- לִלמוֹד
- למידה
- הכי פחות
- ספריות
- כמו
- סביר
- מוגבל
- קו
- רשימה
- באופן מקומי
- היכנס
- מכונה
- למידת מכונה
- עשוי
- לתחזק
- גדול
- לעשות
- הצליח
- מנהל
- מצליח
- מדריך ל
- באופן ידני
- מסומן
- להתאים
- מוּזְכָּר
- מידע נוסף
- יכול
- נודד
- נודד
- הֲגִירָה
- אכפת לי
- להקל
- מודרני
- מודולים
- יותר
- נע
- צריך
- שמות
- שמות
- יליד
- הכרחי
- צורך
- נחוץ
- צרכי
- רשתות
- חדש
- תכונה חדשה
- תכונות חדשות
- פתרונות חדשים
- חדש
- הבא
- עַכשָׁיו
- מספר
- of
- זקן
- on
- יחידות
- רק
- קוד פתוח
- מפעיל
- or
- תזמור
- להזמין
- אחר
- הַחוּצָה
- יותר
- סקירה
- חבילה
- חבילות
- לבצע
- ביצעתי
- שלב
- פלטפורמה
- אפלטון
- מודיעין אפלטון
- אפלטון נתונים
- תוספים
- הודעה
- פרקטיקות
- העריכה
- נוכחות
- מונע
- קודם
- תהליך
- המוצר
- מנהל מוצר
- הפקה
- מוצרים
- מוכח
- לספק
- ספק
- פיתון
- מוכן
- שיא
- אזורים
- רשום
- לשחרר
- עיתונות
- להחליף
- נדרש
- דרישות
- משאבים
- לשחזר
- שמירה
- החזרות
- לחזור
- סקירה
- תפקיד
- גָלִיל
- גִלגוּל
- הפעלה
- ריצה
- סולם
- מתוכנן
- תזמון
- בצורה חלקה
- מבחר
- לחצני מצוקה לפנסיונרים
- נפרד
- ללא שרת
- משמש
- שירותים
- סט
- צריך
- לְהַצִיג
- משמעותי
- דומה
- פָּשׁוּט
- בפשטות
- מידה
- תמונת בזק
- תוכנה
- פיתוח תוכנה
- פתרונות
- כמה
- מָקוֹר
- מֶרחָב
- מומחה
- מתמחה
- מפורט
- יציב
- התמחות
- בימוי
- החל
- חברות סטארט
- הברית
- מצב
- צעדים
- עוצר
- אחסון
- פשוט
- זִרמִי
- כתוצאה מכך
- מוצלח
- בהצלחה
- כזה
- נתמך
- לקחת
- יעד
- משימות
- טכנולוגיה
- התקשורת
- Terraform
- מבחן
- בדיקות
- מֵאֲשֶׁר
- זֶה
- השמיים
- שֶׁלָהֶם
- אותם
- אז
- שם.
- לכן
- אלה
- זֶה
- זמן
- ל
- כלים
- חלק עליון
- לעקוב
- סימני מסחר
- הפיכה
- מַעֲבָר
- להפעיל
- שתיים
- ui
- בְּסִיסִי
- להבין
- מאוחד
- ארצות הברית
- עד
- עדכון
- שדרוג
- משודרג
- שדרוגים
- להשתמש
- במקרה להשתמש
- מְשׁוּמָשׁ
- משתמש
- באמצעות
- תועלת
- לאמת
- גרסה
- לְבַקֵר
- לחכות
- רציתי
- היה
- דֶרֶך..
- we
- אינטרנט
- שרת אינטרנט
- שירותי אינטרנט
- היו
- מתי
- אשר
- בזמן
- יצטרך
- עם
- לְלֹא
- תיק עבודות
- עובד
- עובדים
- זרימת עבודה
- זרימות עבודה
- עובד
- עובד
- X
- שנים
- אתה
- זפירנט