בפוסט זה, אנו מדגימים פריסה אוטומטית של תהליכי עבודה מנוהלים של אמזון עבור זרימת האוויר של אפאצ'י (Amazon MWAA) באמצעות נקודות קצה המנוהלות על ידי לקוחות ב-VPC, מתן תאימות ל-VPCs משותפים או מוגבלים בדרך אחרת.
מדעני נתונים ומהנדסים עשו זרימת אוויר של אפאצ'י כלי קוד פתוח מוביל ליצירת צינורות נתונים הודות לקהילת הקוד הפתוח הפעילה שלו, פיתוח Python המוכר כזרימות עבודה של Directed Acyclic Graph (DAG) וספרייה נרחבת של אינטגרציות מובנות מראש. Amazon MWAA הוא שירות מנוהל עבור Airflow שמקל על הפעלת Airflow ב-AWS ללא הנטל התפעולי של הצורך לנהל את התשתית הבסיסית. עבור כל סביבת Airflow, אמזון MWAA יוצרת VPC של שירות דייר יחיד, המארח את מטא-בסיס הנתונים המאחסן את המצבים ואת שרת האינטרנט המספק את ממשק המשתמש. אמזון MWAA מנהלת עוד מופעי מתזמן Airflow ועובדים ב-VPC בבעלות הלקוח ובניהולם, על מנת לתזמן ולהפעיל משימות המקיימות אינטראקציה עם משאבי הלקוח. אותם מיכלי זרימת אוויר ב-VPC של הלקוח ניגשים למשאבים ב-VPC של השירות באמצעות א נקודת קצה VPC.
ארגונים רבים בוחרים לעשות זאת לנהל את ה-VPC שלהם באופן מרכזי באמצעות ארגוני AWS, המאפשר שיתוף של VPC בחשבון בעלים עם משאבים בחשבון משתתף אחר. עם זאת, מכיוון שיצירת מסלול חדש מחוץ ל-VPC נחשבת לפעולה מועדפת, חשבונות משתתפים לא יכולים ליצור נקודות קצה ב-VPC של הבעלים. יתר על כן, לקוחות רבים אינם רוצים להרחיב את הרשאות האבטחה הנדרשות ליצירת נקודות קצה VPC לכל המשתמשים המספקים סביבות MWAA של אמזון. בנוסף לנקודות קצה VPC, לקוחות גם רוצים להגביל יציאת נתונים דרך שירות תורים פשוט של אמזון (Amazon SQS) תורים, וגישה ל-Amazon SQS היא דרישה ב- ארכיטקטורת MWAA של אמזון.
תמיכת VPC משותפת עבור Amazon MWAA מוסיפה לך את היכולת לנהל את נקודות הקצה שלך בתוך ה-VPC שלך, ומוסיפה תאימות ל-VPCs משותפים ומוגבלים אחרת. ציון נקודות קצה המנוהלות על ידי לקוחות מספק גם את היכולת לעמוד במדיניות אבטחה מחמירה על ידי הגבלת גישה מפורשת למשאבי VPC רק לאלה הדרושים לסביבות ה-MWAA של Amazon שלך. פוסט זה מדגים כיצד נקודות קצה מנוהלות על ידי לקוחות עובדות עם Amazon MWAA ומספק דוגמאות כיצד להפוך את האספקה של נקודות קצה אלו לאוטומטיות.
סקירת פתרונות
תמיכת VPC משותפת עבור Amazon MWAA מאפשרת לחשבונות AWS מרובים ליצור את סביבות ה-Airflow שלהם לתוך VPCs משותפים ומנוהלים באופן מרכזי. החשבון המחזיק ב-VPC (הבעלים) חולק את שתי רשתות המשנה הפרטיות הנדרשות על ידי Amazon MWAA עם חשבונות אחרים (משתתפים) השייכים לאותו ארגון מ-AWS Organizations. לאחר שיתוף רשתות המשנה, המשתתפים יכולים להציג, ליצור, לשנות ולמחוק סביבות MWAA של אמזון ברשתות המשנה המשותפות איתם.
כאשר משתמשים מציינים את הצורך ב-VPC משותף, או מוגבל במדיניות אחרת, במהלך יצירת הסביבה, אמזון MWAA תחילה תיצור את משאבי ה-VPC של השירות, ולאחר מכן תיכנס למצב ממתין למשך עד 72 שעות, עם אמזון EventBridge הודעה על השינוי במצב. זה מאפשר לבעלים ליצור את נקודות הקצה הנדרשות בשם המשתתפים בהתבסס על מידע על שירות נקודות הקצה ממסוף ה-MWAA או ה-API של אמזון, או באופן פרוגרמטי באמצעות AWS למבדה function וכלל EventBridge, כמו בדוגמה בפוסט זה.
לאחר יצירת נקודות קצה אלו בחשבון הבעלים, שירות נקודות הקצה ב- Amazon MWAA VPC עם דייר יחיד יזהה את אירוע חיבור נקודת הקצה ויחדש את יצירת הסביבה. אם תהיה בעיה, תוכל לבטל את יצירת הסביבה על ידי מחיקת הסביבה במצב המתנה זה.
תכונה זו גם מאפשרת לך להסיר את ליצור, לשנות ולמחוק הרשאות VPCE מ AWS זהות וניהול גישה (IAM) המנהל יוצר סביבות MWAA של אמזון, גם כאשר אינו משתמש ב-VPC משותף, מכיוון שהרשאה זו תוטל במקום זאת על מנהל ה-IAM שיוצר את נקודת הקצה (פונקציית Lambda בדוגמה שלנו). יתר על כן, סביבת ה-MWAA של אמזון תספק את תור ה-SQS Amazon Resource Name (ARN) המשמש את Airflow Celery Executor לתור משימות (הCelery Executor Queue), מה שמאפשר לך להזין במפורש משאבים אלה למדיניות הרשת שלך במקום לספק רשות פתוחה ומוכללת יותר.
בדוגמה זו, אנו יוצרים את סביבת VPC ו-Amazon MWAA באותו חשבון. עבור VPCs משותפים בין חשבונות, כלל EventBridge ופונקציית Lambda יתקיימו בחשבון הבעלים, וסביבת Amazon MWAA תיווצר בחשבון המשתתף. לִרְאוֹת שליחה וקבלה של אירועי Amazon EventBridge בין חשבונות AWS לקבלת מידע נוסף.
תנאים מוקדמים
אתה צריך להיות בעל הדרישות המוקדמות הבאות:
- חשבון AWS
- משתמש AWS בחשבון זה, עם הרשאות ליצור VPCs, VPC נקודות קצה וסביבות MWAA של Amazon
- An שירות אחסון פשוט של אמזון (Amazon S3) דלי בחשבון זה, עם תיקיה בשם
dags
צור את ה-VPC
אנו מתחילים ביצירת VPC מגביל באמצעות an AWS CloudFormation תבנית, על מנת לדמות יצירת נקודת הקצה הדרושה של VPC ושינוי מדיניות נקודת הקצה של SQS. אם אתה רוצה להשתמש ב-VPC קיים, אתה יכול להמשיך לסעיף הבא.
- הורד את תבנית CloudFormation הוזכר ב אפשרות שלישית: יצירת רשת Amazon VPC ללא גישה לאינטרנט.
- חלץ את הקובץ
cfn-vpc-private-bjs.yml
מארכיון ה-ZIP שהורדת. - כעת אנו עורכים את תבנית CloudFormation שלנו כדי להגביל את הגישה לאמזון SQS. ב
cfn-vpc-private-bjs.yml
, לערוך אתSqsVpcEndoint
הקטע שיופיע כדלקמן:
ערך מסמך מדיניות נוסף זה מונע יציאה של Amazon SQS לכל משאב שאינו רשום במפורש.
כעת אנו יכולים ליצור את ערימת CloudFormation שלנו.
- במסוף CloudFormation של AWS, בחר צור ערימה.
- בחר העלה קובץ תבנית.
- בחרו בחר קובץ.
- דפדף אל הקובץ ששינית.
- בחרו הַבָּא.
- בעד שם ערימה, להיכנס
MWAA-Environment-VPC
. - בחרו הַבָּא עד שתגיע לדף הביקורת.
- בחרו חפש.
צור את פונקציית Lambda
יש לנו שתי אפשרויות לניהול עצמי של נקודות הקצה שלנו: ידני ואוטומטי. בדוגמה זו, אנו יוצרים פונקציית Lambda המגיבה להודעת Amazon MWAA EventBridge. אתה יכול גם להשתמש בהתראה של EventBridge כדי לשלוח א שירות התראה פשוט של אמזון הודעת (Amazon SNS), כגון דואר אלקטרוני, למישהו עם הרשאה ליצור את נקודת הקצה VPC באופן ידני.
ראשית, אנו יוצרים פונקציית Lambda כדי להגיב לאירוע EventBridge שאמזון MWAA תשדר.
- במסוף למבה, בחרו צור פונקציה.
- בעד שם, להיכנס
mwaa-create-lambda
. - בעד זמן ריצה, בחר פייתון 3.11.
- בחרו צור פונקציה.
- בעד קופונים, ב קוד המקור קטע, עבור
lambda_function
, הזן את הקוד הבא: - בחרו לפרוס.
- על תְצוּרָה לשונית של פונקציית Lambda, ב- תצורה כללית סעיף, בחר ערוך.
- בעד פסק זמן, הגדל ל-5 דקות, 0 שניות.
- בחרו שמור.
- ב הרשאות סעיף, תחת תפקיד ביצוע, בחר את שם התפקיד כדי לערוך את ההרשאות של פונקציה זו.
- בעד מדיניות הרשאות, בחר בקישור מתחת שם מדיניות.
- בחרו ערוך והוסיפו פסיק ואת המשפט הבא:
המדיניות המלאה צריכה להיראות דומה לזה:
- בחרו הַבָּא עד שתגיע לדף הביקורת.
- בחרו שמור שינויים.
צור כלל EventBridge
לאחר מכן, אנו מגדירים את EventBridge לשלוח את הודעות ה-MWAA של אמזון לפונקציית Lambda שלנו.
- במסוף EventBridge, בחר צור כלל.
- בעד שם, הזן mwaa-create.
- בחר שלטון עם דפוס אירוע.
- בחרו הַבָּא.
- בעד שיטת יצירה, בחר טופס דפוס משתמש.
- בחרו ערוך דפוס.
- בעד דפוס אירוע, הזן את הפרטים הבאים:
- בחרו הַבָּא.
- בעד בחר יעד, בחר פונקציית למדה.
תוכל גם לציין הודעת SNS כדי לקבל הודעה כאשר מצב הסביבה משתנהs.
- בעד פונקציה, בחר
mwaa-create-lambda
. - בחרו הַבָּא עד שתגיע לקטע האחרון, ואז בחר צור כלל.
צור סביבת MWAA של אמזון
לבסוף, אנו יוצרים סביבת MWAA של אמזון עם נקודות קצה בניהול לקוחות.
- במסוף MWAA של אמזון בחר צור סביבה.
- בעד שם, הזן שם ייחודי עבור הסביבה שלך.
- בעד גרסת זרימת אוויר, בחר את גרסת Airflow העדכנית ביותר.
- בעד דלי S3, בחר דפדף ב- S3 ובחר את דלי ה-S3 שלך, או הזן את ה-URI של Amazon S3.
- בעד תיקיית DAGs, בחר דפדף ב- S3 ולבחור את
dags/
תיקייה בדלי S3 שלך, או הזן את ה-URI של Amazon S3. - בחרו הַבָּא.
- בעד ענן וירטואלי פרטי, בחר את ה-VPC שיצרת קודם לכן.
- בעד גישה לשרת אינטרנט, בחר רשת ציבורית (נגישה לאינטרנט).
- בעד קבוצות אבטחה, בטל את הבחירה צור קבוצת אבטחה חדשה.
- בחר את קבוצת האבטחה המשותפת של VPC שנוצרה על ידי תבנית CloudFormation.
מכיוון שקבוצות האבטחה של ה AWS PrivateLink נקודות הקצה מהשלב הקודם הן בהתייחסות עצמית, עליך לבחור את אותה קבוצת אבטחה עבור סביבת ה-MWAA של Amazon שלך.
- בעד ניהול נקודות קצה, בחר נקודות קצה מנוהלות על ידי לקוחות.
- שמור את שאר ההגדרות כברירת מחדל ובחר הַבָּא.
- בחרו צור סביבה.
כאשר הסביבה שלך זמינה, אתה יכול לגשת אליה דרך פתח את ממשק המשתמש של Airflow קישור בקונסולת ה-MWAA של אמזון.
לנקות את
ניקוי משאבים שאינם בשימוש פעיל מפחית עלויות והוא שיטה מומלצת. אם לא תמחק את המשאבים שלך, אתה עלול לגרור חיובים נוספים. כדי לנקות את המשאבים שלך, בצע את השלבים הבאים:
- מחק את סביבת MWAA של אמזון, כלל EventBridge, ו פונקציית למדה.
- מחק נקודות קצה של VPC נוצר על ידי פונקציית Lambda.
- מחק כל קבוצות אבטחה נוצר, אם רלוונטי.
- לאחר שהמשאבים לעיל השלימו את המחיקה, מחק את ערימת CloudFormation כדי להבטיח שהסרת את כל המשאבים הנותרים.
<br> סיכום
פוסט זה תיאר כיצד להפוך את יצירת הסביבה לאוטומטית עם תמיכת VPC משותפת באמזון MWAA. זה נותן לך את היכולת לנהל את נקודות הקצה שלך בתוך ה-VPC שלך, ולהוסיף תאימות ל-VPC משותף או מוגבל בדרך אחרת. ציון נקודות קצה מנוהלות על ידי לקוחות מספק גם את היכולת לעמוד במדיניות אבטחה מחמירה על ידי הגבלת גישה מפורשת למשאבי VPC רק לאלה הדרושים לסביבות ה-MWAA של אמזון. למידע נוסף על Amazon MWAA, עיין ב- מדריך למשתמש של אמזון MWAA. לפוסטים נוספים על אמזון MWAA, בקר באתר דף משאבי MWAA של אמזון.
על הסופר
ג'ון ג'קסון בעל ניסיון של למעלה מ-25 שנים בתוכנה כמפתח, ארכיטקט מערכות ומנהל מוצר בסטארטאפים ובתאגידים גדולים כאחד, והוא מנהל המוצר הראשי של AWS האחראי על Amazon MWAA.
- הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
- PlatoData.Network Vertical Generative Ai. העצים את עצמך. גישה כאן.
- PlatoAiStream. Web3 Intelligence. הידע מוגבר. גישה כאן.
- PlatoESG. פחמן, קלינטק, אנרגיה, סביבה, שמש, ניהול פסולת. גישה כאן.
- PlatoHealth. מודיעין ביוטכנולוגיה וניסויים קליניים. גישה כאן.
- מקור: https://aws.amazon.com/blogs/big-data/introducing-shared-vpc-support-on-amazon-mwaa/
- :יש ל
- :הוא
- :לֹא
- $ למעלה
- 10
- 100
- 11
- 13
- 15%
- 200
- 25
- 41
- 72
- 8
- a
- יכולת
- אודות
- מֵעַל
- גישה
- נגיש
- חֶשְׁבּוֹן
- חשבונות
- לרוחב
- פעולה
- פעיל
- באופן פעיל
- מחזורי
- להוסיף
- מוסיף
- תוספת
- נוסף
- מוסיף
- לאחר
- תעשיות
- להתיר
- מותר
- מאפשר
- מאפשר
- כְּבָר
- גם
- אמזון בעברית
- אמזון שירותי אינטרנט
- an
- ו
- כל
- אַפָּשׁ
- API
- לְהוֹפִיעַ
- ישים
- ארכיון
- ARE
- AS
- אוטומטי
- אוטומטי
- אוטומציה
- זמין
- AWS
- AWS CloudFormation
- מבוסס
- BE
- כי
- להתחיל
- בשם
- להיות
- הטוב ביותר
- בֵּין
- גוּף
- סיכה
- שניהם
- לשבור
- ניטל
- אבל
- by
- נקרא
- CAN
- יכול לקבל
- שינוי
- שינויים
- חיובים
- בחרו
- לְנַקוֹת
- לקוחות
- קוד
- COM
- קהילה
- תאימות
- להשלים
- השלמת
- הקשר
- נחשב
- קונסול
- מכולות
- הקשר
- תאגידים
- עלויות
- יכול
- לִיצוֹר
- נוצר
- יוצר
- יוצרים
- יצירה
- לקוח
- לקוחות
- DAG
- נתונים
- מסד נתונים
- בְּרִירַת מֶחדָל
- להפגין
- מדגים
- פריסה
- לתאר
- מְתוּאָר
- פרט
- לאתר
- מפתח
- צעצועי התפתחות
- אחר
- מְכוּוָן
- מסמך
- עושה
- לא
- ראוי
- בְּמַהֲלָך
- כל אחד
- מוקדם יותר
- קל
- השפעה
- אחר
- אמייל
- נקודת קצה
- נקודות קצה
- מהנדסים
- לְהַבטִיחַ
- זן
- כניסה
- סביבה
- סביבות
- Ether (ETH)
- אֲפִילוּ
- אירוע
- אירועים
- דוגמה
- דוגמאות
- להתקיים
- קיימים
- ניסיון
- בִּמְפוּרָשׁ
- להאריך
- נרחב
- מוכר
- מאפיין
- שלח
- סינון
- סופי
- ראשון
- הבא
- כדלקמן
- בעד
- מצא
- החל מ-
- פונקציה
- נוסף
- יתר על כן
- לקבל
- נותן
- גרף
- קְבוּצָה
- קבוצה
- יש
- יש
- מארחים
- שעות
- איך
- איך
- אולם
- HTML
- http
- HTTPS
- IAM
- ID
- זהות
- if
- לייבא
- מוּטָל
- in
- מידע
- מידע
- תשתית
- מקרים
- במקום
- ואינטגרציות
- אינטראקציה
- מִמְשָׁק
- אינטרנט
- אל תוך
- החדרה
- סוגיה
- IT
- שֶׁלָה
- jpg
- ג'סון
- רק
- מפתח
- גָדוֹל
- האחרון
- מוביל
- לִלמוֹד
- סִפְרִיָה
- קשר
- ברשימה
- רישום
- נראה
- עשוי
- עושה
- לנהל
- הצליח
- מנהל
- מצליח
- מדריך ל
- באופן ידני
- רב
- מאי..
- לִפְגוֹשׁ
- הודעה
- דקות
- שונים
- לשנות
- יותר
- מספר
- צריך
- שם
- הכרחי
- צורך
- נחוץ
- רשת
- חדש
- הבא
- הודעה
- הודעות
- of
- on
- לפתוח
- קוד פתוח
- מבצע
- מבצעי
- אפשרויות
- or
- להזמין
- ארגון
- ארגונים
- אחר
- אַחֶרֶת
- שלנו
- בחוץ
- יותר
- שֶׁלוֹ
- בעלים
- בעלי
- בעלים של
- עמוד
- משתתף
- המשתתפים
- תבנית
- תלוי ועומד
- רשות
- הרשאות
- אפלטון
- מודיעין אפלטון
- אפלטון נתונים
- מדיניות
- מדיניות
- הודעה
- הודעות
- תרגול
- תנאים מוקדמים
- מונע
- מנהל
- פְּרָטִי
- חסוי
- הרשאות
- להמשיך
- המוצר
- מנהל מוצר
- נכסים
- לספק
- מספק
- מתן
- פיתון
- R
- במקום
- לְהַגִיעַ
- לקבל
- קבלה
- מפחית
- להתייחס
- נותר
- להסיר
- הוסר
- נדרש
- דרישה
- משאב
- משאבים
- להגיב
- תגובה
- אחראי
- לְהַגבִּיל
- מוגבל
- מגביל
- מגבילה
- קורות חיים
- לַחֲזוֹר
- סקירה
- תפקיד
- מסלול
- כלל
- הפעלה
- s
- אותו
- לוח זמנים
- מדענים
- שניות
- סעיף
- אבטחה
- מדיניות אבטחה
- לִרְאוֹת
- לשלוח
- שרת
- שרות
- שירותים
- הגדרות
- משותף
- שיתופים
- צריך
- דומה
- פָּשׁוּט
- So
- תוכנה
- מישהו
- מָקוֹר
- לערום
- חברות סטארט
- מדינה
- הצהרה
- הברית
- מצב
- שלב
- צעדים
- אחסון
- חנות
- חנויות
- קַפְּדָנִי
- רשתות משנה
- כזה
- תמיכה
- מערכות
- משימות
- תבנית
- מֵאֲשֶׁר
- זֶה
- השמיים
- שֶׁלָהֶם
- אותם
- אז
- שם.
- זֶה
- אלה
- שְׁלוֹשָׁה
- ל
- כלי
- נָכוֹן
- שתיים
- סוג
- תחת
- בְּסִיסִי
- ייחודי
- עד
- עדכון
- URI
- להשתמש
- מְשׁוּמָשׁ
- משתמש
- ממשק משתמש
- משתמשים
- באמצעות
- ערך
- ערכים
- גרסה
- באמצעות
- לצפיה
- לְבַקֵר
- רוצה
- we
- אינטרנט
- שרת אינטרנט
- שירותי אינטרנט
- מתי
- אשר
- יצטרך
- עם
- בתוך
- לְלֹא
- תיק עבודות
- עובד
- זרימות עבודה
- היה
- שנים
- אתה
- זפירנט
- רוכסן