הפעלות אינטראקטיביות של AWS Glue לאפשר למהנדסים לבנות, לבדוק ולהפעיל עומסי עבודה של הכנת נתונים וניתוח במחברת אינטראקטיבית. הפעלות אינטראקטיביות מספקות סביבות פיתוח מבודדות, דואגות לאשכול המחשוב הבסיסי ומאפשרות תצורה להפסקת השבתת משאבים.
מפגשים אינטראקטיביים של דבק מספקים ברירת מחדל תצורות מומלצות, וגם מאפשר למשתמשים לעשות זאת להתאים אישית את הפגישה כדי לענות על הצרכים שלהם. לדוגמה, אתה יכול להקצות יותר עובדים להתנסות במערך נתונים גדול יותר או להגדיר את פסק הזמן הבלתי פעיל עבור עומסי עבודה ארוכי טווח. עם הגמישות לשנות אפשרויות אלה בהתאם לעומס העבודה, ייתכן שיהיה עליך לוודא שהאפשרויות משתנות בגבולות ספציפיים ולהחיל מנגנון בקרה.
בפוסט זה, אנו מציגים את תהליך הפריסה של א פתרון לשימוש חוזר לאכוף מגבלות הפעלה אינטראקטיביות של AWS Glue על שלוש אפשרויות: חיבור, מספר עובדים וזמן סרק מרבי. האפשרות הראשונה נותנת מענה לצורך ביישום בדיקה ובקרות מותאמות אישית על תעבורה, למשל על ידי אכיפת הפעלה אינטראקטיבית שתבוצע רק בתוך VPC. שני האחרים אוכפים מגבלות על עלויות ושימוש ב דבק AWS משאבים על ידי אכיפת גבול עליון על מספר העובדים וזמן סרק בכל הפעלה. אתה יכול להרחיב עוד יותר את הפתרון עבור נכסים או שירותים אחרים בתוך AWS Glue.
סקירה כללית של הפיתרון
הארכיטקטורה המוצעת בנויה על רכיבים ללא שרת ופועלת בכל פעם שנוצרת הפעלה אינטראקטיבית חדשה של AWS Glue.
שלבי זרימת העבודה הם כדלקמן:
- מהנדס נתונים יוצר הפעלה אינטראקטיבית חדשה של AWS Glue דרך ה קונסולת הניהול של AWS או במחברת Jupyter באופן מקומי.
- הפגישה האינטראקטיבית מייצרת אירוע חדש ל AWS CloudTrail עבור
CreateSession
אירוע עם כל המידע הרלוונטי כדי לזהות ולבדוק הפעלה מיד עם תחילת ההפעלה. - An אמזון EventBridge כלל מסנן את אירועי CloudTrail ומפעיל an AWS למבדה פונקציה לבדוק את
CreateSession
מִקרֶה. - פונקציית Lambda בודקת את
CreateSession
אירוע ובדיקות עבור כל תנאי הגבול שהוגדרו. נכון לעכשיו, הגבולות הניתנים להגדרה עם פתרון זה מוגבלים למספר המרבי של עובדים, פסק זמן סרק בדקות ופריסה עם אכיפה של חיבור. - אם אחד מתנאי הגבול שהוגדרו אינו מתקיים, לדוגמה, יותר מדי עובדים מסופקים להפעלה, בהתאם לתצורה שסופקה, הפונקציה מסיימת את הפגישה האינטראקטיבית באופן מיידי ושולחת אימייל באמצעות שירות התראה פשוט של אמזון (Amazon SNS). אם ההפעלה עדיין לא התחילה, הפונקציה תחכה לתחילתה לפני שתנקוט פעולה כלשהי.
- אם הפגישה הופסקה, נשלח אימייל לנושא SNS. אין מידע זמין במחברת הפגישה האינטראקטיבית על הסיבה לסיום הפגישה. לכן, מידע הקשר נוסף מסופק דרך נושא SNS למהנדסי הנתונים.
- אם הפונקציה נכשלת, ההפעלות נרשמות ב-a תור של אותיות מתות בתוך שירות תורים פשוט של אמזון (Amazon SQS). יתר על כן, התור מנוטר ובמקרה של הודעה, הוא יפעיל אמזון CloudWatch אזעקה.
השלבים הבאים ידריכו אותך כיצד לבנות ולפרוס את הפתרון. הקוד זמין ב- GitHub ריפו.
תנאים מוקדמים
לפריצת דרך זו, יהיו עליכם התנאים המוקדמים הבאים:
סקירה כללית של המשאבים הפרוסים
כל המשאבים הדרושים מוגדרים ב-an AWS CloudFormation קובץ שנמצא מתחת cfn/template.yaml
. כדי לפרוס משאבים אלה, אנו משתמשים מודל יישום ללא שרת AWS (AWS SAM), המאפשר לנו לבנות ולארוז בנוחות את כל התלות וגם לנהל עבורנו את שלבי AWS CloudFormation.
מחסנית CloudFormation פורסת את המשאבים הבאים:
- פונקציית Lambda עם הספרייה שלה, שתיהן מוגדרות תחת הספרייה src/functions. הפונקציה היא השליטה. זה יאמת שההפעלה מתחילה במסגרת המגבלות שהוגדרו.
- כלל של EventBridge. אירוע זה מאזין ל-CloudTrail ובמקרה של הפעלה אינטראקטיבית חדשה, יפעיל את פונקציית הבקרה של Lambda.
- תור אותיות מתות SQS (DLQ) המצורף לפונקציית Lambda. זה שומר תיעוד של אירועים שהפעילו כשל בפונקציית Lambda.
- שתי אזעקות CloudWatch המנטרות את כשלי פונקציית Lambda ואת ההודעות ב-DLQ.
אם התראה באמצעות אימייל מופעלת, ייפרסו שני משאבים נוספים:
בנוסף, AWS CloudFormation פורס את כל הדרוש AWS זהות וניהול גישה (IAM) תפקידים ומדיניות, וכן שירות ניהול מפתח AWS מפתח (AWS KMS) כדי להבטיח שהנתונים שהוחלפו מוצפנים.
פרוס את הפתרון
כדי להקל על מחזור חיי הפריסה, כולל הגדרת הסביבה המקומית של המשתמש, אנו מספקים Makefile שמתאר את כל השלבים הדרושים. ודא שחודשו את אישורי ה-AWS שלך ויש לך גישה לחשבון שלך. למידע נוסף, עיין ב הגדרות תצורה וקובץ אישורים.
- חקור את Makefile והתאם את האזור ואת שם המחסנית לפי הצורך על ידי שינוי הערכים של המשתנים
AWS_REGION
וSTACK_NAME
. - לקבוע
KILL_SESSION = "True"
אם אתה רוצה להפסיק מיד את הפגישה האינטראקטיבית שנמצאה מחוץ לגבולות. הערכים המותרים הם True או False; ברירת המחדל היא True. - לקבוע
NOTIFICATION_EMAIL_ADDRESS = <your.email@provider.com>
בMakefile
אם אתה רוצה קבל הודעה כאשר מפגש נמצא מחוץ לגבולות. - הגדר ערכים עבור הפקדים שלך:
ENFORCE_VPC_CONNECTION
כדי לעצור הפעלות שאינן פועלות בתוך VPC (true או false).MAX_WORKERS
כדי להגדיר את המספר המרבי של עובדים להפעלה (מספרית).MAX_IDLE_TIMEOUT_MINUTES
כדי להגדיר את זמן הסרק המרבי עבור הפעלות בדקות (מספרי).
- התקן את כל הספריות הדרושות:
אלה יותקנו תחת סביבה וירטואלית של Python שנוצרה לאחרונה בתוך מאגר זה בספריה
.venv
. - פרוס את המחסנית החדשה:
פקודה זו תשלים את המשימות הבאות:
- בדוק אם התנאים המוקדמים מתקיימים.
- לְבַצֵעַ
pytest unittest
על קבצי Python. - אמת את תבנית CloudFormation.
- בנה את החפצים (פונקציית למבדה ושכבות למבדה).
- פרוס את המשאבים באמצעות AWS SAM.
בדוק את הפתרון
עיין היכרות עם הפעלות אינטראקטיביות של AWS Glue עבור Jupyter למידע על הפעלת הפעלה אינטראקטיבית. אם תפעל לפי ההוראות בפוסט (ראה את הסעיף הפעל את תא הקוד הראשון שלך וחבר את מחברת ה-AWS Glue שלך), האתחול של הפגישה האינטראקטיבית אמור להיכשל עם שגיאה דומה לשגיאה הבאה.
דוגמה לקוד בתא:
פלט שהתקבל:
אם הפעלת את תכונת הדוא"ל, אתה אמור לקבל גם הודעת דוא"ל.
אתה יכול גם לבדוק במסוף הדבק של AWS שמזהה ההפעלה שלך לא רשום.
לנקות את
נקה את המשאבים הפרוסים על ידי הפעלת הפקודה הבאה:
שימו לב שהמשאבים שנפרסו בעקבות הפוסט המומלץ, היכרות עם הפעלות אינטראקטיביות של AWS Glue עבור Jupyter, לא יוסר עם הפקודה הקודמת.
מגבלות
ערבות המסירה לאירועי CloudTrail ל-EventBridge היא המאמץ הטוב ביותר. המשמעות היא ש-CloudTrail ינסה להעביר את כל האירועים ל-EventBridge, אך במקרים נדירים מסוימים, ייתכן שאירוע לא יועבר. למידע נוסף, עיין ב אירועים משירותי AWS.
סיכום
פוסט זה תיאר כיצד לבנות, לפרוס ולבדוק פתרון לאכיפת תנאי גבול על הפעלות אינטראקטיביות של AWS Glue על מנת לאכוף אילוצים על מספר העובדים, פסקי זמן סרק וחיבור AWS Glue.
אתה יכול להתאים את הפתרון הזה בהתאם לצרכים שלך ולהרחיב אותו עוד יותר כדי לאפשר בקרה על אפשרויות אחרות.
למידע נוסף על אופן השימוש במפגשים אינטראקטיביים של AWS Glue, עיין ב היכרות עם הפעלות אינטראקטיביות של AWS Glue עבור Jupyter ו מחבר AWS Glue משרות עם PyCharm באמצעות הפעלות אינטראקטיביות של AWS Glue.
על הכותבים
ניקולס יעקב באר הוא ארכיטקט יישומי ענן בכיר עם התמקדות חזקה בהנדסת נתונים ולמידת מכונה, מבוסס בשוויץ. הוא עובד בשיתוף פעולה הדוק עם לקוחות ארגוניים כדי לעצב פלטפורמות נתונים ולבנות מקרי שימוש מתקדמים בניתוח/ml.
לוקה מצפרו הוא אדריכל בכיר DevOps בשירותי האינטרנט של אמזון. הוא אוהב שתשתית תהיה אוטומטית, ניתנת לשחזור ומאובטחת. בזמנו הפנוי הוא אוהב לבשל, בעיקר פיצה.
קמנג ג'אנג הוא אדריכל יישומי ענן עם התמקדות חזקה בלמידת מכונה ו-UX, מבוסס בשוויץ. היא עובדת בשיתוף פעולה הדוק עם לקוחות כדי לעצב חוויות משתמש ולבנות מקרי שימוש מתקדמים בניתוח/ml.
מארק וולסר, ארכיטקט נתונים גלובלי בכיר ב- Amazon Web Services, משתף פעולה עם לקוחות כדי לפתח פתרונות ביג דאטה חדשניים הפותרים בעיות עסקיות ומזרזים את האימוץ של שירותי AWS. מחוץ לעבודה, הוא מוצא הנאה בריצה, בשחייה ובכל מה שקשור לטכנולוגיה.
גל היינה הוא מנהל מוצר עבור AWS Glue עם התמקדות חזקה ב-AI/ML, הנדסת נתונים ו-BI, מבוסס בקליפורניה. היא נלהבת בפיתוח הבנה עמוקה של הצרכים העסקיים של הלקוח ושיתוף פעולה עם מהנדסים כדי לעצב מוצרי נתונים קלים לשימוש.
- הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
- PlatoData.Network Vertical Generative Ai. העצים את עצמך. גישה כאן.
- PlatoAiStream. Web3 Intelligence. הידע מוגבר. גישה כאן.
- PlatoESG. רכב / רכבים חשמליים, פחמן, קלינטק, אנרגיה, סביבה, שמש, ניהול פסולת. גישה כאן.
- BlockOffsets. מודרניזציה של בעלות על קיזוז סביבתי. גישה כאן.
- מקור: https://aws.amazon.com/blogs/big-data/enforce-boundaries-on-aws-glue-interactive-sessions/
- :יש ל
- :הוא
- :לֹא
- $ למעלה
- 1
- 10
- 100
- 7
- a
- אודות
- גישה
- חֶשְׁבּוֹן
- פעולה
- להסתגל
- נוסף
- כתובות
- אימוץ
- מתקדם
- AI / ML
- אזעקה
- תעשיות
- להתיר
- מותר
- מאפשר
- גם
- אמזון בעברית
- אמזון שירותי אינטרנט
- an
- ניתוח
- ו
- כל
- בקשה
- החל
- מריחה
- ארכיטקטורה
- ARE
- טיעונים
- AS
- At
- מחבר
- אוטומטי
- זמין
- AWS
- AWS CloudFormation
- דבק AWS
- מבוסס
- BE
- היה
- לפני
- הטוב ביותר
- גָדוֹל
- נתונים גדולים
- בלוג
- שניהם
- גבולות
- לִבנוֹת
- נבנה
- עסקים
- אבל
- by
- קליפורניה
- קוראים
- CAN
- אשר
- מקרה
- מקרים
- תא
- שינוי
- השתנה
- לבדוק
- בדיקות
- מקרוב
- ענן
- אשכול
- קוד
- שיתוף פעולה
- להשלים
- רכיבים
- לחשב
- תנאים
- תְצוּרָה
- הקשר
- קונסול
- אילוצים
- הקשר
- לִשְׁלוֹט
- בקרות
- עלויות
- לִיצוֹר
- נוצר
- יוצר
- תְעוּדָה
- אישורים
- כיום
- מנהג
- לקוחות
- נתונים
- מהנדס נתונים
- הכנת נתונים
- עמוק
- בְּרִירַת מֶחדָל
- מוגדר
- למסור
- נתן
- מסירה
- תלוי
- לפרוס
- פרס
- פריסה
- פריסה
- פורס
- מְתוּאָר
- עיצוב
- לפתח
- מתפתח
- צעצועי התפתחות
- דופים
- קל
- מאמץ
- או
- אמייל
- מופעל
- מאפשר
- מוצפן
- מסתיים
- לאכוף
- אכיפה
- מהנדס
- הנדסה
- מהנדסים
- לְהַבטִיחַ
- מִפְעָל
- לקוחות ארגוניים
- סביבה
- סביבות
- שגיאה
- במיוחד
- Ether (ETH)
- אירוע
- אירועים
- דוגמה
- יוצא מן הכלל
- החליפו
- חוויות
- לְנַסוֹת
- להאריך
- לְהַקֵל
- FAIL
- נכשל
- כשלון
- שקר
- מאפיין
- שלח
- קבצים
- מסננים
- ממצאים
- ראשון
- גמישות
- להתמקד
- לעקוב
- הבא
- כדלקמן
- בעד
- מצא
- חופשי
- החל מ-
- פונקציה
- נוסף
- יתר על כן
- GAL
- לקבל
- גלוֹבָּלִי
- אַחֲרָיוּת
- יש
- he
- שֶׁלוֹ
- איך
- איך
- HTML
- http
- HTTPS
- IAM
- ID
- לזהות
- זהות
- להתבטל
- if
- מיד
- לייבא
- in
- כולל
- מידע
- תשתית
- יזם
- חדשני
- בתוך
- הוראות
- אינטראקטיבי
- אל תוך
- מעורר
- מְבוּדָד
- IT
- שֶׁלָה
- עבודה
- מקומות תעסוקה
- jpg
- מחברת צדק
- מפתח
- גדול יותר
- שכבות
- לִלמוֹד
- למידה
- ספריות
- סִפְרִיָה
- מעגל החיים
- אוהב
- מוגבל
- גבולות
- ברשימה
- מקומי
- באופן מקומי
- ממוקם
- מחובר
- מכונה
- למידת מכונה
- לעשות
- ניהול
- מנהל
- מצליח
- רב
- מקסימום
- מאי..
- אומר
- מנגנון
- לִפְגוֹשׁ
- הודעה
- הודעות
- נפגש
- יכול
- דקות
- פיקוח
- ניטור
- יותר
- שם
- הכרחי
- צורך
- נחוץ
- צרכי
- חדש
- חדש
- לא
- מחברה
- הודעה
- מספר
- התרחשה
- of
- on
- רק
- מבצע
- אפשרות
- אפשרויות
- or
- להזמין
- אחר
- הַחוּצָה
- תפוקה
- בחוץ
- חבילה
- לוהט
- עבור
- פיצה
- פלטפורמות
- אפלטון
- מודיעין אפלטון
- אפלטון נתונים
- הנאה
- מדיניות
- הודעה
- הכנה
- תנאים מוקדמים
- להציג
- קודם
- בעיות
- תהליך
- ייצור
- המוצר
- מנהל מוצר
- מוצרים
- נכסים
- מוּצָע
- לספק
- ובלבד
- מספק
- אַספָּקָה
- פיתון
- נדיר
- מוכן
- טעם
- מוּמלָץ
- שיא
- באזור
- קָשׁוּר
- רלוונטי
- הוסר
- מחודש
- מאגר
- משאבים
- תפקידים
- כלל
- הפעלה
- ריצה
- פועל
- סם
- סעיף
- מְאוּבטָח
- לִרְאוֹת
- שולח
- לחצני מצוקה לפנסיונרים
- נשלח
- ללא שרת
- שירותים
- מושב
- הפעלות
- סט
- התקנה
- היא
- צריך
- דומה
- פָּשׁוּט
- פִּתָרוֹן
- פתרונות
- לפתור
- כמה
- בקרוב
- לעורר
- ספציפי
- מְהִירוּת
- לערום
- התחלה
- החל
- הצהרה
- מצב
- צעדים
- עצור
- נעצר
- חזק
- בטוח
- שחיה
- שוויץ
- לקחת
- נטילת
- משימות
- טכנולוגיה
- תבנית
- מבחן
- זֶה
- השמיים
- שֶׁלָהֶם
- שם.
- לכן
- אלה
- דברים
- זֶה
- אלה
- שְׁלוֹשָׁה
- דרך
- זמן
- ל
- גַם
- נושא
- תְנוּעָה
- התמרות
- להפעיל
- מופעל
- נָכוֹן
- שתיים
- סוג
- תחת
- בְּסִיסִי
- הבנה
- us
- נוֹהָג
- להשתמש
- מקרים לשימוש
- משתמש
- משתמשים
- באמצעות
- ux
- לְאַמֵת
- ערכים
- באמצעות
- וירטואלי
- לחכות
- הַמתָנָה
- בהדרכה
- רוצה
- היה
- we
- אינטרנט
- שירותי אינטרנט
- מתי
- בכל פעם
- אשר
- בזמן
- יצטרך
- עם
- בתוך
- תיק עבודות
- עובד
- עובדים
- זרימת עבודה
- עובד
- עוד
- אתה
- זפירנט