In 2022, סיפרנו לך על השיפורים החדשים שעשינו ב אמזון EMR Managed Scaling, מה שעזר לשפר את ניצול האשכולות וכן להפחית את עלויות האשכולות. בשנת 2023, אנו שמחים לדווח שצוות אמזון EMR עבד קשה. עבדנו לאחור מדרישות הלקוח והשקנו מספר תכונות חדשות כדי לשפר את חוויית ניהול הקיבולת והקנה מידה של אמזון EMR על EC2 אשכולות.
אמזון EMR הוא פתרון הענן ביג דאטה לעיבוד נתונים בקנה מידה פטה-בייט, ניתוח אינטראקטיבי ולמידת מכונה (ML) באמצעות מסגרות קוד פתוח כגון אפאצ 'י ספארק, כוורת אפאצ'י, ו פרסטו. לקוחות ביקשו מאיתנו תכונות שישפרו עוד יותר את חווית ניהול הקיבולת וחוויית קנה המידה של ה-EMR שלהם באשכולות EC2, כולל אשכולות גדולים וארוכי טווח שלהם. עבדנו קשה כדי לענות על הצרכים האלה. להלן כמה מהשיפורים העיקריים:
- שקיפות וגמישות של לקוחות משופרים עם פסק זמן הקצאה עבור מופעי Spot
- צמתי משימות אופטימליים מוגדלים עבור Amazon EMR באשכולות EC2 שהושקו עם קבוצות מופעים
- גמישות עבודה משופרת עם הגנה משופרת לנהגי Spark
בואו לצלול לעומק ולדון בפירוט על ה- EMR החדש של אמזון על תכונות EC2.
שקיפות וגמישות של לקוחות משופרים עם פסק זמן הקצאה עבור מופעי Spot
לקוחות רבים של אמזון EMR משתמשים EC2 Spot Instances עבור EMR שלהם על אשכולות EC2 כדי להפחית עלויות. מופעי ספוט הם חילוף ענן מחשוב אלסטי של אמזון (Amazon EC2) קיבולת מחשוב המוצעת בהנחות של עד 90% בהשוואה לתמחור לפי דרישה. Amazon EMR מציעה לך את היכולת לשנות את קנה המידה של האשכול שלך באופן ידני או באמצעות שימוש קנה מידה אוטומטי. אתה יכול גם להשתמש ב- אמזון EMR Managed Scaling תכונה לשינוי אוטומטי של גודל האשכול שלך בהתבסס על עומס עבודה וניצול.
כדי לשפר את חווית הלקוח בעת הגדלה באמצעות מופעי ספוט, עבור EMR באשכולות EC2 שהושקו באמצעות ציי מופעים, כעת תוכל לציין פסק זמן להקצאה עבור מופעי נקודתיים. פסק זמן להקצאה יגיד לאמזון EMR להפסיק לספק קיבולת Spot Instance אם האשכול חורג מסף זמן מוגדר במהלך פעולות קנה המידה של אשכול. אתה יכול להגדיר את הזמן הקצוב להקצאת מופעי Spot עבור אשכולות המשתנים גודל באופן ידני או באמצעות אמזון EMR Managed Scaling ו-Auto Scaling.
בנוסף, כדי לספק שקיפות טובה יותר, כאשר תקופת הזמן הקצוב תסתיים, אמזון EMR ישלח אוטומטית אירועים גם אירועי CloudWatch של אמזון זרם. עם אירועי CloudWatch אלה, אתה יכול ליצור כללים התואמים אירועים לפי דפוס מוגדר, ולאחר מכן לנתב את האירועים ליעדים כדי לנקוט בפעולה. למידע נוסף, אנא עיין ב התאמה אישית של תקופת זמן קצוב להקצאה עבור שינוי גודל אשכול באמזון EMR.
אנא מצא את סיכום החוויה עבור תרחישים שונים כאשר אתה מגדיר תקופת זמן קצוב להקצאה במהלך שינוי גודל עבור אמזון EMR שלך באשכול EC2
תַרחִישׁ | ניסיון |
Amazon EMR מסוגלת לספק את קיבולת ה-Spot הרצויה לפני פקיעת פסק הזמן להקצאה | Amazon EMR מגדילה את האשכול באופן אוטומטי לקיבולת הרצויה ואין צורך בפעולה מצד הלקוח |
אמזון EMR אינה מסוגלת לספק קיבולת Spot כלשהי או רק מסוגלת לספק קיבולת Spot חלקית ופסק הזמן הקצוב להקצאה פג | אם Amazon EMR לא יכולה לספק את קיבולת ה-Spot הנדרשת ותפוג הזמן הקצוב להקצאה פג, אמזון EMR תבטל את בקשת שינוי הגודל ותפסיק את ניסיונותיה להקצות קיבולת ספוט נוספת. Amazon EMR תפרסם אירועים גם לזרם אירועי אמזון CloudWatch. לקוחות יכולים להשתמש באירועים אלה כדי ליצור כללים ולנקוט בפעולות מתאימות |
אם מופעי ה-Spot באמזון EMR שלך באשכולות EC2 נקטעו מכיוון שאמזון EC2 זקוק להם בחזרה | Amazon EMR תפעיל אוטומטית בקשה חדשה לשינוי גודל כדי לאזן מחדש את האשכולות שלך על ידי החלפת מופעים בכל אחד מהסוגים הזמינים באשכול שלך. אמזון EMR גם ישתמש באותו זמן קצוב לשינוי גודל הקצאה שהוגדר באשכול. אין צורך בפעולה מצד הלקוח. |
עליך לשקול את הקריטיות של זמינות הקיבולת בעת ציון ערך הזמן הקצוב להקצאה:
- כאשר זמינות קיבולת עומס העבודה שלך היא קריטית - כדי להבטיח שהקיבולת הרצויה זמינה, אנו ממליצים להגדיר את הזמן הקצוב לשינוי גודל ההקצאה על סמך הזמן שלוקח להפעיל את ה-SLA של האפליקציה והאפליקציה. לדוגמה, אם SLA של יישום הוא 60 דקות ולוקח 30 דקות להשלמת היישום, עליך להגדיר את פסק הזמן של שינוי גודל הקצאה ל-30 דקות או פחות. אמזון EMR תנסה לספק קיבולת Spot עד תום הזמן הקצוב (30 דקות או פחות) ולפרסם אירוע CloudWatch כדי שתוכל לנקוט בפעולות מתאימות.
- כאשר עומס העבודה שלך גמיש בזמן וזמינות הקיבולת אינה מהווה פקטור - אם עומס העבודה גמיש בזמן וזמינות הקיבולת אינה מהווה גורם, כדי להבטיח את הסבירות הגבוהה ביותר לקבל את קיבולת הנקודה הרצויה, תוכל להגדיר ערך זמן קצוב גבוה יותר עבור פסק זמן הקצאת גודל שינוי הגודל.
צמתי משימות אופטימליים מתרחבים עבור Amazon EMR באשכולות EC2 שהושקו עם קבוצות מופע
קבוצות מופעים מציעות הגדרה פשוטה יותר להפעלת EMR באשכולות EC2. כל אשכול המופעל באמצעות קבוצות מופעים יכול לכלול עד 50 קבוצות מופעים: קבוצת מופעים ראשית אחת המכילה מופע EC2 אחד, קבוצת מופעי ליבה המכילה מופע EC2 אחד או יותר, ועד 48 קבוצות מופעי משימה אופציונליות. אתה יכול לשנות קנה מידה של כל קבוצת מופעים על ידי הוספה והסרה של מופעי EC2 באופן ידני, או שאתה יכול להגדיר קנה מידה אוטומטי. אתה יכול גם להשתמש בתכונת Amazon EMR Managed Scaling כדי לשנות אוטומטית את גודל האשכול שלך בהתבסס על עומס עבודה וניצול.
כדי לשפר את חוויית הלקוח, למשל, קבוצות על EMR באשכולות EC2 בעת הגדלה של צמתי משימות באמצעות אמזון EMR Managed Scaling, שיפרנו את אלגוריתם הקנה המידה המנוהל כדי לבחור את קבוצות מופעי המשימות בעלות הסבירות הגבוהה ביותר לרכישת קיבולת. יתר על כן, כאשר קנה מידה מנוהל אינו מסוגל לרכוש קיבולת עם קבוצת מופעי משימה אחת, כדי לצמצם עיכובים בקנה מידה, Amazon EMR יעבור אוטומטית לקבוצת משימה אחרת ותמלא את הקיבולת על ידי שימוש במספר קבוצות מופעי משימה. כתוצאה מכך, ככל שאתה גמיש יותר לגבי סוגי המופעים שלך, כך הסיכויים להקצאת קיבולת גבוהים יותר. למידע נוסף, עיין ב שיטות עבודה מומלצות למשל וגמישות באזור זמינות.
גמישות עבודה משופרת עם הגנה משופרת לנהגי Spark
In 2022, כדי לשפר את גמישות העבודה בעת שימוש באמזון EMR Managed Scaling, שיפרנו קנה מידה מנוהל כדי להיות מודע לנתוני ערבוב Spark, מה שמונע הקטנה של מופעים המאחסנים נתוני ערבוב ביניים עבור Apache Spark. זה עוזר למנוע ניסיונות חוזרים של עבודה ומחשבים מחדש, מה שמוביל לביצועים טובים יותר ולעלות נמוכה יותר.
כדי לשפר עוד יותר את גמישות העבודה בעת שימוש באמזון EMR Managed Scaling, שיפרנו עוד יותר קנה מידה מנוהל כדי להיות מודע ל-Spark Driver, מה שמבטיח שבמהלך הקטנת אשכול, Amazon EMR Managed Scaling מעניק עדיפות להקטנה של צמתים שאין להם Driver Spark פעיל פועל עליהם. זה עוזר למזער כישלונות עבודה וניסיונות עבודה חוזרים, עוזר לשפר עוד יותר את הביצועים ולהפחית עלויות. שיפור זה מופעל כברירת מחדל עבור אשכולות EMR המשתמשים ב-Amazon EMR גרסאות 5.34.0 ואילך, ו-Amazon EMR גרסאות 6.4.0 ואילך.
כדי לאשר באילו צמתים באשכול שלך פועל Spark Driver, אתה יכול לבקר ב-Spark History Server ולסנן אחר מנהל ההתקן ב- מוציאים לפועל לשונית של מזהה אפליקציית Spark שלך.
סיכום
בפוסט זה, הדגשנו את השיפורים שעשינו בניהול קיבולת וב-Amazon EMR Managed Scaling עבור EMR באשכולות EC2. התמקדנו בשיפור גמישות העבודה, הגמישות והשקיפות מוגברת בעת הקצאת מופעי נקודתיים, ואופטימיזציה של חווית ההרחבה בעת שימוש בקנה מידה מנוהל עם קבוצות מופעים ב- Amazon EMR באשכולות EC2. למרות שהשקנו מספר תכונות עד כה בשנת 2023 וקצב החדשנות ממשיך להאיץ, זה נשאר היום הראשון ואנו מצפים לשמוע ממך כיצד תכונות אלו עוזרות לך לפתוח ערך רב יותר עבור הארגונים שלך. אנו מזמינים אותך לנסות את התכונות החדשות הללו וליצור איתנו קשר דרך צוות חשבון AWS שלך אם יש לך הערות נוספות.
על המחברים
סושנט מג'יטה הוא מנהל מוצר ראשי עבור EMR ב-AWS.
אנקור גויאל הוא SDM עם צוות פלטפורמת Big Data של Amazon EMR. הוא בונה יישומים מבוזרים בקנה מידה גדול ואלגוריתמי אופטימיזציה של אשכולות. אנקור מתעניין בנושאים של אנליטיקה, למידת מכונה וחיזוי.
מתיו ליאם הוא מנהל ארכיטקטורת פתרונות בכיר ב-AWS.
טארון חננה הוא SDM עם צוות פלטפורמת Big Data של Amazon EMR.
- הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
- PlatoData.Network Vertical Generative Ai. העצים את עצמך. גישה כאן.
- PlatoAiStream. Web3 Intelligence. הידע מוגבר. גישה כאן.
- PlatoESG. רכב / רכבים חשמליים, פחמן, קלינטק, אנרגיה, סביבה, שמש, ניהול פסולת. גישה כאן.
- PlatoHealth. מודיעין ביוטכנולוגיה וניסויים קליניים. גישה כאן.
- ChartPrime. הרם את משחק המסחר שלך עם ChartPrime. גישה כאן.
- BlockOffsets. מודרניזציה של בעלות על קיזוז סביבתי. גישה כאן.
- מקור: https://aws.amazon.com/blogs/big-data/capacity-management-and-amazon-emr-managed-scaling-improvements-for-amazon-emr-on-ec2-clusters/
- :יש ל
- :הוא
- :לֹא
- $ למעלה
- 1
- 100
- 11
- 2023
- 30
- 50
- 60
- 7
- 9
- a
- יכול
- אודות
- להאיץ
- פי
- חֶשְׁבּוֹן
- לרכוש
- רכישה
- פעולה
- פעולות
- פעיל
- מוסיף
- נוסף
- אַלגוֹרִיתְם
- אלגוריתמים
- גם
- למרות
- אמזון בעברית
- אמזון
- אמזון EMR
- אמזון שירותי אינטרנט
- an
- ניתוח
- ו
- אחר
- כל
- אַפָּשׁ
- אפאצ 'י ספארק
- בקשה
- יישומים
- מתאים
- ארכיטקטורה
- ARE
- AS
- At
- ניסיונות
- המכונית
- מכני עם סלילה אוטומטית
- באופן אוטומטי
- זמינות
- זמין
- מודע
- AWS
- מבוסס
- BE
- היה
- לפני
- להלן
- מוטב
- גָדוֹל
- נתונים גדולים
- בונה
- by
- CAN
- יכולת
- קיבולת
- סיכויים
- בחרו
- ענן
- ענן ביג דאטה
- אשכול
- הערות
- לעומת
- להשלים
- לחשב
- מוגדר
- לאשר
- כתוצאה מכך
- לשקול
- מכיל
- ממשיך
- ליבה
- עלות
- עלויות
- לִיצוֹר
- ביקורתיות
- לקוח
- חווית לקוח
- לקוחות
- נתונים
- פלטפורמת נתונים
- עיבוד נתונים
- יְוֹם
- עמוק יותר
- בְּרִירַת מֶחדָל
- עיכובים
- רצוי
- פרט
- אחר
- הנחות
- לדון
- מופץ
- צלילה
- לא
- נהג
- בְּמַהֲלָך
- כל אחד
- או
- מופעל
- להגביר את
- משופר
- הגברה
- שיפורים
- לְהַבטִיחַ
- מבטיח
- Ether (ETH)
- אירוע
- אירועים
- דוגמה
- עולה
- ניסיון
- תפוגה
- גורם
- רחוק
- מאפיין
- תכונות
- לסנן
- גמישות
- גמיש
- מרוכז
- הבא
- בעד
- קדימה
- מסגרות
- החל מ-
- הגשמה
- נוסף
- יתר על כן
- לקבל
- מקבל
- קְבוּצָה
- קבוצה
- שמח
- קשה
- יש
- he
- שמיעה
- לעזור
- עזר
- עזרה
- עוזר
- גבוה יותר
- הגבוה ביותר
- מודגש
- היסטוריה
- איך
- HTML
- http
- HTTPS
- ID
- if
- לשפר
- שיפורים
- שיפור
- in
- לכלול
- כולל
- חדשנות
- למשל
- אינטראקטיבי
- מעוניין
- ביניים
- נקטע
- להזמין
- IT
- עבודה
- מפתח
- גָדוֹל
- מאוחר יותר
- לשגר
- הושק
- מוביל
- לִלמוֹד
- למידה
- פחות
- סְבִירוּת
- נראה
- להוריד
- מכונה
- למידת מכונה
- עשוי
- הצליח
- ניהול
- מנהל
- באופן ידני
- להתאים
- לִפְגוֹשׁ
- דקות
- ML
- יותר
- מספר
- נחוץ
- צרכי
- חדש
- תכונות חדשות
- לא
- צמתים
- עַכשָׁיו
- of
- הַצָעָה
- מוצע
- המיוחדות שלנו
- on
- On-Demand
- ONE
- רק
- קוד פתוח
- תפעול
- אופטימיזציה
- מיטוב
- or
- ארגונים
- שלום
- תבנית
- ביצועים
- תקופה
- פלטפורמה
- אפלטון
- מודיעין אפלטון
- אפלטון נתונים
- אנא
- הודעה
- פרקטיקות
- מונע
- תמחור
- יְסוֹדִי
- מנהל
- תהליך
- המוצר
- מנהל מוצר
- .
- לספק
- אַספָּקָה
- לפרסם
- לאזן
- להמליץ
- להפחית
- מופחת
- להתייחס
- שְׂרִידִים
- הסרת
- לדווח
- לבקש
- נדרש
- דרישות
- מסלול
- כללי
- הפעלה
- ריצה
- אותו
- סולם
- סולם גודל
- דרוג
- SDM
- לשלוח
- לחצני מצוקה לפנסיונרים
- שירותים
- סט
- התקנה
- צריך
- לערבב
- יחיד
- So
- עד כה
- פִּתָרוֹן
- כמה
- לעורר
- מפורט
- מסחרי
- עצור
- עוצר
- חנות
- זרם
- כזה
- מתג
- לקחת
- לוקח
- מטרות
- המשימות
- נבחרת
- לספר
- זֶה
- השמיים
- שֶׁלָהֶם
- אותם
- אז
- אלה
- זֶה
- אלה
- סף
- דרך
- זמן
- ל
- נושאים
- לגעת
- שקיפות
- להפעיל
- לנסות
- סוגים
- לפתוח
- עד
- us
- להשתמש
- באמצעות
- ערך
- לְבַקֵר
- היה
- we
- אינטרנט
- שירותי אינטרנט
- טוֹב
- מתי
- אשר
- יצטרך
- עם
- תיק עבודות
- עבד
- היה
- אתה
- זפירנט