הפחת את עלויות אשכול EMR ​​של אמזון בעד 19% עם שיפורים חדשים באמזון EMR Managed Scaling

ביוני 2020, AWS הודיעה על הזמינות הכללית של אמזון EMR Managed Scaling. עם EMR Managed Scaling, אתה מציין את מגבלות החישוב המינימליות והמקסימליות עבור האשכולות שלך, ואמזון EMR משנה את גודל האשכול שלך באופן אוטומטי לביצועים אופטימליים וניצול משאבים. EMR Managed Scaling מנטר כל הזמן מדדים מרכזיים הקשורים לעומס עבודה ומשתמש באלגוריתם המייעל את גודל האשכול לניצול מיטבי של המשאבים. בהתחשב בעובדה שהתכונה מנוהלת לחלוטין, שיפורים באלגוריתם מתממשים מיד ללא צורך בשדרוג גרסה. אמזון EMR יכולה להגדיל את האשכול בזמן שיאים ולהקטין אותו בחן בתקופות סרק, להפחית את העלויות שלך ולמטב את קיבולת האשכול לביצועים הטובים ביותר.

במהלך שנת 2022, ביצענו שיפורים מרובים באלגוריתם EMR Managed Scaling. עם השיפורים הללו, ראינו שעבור אשכולות שמופעלים עם EMR Managed Scaling, הניצול השתפר בעד 15 אחוז, והעלויות הכוללות הופחתו עוד עד 19 אחוזים. החל מאמצע דצמבר 2022, שיפורים ב-EMR Managed Scaling הופעלו כברירת מחדל עבור אשכולות המשתמשים ב-Amazon EMR גרסאות 5.34.0 ואילך ואמזון EMR גרסאות 6.4.0 ואילך עבור אשכולות חדשים וגם קיימים. יתרה מכך, בהתחשב בעובדה שהתכונה מנוהלת לחלוטין, תקבל את אלגוריתם ה-Managed Scaling הממוטב החדש כברירת מחדל, ואין צורך בפעולה מצדך.

להלן כמה מהשיפורים העיקריים שהפעלנו עבור EMR Managed Scaling:

• ניצול משופר של אשכולות עם הקטנה ממוקדת של אשכול EMR ​​שלך
• הפחתת עלויות על ידי מניעת הקטנה של מופעים המאחסנים נתוני ערבוב ביניים באמצעות מודעות לנתונים של Spark Shuffle
• ניצול משופר של אשכולות והפחתת עלויות עם הגדלה הדרגתית של אשכול ה- EMR שלך

סיפורי הצלחה של לקוחות

כיצד האלגוריתם המשופר של EMR ​​Managed Scaling עזר לארגון טכנולוגי להפחית עלויות:

כדי להמחיש את החיסכון בעלויות על ידי דוגמאות, הסתכלנו על אשכולות EMR עבור מיזם טכנולוגי, שמשתמש רבות באמזון EMR כדי לעבד נתוני חיוב בזמן אמת בין קפקא ל-S3 באמצעות Spark. הם מפעילים אשכול EMR ​​מתמשך עם EMR גרסה 5.35 ויש להם EMR Managed Scaling מופעל. לוח המחוונים הבא של Amazon CloudWatch מראה כיצד החל מה-21 בדצמבר, אלגוריתם ה-Managed Scaling המשופר הותקן (סך הצמתים המבוקשים) רק 70 צמתים לעומת אלגוריתם ה-Managed Scaling הקודם שסיפק 179 צמתים לפרופיל עבודה דומה. ככל שמספר המשאבים שהוקצה להפעלת העבודות שלך נמוך יותר, כך העלות הכוללת של אשכול ה-EMR שלך תהיה נמוכה יותר.

כיצד האלגוריתם המשופר של EMR ​​Managed Scaling עזר למפעל פרסום להפחית עלויות:

בדקנו גם אשכול EMR ​​עבור מפעל פרסום, הממנף את אמזון EMR עבור אסטרטגיית ניתוח הנתונים שלהם ומבצע את עבודות ה-ETL שלהם באמצעות Spark. הם מפעילים את האשכולות שלהם בגרסה 6.5 של EMR ​​ו-EMR Managed Scaling מופעל. לוח המחוונים הבא של Amazon CloudWatch מראה כיצד החל מה-15 בדצמבר, אלגוריתם ה-Managed Scaling המשופר (סך היחידות המבוקשות) רק 41 צמתים לעומת אלגוריתם ה-Managed Scaling הקודם שסיפק 86 צמתים לפרופיל עבודה דומה.

הערכת החיסכון בעלויות ושיפורי הניצול עבור אשכולות EMR שלך:

חיסכון בעלויות אשכול:

כדי להציג חיסכון משוער בעלויות עבור אשכול ה- EMR שלך עם שיפורים ב-EMR Managed Scaling, בצע את השלבים הבאים:

• פתח את קונסולת מדדי CloudWatch ומתחת EMR, חפש לפי שלך ClusterId.
• מרשימת המדדים הזמינים עבור EMR, בחר את שני המדדים הבאים:
  • יכולת ריצה - בהתבסס על סוג היחידה שציינת במדיניות קנה המידה המנוהל שלך, זה יהיה זמין בתור "TotalUnitsRunning"או"TotalNodesRunning"או"TotalVCPUrunning". 
  • קיבולת מבוקשת על ידי Managed Scaling - בהתבסס על סוג היחידה שציינת במדיניות קנה המידה המנוהל שלך, זה יהיה זמין בתור "TotalUnitsRequested"או"TotalNodesRequested"או"TotalVCPURequested". 
•  צייר את שני המדדים ללוח המחוונים של CloudWatch שלך.
• בחר את מסגרת הזמן כ-3 החודשים בין נובמבר 2022 לינואר 2023 כדי להציג את השיפורים עם אלגוריתם השינויים בקנה מידה מנוהל בהשוואה לאלגוריתם השינוי המנוהל הקודם.

שיפורים בניצול אשכול:

כדי להעריך את השיפורים בשימוש באשכול EMR ​​שלך עם שיפורים ב-EMR Managed Scaling, אנא בצע את השלבים הבאים:

• פתח את מסוף המדדים של CloudWatch ותחתיו EMR, חפש לפי שלך ClusterId.
• מרשימת המדדים הזמינים עבור EMR, בחר את "YARNMemoryAvailablePercentage" מֶטרִי.
• כדי להפיק זיכרון בשימוש על ידי YARN, הוסף ביטוי מתמטי כגון "הוסף מתמטיקה → התחל עם ביטוי ריק"
  • לביטוי המתמטי החדש, הגדר תווית=ניצול חוט ולהגדיר פרטים=100-YARNMemoryAvailablePercentage.
• צייר את מדד השימוש באשכול ללוח המחוונים שלך ב-CloudWatch.
• בחר את מסגרת הזמן כ-3 החודשים בין נובמבר 2022 לינואר 2023 כדי להציג את השיפורים עם אלגוריתם השינויים בקנה מידה מנוהל בהשוואה לאלגוריתם השינוי המנוהל הקודם.

מה הלאה

אנו נמשיך לכוונן את אלגוריתם ה-Managed Scaling עם כל מהדורה חדשה של EMR ​​ובכך נשפר את חווית הלקוח בעת שינוי קנה מידה של אשכולות עם EMR Managed Scaling.

סיכום

בפוסט זה, סיפקנו סקירה כללית של השיפור המרכזי שהשקנו ב-EMR Managed Scaling. עם השיפורים הללו, ראינו שניצול האשכול השתפר בעד 15 אחוזים, ועלות האשכול הצטמצמה עד 19 אחוזים. החל מאמצע דצמבר 2022, שיפורים אלה הופעלו כברירת מחדל עבור אשכולות EMR המשתמשים בגרסאות אמזון EMR 5.34.0 ואילך, ובגרסאות אמזון EMR 6.4.0 ואילך. בהתחשב בכך EMR Managed Scaling היא תכונה מנוהלת לחלוטין, תקבל את אלגוריתם EMR Managed Scaling החדש והמוטב כברירת מחדל, ואין צורך בפעולה מהצד שלך.

כדי ללמוד עוד ולהתחיל עם EMR Managed Scaling, בקר באתר דף תיעוד של EMR ​​Managed Scaling.

---

על הכותבים

סושנט מג'יטה הוא מנהל מוצר ראשי עבור EMR בשירותי האינטרנט של אמזון.

 וישאל ויאס הוא מהנדס תוכנה בכיר עבור EMR בשירותי האינטרנט של אמזון.

מתיו ליאם הוא מנהל ארכיטקטורת פתרונות בכיר ב-AWS.

• הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
• Platoblockchain. Web3 Metaverse Intelligence. ידע מוגבר. גישה כאן.
• מקור: https://aws.amazon.com/blogs/big-data/reduce-amazon-emr-cluster-costs-by-up-to-19-with-new-enhancements-in-amazon-emr-managed-scaling/