قلل تكاليف مجموعة Amazon EMR بنسبة تصل إلى 19٪ من خلال التحسينات الجديدة في Amazon EMR Managed Scaling

في يونيو 2020 ، أعلنت AWS عن التوفر العام لـ التحجيم المُدار من Amazon EMR. باستخدام EMR Managed Scaling ، فإنك تحدد الحد الأدنى والأقصى لحدود الحوسبة لمجموعاتك ، وتقوم Amazon EMR تلقائيًا بتغيير حجم مجموعتك للحصول على الأداء الأمثل واستخدام الموارد. تراقب EMR Managed Scaling باستمرار المقاييس الرئيسية المتعلقة بعبء العمل وتستخدم خوارزمية تعمل على تحسين حجم الكتلة لتحقيق أفضل استخدام للموارد. نظرًا لأن الميزة تتم إدارتها بالكامل ، يتم تحقيق التحسينات على الخوارزمية على الفور دون الحاجة إلى ترقية الإصدار. يمكن لـ Amazon EMR توسيع الكتلة خلال فترات الذروة وتقليصها بأمان خلال فترات الخمول ، مما يقلل من التكاليف ويحسن سعة المجموعة للحصول على أفضل أداء.

خلال عام 2022 ، قمنا بإجراء تحسينات متعددة على خوارزمية القياس المُدار من قبل EMR. مع هذه التحسينات ، لاحظنا أنه بالنسبة للمجموعات التي تم تمكينها باستخدام مقياس EMR المُدار ، فقد تحسن الاستخدام بنسبة تصل إلى 15 بالمائة ، كما تم تخفيض التكاليف الإجمالية بنسبة تصل إلى 19 بالمائة. اعتبارًا من منتصف ديسمبر 2022 ، تم تمكين تحسينات التدرج المُدار بواسطة EMR افتراضيًا للمجموعات التي تستخدم إصدارات Amazon EMR 5.34.0 والإصدارات الأحدث وإصدارات Amazon EMR 6.4.0 والإصدارات الأحدث لكل من المجموعات الجديدة والحالية. علاوة على ذلك ، نظرًا لأن الميزة مُدارة بالكامل ، ستحصل على خوارزمية التدرج المُدار الجديدة المُحسَّنة افتراضيًا ، ولا يلزم اتخاذ أي إجراء من جانبك.

المدرجة أدناه هي بعض التحسينات الرئيسية التي قمنا بتمكينها لـ EMR Managed Scaling:

• استخدام مُحسَّن للكتلة مع تخفيض مستهدف لمجموعة السجلات الطبية الإلكترونية الخاصة بك
• خفض التكاليف عن طريق منع تقليل حجم المثيلات التي تخزن بيانات خلط وسيطة باستخدام وعي بيانات Spark Shuffle
• تحسين استخدام المجموعة وتقليل التكاليف من خلال التوسيع التدريجي لمجموعة السجلات الطبية الإلكترونية الخاصة بك

قصص نجاح العملاء

كيف ساعدت خوارزمية القياس المُدارة من قبل EMR مؤسسة تقنية على تقليل التكاليف:

لتوضيح وفورات التكلفة من خلال الأمثلة ، نظرنا إلى مجموعات السجلات الطبية الإلكترونية (EMR) لمؤسسة تقنية ، والتي تستخدم بشكل كبير Amazon EMR لمعالجة بيانات الفوترة في الوقت الفعلي بين كافكا و S3 باستخدام Spark. يقومون بتشغيل مجموعة EMR ثابتة مع الإصدار 5.35 من EMR مع تشغيل EMR Managed Scaling. تُظهر لوحة معلومات Amazon CloudWatch التالية كيف تم توفير خوارزمية Managed Scaling بدءًا من 21 ديسمبر (مجموع العقد المطلوبة) 70 عقدة فقط مقابل خوارزمية التدرج المُدار السابقة والتي وفرت 179 عقدة لملف تعريف وظيفي مماثل. كلما انخفض عدد الموارد المخصصة لتشغيل وظائفك ، انخفضت التكلفة الإجمالية لمجموعة السجلات الطبية الإلكترونية الخاصة بك.

كيف ساعدت خوارزمية القياس المدارة من EMR مؤسسة إعلانية على تقليل التكاليف:

نظرنا أيضًا في مجموعة EMR لمؤسسة إعلانية ، والتي تستفيد من Amazon EMR لاستراتيجية تحليلات البيانات الخاصة بها وتنفذ وظائف ETL المجمعة باستخدام Spark. يقومون بتشغيل مجموعاتهم على الإصدار 6.5 من EMR ويتم تشغيل EMR Managed Scaling. تُظهر لوحة معلومات Amazon CloudWatch التالية كيف تم توفير خوارزمية Managed Scaling (التحجيم المدار) بدءًا من 15 ديسمبر (مجموع الوحدات المطلوبة) 41 عقدة فقط مقابل خوارزمية القياس المُدار السابقة والتي وفرت 86 عقدة لملف تعريف وظيفي مماثل.

تقدير التوفير في التكلفة وتحسينات الاستخدام لمجموعات السجلات الطبية الإلكترونية الخاصة بك:

وفورات في تكلفة الكتلة:

لعرض وفورات التكلفة المقدرة لمجموعة السجلات الطبية الإلكترونية (EMR) الخاصة بك مع تحسينات EMR المدارة ، يرجى اتباع الخطوات التالية:

• فتح وحدة تحكم مقاييس CloudWatch و تحت إقليم شرق المتوسط، ابحث عن طريق ClusterId.
• من قائمة المقاييس المتاحة لـ EMR ، حدد المقياسين التاليين:
  • قدرة التشغيل - استنادًا إلى نوع الوحدة الذي حددته في سياسة التحجيم المُدار ، سيكون هذا متاحًا إما "إجمالي عدد الوحدات قيد التشغيل"أو"TotalNodes قيد التشغيل"أو"TotalVCPUR قيد التشغيل". 
  • السعة المطلوبة من خلال التحجيم المُدار - استنادًا إلى نوع الوحدة الذي حددته في سياسة التحجيم المُدار ، سيكون هذا متاحًا إما "إجمالي الوحدات المطلوبة"أو"تم طلب إجمالي العقد"أو"تم طلب TotalVCPUR". 
•  ارسم كلا المقياسين على لوحة معلومات CloudWatch.
• حدد الإطار الزمني كالثلاثة أشهر بين نوفمبر 3 ويناير 2022 لعرض التحسينات باستخدام خوارزمية القياس المُدار المحسّن عند مقارنتها بخوارزمية القياس المُدار السابقة.

تحسينات استخدام الكتلة:

لتقدير التحسينات في استخدام مجموعة السجلات الطبية الإلكترونية (EMR) من خلال تحسينات التدرج المُدار من قبل EMR ، يرجى اتباع الخطوات التالية:

• افتح وحدة تحكم مقاييس CloudWatch وتحت إقليم شرق المتوسط، ابحث عن طريق ClusterId.
• من قائمة المقاييس المتاحة لـ EMR ، حدد "YARNMemoryAvailablePercentage " قياس.
• لاشتقاق الذاكرة المستخدمة بواسطة YARN ، أضف تعبيرًا رياضيًا مثل "إضافة رياضيات ← ابدأ بتعبير فارغ"
  • للتعبير الرياضي الجديد ، ضع التسمية = استخدام الغزل وحدد التفاصيل = 100-YARNMemoryAvailablePercentage.
• ارسم مقياس استخدام الكتلة على لوحة معلومات CloudWatch.
• حدد الإطار الزمني كالثلاثة أشهر بين نوفمبر 3 ويناير 2022 لعرض التحسينات باستخدام خوارزمية القياس المُدار المحسّن عند مقارنتها بخوارزمية القياس المُدار السابقة.

ماذا بعد

سنستمر في ضبط خوارزمية القياس المُدار مع كل إصدار جديد من سجلات EMR وبالتالي تحسين تجربة العميل عند توسيع نطاق المجموعات باستخدام القياس المُدار من قبل EMR.

وفي الختام

في هذا المنشور ، قدمنا ​​نظرة عامة على التحسينات الرئيسية التي أطلقناها في EMR Managed Scaling. من خلال هذه التحسينات ، لاحظنا أن استخدام الكتلة قد تحسن بنسبة تصل إلى 15 بالمائة ، وأن تكلفة المجموعة قد انخفضت بنسبة تصل إلى 19 بالمائة. بدءًا من منتصف ديسمبر 2022 ، تم تمكين هذه التحسينات افتراضيًا لمجموعات EMR باستخدام إصدارات Amazon EMR 5.34.0 والإصدارات الأحدث ، وإصدارات Amazon EMR 6.4.0 والإصدارات الأحدث. نظرًا لأن EMR Managed Scaling هي ميزة مُدارة بالكامل ، فستحصل على خوارزمية EMR المحسّنة المدارة بشكل افتراضي ، ولا يلزم اتخاذ أي إجراء من نهايتك.

لمعرفة المزيد والبدء مع EMR Managed Scaling ، قم بزيارة صفحة وثائق القياس المُدار بواسطة EMR.

---

حول المؤلف

سوسانت ماجيثيا هو مدير المنتج الرئيسي لـ EMR في Amazon Web Services.

 فيشال فياس هو مهندس برمجيات أول في EMR في Amazon Web Services.

ماثيو ليم هو مدير أول لهندسة الحلول في AWS.

• محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
• بلاتوبلوكشين. Web3 Metaverse Intelligence. تضخيم المعرفة. الوصول هنا.
• المصدر https://aws.amazon.com/blogs/big-data/reduce-amazon-emr-cluster-costs-by-up-to-19-with-new-enhancements-in-amazon-emr-managed-scaling/