In 2022، أخبرناك عن التحسينات الجديدة التي أجريناها التحجيم المُدار من Amazon EMR، مما ساعد على تحسين استخدام المجموعة بالإضافة إلى تقليل تكاليف المجموعة. في عام 2023، يسعدنا أن نعلن أن فريق Amazon EMR كان يعمل بجد. لقد عملنا بشكل عكسي وفقًا لمتطلبات العملاء وأطلقنا العديد من الميزات الجديدة لتحسين تجربة Amazon EMR الخاصة بك على إدارة سعة مجموعات EC2 وتجربة التوسع.
أمازون EMR هو حل البيانات السحابية الكبيرة لمعالجة البيانات على نطاق بيتابايت، والتحليلات التفاعلية، والتعلم الآلي (ML) باستخدام أطر عمل مفتوحة المصدر مثل أباتشي سبارك, اباتشي خليةو مقطع موسيقي سريع. طلب منا العملاء ميزات من شأنها تحسين إدارة القدرات وتوسيع نطاق تجربة السجلات الطبية الإلكترونية الخاصة بهم على مجموعات EC2، بما في ذلك مجموعاتهم الكبيرة طويلة الأمد. لقد عملنا بجد لتلبية تلك الاحتياجات. وفيما يلي بعض التحسينات الرئيسية:
- تحسين الشفافية والمرونة للعملاء مع انتهاء مهلة توفير مثيلات Spot
- تم تحسين توسيع نطاق عقد المهام لـ Amazon EMR على مجموعات EC2 التي تم إطلاقها باستخدام مجموعات المثيلات
- تحسين مرونة العمل مع الحماية المحسنة لسائقي Spark
دعنا نتعمق أكثر ونناقش ميزات Amazon EMR الجديدة على EC2 بالتفصيل.
تحسين الشفافية والمرونة للعملاء مع انتهاء مهلة توفير مثيلات Spot
يستخدمه العديد من عملاء Amazon EMR مثيلات EC2 الفورية لسجلاتهم الطبية الإلكترونية على مجموعات EC2 لتقليل التكاليف. مثيلات Spot احتياطية الأمازون الحوسبة المرنة السحابية يتم تقديم سعة الحوسبة (Amazon EC2) بخصومات تصل إلى 90% مقارنة بالتسعير عند الطلب. توفر لك Amazon EMR القدرة على توسيع نطاق مجموعتك إما يدويًا أو باستخدام تحجيم تلقائي. يمكنك أيضا استخدام التحجيم المُدار من Amazon EMR ميزة لتغيير حجم مجموعتك تلقائيًا بناءً على حجم العمل والاستخدام.
لتحسين تجربة العميل عند الارتقاء باستخدام مثيلات Spot، بالنسبة لـ EMR على مجموعات EC2 التي تم إطلاقها باستخدام أساطيل المثيلات، يمكنك الآن تحديد مهلة التزويد لمثيلات Spot. ستخبر مهلة التوفير Amazon EMR بالتوقف عن توفير سعة مثيلات Spot إذا تجاوزت المجموعة حدًا زمنيًا محددًا أثناء عمليات قياس المجموعة. يمكنك تكوين مهلة توفير مثيل Spot للمجموعات التي يتم تغيير حجمها يدويًا أو باستخدام Amazon EMR Managed Scaling وAuto Scaling.
بالإضافة إلى ذلك، لتوفير شفافية أفضل، عند انتهاء فترة المهلة، سيقوم Amazon EMR أيضًا بإرسال الأحداث تلقائيًا إلى أحد فعاليات أمازون كلاودواتش تدفق. باستخدام أحداث CloudWatch هذه، يمكنك إنشاء قواعد تتطابق مع الأحداث وفقًا لنمط محدد، ثم توجيه الأحداث إلى الأهداف لاتخاذ الإجراء. لمعرفة المزيد، يرجى الرجوع إلى قم بتخصيص فترة مهلة التزويد لتغيير حجم المجموعة في Amazon EMR.
يُرجى الاطلاع أدناه على ملخص لتجربة السيناريوهات المختلفة عندما تقوم بتكوين فترة مهلة التزويد أثناء تغيير الحجم لمجموعة Amazon EMR الخاصة بك على مجموعة EC2
سيناريو | الخبرة |
يستطيع Amazon EMR توفير سعة Spot المطلوبة قبل انتهاء مهلة التزويد | يقوم Amazon EMR تلقائيًا بتوسيع نطاق المجموعة إلى السعة المطلوبة ولا يلزم اتخاذ أي إجراء من جانب العميل |
Amazon EMR غير قادر على توفير أي سعة Spot أو قادر فقط على توفير سعة Spot جزئية وانتهت مهلة التوفير | إذا لم يتمكن Amazon EMR من توفير سعة Spot المطلوبة وانتهت مهلة التوفير، فسيقوم Amazon EMR بإلغاء طلب تغيير الحجم وإيقاف محاولاته لتوفير سعة Spot إضافية. ستقوم Amazon EMR أيضًا بنشر الأحداث على تدفق Amazon CloudWatch Events. يمكن للعملاء استخدام هذه الأحداث لإنشاء القواعد واتخاذ الإجراءات المناسبة |
إذا تمت مقاطعة مثيلات Spot في Amazon EMR على مجموعات EC2 لأن Amazon EC2 يحتاج إليها مرة أخرى | ستطلق Amazon EMR تلقائيًا طلبًا جديدًا لتغيير الحجم لإعادة موازنة مجموعاتك عن طريق استبدال المثيلات بأي من الأنواع المتاحة في مجموعتك. سيستخدم Amazon EMR أيضًا نفس مهلة تغيير حجم التوفير التي تم تكوينها على المجموعة. ليس هناك حاجة لأي إجراء من جانب العميل. |
يجب عليك مراعاة مدى أهمية توفر السعة عند تحديد قيمة مهلة التوفير:
- عندما يكون توفر سعة عبء العمل لديك أمرًا بالغ الأهمية - لضمان توفر السعة المطلوبة، نوصي بتكوين مهلة توفير تغيير الحجم استنادًا إلى الوقت الذي يستغرقه تشغيل التطبيق واتفاقيات مستوى الخدمة الخاصة بالتطبيق. على سبيل المثال، إذا كانت اتفاقية مستوى خدمة التطبيق تبلغ 60 دقيقة ويستغرق اكتمال التطبيق 30 دقيقة، فيجب عليك تعيين مهلة توفير تغيير الحجم إلى 30 دقيقة أو أقل. سيحاول Amazon EMR توفير سعة Spot حتى انتهاء المهلة (30 دقيقة أو أقل) ونشر حدث CloudWatch حتى تتمكن من اتخاذ الإجراءات المناسبة.
- عندما يكون عبء العمل الخاص بك مرنًا من حيث الوقت ولا يكون توفر السعة عاملاً - إذا كان عبء العمل مرنًا من حيث الوقت ولم يكن توفر السعة عاملاً، لضمان أعلى احتمالية للحصول على سعة Spot المطلوبة، يمكنك تكوين قيمة مهلة أعلى لمهلة توفير تغيير الحجم.
توسيع نطاق عقد المهام المحسنة لـ Amazon EMR على مجموعات EC2 التي تم إطلاقها باستخدام مجموعات المثيلات
توفر مجموعات المثيلات إعدادًا أبسط لتشغيل السجلات الطبية الإلكترونية (EMR) على مجموعات EC2. يمكن أن تتضمن كل مجموعة يتم إطلاقها باستخدام مجموعات المثيلات ما يصل إلى 50 مجموعة مثيلات: مجموعة مثيلات أساسية واحدة تحتوي على مثيل EC2 واحد، ومجموعة مثيلات أساسية تحتوي على مثيل EC2 واحد أو أكثر، وما يصل إلى 48 مجموعة مثيلات مهام اختيارية. يمكنك قياس كل مجموعة مثيلات عن طريق إضافة مثيلات EC2 وإزالتها يدويًا، أو يمكنك إعداد القياس التلقائي. يمكنك أيضًا استخدام ميزة Amazon EMR Managed Scaling لتغيير حجم مجموعتك تلقائيًا بناءً على عبء العمل والاستخدام.
لتعزيز تجربة العميل لمجموعات المثيلات على EMR في مجموعات EC2 عند توسيع نطاق عقد المهام باستخدام Amazon EMR Managed Scaling، قمنا بتحسين خوارزمية القياس المُدارة لاختيار مجموعات مثيلات المهام التي تتمتع بأعلى احتمالية للحصول على السعة. علاوة على ذلك، عندما لا يكون التوسع المُدار قادرًا على اكتساب القدرة مع مجموعة مثيلات مهمة واحدة، لتقليل أي تأخيرات في التوسع، سيتحول Amazon EMR تلقائيًا إلى مجموعة مهام أخرى ويحقق السعة باستخدام مجموعات مثيلات مهام متعددة. وبالتالي، كلما كنت أكثر مرونة فيما يتعلق بأنواع المثيلات الخاصة بك، زادت فرص توفير السعة. لمعرفة المزيد، راجع أفضل الممارسات على سبيل المثال ومرونة منطقة توافر الخدمات.
تحسين مرونة العمل مع الحماية المحسنة لسائقي Spark
In 2022، لتحسين مرونة الوظيفة عند استخدام Amazon EMR Managed Scaling، قمنا بتحسين القياس المُدار لتكون على علم ببيانات Spark shuffle، مما يمنع تقليص حجم المثيلات التي تخزن بيانات التبديل العشوائي المتوسطة لـ Apache Spark. ويساعد هذا على منع إعادة محاولات المهمة وإعادة الحساب، مما يؤدي إلى أداء أفضل وتكلفة أقل.
لتحسين مرونة الوظيفة بشكل أكبر عند استخدام Amazon EMR Managed Scaling، قمنا بتعزيز التوسع المُدار ليكون Spark Driver على دراية به، مما يضمن أنه أثناء تقليص نطاق المجموعة، فإن Amazon EMR Managed Scaling يعطي الأولوية لتقليص العقد التي لا تحتوي على سائق سبارك نشط يعمل عليها. ويساعد ذلك على تقليل حالات فشل المهام وإعادة محاولة المهام، مما يساعد على تحسين الأداء بشكل أكبر وخفض التكاليف. يتم تمكين هذا التحسين افتراضيًا لمجموعات EMR باستخدام إصدارات Amazon EMR الإصدار 5.34.0 والإصدارات الأحدث، وإصدارات Amazon EMR 6.4.0 والإصدارات الأحدث.
للتأكد من العقد الموجودة في مجموعتك التي تقوم بتشغيل Spark Driver، يمكنك زيارة Spark History Server وتصفية برنامج التشغيل على منفذي علامة تبويب معرف تطبيق Spark الخاص بك.
وفي الختام
في هذا المنشور، سلطنا الضوء على التحسينات التي أجريناها في إدارة القدرات وAmazon EMR Managed Scaling لـ EMR على مجموعات EC2. لقد ركزنا على تحسين مرونة الوظائف، وتعزيز المرونة والشفافية عند توفير مثيلات Spot، وتحسين تجربة التوسيع عند استخدام التوسع المُدار مع مجموعات المثيلات على Amazon EMR في مجموعات EC2. على الرغم من أننا أطلقنا ميزات متعددة حتى الآن في عام 2023 واستمرار وتيرة الابتكار في التسارع، إلا أنه لا يزال في اليوم الأول ونتطلع إلى الاستماع منك حول كيف تساعدك هذه الميزات في فتح المزيد من القيمة لمؤسساتك. نحن ندعوك لتجربة هذه الميزات الجديدة والتواصل معنا من خلال فريق حساب AWS الخاص بك إذا كان لديك المزيد من التعليقات.
عن المؤلفين
سوسانت ماجيثيا هو مدير المنتج الرئيسي لـ EMR في AWS.
أنكور جويال عبارة عن SDM مع فريق Amazon EMR Big Data Platform. يقوم ببناء تطبيقات موزعة واسعة النطاق وخوارزميات تحسين الكتلة. يهتم أنكور بموضوعات التحليلات والتعلم الآلي والتنبؤ.
ماثيو ليم هو مدير أول لهندسة الحلول في AWS.
تارون تشانانا عبارة عن SDM مع فريق Amazon EMR Big Data Platform.
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
- أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
- أفلاطون السيارات / المركبات الكهربائية ، كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
- أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
- تشارت بريم. ارفع مستوى لعبة التداول الخاصة بك مع ChartPrime. الوصول هنا.
- BlockOffsets. تحديث ملكية الأوفست البيئية. الوصول هنا.
- المصدر https://aws.amazon.com/blogs/big-data/capacity-management-and-amazon-emr-managed-scaling-improvements-for-amazon-emr-on-ec2-clusters/
- :لديها
- :يكون
- :ليس
- $ UP
- 1
- 100
- 11
- 2023
- 30
- 50
- 60
- 7
- 9
- a
- ماهرون
- من نحن
- تسريع
- وفقا
- حسابي
- كسب
- كسب
- اكشن
- الإجراءات
- نشط
- مضيفا
- إضافي
- خوارزمية
- خوارزميات
- أيضا
- بالرغم ان
- أمازون
- Amazon EC2
- أمازون EMR
- أمازون ويب سيرفيسز
- an
- تحليلات
- و
- آخر
- أي وقت
- أباتشي
- أباتشي سبارك
- تطبيق
- التطبيقات
- مناسب
- هندسة معمارية
- هي
- AS
- At
- محاولات
- السيارات
- أوتوماتيك
- تلقائيا
- توفر
- متاح
- علم
- AWS
- على أساس
- BE
- كان
- قبل
- أقل من
- أفضل
- كبير
- البيانات الكبيرة
- يبني
- by
- CAN
- قدرة
- الطاقة الإنتاجية
- فرص
- اختار
- سحابة
- البيانات السحابية الكبيرة
- كتلة
- تعليقات
- مقارنة
- إكمال
- إحصاء
- تكوين
- أكد
- بناء على ذلك
- نظر
- يحتوي
- تواصل
- جوهر
- التكلفة
- التكاليف
- خلق
- حرجية
- زبون
- تجربة العملاء
- العملاء
- البيانات
- منصة البيانات
- معالجة المعلومات
- يوم
- أعمق
- الترتيب
- التأخير
- مطلوب
- التفاصيل
- مختلف
- الخصومات
- بحث
- وزعت
- غطس
- لا
- سائق
- أثناء
- كل
- إما
- تمكين
- تعزيز
- تعزيز
- زيادة
- التحسينات
- ضمان
- يضمن
- الأثير (ETH)
- الحدث/الفعالية
- أحداث
- مثال
- يتجاوز
- الخبره في مجال الغطس
- الانتهاء
- عامل
- بعيدا
- الميزات
- المميزات
- تصفية
- مرونة
- مرن
- ركز
- متابعيك
- في حالة
- إلى الأمام
- الأطر
- تبدأ من
- الوفاء
- إضافي
- علاوة على ذلك
- دولار فقط واحصل على خصم XNUMX% على جميع
- الحصول على
- تجمع
- مجموعات
- سعيد
- الثابت
- يملك
- he
- السمع
- مساعدة
- ساعد
- مساعدة
- يساعد
- أعلى
- أعلى
- سلط الضوء
- تاريخ
- كيفية
- HTML
- HTTP
- HTTPS
- ID
- if
- تحسن
- تحسينات
- تحسين
- in
- تتضمن
- بما فيه
- الابتكار
- مثل
- التفاعلية
- يستفد
- متوسط
- متقطع
- دعا
- IT
- وظيفة
- القفل
- كبير
- الى وقت لاحق
- إطلاق
- أطلقت
- يؤدي
- تعلم
- تعلم
- أقل
- أرجحية
- بحث
- خفض
- آلة
- آلة التعلم
- صنع
- تمكن
- إدارة
- مدير
- يدويا
- مباراة
- تعرف علي
- دقائق
- ML
- الأكثر من ذلك
- متعدد
- بحاجة
- إحتياجات
- جديد
- مزايا جديدة
- لا
- العقد
- الآن
- of
- عرض
- عرضت
- عروض
- on
- على الطلب
- ONE
- فقط
- المصدر المفتوح
- عمليات
- التحسين
- تحسين
- or
- المنظمات
- سلام
- نمط
- أداء
- فترة
- المنصة
- أفلاطون
- الذكاء افلاطون البيانات
- أفلاطون داتا
- من فضلك
- منشور
- الممارسات
- يمنع
- التسعير
- ابتدائي
- رئيسي
- معالجة
- المنتج
- مدير المنتج
- الحماية
- تزود
- تقديم
- نشر
- إعادة التوازن
- نوصي
- تخفيض
- عقار مخفض
- الرجوع
- بقايا
- إزالة
- تقرير
- طلب
- مطلوب
- المتطلبات الأساسية
- طريق
- القواعد
- يجري
- تشغيل
- نفسه
- حجم
- زيادة
- التحجيم
- SDM
- إرسال
- كبير
- خدماتنا
- طقم
- الإعداد
- ينبغي
- خلط ورق اللعب
- عزباء
- So
- حتى الآن
- حل
- بعض
- شرارة
- محدد
- بقعة
- قلة النوم
- توقف
- متجر
- مجرى
- هذه
- مفاتيح
- أخذ
- يأخذ
- الأهداف
- مهمة
- فريق
- اقول
- أن
- •
- من مشاركة
- منهم
- then
- تشبه
- هؤلاء
- عتبة
- عبر
- الوقت
- إلى
- المواضيع
- تواصل
- الشفافية
- يثير
- محاولة
- أنواع
- فتح
- حتى
- us
- تستخدم
- استخدام
- قيمنا
- قم بزيارتنا
- وكان
- we
- الويب
- خدمات ويب
- حسن
- متى
- التي
- سوف
- مع
- للعمل
- عمل
- سوف
- لصحتك!
- حل متجر العقارات الشامل الخاص بك في جورجيا
- زفيرنت