لتحسين كفاءة تطبيق Spark، من الضروري مراقبة أدائه وسلوكه. في هذا المنشور، نوضح كيفية نشر مقاييس Spark التفصيلية من أمازون EMR إلى الأمازون CloudWatch. سيمنحك هذا القدرة على تحديد الاختناقات مع تحسين استخدام الموارد.
يوفر CloudWatch حل مراقبة قويًا وقابلًا للتطوير وفعالاً من حيث التكلفة لموارد وتطبيقات AWS، مع خيارات تخصيص قوية وتكاملًا سلسًا مع خدمات AWS الأخرى. بشكل افتراضي، يرسل Amazon EMR المقاييس الأساسية إلى CloudWatch لتتبع نشاط المجموعة وسلامتها. يسمح نظام المقاييس القابل للتكوين الخاص بـ Spark بجمع المقاييس في مجموعة متنوعة من المصارف، بما في ذلك ملفات HTTP وJMX وCSV، ولكن يلزم تكوين إضافي لتمكين Spark من نشر المقاييس إلى CloudWatch.
حل نظرة عامة
يتضمن هذا الحل تكوين Spark لإرسال المقاييس إلى حوض مخصص. يجمع الحوض المخصص فقط المقاييس المحددة في ملف Metricfilter.json. ويستخدم وكيل CloudWatch لنشر المقاييس إلى مساحة اسم Cloudwatch مخصصة. يعد البرنامج النصي لإجراء bootstrap المتضمن مسؤولاً عن تثبيت وتكوين وكيل CloudWatch ومكتبة المقاييس على الأمازون الحوسبة المرنة السحابية (Amazon EC2) مثيلات EMR. يمكن أن توفر لوحة معلومات CloudWatch رؤية فورية لأداء التطبيق.
يوضح الرسم البياني التالي بنية الحل وسير العمل.
يتضمن سير العمل الخطوات التالية:
- يبدأ المستخدمون مهمة Spark EMR، مما يؤدي إلى إنشاء خطوة على مجموعة EMR. باستخدام Apache Spark، يتم توزيع عبء العمل عبر العقد المختلفة لمجموعة EMR.
- في كل عقدة (مثيل EC2) من المجموعة، تلتقط مكتبة Spark البيانات المترية وتدفعها إلى وكيل CloudWatch، الذي يقوم بتجميع البيانات المترية قبل دفعها إلى CloudWatch كل 30 ثانية.
- يمكن للمستخدمين عرض المقاييس التي تصل إلى مساحة الاسم المخصصة على وحدة تحكم CloudWatch.
نحن نقدم تكوين سحابة AWS القالب في هذا المنشور كدليل عام. يوضح القالب كيفية تكوين وكيل CloudWatch على Amazon EMR لدفع مقاييس Spark إلى CloudWatch. يمكنك مراجعتها وتخصيصها حسب الحاجة لتضمين تكوينات أمان Amazon EMR الخاصة بك. كأفضل ممارسة، نوصي بتضمين تكوينات أمان Amazon EMR في القالب تشفير البيانات أثناء النقل.
يجب أيضًا أن تدرك أن بعض الموارد التي يتم نشرها بواسطة هذا المكدس تتكبد تكاليف عند بقائها قيد الاستخدام. بالإضافة إلى ذلك، مقاييس السجلات الطبية الإلكترونية لا تتحمل تكاليف CloudWatch. ومع ذلك، تفرض المقاييس المخصصة رسومًا بناءً على تسعير مقاييس CloudWatch. لمزيد من المعلومات، راجع تسعير Amazon CloudWatch.
في الأقسام التالية ، ننتقل إلى الخطوات التالية:
- قم بإنشاء وتحميل مكتبة المقاييس والبرنامج النصي للتثبيت وتعريف عامل التصفية إلى ملف خدمة تخزين أمازون البسيطة دلو (أمازون S3).
- استخدم قالب CloudFormation لإنشاء الموارد التالية:
- راقب مقاييس Spark على وحدة تحكم CloudWatch.
المتطلبات الأساسية المسبقة
تفترض هذه المشاركة أن لديك ما يلي:
- An حساب AWS.
- مجموعة S3 لتخزين البرنامج النصي التمهيدي والمكتبة وتعريف عامل التصفية المتري.
- تم إنشاء VPC في سحابة أمازون الافتراضية الخاصة (Amazon VPC)، حيث سيتم إطلاق مجموعة EMR الخاصة بك.
- أدوار خدمة IAM الافتراضية لأذونات Amazon EMR لخدمات وموارد AWS. يمكنك إنشاء هذه الأدوار باستخدام الأمر aws emr create-default-roles الموجود في الملف واجهة سطر الأوامر AWS (AWS CLI).
- زوج مفاتيح EC2 اختياري، إذا كنت تخطط للاتصال بمجموعتك عبر SSH بدلاً من مدير الدورة، قدرة مدير أنظمة AWS.
تحديد المقاييس المطلوبة
لتجنب إرسال البيانات غير الضرورية إلى CloudWatch، يقوم حلنا بتطبيق مرشح متري. راجع ال وثائق شرارة للتعرف على مساحات الأسماء والمقاييس المرتبطة بها. حدد المقاييس ذات الصلة بتطبيقك المحدد وأهداف الأداء. قد تتطلب التطبيقات المختلفة مقاييس مختلفة للمراقبة، اعتمادًا على عبء العمل ومتطلبات معالجة البيانات وأهداف التحسين. يجب تحديد أسماء المقاييس التي ترغب في مراقبتها في ملف Metricfilter.json، بالإضافة إلى مساحات الأسماء المرتبطة بها.
لقد أنشأنا مثالاً لتعريف Metricfilter.json، والذي يتضمن التقاط المقاييس المتعلقة بإدخال/إخراج البيانات، وجمع البيانات المهملة، وضغط الذاكرة ووحدة المعالجة المركزية، ومقاييس الوظيفة والمرحلة والمهمة.
لاحظ أن بعض المقاييس غير متوفرة في جميع إصدارات إصدار Spark (على سبيل المثال، تم تقديم appStatus في Spark 3.0).
قم بإنشاء وتحميل الملفات المطلوبة إلى حاوية S3
لمزيد من المعلومات، راجع تحميل الأشياء و تثبيت وكيل CloudWatch وتشغيله على الخوادم الخاصة بك.
لإنشاء برنامج bootstrap وتحميله ، أكمل الخطوات التالية:
- في وحدة تحكم Amazon S3 ، اختر حاوية S3 الخاصة بك.
- على الأجسام علامة التبويب، اختر تحميل.
- اختار إضافة ملفاتثم اختر Metricfilter.json, المثبت.shو examplejob.sh الملفات.
- بالإضافة إلى ذلك، قم بتحميل
emr-custom-cw-sink-0.0.1.jar
ملف مكتبة المقاييس الذي يتوافق مع إصدار إصدار Amazon EMR الذي ستستخدمه: - اختار تحميل، وقم بتدوين عناوين URI الخاصة بـ S3 للملفات.
توفير الموارد باستخدام قالب CloudFormation
اختار قم بتشغيل Stack لإطلاق حزمة CloudFormation في حسابك ونشر النموذج:
يقوم هذا القالب بإنشاء دور IAM وملف تعريف مثيل IAM ومجموعة EMR ولوحة معلومات CloudWatch. تبدأ المجموعة الأساسية تطبيق شرارة المثال. ستتم محاسبتك على موارد AWS المستخدمة إذا قمت بإنشاء حزمة من هذا القالب.
سيطلب منك معالج CloudFormation تعديل أو توفير هذه المعلمات:
- نوع الطلب - و نوع المثيل لجميع مجموعات المثيل. الافتراضي هو m5.2xlarge.
- InstanceCountCore - عدد المثيلات في مجموعة المثيل الأساسية. الافتراضي هو 4.
- EMRReleaseLabel - و تسمية إصدار Amazon EMR تريد استخدامه. الافتراضي هو emr-6.9.0.
- مسار BootstrapScript – مسار S3 الخاص بالبرنامج النصي لتثبيت installer.sh الذي قمت بنسخه مسبقًا.
- MetricFilterPath - مسار S3 لتعريف Metricfilter.json الذي قمت بنسخه مسبقًا.
- MetricsLibraryPath - مسار S3 لمكتبة CloudWatch emr-custom-cw-sink-0.0.1.jar التي قمت بنسخها مسبقًا.
- CloudWatchNamespace – اسم مساحة اسم CloudWatch المخصصة المراد استخدامها.
- SparkDemoApplicationPath - مسار S3 الخاص بالبرنامج النصي examplejob.sh الذي قمت بنسخه مسبقًا.
- الشبكة الفرعية - الشبكة الفرعية EC2 حيث يتم إطلاق الكتلة. يجب عليك تقديم هذه المعلمة.
- EC2KeyPairName - زوج مفاتيح EC2 اختياري للاتصال بعقد المجموعة، كبديل لمدير الجلسة.
عرض المقاييس
بعد نشر مكدس CloudFormation بنجاح، تبدأ مهمة المثال تلقائيًا وتستغرق حوالي 15 دقيقة حتى تكتمل. على وحدة تحكم CloudWatch، اختر لوحات القيادة في جزء التنقل. ثم قم بتصفية القائمة حسب البادئة SparkMonitoring.
تشتمل لوحة المعلومات النموذجية على معلومات حول المجموعة ونظرة عامة على وظائف ومراحل ومهام Spark. تتوفر المقاييس أيضًا ضمن مساحة اسم مخصصة تبدأ بـ EMRCustomSparkCloudWatchSink
.
يتم أيضًا تضمين الذاكرة ووحدة المعالجة المركزية والإدخال/الإخراج ومقاييس توزيع المهام الإضافية.
وأخيرًا، تتوفر مقاييس مفصلة لجمع البيانات المهملة في Java لكل منفذ.
تنظيف
لتجنب الرسوم المستقبلية في حسابك، احذف الموارد التي قمت بإنشائها في هذه الإرشادات التفصيلية. ستتحمل مجموعة EMR رسومًا طالما أن المجموعة نشطة، لذا قم بإيقافها عند الانتهاء. أكمل الخطوات التالية:
- في وحدة تحكم CloudFormation ، في جزء التنقل ، اختر كومات.
- اختر الحزمة التي قمت بإطلاقها (
EMR-CloudWatch-Demo
) ، ثم اختر حذف. - إفراغ دلو S3 قمت بإنشائها.
- احذف حاوية S3 قمت بإنشائها.
وفي الختام
الآن بعد أن أكملت الخطوات الواردة في هذه الإرشادات التفصيلية، يتم تشغيل وكيل CloudWatch على مضيفي المجموعة لديك وتم تكوينه لدفع مقاييس Spark إلى CloudWatch. باستخدام هذه الميزة، يمكنك مراقبة سلامة وأداء وظائف Spark الخاصة بك التي تعمل على Amazon EMR بشكل فعال، واكتشاف المشكلات الحرجة في الوقت الفعلي وتحديد الأسباب الجذرية بسرعة.
يمكنك حزم هذا الحل ونشره من خلال قالب CloudFormation مثل هذا القالب النموذجي، الذي يقوم بإنشاء دور ملف تعريف مثيل IAM، ولوحة معلومات CloudWatch، ومجموعة EMR. الكود المصدري للمكتبة متاح على GitHub جيثب: للتخصيص.
وللمضي قدمًا في هذا الأمر، فكر في استخدام هذه المقاييس في تنبيهات CloudWatch. يمكنك جمعها مع أجهزة الإنذار الأخرى في ملف إنذار مركب أو تكوين إجراءات الإنذار مثل الإرسال خدمة إعلام أمازون البسيطة (Amazon SNS) لتشغيل عمليات تعتمد على الأحداث مثل AWS لامدا الوظائف.
عن المؤلف
لو كلو لوبي هو مهندس رئيسي في AWS. وهو يعمل مع أكبر عملائنا من المؤسسات لحل بعض مشكلاتهم التقنية الأكثر تعقيدًا. إنه يقود حلولاً واسعة النطاق من خلال الابتكار للتأثير على حياة عملائنا وتحسينها.
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- PlatoData.Network Vertical Generative Ai. تمكين نفسك. الوصول هنا.
- أفلاطونايستريم. ذكاء Web3. تضخيم المعرفة. الوصول هنا.
- أفلاطون السيارات / المركبات الكهربائية ، كربون، كلينتك ، الطاقة، بيئة، شمسي، إدارة المخلفات. الوصول هنا.
- أفلاطون هيلث. التكنولوجيا الحيوية وذكاء التجارب السريرية. الوصول هنا.
- تشارت بريم. ارفع مستوى لعبة التداول الخاصة بك مع ChartPrime. الوصول هنا.
- BlockOffsets. تحديث ملكية الأوفست البيئية. الوصول هنا.
- المصدر https://aws.amazon.com/blogs/big-data/monitor-apache-spark-applications-on-amazon-emr-with-amazon-cloudwatch/
- :يكون
- :ليس
- :أين
- 1
- 100
- 107
- 15%
- 20
- 30
- 9
- a
- القدرة
- الوصول
- حسابي
- مطلع
- في
- اكشن
- الإجراءات
- نشط
- نشاط
- إضافي
- وبالإضافة إلى ذلك
- الوكيل
- إنذار
- الكل
- يسمح
- على طول
- أيضا
- البديل
- أمازون
- Amazon EC2
- أمازون EMR
- أمازون ويب سيرفيسز
- an
- و
- أباتشي
- أباتشي سبارك
- تطبيق
- التطبيقات
- ما يقرب من
- معماري
- هندسة معمارية
- هي
- AS
- أسوشيتد
- يفترض
- At
- المؤلفة
- تلقائيا
- متاح
- تجنب
- علم
- AWS
- على أساس
- الأساسية
- BE
- قبل
- أفضل
- التمهيد
- واسع
- لكن
- by
- CAN
- قدرة
- يلتقط
- اسر
- الأسباب
- معين
- اسعارنا محددة من قبل وزارة العمل
- اختار
- كتلة
- الكود
- جمع
- مجموعة شتاء XNUMX
- يجمع
- إكمال
- الطلب مكتمل
- مجمع
- إحصاء
- الاعداد
- تكوين
- التواصل
- الرابط
- نظر
- كنسولات
- جوهر
- يتوافق
- فعاله من حيث التكلفه
- التكاليف
- استطاع
- وحدة المعالجة المركزية:
- خلق
- خلق
- يخلق
- خلق
- حرج
- على
- العملاء
- التخصيص
- تصميم
- لوحة أجهزة القياس
- البيانات
- معالجة المعلومات
- الترتيب
- تعريف
- تعريف
- شرح
- يوضح
- اعتمادا
- نشر
- نشر
- ينشر
- مفصلة
- حدد
- مختلف
- وزعت
- توزيع
- فعل
- لا
- محركات
- كل
- في وقت سابق
- على نحو فعال
- كفاءة
- تمكين
- مهندس
- مشروع
- عملاء المؤسسة
- أساسي
- الأثير (ETH)
- مثال
- الميزات
- قم بتقديم
- ملفات
- تصفية
- متابعيك
- في حالة
- تبدأ من
- وظائف
- إضافي
- مستقبل
- العلاجات العامة
- دولار فقط واحصل على خصم XNUMX% على جميع
- منح
- Go
- الأهداف
- تجمع
- مجموعات
- توجيه
- يملك
- he
- صحة الإنسان
- المضيفين
- كيفية
- كيفية
- لكن
- HTML
- HTTP
- HTTPS
- IAM
- تحديد
- تحديد
- if
- يوضح
- توضح
- التأثير
- الأدوات
- تحسن
- in
- تتضمن
- شامل
- يشمل
- بما فيه
- معلومات
- الابتكار
- تبصر
- التركيب
- تركيب
- مثل
- لحظة
- التكامل
- إلى
- أدخلت
- مسائل
- IT
- انها
- جافا
- وظيفة
- المشــاريــع
- جسون
- القفل
- أكبر
- إطلاق
- أطلقت
- تطلق
- المكتبة
- الحياة
- مثل
- خط
- قائمة
- طويل
- مدير
- مايو..
- مكبر الصوت : يدعم، مع دعم ميكروفون مدمج لمنع الضوضاء
- متري
- المقاييس
- دقائق
- تعديل
- مراقبة
- مراقبة
- الأكثر من ذلك
- أكثر
- يجب
- الاسم
- أسماء
- قائمة الإختيارات
- بحاجة
- التالي
- العقدة
- العقد
- لاحظ
- إعلام
- الإخطارات
- عدد
- أهداف
- of
- on
- فقط
- التحسين
- تحسين
- مزيد من الخيارات
- or
- أخرى
- لنا
- نظرة عامة
- صفقة
- زوج
- خبز
- المعلمة
- المعلمات
- مسار
- إلى
- أداء
- أذونات
- خطة
- أفلاطون
- الذكاء افلاطون البيانات
- أفلاطون داتا
- صورة
- منشور
- قوي
- ممارسة
- الضغط
- التسعير
- رئيسي
- خاص
- مشاكل
- العمليات
- معالجة
- ملفي الشخصي
- تزود
- ويوفر
- نشر
- دفع
- يدفع
- دفع
- بسرعة
- بدلا
- حقيقي
- في الوقت الحقيقي
- نوصي
- ذات صلة
- الافراج عن
- ذات الصلة
- لا تزال
- تطلب
- مطلوب
- المتطلبات الأساسية
- مورد
- استخدام الموارد
- الموارد
- مسؤول
- مراجعة
- قوي
- النوع
- الأدوار
- جذر
- تشغيل
- تحجيم
- سلس
- القسم
- أقسام
- أمن
- انظر تعريف
- إرسال
- إرسال
- يرسل
- الخدمة
- خدماتنا
- الجلسة
- ينبغي
- الاشارات
- So
- حل
- الحلول
- حل
- بعض
- مصدر
- شفرة المصدر
- شرارة
- محدد
- كومة
- المسرح
- مراحل
- بداية
- ابتداء
- يبدأ
- خطوة
- خطوات
- قلة النوم
- تخزين
- الشبكة الفرعية
- بنجاح
- هذه
- ملخص
- نظام
- أنظمة
- أخذ
- يأخذ
- مهمة
- المهام
- تقني
- قالب
- من
- أن
- •
- المصدر
- من مشاركة
- منهم
- then
- تشبه
- هم
- عبر
- الوقت
- إلى
- مسار
- يثير
- مع
- تستخدم
- مستعمل
- استخدام
- يستخدم
- تشكيلة
- الإصدار
- المزيد
- افتراضي
- تجول
- تريد
- وكان
- we
- الويب
- خدمات ويب
- متى
- التي
- في حين
- سوف
- مع
- سير العمل
- أعمال
- X
- يامل
- لصحتك!
- حل متجر العقارات الشامل الخاص بك في جورجيا
- زفيرنت