أمازون EMR هي خدمة بيانات ضخمة تقدمها AWS لتشغيل Apache Spark وتطبيقات أخرى مفتوحة المصدر على AWS لبناء خطوط بيانات قابلة للتطوير بطريقة فعالة من حيث التكلفة. تعد مراقبة السجلات التي تم إنشاؤها من الوظائف المنشورة في مجموعات السجلات الطبية الإلكترونية أمرًا ضروريًا للمساعدة في اكتشاف المشكلات الحرجة في الوقت الفعلي وتحديد الأسباب الجذرية بسرعة.
دفع تلك السجلات إلى الأمازون CloudWatch يمكّنك من مركزية وقيادة المعلومات الاستخبارية القابلة للتنفيذ من سجلاتك لمعالجة المشكلات التشغيلية دون الحاجة إلى توفير الخوادم أو إدارة البرامج. يمكنك البدء فورًا في كتابة الاستعلامات باستخدام التجميعات والمرشحات والتعبيرات العادية. بالإضافة إلى ذلك ، يمكنك تصور بيانات السلاسل الزمنية ، والتنقل لأسفل في أحداث السجل الفردية ، وتصدير نتائج الاستعلام إلى لوحات معلومات CloudWatch.
لاستيعاب السجلات التي استمرت في ملف الأمازون الحوسبة المرنة السحابية (Amazon EC2) مثيلات مجموعة EMR في CloudWatch ، يمكنك استخدام ملف وكيل CloudWatch. يوفر هذا طريقة بسيطة لدفع السجلات من مثيل EC2 إلى CloudWatch.
وكيل CloudWatch عبارة عن حزمة برامج تعمل بشكل مستقل ومستمر على خوادمك. يمكنك تثبيت وكيل CloudWatch وتكوينه لتجميع سجلات النظام والتطبيق من مثيلات EC2 ، والمضيفين الداخليين ، والتطبيقات المعبأة في حاويات. تعالج CloudWatch السجلات التي يجمعها وكيل CloudWatch وتخزنها ، مما يساعد أيضًا في مراقبة الأداء والصحة للبنية التحتية والتطبيقات الخاصة بك.
في هذا المنشور ، نقوم بإنشاء مجموعة سجلات السجلات الطبية الإلكترونية (EMR) وتمركز سجلات خطوات السجلات الطبية الإلكترونية للوظائف في CloudWatch. سيسهل ذلك عليك إدارة مجموعة السجلات الطبية الإلكترونية ، واستكشاف المشكلات وإصلاحها ، ومراقبة الأداء. يعد هذا الحل مفيدًا بشكل خاص إذا كنت ترغب في استخدام CloudWatch لجمع وتصور السجلات والمقاييس وبيانات الأحداث في الوقت الفعلي ، مما يؤدي إلى تبسيط البنية الأساسية وصيانة التطبيقات.
نظرة عامة على الحل
يعتمد الحل المقدم في هذا المنشور على تكوين محدد حيث يتم تعيين مستوى التزامن لخطوة EMR على 1. وهذا يعني أنه يتم تشغيل خطوة واحدة فقط في كل مرة على الكتلة. من المهم ملاحظة أنه إذا تم تعيين مستوى التزامن لخطوة EMR على قيمة أكبر من 1 ، فقد لا يعمل الحل كما هو متوقع. نوصي بشدة بالتحقق من خطوة التزامن EMR التكوين قبل تنفيذ الحل المقدم في هذا المنشور.
يوضح الرسم البياني التالي بنية الحل.
يتضمن سير العمل الخطوات التالية:
- يبدأ المستخدمون مهمة Apache Spark EMR ، مما يؤدي إلى إنشاء خطوة على مجموعة السجلات الطبية الإلكترونية. باستخدام Apache Spark ، يتم توزيع عبء العمل عبر العقد المختلفة لمجموعة EMR.
- في كل عقدة (مثيل EC2) للمجموعة ، يراقب وكيل CloudWatch أدلة سجلات مختلفة ، ويلتقط إدخالات جديدة في ملفات السجل ويدفعها إلى CloudWatch.
- يمكن للمستخدمين عرض سجلات الخطوات التي تصل إلى مجموعات السجل المختلفة من وحدة تحكم CloudWatch. سجلات الخطوات المكتوبة بواسطة Amazon EMR هي كما يلي:
- مراقب - معلومات حول معالجة الخطوة. إذا فشلت خطوتك أثناء التحميل ، يمكنك العثور على تتبع المكدس في هذا السجل.
- ستدير - قناة الخطأ المعيارية لـ Spark أثناء قيامها بمعالجة الخطوة.
- المعياري - قناة الإخراج القياسية لـ Spark أثناء معالجة الخطوة.
نحن نقدم تكوين سحابة AWS نموذج في هذا المنشور كدليل عام. يوضح النموذج كيفية تكوين وكيل CloudWatch على Amazon EMR لدفع سجلات Spark إلى CloudWatch. يمكنك مراجعتها وتخصيصها حسب الحاجة لتضمين تكوينات أمان Amazon EMR الخاصة بك. كأفضل ممارسة ، نوصي بتضمين تكوينات أمان Amazon EMR في القالب إلى تشفير البيانات أثناء النقل.
يجب أن تدرك أيضًا أن بعض الموارد التي تم نشرها بواسطة هذا المكدس تتكبد تكاليف عندما تظل قيد الاستخدام.
في الأقسام التالية ، ننتقل إلى الخطوات التالية:
- قم بإنشاء وتحميل البرنامج النصي bootstrap إلى ملف خدمة تخزين أمازون البسيطة دلو (أمازون S3).
- استخدم قالب CloudFormation لإنشاء الموارد التالية:
- راقب سجلات Spark على وحدة تحكم CloudWatch.
المتطلبات الأساسية المسبقة
تفترض هذه المشاركة أن لديك ما يلي:
قم بإنشاء وتحميل البرنامج النصي للتمهيد إلى حاوية S3
لمزيد من المعلومات، راجع تحميل الأشياء و تثبيت وكيل CloudWatch وتشغيله على الخوادم الخاصة بك.
لإنشاء برنامج bootstrap وتحميله ، أكمل الخطوات التالية:
- قم بإنشاء ملف محلي باسم
bootstrap_cloudwatch_agent.sh
مع المحتوى التالي: - في وحدة تحكم Amazon S3 ، اختر حاوية S3 الخاصة بك.
- على الأجسام علامة التبويب، اختر تحميل.
- اختار إضافة ملفات، ثم اختر البرنامج النصي bootstrap.
- اختار تحميل، ثم اختر اسم الملف:
bootstrap_cloudwatch_agent.sh
. - اختار نسخ S3 URI. نستخدم هذه القيمة في خطوة لاحقة.
توفير الموارد باستخدام قالب CloudFormation
اختار قم بتشغيل Stack لإطلاق حزمة CloudFormation في حسابك ونشر النموذج:
ينشئ هذا القالب دور IAM ، وملف تعريف مثيل IAM ، ومعلمة مدير الأنظمة ، ومجموعة EMR. تبدأ المجموعة تطبيق مثال تقدير Spark PI. ستتم محاسبتك على موارد AWS المستخدمة إذا قمت بإنشاء حزمة من هذا القالب.
سيطلب منك معالج CloudFormation تعديل أو توفير هذه المعلمات:
- نوع الطلب - و نوع المثيل لجميع مجموعات المثيل. الافتراضي هو m4.xlarge.
- InstanceCountCore - عدد المثيلات في مجموعة المثيل الأساسية. الافتراضي هو 2.
- EMRReleaseLabel - و تسمية إصدار Amazon EMR تريد استخدامه. الافتراضي هو emr-6.9.0.
- مسار BootstrapScript - مسار S3 الخاص بنص تمهيد تثبيت وكيل CloudWatch الذي نسخته مسبقًا.
- الشبكة الفرعية - الشبكة الفرعية EC2 حيث يتم إطلاق الكتلة. يجب عليك تقديم هذه المعلمة.
- EC2KeyPairName - زوج مفاتيح اختياري EC2 للاتصال بالعقد العنقودية ، كبديل لـ Session Manager.
مراقبة تدفقات السجل
بعد نشر حزمة CloudFormation بنجاح ، في وحدة تحكم CloudWatch ، اختر مجموعات السجل في جزء التنقل. ثم قم بتصفية مجموعات السجل بالبادئة /aws/emr/master
.
يتوافق المعرف في مجموعة السجل مع معرف مثيل EC2 لعقدة EMR الأساسية. إذا كان لديك العديد من مجموعات EMR ، فيمكنك استخدام هذا المعرف لتحديد مجموعة معينة من EMR ، بناءً على معرف العقدة الأساسي.
في مجموعة السجل ، ستجد تدفقات السجل الثلاثة المختلفة.
تحتوي تدفقات السجل على المعلومات التالية:
- خطوة stdout - قناة الإخراج القياسية لـ Spark أثناء معالجة الخطوة.
- خطوة ستدير - قناة الخطأ المعيارية لـ Spark أثناء قيامها بمعالجة الخطوة.
- خطوة تحكم - معلومات حول معالجة الخطوة. إذا فشلت خطوتك أثناء التحميل ، يمكنك العثور على تتبع المكدس في هذا السجل.
تنظيف
لتجنب الرسوم المستقبلية في حسابك ، احذف الموارد التي أنشأتها في هذه الإرشادات التفصيلية. ستتحمل مجموعة EMR رسومًا طالما كانت الكتلة نشطة ، لذا أوقفها عند الانتهاء.
- في وحدة تحكم CloudFormation ، في جزء التنقل ، اختر كومات.
- اختر الحزمة التي قمت بإطلاقها (
EMR-CloudWatch-Demo
) ، ثم اختر حذف. - إفراغ دلو S3 قمت بإنشائها.
- احذف حاوية S3 قمت بإنشائها.
وفي الختام
الآن بعد أن أكملت الخطوات الواردة في هذه الإرشادات التفصيلية ، أصبح لديك وكيل CloudWatch يعمل على مضيفي المجموعة وتم تكوينه لدفع سجلات خطوات EMR إلى CloudWatch. باستخدام هذه الميزة ، يمكنك مراقبة صحة وأداء مهام Spark التي تعمل على Amazon EMR بشكل فعال ، واكتشاف المشكلات الحرجة في الوقت الفعلي وتحديد الأسباب الجذرية بسرعة.
يمكنك حزم هذا الحل ونشره من خلال نموذج CloudFormation مثل هذا النموذج النموذجي ، والذي يُنشئ دور ملف تعريف مثيل IAM ومعلمة Systems Manager ومجموعة EMR.
لاتخاذ المزيد من ذلك ، ضع في اعتبارك استخدام هذه السجلات في إنذارات CloudWatch للتنبيهات على ملف سجل مرشح المجموعة المترية. يمكنك جمعها مع أجهزة الإنذار الأخرى في ملف إنذار مركب أو تكوين إجراءات الإنذار مثل الإرسال خدمة إعلام أمازون البسيطة (Amazon SNS) لتشغيل عمليات تعتمد على الأحداث مثل AWS لامدا الوظائف.
عن المؤلف
إنيو باستوري هو مهندس بيانات أقدم في فريق AWS Data Lab. إنه متحمس لكل ما يتعلق بالتقنيات الجديدة التي لها تأثير إيجابي على الأعمال التجارية وسبل العيش العامة. يتمتع Ennio بخبرة تزيد عن 10 سنوات في تحليلات البيانات. يساعد الشركات على تحديد منصات البيانات وتنفيذها عبر الصناعات ، مثل الاتصالات ، والخدمات المصرفية ، والألعاب ، والبيع بالتجزئة ، والتأمين.
- محتوى مدعوم من تحسين محركات البحث وتوزيع العلاقات العامة. تضخيم اليوم.
- بلاتوبلوكشين. Web3 Metaverse Intelligence. تضخيم المعرفة. الوصول هنا.
- المصدر https://aws.amazon.com/blogs/big-data/push-amazon-emr-step-logs-from-amazon-ec2-instances-to-amazon-cloudwatch-logs/
- :يكون
- 1
- 10
- 100
- 9
- a
- من نحن
- الوصول
- حسابي
- في
- الإجراءات
- نشط
- إضافة
- العنوان
- الوكيل
- إنذار
- تنبيهات
- الكل
- البديل
- أمازون
- Amazon EC2
- أمازون EMR
- تحليلات
- و
- أباتشي
- أباتشي سبارك
- تطبيق
- التطبيقات
- هندسة معمارية
- هي
- AS
- At
- مستقل
- AWS
- البنوك والمصارف
- على أساس
- BE
- قبل
- بدأ
- أفضل
- كبير
- البيانات الكبيرة
- التمهيد
- نساعدك في بناء
- الأعمال
- by
- CAN
- اسر
- الأسباب
- قناة
- اسعارنا محددة من قبل وزارة العمل
- اختار
- كتلة
- جمع
- الشركات
- إكمال
- الطلب مكتمل
- إحصاء
- الاعداد
- الرابط
- نظر
- كنسولات
- محتوى
- بشكل متواصل
- جوهر
- يتوافق
- فعاله من حيث التكلفه
- التكاليف
- استطاع
- خلق
- خلق
- يخلق
- خلق
- حرج
- تصميم
- البيانات
- تحليلات البيانات
- الترتيب
- يوضح
- نشر
- نشر
- ينشر
- مختلف
- الدلائل
- وزعت
- إلى أسفل
- قيادة
- كل
- في وقت سابق
- أسهل
- صدى
- على نحو فعال
- تمكن
- متحمس
- خطأ
- أساسي
- الأثير (ETH)
- الحدث/الفعالية
- أحداث
- كل شىء
- مثال
- متوقع
- الخبره في مجال الغطس
- تصدير
- التعبيرات
- فشل
- الميزات
- قم بتقديم
- ملفات
- تصفية
- مرشحات
- متابعيك
- متابعات
- في حالة
- تبدأ من
- وظائف
- إضافي
- مستقبل
- الألعاب
- العلاجات العامة
- ولدت
- Go
- أكبر
- تجمع
- مجموعات
- توجيه
- يملك
- صحة الإنسان
- مساعدة
- مفيد
- يساعد
- جدا
- المضيفين
- كيفية
- كيفية
- HTML
- HTTP
- HTTPS
- IAM
- ID
- تحديد
- تحديد
- التأثير
- تنفيذ
- تحقيق
- أهمية
- in
- تتضمن
- يشمل
- بما فيه
- فرد
- الصناعات
- معلومات
- البنية التحتية
- تثبيت
- تركيب
- مثل
- التأمين
- رؤيتنا
- مسائل
- IT
- وظيفة
- المشــاريــع
- JPG
- جسون
- مختبر
- إطلاق
- أطلقت
- تطلق
- مستوى
- مثل
- جار التحميل
- محلي
- طويل
- صيانة
- جعل
- إدارة
- مدير
- أسلوب
- يعني
- المقاييس
- تعديل
- مراقبة
- مراقبة
- الأكثر من ذلك
- متعدد
- الاسم
- عين
- قائمة الإختيارات
- بحاجة
- الحاجة
- جديد
- التكنولوجيات الجديدة
- التالي
- العقدة
- العقد
- إعلام
- الإخطارات
- عدد
- of
- عرضت
- on
- ONE
- المصدر المفتوح
- تشغيل
- أخرى
- الناتج
- صفقة
- خبز
- المعلمة
- المعلمات
- خاص
- خاصة
- مسار
- أداء
- منصات التداول
- أفلاطون
- الذكاء افلاطون البيانات
- أفلاطون داتا
- إيجابي
- منشور
- ممارسة
- قدم
- ابتدائي
- العمليات
- معالجة
- ملفي الشخصي
- تزود
- ويوفر
- تقديم
- دفع
- دفع
- بسرعة
- حقيقي
- في الوقت الحقيقي
- نوصي
- منتظم
- ذات صلة
- الافراج عن
- لا تزال
- الموارد
- النتائج
- بيع بالتجزئة
- مراجعة
- النوع
- جذر
- يجري
- تشغيل
- تحجيم
- أقسام
- أمن
- إرسال
- كبير
- مسلسلات
- الخدمة
- الجلسة
- طقم
- ينبغي
- الاشارات
- So
- تطبيقات الكمبيوتر
- حل
- بعض
- شرارة
- محدد
- كومة
- معيار
- بداية
- ابتداء
- يبدأ
- خطوة
- خطوات
- قلة النوم
- تخزين
- فروعنا
- تبسيط
- تيارات
- الشبكة الفرعية
- بنجاح
- هذه
- سودو
- نظام
- أنظمة
- أخذ
- فريق
- التكنولوجيا
- الاتصالات
- قالب
- أن
- •
- منهم
- تشبه
- ثلاثة
- عبر
- الوقت
- السلاسل الزمنية
- إلى
- تتبع
- يثير
- تستخدم
- قيمنا
- التحقق
- المزيد
- تجول
- الساعات
- طريق..
- التي
- في حين
- سوف
- مع
- بدون
- للعمل
- سير العمل
- جاري الكتابة
- مكتوب
- يامل
- سنوات
- حل متجر العقارات الشامل الخاص بك في جورجيا
- زفيرنت