آمازون EMR یک سرویس کلان داده است که توسط AWS برای اجرای Apache Spark و دیگر برنامههای منبع باز روی AWS برای ساخت خطوط لوله داده مقیاسپذیر به روشی مقرونبهصرفه ارائه میشود. نظارت بر گزارشهای تولید شده از کارهای مستقر در خوشههای EMR برای کمک به شناسایی مسائل مهم در زمان واقعی و شناسایی سریع علل ریشهای ضروری است.
فشار دادن آن سیاهههای مربوط به CloudWatch آمازون شما را قادر می سازد تا بدون نیاز به ارائه سرورها یا مدیریت نرم افزار، اطلاعات عملیاتی را از گزارش های خود برای رسیدگی به مسائل عملیاتی متمرکز و هدایت کنید. میتوانید فوراً با تجمیعها، فیلترها و عبارات منظم شروع به نوشتن پرسوجو کنید. علاوه بر این، میتوانید دادههای سری زمانی را تجسم کنید، رویدادهای گزارش جداگانه را بررسی کنید، و نتایج پرس و جو را به داشبوردهای CloudWatch صادر کنید.
برای بلع گزارشهایی که روی آن باقی ماندهاند ابر محاسبه الاستیک آمازون (Amazon EC2) نمونه هایی از یک خوشه EMR در CloudWatch، می توانید از عامل CloudWatch. این یک راه ساده برای انتقال گزارشها از یک نمونه EC2 به CloudWatch فراهم میکند.
عامل CloudWatch یک بسته نرم افزاری است که به طور مستقل و پیوسته بر روی سرورهای شما اجرا می شود. میتوانید عامل CloudWatch را برای جمعآوری گزارشهای سیستم و برنامهها از نمونههای EC2، میزبانهای داخلی و برنامههای کانتینری نصب و پیکربندی کنید. CloudWatch گزارشهای جمعآوریشده توسط عامل CloudWatch را پردازش و ذخیره میکند، که بیشتر به نظارت بر عملکرد و سلامت زیرساختها و برنامههای شما کمک میکند.
در این پست، ما یک خوشه EMR ایجاد می کنیم و گزارش های مرحله EMR کارها را در CloudWatch متمرکز می کنیم. این کار مدیریت خوشه EMR، عیب یابی مشکلات و نظارت بر عملکرد را برای شما آسان تر می کند. اگر میخواهید از CloudWatch برای جمعآوری و تجسم گزارشها، سنجهها و دادههای رویداد بلادرنگ استفاده کنید، این راهحل بهویژه مفید است و زیرساختها و نگهداری برنامههایتان را سادهسازی میکند.
بررسی اجمالی راه حل
راه حل ارائه شده در این پست بر اساس یک پیکربندی خاص است که در آن سطح همزمانی مرحله EMR روی 1 تنظیم شده است. این بدان معنی است که تنها یک مرحله در یک زمان در کلاستر اجرا می شود. توجه به این نکته مهم است که اگر سطح همزمانی مرحله EMR روی مقداری بیشتر از 1 تنظیم شود، راه حل ممکن است آنطور که انتظار می رود کار نکند. اکیداً توصیه می کنیم خود را تأیید کنید همزمانی مرحله EMR پیکربندی قبل از اجرای راه حل ارائه شده در این پست.
نمودار زیر معماری راه حل را نشان می دهد.
گردش کار شامل مراحل زیر است:
- کاربران یک کار Apache Spark EMR را شروع می کنند و یک مرحله در خوشه EMR ایجاد می کنند. با استفاده از Apache Spark، حجم کار در گره های مختلف خوشه EMR توزیع می شود.
- در هر گره (نمونه EC2) خوشه، یک عامل CloudWatch دایرکتوری های گزارش های مختلف را تماشا می کند، ورودی های جدید را در فایل های گزارش ثبت می کند و آنها را به CloudWatch می فرستد.
- کاربران میتوانند گزارشهای مرحله را برای دسترسی به گروههای گزارش مختلف از کنسول CloudWatch مشاهده کنند. گزارش مراحل نوشته شده توسط آمازون EMR به شرح زیر است:
- کنترل کننده - اطلاعات در مورد پردازش مرحله. اگر مرحله شما در حین بارگیری با شکست مواجه شد، می توانید ردیابی پشته را در این گزارش پیدا کنید.
- استدرر - کانال خطای استاندارد Spark در حالی که مرحله را پردازش می کند.
- stdout - کانال خروجی استاندارد Spark در حالی که مرحله را پردازش می کند.
ما ارائه می دهیم AWS CloudFormation قالب در این پست به عنوان راهنمای کلی. این الگو نحوه پیکربندی یک عامل CloudWatch در آمازون EMR را نشان میدهد تا گزارشهای Spark را به CloudWatch منتقل کند. میتوانید آن را در صورت نیاز بررسی و سفارشی کنید تا پیکربندیهای امنیتی آمازون EMR خود را نیز شامل شود. به عنوان بهترین روش، توصیه می کنیم پیکربندی های امنیتی آمازون EMR خود را در قالب قرار دهید رمزگذاری داده های در حال انتقال.
همچنین باید توجه داشته باشید که برخی از منابع به کار گرفته شده توسط این پشته زمانی که در حال استفاده باقی می مانند، هزینه هایی را متحمل می شوند.
در قسمت های بعدی مراحل زیر را طی می کنیم:
- اسکریپت بوت استرپ را ایجاد کرده و در آن آپلود کنید سرویس ذخیره سازی ساده آمازون سطل (Amazon S3).
- از الگوی CloudFormation برای ایجاد منابع زیر استفاده کنید:
- گزارشهای Spark را در کنسول CloudWatch نظارت کنید.
پیش نیازها
این پست فرض می کند که شما موارد زیر را دارید:
اسکریپت بوت استرپ را ایجاد و در یک سطل S3 آپلود کنید
برای اطلاعات بیشتر، نگاه کنید به بارگذاری اشیاء و نصب و اجرای عامل CloudWatch بر روی سرورهای خود.
برای ایجاد و آپلود اسکریپت بوت استرپ، مراحل زیر را انجام دهید:
- یک فایل محلی به نام ایجاد کنید
bootstrap_cloudwatch_agent.sh
با محتوای زیر: - در کنسول آمازون S3، سطل S3 خود را انتخاب کنید.
- بر اشیاء برگه ، انتخاب کنید بارگذاری.
- را انتخاب کنید اضافه کردن فایل، سپس اسکریپت بوت استرپ را انتخاب کنید.
- را انتخاب کنید بارگذاری، سپس نام فایل را انتخاب کنید:
bootstrap_cloudwatch_agent.sh
. - را انتخاب کنید S3 URI را کپی کنید. در مرحله بعد از این مقدار استفاده می کنیم.
منابع را با الگوی CloudFormation تهیه کنید
را انتخاب کنید Stack را راه اندازی کنید برای راه اندازی یک پشته CloudFormation در حساب خود و استقرار الگو:
این الگو یک نقش IAM، نمایه نمونه IAM، پارامتر Systems Manager و خوشه EMR ایجاد می کند. خوشه شروع می کند مثال برنامه تخمین PI Spark. اگر پشته ای از این الگو ایجاد کنید، برای منابع AWS استفاده شده صورتحساب دریافت خواهید کرد.
جادوگر CloudFormation از شما می خواهد که این پارامترها را تغییر دهید یا ارائه دهید:
- InstanceType - نوع نمونه برای همه گروه های نمونه پیش فرض m4.xlarge است.
- InstanceCountCore - تعداد موارد در گروه نمونه اصلی. پیش فرض 2 است.
- EMRRleaseLabel - برچسب انتشار آمازون EMR می خواهید استفاده کنید پیش فرض emr-6.9.0 است.
- BootstrapScriptPath – مسیر S3 اسکریپت بوت استرپ نصب عامل CloudWatch که قبلاً کپی کرده بودید.
- زیرشبکه – زیرشبکه EC2 که در آن خوشه راه اندازی می شود. شما باید این پارامتر را ارائه دهید.
- EC2KeyPairName – یک جفت کلید اختیاری EC2 برای اتصال به گره های خوشه ای، به عنوان جایگزینی برای Session Manager.
جریانهای گزارش را نظارت کنید
پس از استقرار موفقیت آمیز پشته CloudFormation، در کنسول CloudWatch، را انتخاب کنید گروه های گزارش در صفحه ناوبری سپس گروه های گزارش را با پیشوند فیلتر کنید /aws/emr/master
.
شناسه در گروه log با شناسه نمونه EC2 گره اولیه EMR مطابقت دارد. اگر چندین خوشه EMR دارید، می توانید از این شناسه برای شناسایی یک خوشه EMR خاص بر اساس شناسه گره اولیه استفاده کنید.
در گروه log، سه جریان گزارش مختلف را خواهید یافت.
جریانهای گزارش حاوی اطلاعات زیر هستند:
- گام-stdout – کانال خروجی استاندارد Spark در حالی که مرحله را پردازش می کند.
- step-stderr – کانال خطای استاندارد Spark در حالی که مرحله را پردازش می کند.
- کنترل کننده مرحله ای - اطلاعات در مورد پردازش مرحله. اگر مرحله شما در حین بارگیری با شکست مواجه شد، می توانید ردیابی پشته را در این گزارش پیدا کنید.
پاک کردن
برای جلوگیری از هزینههای آتی در حسابتان، منابعی را که در این راهنمای ایجاد کردهاید حذف کنید. تا زمانی که خوشه فعال است، دسته EMR هزینه هایی را متحمل می شود، پس وقتی کارتان تمام شد آن را متوقف کنید.
- در کنسول CloudFormation، در قسمت ناوبری، را انتخاب کنید پشته.
- پشته ای را که راه اندازی کردید انتخاب کنید (
EMR-CloudWatch-Demo
، سپس انتخاب کنید حذف. - سطل S3 را خالی کنید شما ایجاد کردید
- سطل S3 را حذف کنید شما ایجاد کردید
نتیجه
اکنون که مراحل این راهنما را تکمیل کردهاید، عامل CloudWatch را بر روی میزبانهای خوشه خود اجرا میکنید و پیکربندی شدهاید تا گزارشهای مرحله EMR را به CloudWatch منتقل کند. با استفاده از این ویژگی، میتوانید سلامت و عملکرد Spark Jobs خود را که در آمازون EMR اجرا میشوند، بهطور مؤثر کنترل کنید، مسائل مهم را در زمان واقعی شناسایی کنید و به سرعت علل اصلی را شناسایی کنید.
شما می توانید این راه حل را از طریق یک الگوی CloudFormation مانند این الگوی مثال، بسته بندی و استقرار دهید، که نقش نمایه نمونه IAM، پارامتر Systems Manager و خوشه EMR را ایجاد می کند.
برای پیشبرد این موضوع، استفاده از این گزارشها را در آلارمهای CloudWatch برای هشدار در یک مورد در نظر بگیرید ورود فیلتر گروه متریک. شما می توانید آنها را با آلارم های دیگر در یک جمع آوری کنید زنگ کامپوزیت یا اقدامات هشدار مانند ارسال را پیکربندی کنید سرویس اطلاع رسانی ساده آمازون اعلانهای (Amazon SNS) برای راهاندازی فرآیندهای رویداد محور مانند AWS لامبدا توابع.
درباره نویسنده
انیو پاستوره یک معمار ارشد داده در تیم آزمایشگاه داده AWS است. او مشتاق همه چیز مربوط به فناوری های جدید است که تأثیر مثبتی بر مشاغل و معیشت عمومی دارد. Ennio بیش از 10 سال تجربه در تجزیه و تحلیل داده ها دارد. او به شرکتها کمک میکند تا پلتفرمهای داده را در صنایع مختلف مانند مخابرات، بانکداری، بازی، خردهفروشی و بیمه تعریف و پیادهسازی کنند.
- محتوای مبتنی بر SEO و توزیع روابط عمومی. امروز تقویت شوید.
- پلاتوبلاک چین. Web3 Metaverse Intelligence. دانش تقویت شده دسترسی به اینجا.
- منبع: https://aws.amazon.com/blogs/big-data/push-amazon-emr-step-logs-from-amazon-ec2-instances-to-amazon-cloudwatch-logs/
- :است
- 1
- 10
- 100
- 9
- a
- درباره ما
- دسترسی
- حساب
- در میان
- اقدامات
- فعال
- اضافه
- نشانی
- عامل
- هشدار
- تصویر، موسیقی
- معرفی
- جایگزین
- آمازون
- آمازون EC2
- آمازون EMR
- علم تجزیه و تحلیل
- و
- آپاچی
- جرقه آپاچی
- کاربرد
- برنامه های کاربردی
- معماری
- هستند
- AS
- At
- بصورت خودگردان
- AWS
- بانکداری
- مستقر
- BE
- قبل از
- شروع
- بهترین
- بزرگ
- بزرگ داده
- خود راه انداز
- ساختن
- کسب و کار
- by
- CAN
- ضبط
- علل
- کانال
- بار
- را انتخاب کنید
- خوشه
- جمع آوری
- شرکت
- کامل
- تکمیل شده
- محاسبه
- پیکر بندی
- اتصال
- در نظر بگیرید
- کنسول
- محتوا
- به طور مداوم
- هسته
- مطابقت دارد
- مقرون به صرفه
- هزینه
- میتوانست
- ایجاد
- ایجاد شده
- ایجاد
- ایجاد
- بحرانی
- سفارشی
- داده ها
- تجزیه و تحلیل داده ها
- به طور پیش فرض
- نشان می دهد
- گسترش
- مستقر
- مستقر می کند
- مختلف
- دایرکتوری
- توزیع شده
- پایین
- راندن
- هر
- پیش از آن
- آسان تر
- از دست
- به طور موثر
- را قادر می سازد
- علاقهمند
- خطا
- ضروری است
- اتر (ETH)
- واقعه
- حوادث
- همه چیز
- مثال
- انتظار می رود
- تجربه
- صادرات
- اصطلاحات
- نتواند
- ویژگی
- پرونده
- فایل ها
- فیلتر
- فیلترها برای تصفیه آب
- پیدا کردن
- پیروی
- به دنبال آن است
- برای
- از جانب
- توابع
- بیشتر
- آینده
- بازی
- سوالات عمومی
- تولید
- Go
- بیشتر
- گروه
- گروه ها
- راهنمایی
- آیا
- سلامتی
- کمک
- مفید
- کمک می کند
- خیلی
- میزبان
- چگونه
- چگونه
- HTML
- HTTP
- HTTPS
- IAM
- ID
- شناسایی
- شناسایی
- تأثیر
- انجام
- اجرای
- مهم
- in
- شامل
- شامل
- از جمله
- فرد
- لوازم
- اطلاعات
- شالوده
- نصب
- نصب کردن
- نمونه
- بیمه
- اطلاعات
- مسائل
- IT
- کار
- شغل ها
- JPG
- json
- آزمایشگاه
- راه اندازی
- راه اندازی
- راه اندازی
- سطح
- پسندیدن
- بارگیری
- محلی
- طولانی
- نگهداری
- ساخت
- مدیریت
- مدیر
- روش
- به معنی
- متریک
- تغییر
- مانیتور
- نظارت بر
- بیش
- چندگانه
- نام
- تحت عنوان
- جهت یابی
- ضروری
- نیازمند
- جدید
- فناوری های نوین
- بعد
- گره
- گره
- اخطار
- اطلاعیه ها
- عدد
- of
- ارائه شده
- on
- ONE
- منبع باز
- قابل استفاده
- دیگر
- تولید
- بسته
- قطعه
- پارامتر
- پارامترهای
- ویژه
- ویژه
- مسیر
- کارایی
- سیستم عامل
- افلاطون
- هوش داده افلاطون
- PlatoData
- مثبت
- پست
- تمرین
- ارائه شده
- اصلی
- فرآیندهای
- در حال پردازش
- مشخصات
- ارائه
- فراهم می کند
- تدارک
- فشار
- هل دادن
- به سرعت
- واقعی
- زمان واقعی
- توصیه
- منظم
- مربوط
- آزاد
- ماندن
- منابع
- نتایج
- خرده فروشی
- این فایل نقد می نویسید:
- نقش
- ریشه
- دویدن
- در حال اجرا
- مقیاس پذیر
- بخش
- تیم امنیت لاتاری
- در حال ارسال
- ارشد
- سلسله
- سرویس
- جلسه
- تنظیم
- باید
- ساده
- So
- نرم افزار
- راه حل
- برخی از
- جرقه
- خاص
- پشته
- استاندارد
- شروع
- راه افتادن
- شروع می شود
- گام
- مراحل
- توقف
- ذخیره سازی
- پرده
- ساده
- جریان
- زیر شبکه
- موفقیت
- چنین
- سودو
- سیستم
- سیستم های
- گرفتن
- تیم
- فن آوری
- ارتباط از راه دور
- قالب
- که
- La
- آنها
- اینها
- سه
- از طریق
- زمان
- سری زمانی
- به
- رد
- ماشه
- استفاده کنید
- ارزش
- تایید
- چشم انداز
- خرید
- ساعت
- مسیر..
- که
- در حین
- اراده
- با
- بدون
- مهاجرت کاری
- گردش کار
- نوشته
- کتبی
- یامل
- سال
- شما
- زفیرنت