ایمیزون ای ایم آر ایک بڑی ڈیٹا سروس ہے جو AWS کی طرف سے Apache Spark اور دیگر اوپن سورس ایپلی کیشنز کو AWS پر چلانے کے لیے پیش کی جاتی ہے تاکہ اسکالیبل ڈیٹا پائپ لائنوں کو لاگت سے موثر انداز میں بنایا جا سکے۔ EMR کلسٹرز پر تعینات ملازمتوں سے پیدا ہونے والے لاگز کی نگرانی کرنا ضروری ہے تاکہ حقیقی وقت میں اہم مسائل کا پتہ لگانے اور بنیادی وجوہات کی جلد شناخت میں مدد ملے۔
ان لاگز کو آگے بڑھانا ایمیزون کلاؤڈ واچ آپ کو آپ کے لاگز سے قابل عمل انٹیلی جنس کو مرکزی بنانے اور چلانے کے قابل بناتا ہے تاکہ سرورز کی فراہمی یا سافٹ ویئر کا انتظام کیے بغیر آپریشنل مسائل کو حل کیا جا سکے۔ آپ فوری طور پر جمع، فلٹرز، اور ریگولر ایکسپریشنز کے ساتھ سوالات لکھنا شروع کر سکتے ہیں۔ اس کے علاوہ، آپ ٹائم سیریز کے ڈیٹا کو دیکھ سکتے ہیں، انفرادی لاگ ایونٹس میں ڈرل ڈاؤن کر سکتے ہیں، اور CloudWatch ڈیش بورڈز پر استفسار کے نتائج برآمد کر سکتے ہیں۔
ان لاگز کو نگلنے کے لیے جو پر برقرار ہیں۔ ایمیزون لچکدار کمپیوٹ کلاؤڈ (ایمیزون EC2) CloudWatch میں EMR کلسٹر کی مثالیں، آپ استعمال کر سکتے ہیں کلاؤڈ واچ ایجنٹ. یہ لاگز کو EC2 مثال سے CloudWatch تک پہنچانے کا ایک آسان طریقہ فراہم کرتا ہے۔
CloudWatch ایجنٹ ایک سافٹ ویئر پیکج ہے جو خود مختار اور مسلسل آپ کے سرورز پر چلتا ہے۔ آپ EC2 مثالوں، آن پریمیسس ہوسٹس، اور کنٹینرائزڈ ایپلی کیشنز سے سسٹم اور ایپلیکیشن لاگز جمع کرنے کے لیے CloudWatch ایجنٹ کو انسٹال اور کنفیگر کر سکتے ہیں۔ CloudWatch CloudWatch ایجنٹ کے ذریعے جمع کردہ لاگز کو پروسیس اور اسٹور کرتا ہے، جو آپ کے انفراسٹرکچر اور ایپلی کیشنز کی کارکردگی اور صحت کی نگرانی میں مزید مدد کرتا ہے۔
اس پوسٹ میں، ہم ایک EMR کلسٹر بناتے ہیں اور CloudWatch میں ملازمتوں کے EMR سٹیپ لاگز کو سنٹرلائز کرتے ہیں۔ اس سے آپ کے لیے اپنے EMR کلسٹر کا نظم کرنا، مسائل کو حل کرنا، اور کارکردگی کی نگرانی کرنا آسان ہو جائے گا۔ یہ حل خاص طور پر مددگار ہے اگر آپ اپنے بنیادی ڈھانچے اور ایپلیکیشن کی دیکھ بھال کو ہموار کرتے ہوئے، ریئل ٹائم لاگز، میٹرکس، اور ایونٹ کے ڈیٹا کو جمع کرنے اور ان کا تصور کرنے کے لیے CloudWatch کا استعمال کرنا چاہتے ہیں۔
حل کا جائزہ
اس پوسٹ میں پیش کردہ حل ایک مخصوص کنفیگریشن پر مبنی ہے جہاں EMR سٹیپ کنکرنسی لیول 1 پر سیٹ ہے۔ اس کا مطلب ہے کہ کلسٹر پر ایک وقت میں صرف ایک قدم چلایا جاتا ہے۔ یہ نوٹ کرنا ضروری ہے کہ اگر EMR مرحلہ کنکرنسی لیول 1 سے زیادہ قدر پر سیٹ کیا جاتا ہے، تو حل توقع کے مطابق کام نہیں کر سکتا۔ ہم آپ کی تصدیق کرنے کی انتہائی سفارش کرتے ہیں۔ EMR مرحلہ کنکرنسی اس پوسٹ میں پیش کردہ حل کو نافذ کرنے سے پہلے ترتیب۔
مندرجہ ذیل خاکہ حل کے فن تعمیر کی وضاحت کرتا ہے۔
ورک فلو میں درج ذیل مراحل شامل ہیں:
- صارفین EMR کلسٹر پر ایک قدم بناتے ہوئے Apache Spark EMR جاب شروع کرتے ہیں۔ Apache Spark کا استعمال کرتے ہوئے، کام کا بوجھ EMR کلسٹر کے مختلف نوڈس میں تقسیم کیا جاتا ہے۔
- کلسٹر کے ہر نوڈ (EC2 مثال) میں، ایک CloudWatch ایجنٹ مختلف لاگ ڈائرکٹریز کو دیکھتا ہے، لاگ فائلوں میں نئی اندراجات کیپچر کرتا ہے اور انہیں CloudWatch کی طرف دھکیلتا ہے۔
- صارف CloudWatch کنسول سے مختلف لاگ گروپس تک رسائی حاصل کرنے والے مرحلہ لاگز کو دیکھ سکتے ہیں۔ ایمیزون EMR کی طرف سے لکھے گئے مرحلہ وار درج ذیل ہیں:
- کنٹرولر - قدم کی پروسیسنگ کے بارے میں معلومات۔ اگر آپ کا مرحلہ لوڈ کرنے کے دوران ناکام ہوجاتا ہے، تو آپ اس لاگ میں اسٹیک ٹریس تلاش کرسکتے ہیں۔
- سٹڈرر - اسپارک کا معیاری ایرر چینل جب یہ قدم پر کارروائی کرتا ہے۔
- stdout - اسپارک کا معیاری آؤٹ پٹ چینل جب یہ قدم پر کارروائی کرتا ہے۔
ہم ایک فراہم کرتے ہیں AWS کلاؤڈ فارمیشن ایک عام گائیڈ کے طور پر اس پوسٹ میں ٹیمپلیٹ۔ ٹیمپلیٹ یہ ظاہر کرتا ہے کہ ایمیزون EMR پر کلاؤڈ واچ ایجنٹ کو کس طرح ترتیب دیا جائے تاکہ اسپارک لاگز کو CloudWatch پر دھکیل دیا جا سکے۔ آپ اپنی Amazon EMR سیکیورٹی کنفیگریشنز کو شامل کرنے کے لیے ضرورت کے مطابق اس کا جائزہ لے سکتے ہیں اور اسے حسب ضرورت بنا سکتے ہیں۔ ایک بہترین عمل کے طور پر، ہم تجویز کرتے ہیں کہ آپ کی ایمیزون EMR سیکیورٹی کنفیگریشن کو ٹیمپلیٹ میں شامل کریں۔ ٹرانزٹ میں ڈیٹا کو خفیہ کریں۔.
آپ کو یہ بھی معلوم ہونا چاہیے کہ اس اسٹیک کے ذریعے تعینات کیے گئے کچھ وسائل کے استعمال میں رہنے پر لاگت آتی ہے۔
اگلے حصوں میں، ہم درج ذیل مراحل سے گزرتے ہیں:
- بوٹسٹریپ اسکرپٹ کو ایک پر بنائیں اور اپ لوڈ کریں۔ ایمیزون سادہ اسٹوریج سروس (ایمیزون S3) بالٹی۔
- درج ذیل وسائل بنانے کے لیے CloudFormation ٹیمپلیٹ کا استعمال کریں:
- CloudWatch کنسول پر سپارک لاگز کی نگرانی کریں۔
شرائط
یہ پوسٹ فرض کرتی ہے کہ آپ کے پاس درج ذیل ہیں:
بوٹسٹریپ اسکرپٹ کو S3 بالٹی میں بنائیں اور اپ لوڈ کریں۔
مزید معلومات کے لئے، دیکھیں اشیاء کو اپ لوڈ کرنا اور اپنے سرورز پر CloudWatch ایجنٹ کو انسٹال اور چلانا.
بوٹسٹریپ اسکرپٹ بنانے اور اپ لوڈ کرنے کے لیے، درج ذیل مراحل کو مکمل کریں:
- نام کی ایک مقامی فائل بنائیں
bootstrap_cloudwatch_agent.sh
مندرجہ ذیل مواد کے ساتھ: - Amazon S3 کنسول پر، اپنی S3 بالٹی کا انتخاب کریں۔
- پر آبجیکٹ ٹیب، منتخب کریں اپ لوڈ کریں.
- میں سے انتخاب کریں فائلیں شامل کریں، پھر بوٹسٹریپ اسکرپٹ کا انتخاب کریں۔
- میں سے انتخاب کریں اپ لوڈ کریں، پھر فائل کا نام منتخب کریں:
bootstrap_cloudwatch_agent.sh
. - میں سے انتخاب کریں S3 URI کاپی کریں۔. ہم اس قدر کو بعد کے مرحلے میں استعمال کرتے ہیں۔
CloudFormation ٹیمپلیٹ کے ساتھ وسائل فراہم کریں۔
میں سے انتخاب کریں اسٹیک لانچ کریں۔ اپنے اکاؤنٹ میں CloudFormation اسٹیک شروع کرنے اور ٹیمپلیٹ کو تعینات کرنے کے لیے:
یہ ٹیمپلیٹ ایک IAM رول، IAM مثال پروفائل، سسٹمز مینیجر پیرامیٹر، اور EMR کلسٹر بناتا ہے۔ کلسٹر شروع ہوتا ہے۔ اسپارک PI تخمینہ کی مثال کی درخواست. اگر آپ اس ٹیمپلیٹ سے اسٹیک بناتے ہیں تو آپ کو استعمال شدہ AWS وسائل کے لیے بل دیا جائے گا۔
CloudFormation وزرڈ آپ سے ان پیرامیٹرز میں ترمیم کرنے یا فراہم کرنے کو کہے گا:
- مثال کی قسم - دی مثال کی قسم تمام مثال کے گروپوں کے لیے۔ ڈیفالٹ m4.xlarge ہے۔
- InstanceCountCore - بنیادی مثال کے گروپ میں مثالوں کی تعداد۔ پہلے سے طے شدہ 2 ہے۔
- EMRReleaseLabel - دی ایمیزون EMR ریلیز لیبل آپ استعمال کرنا چاہتے ہیں۔ ڈیفالٹ emr-6.9.0 ہے۔
- BootstrapScriptPath - آپ کے CloudWatch ایجنٹ انسٹالیشن بوٹسٹریپ اسکرپٹ کا S3 راستہ جسے آپ نے پہلے کاپی کیا تھا۔
- Subnet - EC2 سب نیٹ جہاں کلسٹر شروع ہوتا ہے۔ آپ کو یہ پیرامیٹر فراہم کرنا ہوگا۔
- EC2KeyPairName - سیشن مینیجر کے متبادل کے طور پر کلسٹر نوڈس سے جڑنے کے لیے ایک اختیاری EC2 کی جوڑی۔
لاگ اسٹریمز کی نگرانی کریں۔
CloudFormation اسٹیک کے کامیابی کے ساتھ تعینات ہونے کے بعد، CloudWatch کنسول پر، منتخب کریں۔ لاگ گروپس نیویگیشن پین میں۔ پھر لاگ گروپس کو سابقہ کے ذریعہ فلٹر کریں۔ /aws/emr/master
.
لاگ گروپ میں ID EMR پرائمری نوڈ کے EC2 مثال کے ID سے مساوی ہے۔ اگر آپ کے پاس متعدد EMR کلسٹرز ہیں، تو آپ بنیادی نوڈ ID کی بنیاد پر کسی خاص EMR کلسٹر کی شناخت کے لیے اس ID کا استعمال کر سکتے ہیں۔
لاگ گروپ میں، آپ کو تین مختلف لاگ اسٹریمز ملیں گے۔
لاگ اسٹریمز میں درج ذیل معلومات ہوتی ہیں:
- step-stdout - اسپارک کا معیاری آؤٹ پٹ چینل جب یہ قدم پر کارروائی کرتا ہے۔
- step-stderr - اسپارک کا معیاری ایرر چینل جب یہ قدم پر کارروائی کرتا ہے۔
- قدم کنٹرولر - قدم کی پروسیسنگ کے بارے میں معلومات۔ اگر آپ کا مرحلہ لوڈ کرنے کے دوران ناکام ہوجاتا ہے، تو آپ اس لاگ میں اسٹیک ٹریس تلاش کرسکتے ہیں۔
صاف کرو
اپنے اکاؤنٹ میں مستقبل کے چارجز سے بچنے کے لیے، اس واک تھرو میں اپنے بنائے گئے وسائل کو حذف کریں۔ جب تک کلسٹر فعال ہے EMR کلسٹر چارجز لے گا، لہذا جب آپ کام کر لیں تو اسے روک دیں۔
- CloudFormation کنسول پر، نیویگیشن پین میں، منتخب کریں۔ Stacks.
- آپ نے جو اسٹیک لانچ کیا ہے اسے منتخب کریں (
EMR-CloudWatch-Demo
)، پھر منتخب کریں۔ خارج کر دیں. - S3 بالٹی کو خالی کریں۔ آپ نے بنایا.
- S3 بالٹی کو حذف کریں۔ آپ نے بنایا.
نتیجہ
اب جب کہ آپ نے اس واک تھرو کے مراحل مکمل کر لیے ہیں، آپ کے پاس CloudWatch ایجنٹ آپ کے کلسٹر ہوسٹس پر چل رہا ہے اور EMR قدمی لاگز کو CloudWatch پر دھکیلنے کے لیے ترتیب دیا گیا ہے۔ اس خصوصیت کے ساتھ، آپ Amazon EMR پر چلنے والی اپنی Spark جابز کی صحت اور کارکردگی کی مؤثر طریقے سے نگرانی کر سکتے ہیں، حقیقی وقت میں اہم مسائل کا پتہ لگا سکتے ہیں اور بنیادی وجوہات کی جلد شناخت کر سکتے ہیں۔
آپ اس حل کو CloudFormation ٹیمپلیٹ کے ذریعے پیکیج اور تعینات کر سکتے ہیں جیسے اس مثال کے سانچے، جو IAM مثال کے طور پر پروفائل رول، سسٹمز مینیجر پیرامیٹر، اور EMR کلسٹر بناتا ہے۔
اس کو مزید لے جانے کے لیے، ان لاگز کو CloudWatch الارم میں استعمال کرنے پر غور کریں۔ لاگ گروپ میٹرک فلٹر. آپ انہیں دوسرے الارم کے ساتھ ایک میں جمع کر سکتے ہیں۔ جامع الارم یا الارم کی کارروائیوں کو ترتیب دیں جیسے بھیجنا ایمیزون سادہ نوٹیفکیشن سروس (ایمیزون ایس این ایس) واقعات سے چلنے والے عمل کو متحرک کرنے کے لیے اطلاعات جیسے او ڈبلیو ایس لامبڈا۔ کام کرتا ہے.
مصنف کے بارے میں
اینیو پاستور AWS ڈیٹا لیب ٹیم میں ایک سینئر ڈیٹا آرکیٹیکٹ ہے۔ وہ نئی ٹیکنالوجیز سے متعلق ہر چیز کا پرجوش ہے جس کا کاروبار اور عام معاش پر مثبت اثر پڑتا ہے۔ Ennio کو ڈیٹا اینالیٹکس میں 10 سال سے زیادہ کا تجربہ ہے۔ وہ کمپنیوں کو تمام صنعتوں جیسے ٹیلی کمیونیکیشن، بینکنگ، گیمنگ، ریٹیل اور انشورنس میں ڈیٹا پلیٹ فارم کی وضاحت اور ان پر عمل درآمد کرنے میں مدد کرتا ہے۔
- SEO سے چلنے والا مواد اور PR کی تقسیم۔ آج ہی بڑھا دیں۔
- پلیٹو بلاک چین۔ Web3 Metaverse Intelligence. علم میں اضافہ۔ یہاں تک رسائی حاصل کریں۔
- ماخذ: https://aws.amazon.com/blogs/big-data/push-amazon-emr-step-logs-from-amazon-ec2-instances-to-amazon-cloudwatch-logs/
- : ہے
- 1
- 10
- 100
- 9
- a
- ہمارے بارے میں
- تک رسائی حاصل
- اکاؤنٹ
- کے پار
- اعمال
- فعال
- اس کے علاوہ
- پتہ
- ایجنٹ
- الارم
- تنبیہات سب
- تمام
- متبادل
- ایمیزون
- ایمیزون EC2
- ایمیزون ای ایم آر
- تجزیاتی
- اور
- اپاچی
- اپاچی چمک
- درخواست
- ایپلی کیشنز
- فن تعمیر
- کیا
- AS
- At
- خود مختاری سے
- AWS
- بینکنگ
- کی بنیاد پر
- BE
- اس سے پہلے
- شروع کریں
- BEST
- بگ
- بگ ڈیٹا
- بوٹسٹریپ
- تعمیر
- کاروبار
- by
- کر سکتے ہیں
- گرفتاری
- وجوہات
- چینل
- بوجھ
- میں سے انتخاب کریں
- کلسٹر
- جمع
- کمپنیاں
- مکمل
- مکمل
- کمپیوٹنگ
- ترتیب
- مربوط
- غور کریں
- کنسول
- مواد
- مسلسل
- کور
- مساوی ہے
- سرمایہ کاری مؤثر
- اخراجات
- سکتا ہے
- تخلیق
- بنائی
- پیدا
- تخلیق
- اہم
- اپنی مرضی کے مطابق
- اعداد و شمار
- ڈیٹا تجزیات
- پہلے سے طے شدہ
- ثبوت
- تعیناتی
- تعینات
- تعینات کرتا ہے
- مختلف
- ڈائریکٹریز
- تقسیم کئے
- نیچے
- ڈرائیو
- ہر ایک
- اس سے قبل
- آسان
- یاد آتی ہے
- مؤثر طریقے
- کے قابل بناتا ہے
- حوصلہ افزائی
- خرابی
- ضروری
- Ether (ETH)
- واقعہ
- واقعات
- سب کچھ
- مثال کے طور پر
- توقع
- تجربہ
- برآمد
- اظہار
- ناکام رہتا ہے
- نمایاں کریں
- فائل
- فائلوں
- فلٹر
- فلٹر
- مل
- کے بعد
- مندرجہ ذیل ہے
- کے لئے
- سے
- افعال
- مزید
- مستقبل
- گیمنگ
- جنرل
- پیدا
- Go
- زیادہ سے زیادہ
- گروپ
- گروپ کا
- رہنمائی
- ہے
- صحت
- مدد
- مدد گار
- مدد کرتا ہے
- انتہائی
- میزبان
- کس طرح
- کیسے
- HTML
- HTTP
- HTTPS
- IAM
- ID
- شناخت
- کی نشاندہی
- اثر
- پر عملدرآمد
- پر عمل درآمد
- اہم
- in
- شامل
- شامل ہیں
- سمیت
- انفرادی
- صنعتوں
- معلومات
- انفراسٹرکچر
- انسٹال
- انسٹال کرنا
- مثال کے طور پر
- انشورنس
- انٹیلی جنس
- مسائل
- IT
- ایوب
- نوکریاں
- فوٹو
- JSON
- لیب
- شروع
- شروع
- آغاز
- سطح
- کی طرح
- لوڈ کر رہا ہے
- مقامی
- لانگ
- دیکھ بھال
- بنا
- انتظام
- مینیجر
- انداز
- کا مطلب ہے کہ
- پیمائش کا معیار
- نظر ثانی کرنے
- کی نگرانی
- نگرانی
- زیادہ
- ایک سے زیادہ
- نام
- نامزد
- سمت شناسی
- ضرورت
- ضرورت ہے
- نئی
- نئی ٹیکنالوجی
- اگلے
- نوڈ
- نوڈس
- نوٹیفیکیشن
- اطلاعات
- تعداد
- of
- کی پیشکش کی
- on
- ایک
- اوپن سورس
- آپریشنل
- دیگر
- پیداوار
- پیکج
- پین
- پیرامیٹر
- پیرامیٹرز
- خاص طور پر
- خاص طور پر
- راستہ
- کارکردگی
- پلیٹ فارم
- پلاٹا
- افلاطون ڈیٹا انٹیلی جنس
- پلیٹو ڈیٹا
- مثبت
- پوسٹ
- پریکٹس
- پیش
- پرائمری
- عمل
- پروسیسنگ
- پروفائل
- فراہم
- فراہم کرتا ہے
- پراجیکٹ
- پش
- دھکیلنا
- جلدی سے
- اصلی
- اصل وقت
- سفارش
- باقاعدہ
- متعلقہ
- جاری
- رہے
- وسائل
- نتائج کی نمائش
- خوردہ
- کا جائزہ لینے کے
- کردار
- جڑ
- رن
- چل رہا ہے
- توسیع پذیر
- سیکشنز
- سیکورٹی
- بھیجنا
- سینئر
- سیریز
- سروس
- اجلاس
- مقرر
- ہونا چاہئے
- سادہ
- So
- سافٹ ویئر کی
- حل
- کچھ
- چنگاری
- مخصوص
- ڈھیر لگانا
- معیار
- شروع کریں
- شروع
- شروع ہوتا ہے
- مرحلہ
- مراحل
- بند کرو
- ذخیرہ
- پردہ
- منظم
- اسٹریمز
- سب نیٹ
- کامیابی کے ساتھ
- اس طرح
- سڈو
- کے نظام
- سسٹمز
- لے لو
- ٹیم
- ٹیکنالوجی
- ٹیلی کمیونیکیشن کی
- سانچے
- کہ
- ۔
- ان
- یہ
- تین
- کے ذریعے
- وقت
- وقت کا سلسلہ
- کرنے کے لئے
- ٹریس
- ٹرگر
- استعمال کی شرائط
- قیمت
- تصدیق کرنا
- لنک
- واک تھرو
- گھڑیاں
- راستہ..
- جس
- جبکہ
- گے
- ساتھ
- بغیر
- کام
- کام کا بہاؤ
- تحریری طور پر
- لکھا
- یامل
- سال
- اور
- زیفیرنیٹ