ایمیزون EMR سرور لیس لاگت کا تخمینہ لگانے والا

ایمیزون EMR سرور لیس میں ایک سرور لیس آپشن ہے۔ ایمیزون ای ایم آر جو کہ ڈیٹا تجزیہ کاروں اور انجینئرز کے لیے اوپن سورس بگ ڈیٹا اینالیٹکس فریم ورک جیسے اپاچی اسپارک اور Hive کا استعمال کرتے ہوئے ایپلیکیشنز کو چلانا آسان بناتا ہے، بغیر کلسٹرز یا سرورز کو کنفیگر کیے، ان کا نظم و نسق اور اسکیلنگ۔ آپ کو تازہ ترین اوپن سورس فریم ورک کی تمام خصوصیات Amazon EMR کی کارکردگی کے لیے موزوں رن ٹائم کے ساتھ ملتی ہیں، اور مثالوں اور کلسٹرز کی منصوبہ بندی اور کام کیے بغیر۔

ایمیزون EMR کے ساتھ، آپ اپنی تجزیاتی ایپلیکیشنز کو وقف شدہ EMR کلسٹرز پر چلا سکتے ہیں، موجودہ پر ایمیزون لچکدار کبیرنیٹس سروس (ایمیزون ای کے ایس) کلسٹرز، یا نئے EMR سرور لیس تعیناتی اختیار کا استعمال کرتے ہوئے جہاں آپ کو کلسٹرز یا مثالوں کا انتظام کرنے کی ضرورت نہیں ہے۔ جب آپ Amazon EMR ریلیز کا استعمال کرتے ہوئے Spark یا Hive ایپلی کیشن بناتے ہیں، تو Amazon EMR 6.8 کا کہنا ہے کہ، آپ ایپلیکیشن کو EMR کلسٹرز پر، EKS کلسٹرز پر چلا سکتے ہیں۔ EKS پر ایمیزون EMR، یا ایپلیکیشن کو تبدیل کیے بغیر EMR سرور لیس استعمال کرنا۔

میں ہر تعیناتی اختیار کے فوائد کے بارے میں جاننے کے لیے EMR سرور لیس، کا حوالہ دیتے ہیں EC2 پر EMR Serverless اور Amazon EMR کے درمیان خصوصیت کے کچھ فرق کیا ہیں؟ Amazon EMR FAQ میں۔ آپ ان اختیارات کی قیمتوں کے بارے میں بھی جان سکتے ہیں۔ ایمیزون EMR قیمتوں کا صفحہ. بہت سے صارفین پہلے سے ہی EMR کلسٹرز پر ڈیٹا اینالیٹکس ایپلی کیشنز چلاتے ہیں، اور انہیں معلوم ہوتا ہے کہ نیا سرور لیس آپشن آسان اور کم مہنگا ہے۔

اس پوسٹ میں، ہم اس بات پر تبادلہ خیال کرتے ہیں کہ آپ کس طرح اندازہ لگا سکتے ہیں کہ کسی ایسی ایپلیکیشن کو چلانے میں کیا لاگت آسکتی ہے جو فی الحال نئے سرور لیس آپشن کا استعمال کرتے ہوئے EMR کلسٹرز پر چلتی ہے، اور یہ تجزیہ صرف اپنے موجودہ ایپلیکیشن میٹرکس کو استعمال کرکے انجام دیں۔ یہ نقطہ نظر آپ کو تعیناتی کے آپشن کا جائزہ لینے اور اسے اپنانے میں مدد کرتا ہے جو درخواست کے لیے سب سے زیادہ مؤثر ہے۔ تاہم، Amazon EMR قیمتوں کا صفحہ آپ کو یہ نہیں بتاتا کہ آپ EMR سرور لیس پر اپنی موجودہ EMR کلسٹر ایپلیکیشنز کو چلانے کی لاگت کا آسانی سے اندازہ کیسے لگا سکتے ہیں۔ مندرجہ ذیل حصوں میں، ہم ایک ایسا طریقہ بیان کرتے ہیں جو آپ کو ایسا کرنے کے قابل بناتا ہے۔

اگرچہ اس پوسٹ میں مثال اس بات پر بحث کرتی ہے کہ آپ EMR کلسٹرز پر چلنے والی ایپلیکیشنز کے لیے لاگت کا تخمینہ کیسے حاصل کر سکتے ہیں، آپ اس نقطہ نظر کو بھی استعمال کر سکتے ہیں اگر آپ Spark یا Hive ایپلیکیشن کہیں اور چلا رہے ہیں، اور EMR پر اسے چلانے کی لاگت کا اندازہ لگانا چاہتے ہیں۔ بے سرور۔ مثال کے طور پر، اگر آپ خود نظم شدہ Spark یا Hive ایپلی کیشنز کو آن چلاتے ہیں۔ ایمیزون لچکدار کمپیوٹ کلاؤڈ (ایمیزون EC2) کلسٹرز، یا اگر آپ اسپارک جابز کو آن چلاتے ہیں۔ AWS گلو، ہم آپ کو دکھاتے ہیں کہ آپ EMR سرور لیس پر ایپلیکیشن چلانے کی لاگت کا اندازہ لگانے کے لیے اس طریقہ کار کو کس طرح استعمال کر سکتے ہیں۔

آپ کے EMR کلسٹر پر ایپلیکیشن چلانے کی لاگت کا تخمینہ لگانا

جب آپ Amazon EMR کلسٹرز پر ایپلیکیشنز چلاتے ہیں، تو آپ سے درج ذیل کے لیے الگ سے چارج کیا جاتا ہے:

1. ایمیزون EC2 کی قیمت کلسٹر انسٹینس کو چلانے کی (اندرونی سرورز کی قیمت)
2. کے لئے قیمت ایمیزون لچکدار بلاک اسٹور (ایمیزون ای بی ایس) والیوم، اگر آپ ای بی ایس والیوم منسلک کرنے کا انتخاب کرتے ہیں۔
3. کلسٹر مثالوں کے لیے Amazon EMR قیمت

کلسٹر کو چلانے کی کل لاگت میں تینوں شامل ہیں۔ Amazon EC2 کی قیمتوں کے متعدد اختیارات ہیں جن میں سے آپ انتخاب کر سکتے ہیں، بشمول آن ڈیمانڈ، 1-سال اور 3-سال کے ریزروڈ انسٹینسز، کیپیسٹی سیونگ پلانز، اور اسپاٹ انسٹینسز۔ Amazon EC2 قیمت کا آپشن جسے آپ منتخب کرتے ہیں (a)، Amazon EC2 قیمت کا تعین کرتا ہے۔ EMR کلسٹرز پر ایپلیکیشن چلانے کی لاگت (a)، (b) اور (c) کا مجموعہ ہے۔ آپ اس لاگت کو کلسٹر چلانے کی زندگی بھر (کلسٹر شروع ہونے سے لے کر کلسٹر کے ختم ہونے تک) یا کلسٹر کے چلنے کے وقت کی ایک مخصوص مدت کے لیے شمار کر سکتے ہیں۔ ہم سابقہ ​​کو چلانے کی تجویز کرتے ہیں، یعنی (a)، (b) اور (c) کو کلسٹر کے شروع ہونے سے لے کر کلسٹر کے ختم ہونے تک حساب کرنا۔ اگر آپ نے اپنے Amazon EMR کلسٹر کے لیے ٹیگز ترتیب دیے ہیں، تو آپ آسانی سے حاصل کر سکتے ہیں۔ AWS Cost Explorer کا استعمال کرتے ہوئے آپ کے EMR کلسٹر کے لیے تفصیلی لاگت کی رپورٹ.

EMR سرور لیس کا استعمال کرتے ہوئے ایک ہی ایپلی کیشنز کو چلانے کی لاگت کا تخمینہ لگانا

جب آپ وہی ایپلیکیشنز EMR Serverless استعمال کرتے ہوئے چلاتے ہیں، تو آپ vCPU، میموری، اور سٹوریج کے وسائل کی رقم کے لیے ادائیگی کرتے ہیں جو آپ کی ایپلی کیشنز استعمال کرتے ہیں۔ EC2 مثالوں یا EBS والیوم کے لیے کوئی الگ چارج نہیں ہے۔ اور، آپ صرف ان وسائل کے لیے ادائیگی کرتے ہیں جو درحقیقت ایپلیکیشن کے ذریعے استعمال ہوتے ہیں نہ کہ فراہم کردہ EC2 مثالوں کے لیے۔ مثال کے طور پر، EMR کلسٹرز پر ایپلیکیشنز چلاتے وقت، جب کلسٹر میں EC2 مثال جزوی طور پر استعمال کی جاتی ہے (کہیں، مثال کے طور پر دستیاب 16 GB میں سے 64 GB میموری استعمال کی جاتی ہے، یا مثال کے طور پر دستیاب 4 VCPUs میں سے 16 VCPUs کا استعمال کیا جاتا ہے۔ )، یا جب EC2 مثال بیکار ہو (مثال کے طور پر، جب مثال شروع ہو رہی ہو یا کسی درخواست کے شروع ہونے کا انتظار کر رہی ہو)، آپ کو ابھی بھی Amazon EC2، Amazon EMR، اور Amazon EBS چارجز پورے EC2 مثال کے لیے اور اس مدت کے لیے ادا کرنا ہوں گے۔ مثال EMR کلسٹر میں فعال ہے۔ EMR Serverless کے ساتھ، آپ صرف vCPU، میموری، اور سٹوریج کے وسائل کے لیے ادائیگی کرتے ہیں جب سے کارکنان آپ کی Spark یا Hive جاب کو چلانا شروع کر دیتے ہیں جب تک کہ وہ رک جائیں۔

EMR Spark یا Hive ایپلیکیشن کو EMR Serverless پر چلانے کی لاگت کا اندازہ لگانے کے لیے، آپ کو پہلے کل کمپیوٹ vCore-سیکنڈز، میموری MB-سیکنڈز، اور سٹوریج GB-سیکنڈز کو جمع کرنے کی ضرورت ہے جو آپ کے EMR کلسٹر پر چلنے والی ہر YARN ایپلیکیشن کے ذریعے استعمال کی گئی ہے، یارن کنٹینر شروع ہونے سے لے کر یارن کنٹینر کے ختم ہونے تک۔ آپ یہ میٹرکس YARN ریسورس مینیجر لاگز سے حاصل کر سکتے ہیں جو YARN ٹائم لائن سرور یا YARN CLI ٹولز سے قابل رسائی ہے۔ آپ رننگ ٹائم، vCore-سیکنڈز، اور میموری MB-سیکنڈز کو بازیافت کرسکتے ہیں جو YARN ایپلی کیشنز میں سے ہر ایک کے ذریعہ استعمال ہوتا ہے۔

اگر آپ کا کلسٹر صرف اسپارک ایپلی کیشنز چلاتا ہے، تو اندازہ لگانے کے لیے ایک آسان طریقہ ہے۔ YARN ریسورس مینیجر لاگز سے vCore-سیکنڈز، میموری MB-سیکنڈز، اور سٹوریج GB-سیکنڈز حاصل کرنے کے بجائے، آپ یہ میٹرکس اسپارک ایونٹ لاگز سے حاصل کر سکتے ہیں۔ ہم نے آلہ فراہم کیا ہے۔ EMR سرو لیس تخمینہ لگانے والا، جو آپ کی ایپلی کیشنز کے لیے Spark ایونٹ لاگز کو پارس کر سکتا ہے اور آپ کی لاگت کے تخمینہ کے لیے مجموعی میٹرکس فراہم کر سکتا ہے۔

اپنی درخواست کے استعمال کے میٹرکس حاصل کرنے کے بعد، آپ تخمینہ شدہ EMR سرور لیس لاگت کا استعمال کر سکتے ہیں۔ EMR سرور لیس قیمتوں کا تعین. EMR Serverless vCPU قیمتوں کے ساتھ اپنے مجموعی vCore-سیکنڈز کو فی سیکنڈ، EMR Serverless میموری قیمتوں کے ساتھ فی سیکنڈ کے ساتھ مجموعی میموری MB-سیکنڈ کو ضرب دیں، اور سٹوریج GB-سیکنڈ کو EMR سرور لیس سٹوریج کی قیمت فی سیکنڈ کے ساتھ ضرب دیں (صرف اس صورت میں جب سٹوریج کی ضرورت ہو۔ فی کارکن 20 جی بی سے زیادہ)۔ وی سی پی یو، میموری، اور اسٹوریج کے لیے ان اخراجات کو شامل کرکے، آپ EMR سرور لیس پر انہی ایپلیکیشنز کو چلانے کی لاگت کا موازنہ کر سکتے ہیں۔

اس نقطہ نظر میں، ہم فرض کرتے ہیں کہ درخواست کی کارکردگی مساوی ہے۔ دوسرے الفاظ میں، EMR کلسٹر پر ہر YARN کنٹینر کے لیے سائز (vCPU، میموری) اور رن ٹائم کا دورانیہ EMR سرور لیس پر ایپلیکیشن چلانے کے لیے درکار کارکنوں کی تعداد، سائز اور رن ٹائم کی مدت کے برابر ہے۔ ہم یہ مفروضہ اس لیے کرتے ہیں کیونکہ EMR ریلیز کے لیے EMR رن ٹائم ایک جیسا ہوتا ہے اس سے قطع نظر کہ ایپلیکیشن EMR کلسٹر پر چلائی گئی ہے یا EMR سرور لیس پر۔

مثال کے طور پر

آئیے ایک کلسٹر کا استعمال کرتے ہوئے EC2 اور EMR سرور لیس پر Amazon EMR کا نمونہ لاگت کا موازنہ کرتے ہیں۔

ہم نے پانچ نوڈس (ایک پرائمری، دو کور، اور دو ٹاسک) کے ساتھ EMR کلسٹر پر ایک Spark ایپلی کیشن چلائی اور YARN CLI کا استعمال کرتے ہوئے یارن میٹرکس کو جمع کیا۔ درج ذیل کوڈ ہمارے مجموعی وسائل کی تقسیم کو ظاہر کرتا ہے۔

ہم نے ایمیزون EMR کی EC2 لاگت پر اس طرح گنتی کی:

• کلسٹر کی مثالیں۔
  • بنیادی: m5.2xlarge:1
  • کور: r5.2xlarge:2
  • ٹاسک: r5.2xlarge:2
• کلسٹر رن ٹائم = 18 منٹ
• مثال کے طور پر ڈیمانڈ لاگت
  • m5.2xlarge (8 vCPU، 32 GiB میموری)
    • Amazon EC2: $0.384/hr
    • Amazon EMR اضافہ: $0.096/hr
  • r5.2xlarge (8 vCPU، 64 GiB میموری)
    • Amazon EC2: $0.504/hr
    • Amazon EMR اضافہ: $0.126/hr

EC2 لاگت کے حساب کتاب پر EMR درج ذیل ہے:

• Amazon EMR لاگت = ((1 بنیادی نوڈ x $0.096/hr) + (2 کور نوڈ x $0.126/hr) + (2 ٹاسک نوڈس x $0.126/hr)) = $0.60
• Amazon EC2 لاگت = ((1 بنیادی x $0.384/hr) + (2 بنیادی نوڈس x $0.504/hr) + (2 ٹاسک نوڈس x $0.504/hr)) = $2.40
• EC2 کلسٹر لاگت/hr = $0.6 + $2.40 = $3/hr * 8/60 hr (گھنٹوں میں رن ٹائم) پر Amazon EMR

Amazon EC2 پر کل Amazon EMR لاگت $0.40/hr ہے۔

EMR سرور لیس لاگت کا حساب لگانے کے لیے، اسی ایپلیکیشن کے لیے vCore-سیکنڈز اور میموری MB-سیکنڈز کو جمع کریں جسے آپ پہلے EMR کلسٹر پر چلاتے تھے۔ پھر ان نمبروں کو EMR Serverless vCPU اور میموری کی قیمت سے ضرب دیں۔ ہمارے حساب کتاب کے نتائج درج ذیل ہیں:

• کل_vcore_سیکنڈز = 5737
• کل_میموری_ایم بی_سیکنڈز = 120156631
• vCPU/hr اور میموری-GB/hr میں تبدیل کریں:
  • مجموعی vCPU/hr: 5737/(60*60)=1.59
  • Aggregated memory/hr: 120156631/(60*60*1024)=32.5
• کل vCPU-گھنٹے لاگت = 33 vCPU * 0.052624 VCPU/hr * 8/60 = $0.23
• کل میموری جی بی لاگت = 1.59 MB * 0.0057785 میموری/گھنٹہ * 8/60 = $0.00122

اس مثال میں، کل EMR سرور لیس لاگت $0.231 ہے، جو کہ 42% کمی ہے۔

نتیجہ

Amazon EMR Serverless Amazon EMR میں حال ہی میں لانچ کیا گیا ایک سرور لیس آپشن ہے جو اسپارک اور Hive جیسے اوپن سورس فریم ورک کو بغیر ترتیب، انتظام اور اسکیلنگ کلسٹرز کو چلانا آسان بناتا ہے۔ وہ صارفین جو پہلے سے ہی EMR کلسٹرز استعمال کر رہے ہیں یہ سمجھنا چاہتے ہیں کہ وہ EMR سرور لیس کا استعمال کرتے ہوئے اپنی EMR ایپلیکیشنز کو چلانے کی لاگت کا اندازہ کیسے لگا سکتے ہیں۔ ہم نے ایک نقطہ نظر پیش کیا ہے جسے آپ اپنے EMR کلسٹرز سے ایپلیکیشن میٹرکس کے تجزیہ کی بنیاد پر لاگت کا تجزیہ کرنے کے لیے استعمال کر سکتے ہیں۔

ہم امید کرتے ہیں کہ آپ اسے آزمائیں گے، اور اپنے تاثرات ہمارے ساتھ شیئر کریں گے!

---

مصنفین کے بارے میں

رادھیکا رویرالا AWS میں پرنسپل پروڈکٹ مینیجر ہے۔

میتھیو لائم AWS میں سینئر حل آرکیٹیکچر مینیجر ہے۔

• SEO سے چلنے والا مواد اور PR کی تقسیم۔ آج ہی بڑھا دیں۔
• پلیٹو بلاک چین۔ Web3 Metaverse Intelligence. علم میں اضافہ۔ یہاں تک رسائی حاصل کریں۔
• ماخذ: https://aws.amazon.com/blogs/big-data/amazon-emr-serverless-cost-estimator/