Amazon EMR ম্যানেজড স্কেলিং-এ নতুন বর্ধনের সাথে Amazon EMR ক্লাস্টার খরচ 19% পর্যন্ত হ্রাস করুন

জুন 2020 এ, AWS এর সাধারণ প্রাপ্যতা ঘোষণা করেছে আমাজন ইএমআর পরিচালিত স্কেলিং. EMR পরিচালিত স্কেলিং এর সাথে, আপনি আপনার ক্লাস্টারগুলির জন্য সর্বনিম্ন এবং সর্বাধিক গণনার সীমা নির্দিষ্ট করেন এবং সর্বোত্তম কর্মক্ষমতা এবং সম্পদ ব্যবহারের জন্য Amazon EMR স্বয়ংক্রিয়ভাবে আপনার ক্লাস্টারের আকার পরিবর্তন করে। EMR পরিচালিত স্কেলিং ক্রমাগত মূল কাজের চাপ-সম্পর্কিত মেট্রিকগুলি নিরীক্ষণ করে এবং একটি অ্যালগরিদম ব্যবহার করে যা সর্বোত্তম সম্পদ ব্যবহারের জন্য ক্লাস্টারের আকারকে অপ্টিমাইজ করে। প্রদত্ত যে বৈশিষ্ট্যটি সম্পূর্ণরূপে পরিচালিত হয়, অ্যালগরিদমের উন্নতিগুলি সংস্করণ আপগ্রেডের প্রয়োজন ছাড়াই অবিলম্বে উপলব্ধি করা হয়৷ Amazon EMR চূড়ার সময় ক্লাস্টারকে স্কেল করতে পারে এবং নিষ্ক্রিয় সময়কালে এটিকে সুন্দরভাবে স্কেল করতে পারে, আপনার খরচ কমাতে পারে এবং সেরা পারফরম্যান্সের জন্য ক্লাস্টারের ক্ষমতা অপ্টিমাইজ করতে পারে।

2022 জুড়ে, আমরা EMR পরিচালিত স্কেলিং অ্যালগরিদমে একাধিক উন্নতি করেছি। এই উন্নতিগুলির সাথে, আমরা লক্ষ্য করেছি যে ইএমআর ম্যানেজড স্কেলিং এর সাথে সক্ষম ক্লাস্টারগুলির জন্য, ব্যবহার 15 শতাংশ পর্যন্ত উন্নত হয়েছে এবং মোট খরচ আরও 19 শতাংশ পর্যন্ত হ্রাস পেয়েছে। 2022 সালের ডিসেম্বরের মাঝামাঝি থেকে, নতুন এবং বিদ্যমান উভয় ক্লাস্টারের জন্য Amazon EMR সংস্করণ 5.34.0 এবং পরবর্তী এবং Amazon EMR সংস্করণ 6.4.0 এবং পরবর্তীতে ব্যবহার করে ক্লাস্টারগুলির জন্য EMR পরিচালিত স্কেলিং বর্ধনগুলি ডিফল্টরূপে সক্ষম করা হয়েছিল৷ আরও, বৈশিষ্ট্যটি সম্পূর্ণরূপে পরিচালিত হওয়ার কারণে, আপনি ডিফল্টরূপে নতুন অপ্টিমাইজড ম্যানেজড স্কেলিং অ্যালগরিদম পাবেন এবং আপনার পক্ষ থেকে কোনও পদক্ষেপের প্রয়োজন নেই।

আমরা EMR পরিচালিত স্কেলিং এর জন্য সক্ষম করেছি এমন কিছু মূল বর্ধনের তালিকা নীচে দেওয়া হল:

• আপনার ইএমআর ক্লাস্টারের লক্ষ্যযুক্ত স্কেল-ডাউন সহ ক্লাস্টার ব্যবহার উন্নত করা হয়েছে
• ব্যবহার করে মধ্যবর্তী শাফেল ডেটা সঞ্চয় করে এমন দৃষ্টান্তগুলির স্কেল-ডাউন প্রতিরোধ করে খরচ কমানো হয়েছে স্পার্ক শাফেল ডেটা সচেতনতা
• উন্নত ক্লাস্টার ব্যবহার এবং আপনার EMR ক্লাস্টারের ক্রমান্বয়ে স্কেল-আপের সাথে খরচ কমানো

গ্রাহকদের সাফল্যের গল্প

কীভাবে উন্নত EMR পরিচালিত স্কেলিং অ্যালগরিদম একটি প্রযুক্তি উদ্যোগকে খরচ কমাতে সাহায্য করেছে:

উদাহরণের মাধ্যমে খরচ সাশ্রয়কে বোঝাতে, আমরা একটি প্রযুক্তি এন্টারপ্রাইজের জন্য একটি EMR ক্লাস্টার দেখেছি, যেটি স্পার্ক ব্যবহার করে কাফকা এবং S3-এর মধ্যে রিয়েল টাইম বিলিং ডেটা প্রক্রিয়া করতে Amazon EMR কে ব্যাপকভাবে ব্যবহার করে। তারা EMR সংস্করণ 5.35 সহ একটি স্থায়ী EMR ক্লাস্টার চালায় এবং EMR পরিচালিত স্কেলিং চালু আছে। নিম্নলিখিত অ্যামাজন ক্লাউডওয়াচ ড্যাশবোর্ড দেখায় কিভাবে 21 ডিসেম্বর থেকে শুরু হয়, উন্নত পরিচালিত স্কেলিং অ্যালগরিদম বিধান করা হয়েছে (মোট নোড অনুরোধ করা হয়েছে) শুধুমাত্র 70টি নোড বনাম পূর্ববর্তী পরিচালিত স্কেলিং অ্যালগরিদম যা একটি অনুরূপ কাজের প্রোফাইলের জন্য 179টি নোডের ব্যবস্থা করেছে৷ আপনার কাজ চালানোর জন্য সংস্থানগুলির সংখ্যা যত কম হবে, আপনার EMR ক্লাস্টারের মোট খরচ তত কম হবে।

কীভাবে উন্নত EMR পরিচালিত স্কেলিং অ্যালগরিদম একটি বিজ্ঞাপনী উদ্যোগকে খরচ কমাতে সাহায্য করেছে:

আমরা একটি বিজ্ঞাপনী এন্টারপ্রাইজের জন্য একটি EMR ক্লাস্টারের দিকেও নজর দিয়েছি, যা তাদের ডেটা বিশ্লেষণ কৌশলের জন্য Amazon EMR-কে সুবিধা দেয় এবং স্পার্ক ব্যবহার করে তাদের ব্যাচের ETL কাজগুলি সম্পাদন করে। তারা তাদের ক্লাস্টারগুলি EMR সংস্করণ 6.5 এ চালায় এবং EMR ম্যানেজড স্কেলিং চালু আছে। নিম্নলিখিত অ্যামাজন ক্লাউডওয়াচ ড্যাশবোর্ডটি দেখায় কিভাবে 15 ডিসেম্বর থেকে, উন্নত পরিচালিত ম্যানেজড স্কেলিং অ্যালগরিদম বিধান করা হয়েছে (মোট ইউনিট অনুরোধ করা হয়েছে) শুধুমাত্র 41টি নোড বনাম পূর্ববর্তী পরিচালিত স্কেলিং অ্যালগরিদম যা একটি অনুরূপ কাজের প্রোফাইলের জন্য 86টি নোডের ব্যবস্থা করেছে৷

আপনার EMR ক্লাস্টারগুলির জন্য খরচ সঞ্চয় এবং ব্যবহারের উন্নতি অনুমান করা:

ক্লাস্টার খরচ সঞ্চয়:

EMR ম্যানেজড স্কেলিং বর্ধিতকরণের সাথে আপনার EMR ক্লাস্টারের জন্য আনুমানিক খরচ সঞ্চয় দেখতে, অনুগ্রহ করে নীচের পদক্ষেপগুলি অনুসরণ করুন:

• খোলা ক্লাউডওয়াচ মেট্রিক্স কনসোল এবং, অধীনে EMR, আপনার দ্বারা অনুসন্ধান ClusterId.
• EMR-এর জন্য উপলব্ধ মেট্রিকগুলির তালিকা থেকে, নিম্নলিখিত দুটি মেট্রিক্স নির্বাচন করুন:
  • চলমান ক্ষমতা - আপনার পরিচালিত স্কেলিং নীতিতে আপনি যে ইউনিটের ধরন উল্লেখ করেছেন তার উপর ভিত্তি করে, এটি যেকোন একটি হিসাবে উপলব্ধ হবে "মোট ইউনিট চলমান"বা"টোটাল নোডস চলছে"বা"টোটালভিসিপিইউরিং". 
  • ম্যানেজড স্কেলিং দ্বারা অনুরোধ করা ক্ষমতা - আপনার পরিচালিত স্কেলিং নীতিতে আপনি যে ইউনিটের ধরন উল্লেখ করেছেন তার উপর ভিত্তি করে, এটি যেকোন একটি হিসাবে উপলব্ধ হবে "মোট ইউনিট অনুরোধ করা হয়েছে"বা"মোট নোডস অনুরোধ করা হয়েছে"বা"TotalVCPU অনুরোধ করা হয়েছে৷". 
•  আপনার CloudWatch ড্যাশবোর্ডে উভয় মেট্রিক প্লট করুন।
• আগের ম্যানেজড স্কেলিং অ্যালগরিদমের তুলনায় বর্ধিত ম্যানেজড স্কেলিং অ্যালগরিদমের উন্নতিগুলি দেখতে নভেম্বর 3 এবং জানুয়ারি 2022-এর মধ্যে 2023 মাস হিসাবে সময়সীমা বেছে নিন।

ক্লাস্টার ব্যবহারের উন্নতি:

EMR পরিচালিত স্কেলিং বর্ধনের সাথে আপনার EMR ক্লাস্টার ব্যবহারের উন্নতি অনুমান করতে, অনুগ্রহ করে নীচের পদক্ষেপগুলি অনুসরণ করুন:

• ক্লাউডওয়াচ মেট্রিক্স কনসোল খুলুন এবং, নীচে EMR, আপনার দ্বারা অনুসন্ধান ClusterId.
• EMR-এর জন্য উপলব্ধ মেট্রিক্সের তালিকা থেকে, " নির্বাচন করুনYARNMemory উপলভ্য শতাংশ" মেট্রিক
• YARN দ্বারা ব্যবহৃত মেমরি প্রাপ্ত করতে, একটি গণিতের অভিব্যক্তি যোগ করুন যেমন "গণিত যোগ করুন → খালি অভিব্যক্তি দিয়ে শুরু করুন"
  • নতুন গণিত এক্সপ্রেশনের জন্য, সেট করুন লেবেল=সুতা ব্যবহার এবং সেট করুন বিবরণ=100-YARNMemory উপলভ্য শতাংশ.
• আপনার CloudWatch ড্যাশবোর্ডে ক্লাস্টার ইউটিলাইজেশন মেট্রিক প্লট করুন।
• আগের ম্যানেজড স্কেলিং অ্যালগরিদমের তুলনায় বর্ধিত ম্যানেজড স্কেলিং অ্যালগরিদমের উন্নতিগুলি দেখতে নভেম্বর 3 এবং জানুয়ারি 2022-এর মধ্যে 2023 মাস হিসাবে সময়সীমা বেছে নিন।

এরপর কি

আমরা প্রতিটি নতুন EMR রিলিজের সাথে ম্যানেজড স্কেলিং অ্যালগরিদম টিউন করা চালিয়ে যাব এবং এর ফলে EMR পরিচালিত স্কেলিং এর সাথে ক্লাস্টার স্কেল করার সময় গ্রাহকের অভিজ্ঞতা উন্নত করব।

উপসংহার

এই পোস্টে, আমরা EMR ম্যানেজড স্কেলিং-এ চালু করা মূল বর্ধনের একটি ওভারভিউ প্রদান করেছি। এই উন্নতিগুলির সাথে, আমরা লক্ষ্য করেছি যে ক্লাস্টারের ব্যবহার 15 শতাংশ পর্যন্ত উন্নত হয়েছে এবং ক্লাস্টার খরচ 19 শতাংশ পর্যন্ত হ্রাস পেয়েছে। 2022 সালের ডিসেম্বরের মাঝামাঝি থেকে, অ্যামাজন EMR সংস্করণ 5.34.0 এবং তার পরবর্তী সংস্করণ এবং অ্যামাজন EMR সংস্করণ 6.4.0 এবং পরবর্তী ব্যবহার করে EMR ক্লাস্টারগুলির জন্য এই বর্ধনগুলি ডিফল্টরূপে সক্ষম করা হয়েছিল। প্রদত্ত যে EMR পরিচালিত স্কেলিং একটি সম্পূর্ণরূপে পরিচালিত বৈশিষ্ট্য, আপনি ডিফল্টরূপে নতুন, অপ্টিমাইজ করা EMR পরিচালিত স্কেলিং অ্যালগরিদম পাবেন এবং আপনার পক্ষ থেকে কোনও পদক্ষেপের প্রয়োজন নেই৷

আরও জানতে এবং ইএমআর ম্যানেজড স্কেলিং শুরু করতে, দেখুন EMR পরিচালিত স্কেলিং ডকুমেন্টেশন পৃষ্ঠা.

---

লেখক সম্পর্কে

সুশান্ত মাজিথিয়া আমাজন ওয়েব সার্ভিসে EMR-এর জন্য একজন প্রধান পণ্য ব্যবস্থাপক।

 বিশাল ব্যাস আমাজন ওয়েব সার্ভিসে EMR-এর একজন সিনিয়র সফটওয়্যার ইঞ্জিনিয়ার।

ম্যাথু লিম AWS-এর একজন সিনিয়র সলিউশন আর্কিটেকচার ম্যানেজার।

• এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
• প্লেটোব্লকচেন। Web3 মেটাভার্স ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
• উত্স: https://aws.amazon.com/blogs/big-data/reduce-amazon-emr-cluster-costs-by-up-to-19-with-new-enhancements-in-amazon-emr-managed-scaling/