অ্যামাজন EMR অ্যামাজন EC2 C7g (Graviton3) দৃষ্টান্তগুলির জন্য সমর্থন চালু করেছে যাতে স্পার্ক ওয়ার্কলোডের জন্য খরচের কার্যক্ষমতা 7-13% বৃদ্ধি পায়

আমাজন ইএমআর Apache Spark, Hive, Presto, Trino, HBase, এবং Flink-এর মতো ওপেন-সোর্স ফ্রেমওয়ার্ক ব্যবহার করে সহজেই বিশ্লেষণ অ্যাপ্লিকেশন চালানোর জন্য একটি পরিচালিত পরিষেবা প্রদান করে। আমাজন EMR রানটাইম এর জন্য স্ফুলিঙ্গ এবং প্রবঁচনাময় অপ্টিমাইজেশান অন্তর্ভুক্ত যা ওপেন-সোর্স Apache Spark এবং Presto এর তুলনায় দ্বিগুণ কর্মক্ষমতা উন্নতি প্রদান করে।

Amazon EMR রিলিজ 6.7 সহ, আপনি এখন ব্যবহার করতে পারেন অ্যামাজন ইলাস্টিক কম্পিউট ক্লাউড (Amazon EC2) C7g উদাহরণ, যা ব্যবহার করে AWS Graviton3 প্রসেসর এই উদাহরণগুলি দৃষ্টান্তের আকারের উপর নির্ভর করে, পূর্ববর্তী প্রজন্মের দৃষ্টান্তগুলির তুলনায় Amazon EMR-এ স্পার্ক ওয়ার্কলোড চালানোর মূল্য-কর্মক্ষমতা 7.93-13.35% উন্নত করে। এই পোস্টে, আমরা বর্ণনা করেছি কিভাবে আমরা মূল্য-কর্মক্ষমতা সুবিধা অনুমান করেছি।

EC2 C7g দৃষ্টান্ত সহ Amazon EMR রানটাইম কর্মক্ষমতা

আমরা C3g দৃষ্টান্ত সহ Apache Spark (Apache Spark 6.9 এর সাথে সামঞ্জস্যপূর্ণ) এর জন্য Amazon EMR রানটাইম ব্যবহার করে Amazon EMR 3.3-এ TPC-DS 7 TB বেঞ্চমার্ক কোয়েরি চালিয়েছি। তথ্য সংরক্ষিত ছিল আমাজন সিম্পল স্টোরেজ সার্ভিস (Amazon S3), এবং ফলাফলগুলি পূর্ববর্তী প্রজন্মের উদাহরণ পরিবারের সমতুল্য C6g ক্লাস্টারের সাথে তুলনা করা হয়েছিল। আমরা TPC-DS 3 TB বেঞ্চমার্ক ক্যোয়ারী জুড়ে ক্যোয়ারী রানটাইমের মোট কোয়েরি রানটাইম এবং জ্যামিতিক গড় ব্যবহার করে কর্মক্ষমতা উন্নতি পরিমাপ করেছি।

আমাদের ফলাফলগুলি ইনস্ট্যান্স আকারের উপর নির্ভর করে, C13.65g দৃষ্টান্তগুলির সাথে সমতুল্য EMR ক্লাস্টারের তুলনায় C18.73g সহ EMR ক্লাস্টারগুলিতে মোট ক্যোয়ারী রানটাইম পারফরম্যান্সে 16.98–20.28% উন্নতি এবং 7-6% জ্যামিতিক গড় উন্নতি দেখায়৷ খরচের তুলনা করার ক্ষেত্রে, আমরা উদাহরণের আকারের উপর নির্ভর করে C7.93g-এর সমতুল্যের তুলনায় C13.35g-এর সাথে EMR ক্লাস্টারে 7-6% খরচ হ্রাস লক্ষ্য করেছি। আমরা C6g xlarge উদাহরণটিকে বেঞ্চমার্ক করিনি কারণ এতে প্রশ্নগুলি চালানোর জন্য পর্যাপ্ত মেমরি নেই।

নিম্নলিখিত টেবিলটি সমতুল্য C3g এবং C6.9g উদাহরণ EMR ক্লাস্টারের তুলনায় Amazon EMR 7 ব্যবহার করে TPC-DS 6 TB বেঞ্চমার্ক কোয়েরি চালানোর ফলাফলগুলি দেখায়।

নিম্নলিখিত গ্রাফটি সমতুল্য C7g প্রজন্মের তুলনায় C2g 6x বড় দৃষ্টান্তে পরিলক্ষিত প্রতি-কোয়েরি উন্নতি দেখায়।

বেঞ্চমার্কিং পদ্ধতি

এই পোস্টে ব্যবহৃত বেঞ্চমার্কটি ইন্ডাস্ট্রি-স্ট্যান্ডার্ড TPC-DS বেঞ্চমার্ক থেকে প্রাপ্ত, এবং এর থেকে প্রশ্নগুলি ব্যবহার করে স্পার্ক এসকিউএল পারফরম্যান্স টেস্ট গিটহাব রেপো নিম্নলিখিত সঙ্গে সংশোধন করা হয়েছে প্রয়োগ করা হয়েছে।

ক্লাস্টারে দৃষ্টান্তের সংখ্যা এবং ক্লাস্টারে প্রশ্নগুলি চালানোর জন্য নেওয়া সময় দ্বারা আমরা প্রতি ঘন্টায় ব্যয়কে গুণ করে TCO গণনা করেছি। আমরা সমস্ত দৃষ্টান্তের জন্য ইউএস ইস্ট (এন. ভার্জিনিয়া) অঞ্চলে অন-ডিমান্ড মূল্য ব্যবহার করেছি।

উপসংহার

এই পোস্টে, আমরা বর্ণনা করেছি কিভাবে আমরা আগের প্রজন্মের সমতুল্য উদাহরণ ব্যবহার করার তুলনায় C7g দৃষ্টান্ত সহ Amazon EMR ব্যবহার করে খরচ-পারফরম্যান্স সুবিধা অনুমান করেছি। Amazon EMR-এর সাথে এই নতুন দৃষ্টান্তগুলি ব্যবহার করা অতিরিক্ত 7-13% দ্বারা ব্যয়-কর্মক্ষমতা উন্নত করে।

লেখক সম্পর্কে

আল এমএস Amazon Web Services এ Amazon EMR-এর জন্য একজন পণ্য ব্যবস্থাপক।

কিয়ংহিউন রিও আমাজন ওয়েব সার্ভিসে EMR-এর জন্য একজন সফটওয়্যার ডেভেলপমেন্ট ইঞ্জিনিয়ার। তিনি প্রাথমিকভাবে অভ্যন্তরীণ দল এবং গ্রাহকদের জন্য তাদের উত্পাদনশীলতা সর্বাধিক করার জন্য অটোমেশন টুল ডিজাইন এবং নির্মাণের কাজ করেন। কাজের বাইরে, তিনি পেশাদার গেমিংয়ের একজন অবসরপ্রাপ্ত বিশ্ব চ্যাম্পিয়ন যিনি এখনও ভিডিও গেম খেলতে উপভোগ করেন।

ইউঝো সান আমাজন ওয়েব সার্ভিসে EMR-এর জন্য একজন সফটওয়্যার ডেভেলপমেন্ট ইঞ্জিনিয়ার।

স্টিভ কুন্স আমাজন ওয়েব সার্ভিসে EMR-এর জন্য একজন ইঞ্জিনিয়ারিং ম্যানেজার।

• এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
• প্লেটোব্লকচেন। Web3 মেটাভার্স ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
• উত্স: https://aws.amazon.com/blogs/big-data/amazon-emr-launches-support-for-amazon-ec2-c7g-graviton3-instances-to-improve-cost-performance-for-spark-workloads-by-7-13/