পদে AWS ProServe Hadoop মাইগ্রেশন ডেলিভারি কিট TCO টুল পেশ করা হচ্ছে, আমরা AWS ProServe Hadoop মাইগ্রেশন ডেলিভারি কিট (HMDK) TCO টুল এবং অন-প্রিমিসেস হাডূপ ওয়ার্কলোডগুলিকে স্থানান্তরিত করার সুবিধাগুলি প্রবর্তন করেছি আমাজন ইএমআর. এই পোস্টে, আমরা লগ ইনজেশন, ট্রান্সফর্মেশন, ভিজ্যুয়ালাইজেশন, এবং আর্কিটেকচার ডিজাইন থেকে শুরু করে TCO গণনা করার জন্য সমস্ত ধাপের মধ্যে দিয়ে টুলের গভীরে ডুব দিই।
সমাধান ওভারভিউ
আসুন সংক্ষেপে HMDK TCO টুলের মূল বৈশিষ্ট্যগুলি পরিদর্শন করি। টুলটি ইয়ার্ন লগ সংগ্রহ করার জন্য হ্যাডোপ রিসোর্স ম্যানেজারকে সংযোগ করার জন্য একটি ইয়ার্ন লগ সংগ্রাহক প্রদান করে। একটি পাইথন-ভিত্তিক Hadoop ওয়ার্কলোড বিশ্লেষক, যাকে YARN লগ বিশ্লেষক বলা হয়, Hadoop অ্যাপ্লিকেশনগুলি যাচাই করে। অ্যামাজন কুইকসাইট ড্যাশবোর্ড বিশ্লেষক থেকে ফলাফল প্রদর্শন. একই ফলাফল ভবিষ্যতে EMR দৃষ্টান্তের নকশা ত্বরান্বিত করে। উপরন্তু, একটি TCO ক্যালকুলেটর মাইগ্রেশন সহজতর করার জন্য একটি অপ্টিমাইজ করা EMR ক্লাস্টারের TCO অনুমান তৈরি করে।
এখন দেখা যাক টুলটি কিভাবে কাজ করে। নিচের চিত্রটি শেষ থেকে শেষ কর্মপ্রবাহকে চিত্রিত করে।
পরবর্তী বিভাগে, আমরা টুলের পাঁচটি প্রধান ধাপের মধ্য দিয়ে চলেছি:
- ইয়ারন কাজের ইতিহাসের লগ সংগ্রহ করুন।
- চাকরির ইতিহাস লগগুলিকে JSON থেকে CSV-এ রূপান্তর করুন।
- কাজের ইতিহাস লগ বিশ্লেষণ করুন.
- মাইগ্রেশনের জন্য একটি EMR ক্লাস্টার ডিজাইন করুন।
- TCO গণনা করুন।
পূর্বশর্ত
শুরু করার আগে, নিম্নলিখিত পূর্বশর্তগুলি সম্পূর্ণ করতে ভুলবেন না:
- ক্লোন করুন hadoop-মাইগ্রেশন-অ্যাসেসমেন্ট-tco সংগ্রহস্থল.
- আপনার স্থানীয় মেশিনে পাইথন 3 ইনস্টল করুন।
- অনুমতি সহ একটি AWS অ্যাকাউন্ট আছে এডাব্লুএস ল্যাম্বদা, QuickSight (এন্টারপ্রাইজ সংস্করণ), এবং এডাব্লুএস ক্লাউডফর্মেশন.
ইয়ারন কাজের ইতিহাসের লগ সংগ্রহ করুন
প্রথমত, আপনি একটি চালান সুতা লগ সংগ্রাহক, start-collector.sh, আপনার স্থানীয় মেশিনে। এই ধাপটি Hadoop YARN লগ সংগ্রহ করে এবং লগগুলিকে আপনার স্থানীয় মেশিনে রাখে। স্ক্রিপ্টটি আপনার স্থানীয় মেশিনকে Hadoop প্রাথমিক নোডের সাথে সংযুক্ত করে এবং রিসোর্স ম্যানেজারের সাথে যোগাযোগ করে। তারপর এটি ইয়ারন রিসোর্স ম্যানেজার অ্যাপ্লিকেশন API এ কল করে কাজের ইতিহাসের তথ্য (অ্যাপ্লিকেশন ম্যানেজারদের থেকে ইয়ারন লগ) পুনরুদ্ধার করে।
YARN লগ সংগ্রাহক চালানোর আগে, YARN রিসোর্স ম্যানেজার এবং সক্রিয় YARN টাইমলাইন সার্ভার (টাইমলাইন সার্ভার v8088 বা পরবর্তী সমর্থিত) এর অ্যাক্সেসযোগ্যতা যাচাই করতে আপনাকে সংযোগটি কনফিগার এবং স্থাপন করতে হবে (HTTP: 8090 বা HTTPS: 1; পরবর্তীটি সুপারিশ করা হয়) ) আপনাকে ইয়ারন লগের সংগ্রহের ব্যবধান এবং ধরে রাখার নীতি নির্ধারণ করতে হতে পারে। আপনি পরপর ইয়ারন লগ সংগ্রহ করছেন তা নিশ্চিত করতে, আপনি একটি সঠিক সময়ের ব্যবধানে লগ সংগ্রাহকের সময়সূচী করতে একটি ক্রোন কাজ ব্যবহার করতে পারেন। উদাহরণস্বরূপ, 2,000 দৈনিক অ্যাপ্লিকেশন সহ একটি Hadoop ক্লাস্টারের জন্য এবং সেটিং yarn.resourcemanager.max-completed-applications 1,000 এ সেট করা হয়েছে, তাত্ত্বিকভাবে, সমস্ত YARN লগ পেতে আপনাকে কমপক্ষে দুইবার লগ কালেক্টর চালাতে হবে। উপরন্তু, আমরা সামগ্রিক কাজের চাপ বিশ্লেষণের জন্য কমপক্ষে 7 দিনের ইয়ারন লগ সংগ্রহ করার পরামর্শ দিই।
লগ সংগ্রাহককে কীভাবে কনফিগার এবং সময়সূচী করতে হয় সে সম্পর্কে আরও বিশদ বিবরণের জন্য, দেখুন সুতা-লগ-সংগ্রাহক GitHub রেপো.
YARN কাজের ইতিহাস লগগুলিকে JSON থেকে CSV তে রূপান্তর করুন৷
ইয়ার্ন লগ পাওয়ার পর, আপনি একটি ইয়ার্ন লগ অর্গানাইজার চালান, yarn-log-organizer.py, যা JSON-ভিত্তিক লগগুলিকে CSV ফাইলে রূপান্তর করার জন্য একটি পার্সার। এই আউটপুট CSV ফাইলগুলি YARN লগ বিশ্লেষকের জন্য ইনপুট। পার্সারের অন্যান্য ক্ষমতাও রয়েছে, যার মধ্যে সময় অনুসারে ইভেন্ট বাছাই করা, ডেডিকেট অপসারণ করা এবং একাধিক লগ মার্জ করা।
ইয়ারন লগ অর্গানাইজার কীভাবে ব্যবহার করবেন সে সম্পর্কে আরও তথ্যের জন্য, দেখুন সুতা-লগ-সংগঠক GitHub রেপো.
YARN কাজের ইতিহাস লগ বিশ্লেষণ করুন
এরপর, আপনি CSV বিন্যাসে ইয়ারন লগ বিশ্লেষণ করতে ইয়ারন লগ বিশ্লেষক চালু করেন।
QuickSight-এর সাহায্যে, আপনি YARN লগ ডেটা কল্পনা করতে পারেন এবং প্রাক-নির্মিত ড্যাশবোর্ড টেমপ্লেট এবং একটি উইজেট দ্বারা তৈরি ডেটাসেটের বিরুদ্ধে বিশ্লেষণ পরিচালনা করতে পারেন। উইজেট স্বয়ংক্রিয়ভাবে লক্ষ্য AWS অ্যাকাউন্টে QuickSight ড্যাশবোর্ড তৈরি করে, যা একটি CloudFormation টেমপ্লেটে কনফিগার করা হয়েছে।
নিম্নলিখিত চিত্রটি HMDK TCO স্থাপত্যকে চিত্রিত করে।
ইয়ারন লগ বিশ্লেষক চারটি মূল কার্যকারিতা প্রদান করে:
- CSV ফর্ম্যাটে রূপান্তরিত YARN কাজের ইতিহাস লগ আপলোড করুন (উদাহরণস্বরূপ,
cluster_yarn_logs_*.csv
) থেকে আমাজন সিম্পল স্টোরেজ সার্ভিস (Amazon S3) বালতি। এই CSV ফাইলগুলি YARN লগ অর্গানাইজার থেকে আউটপুট। - একটি ম্যানিফেস্ট JSON ফাইল তৈরি করুন (উদাহরণস্বরূপ,
yarn-log-manifest.json
) QuickSight এর জন্য এবং এটি S3 বালতিতে আপলোড করুন: - একটি ক্লাউডফর্মেশন টেমপ্লেট ব্যবহার করে কুইকসাইট ড্যাশবোর্ড স্থাপন করুন, যা YAML ফর্ম্যাটে রয়েছে। স্থাপন করার পরে, আপনি স্ট্যাকের স্থিতি দেখতে না পাওয়া পর্যন্ত রিফ্রেশ আইকনটি নির্বাচন করুন৷
CREATE_COMPLETE
. এই ধাপটি আপনার AWS টার্গেট অ্যাকাউন্টে QuickSight ড্যাশবোর্ডে ডেটাসেট তৈরি করে। - QuickSight ড্যাশবোর্ডে, আপনি বিভিন্ন চার্ট থেকে বিশ্লেষণ করা Hadoop ওয়ার্কলোডের অন্তর্দৃষ্টি পেতে পারেন। এই অন্তর্দৃষ্টিগুলি আপনাকে মাইগ্রেশন ত্বরণের জন্য ভবিষ্যতের EMR উদাহরণগুলি ডিজাইন করতে সহায়তা করে, যেমনটি পরবর্তী ধাপে প্রদর্শিত হয়েছে।
মাইগ্রেশনের জন্য একটি EMR ক্লাস্টার ডিজাইন করুন
YARN লগ বিশ্লেষকের ফলাফল আপনাকে বিদ্যমান সিস্টেমে প্রকৃত Hadoop কাজের চাপ বুঝতে সাহায্য করে। এই পদক্ষেপটি একটি ব্যবহার করে মাইগ্রেশনের জন্য ভবিষ্যতের EMR দৃষ্টান্ত ডিজাইন করাকে ত্বরান্বিত করে এক্সেল টেমপ্লেট. টেমপ্লেটটিতে কাজের চাপ বিশ্লেষণ এবং ক্ষমতা পরিকল্পনা পরিচালনার জন্য একটি চেকলিস্ট রয়েছে:
- ক্লাস্টারে চলমান অ্যাপ্লিকেশনগুলি কি তাদের বর্তমান ক্ষমতার সাথে যথাযথভাবে ব্যবহার করা হচ্ছে?
- একটি নির্দিষ্ট সময়ে লোড অধীনে ক্লাস্টার বা না? যদি তাই হয়, সময় কখন?
- ক্লাস্টারে কোন ধরনের অ্যাপ্লিকেশন এবং ইঞ্জিন (যেমন MR, TEZ, বা Spark) চলছে এবং প্রতিটি প্রকারের জন্য সম্পদের ব্যবহার কী?
- বিভিন্ন চাকরির চালনা চক্র (রিয়েল-টাইম, ব্যাচ, অ্যাডহক) কি এক ক্লাস্টারে চলছে?
- কোন কাজ কি নিয়মিত ব্যাচে চলছে, এবং যদি তাই হয়, এই সময়সূচী ব্যবধানগুলি কি? (উদাহরণস্বরূপ, প্রতি 10 মিনিট, 1 ঘন্টা, 1 দিন।) আপনার কি এমন কাজ আছে যা দীর্ঘ সময়ের মধ্যে প্রচুর সম্পদ ব্যবহার করে?
- কোন কাজ কর্মক্ষমতা উন্নতি প্রয়োজন?
- কোনো নির্দিষ্ট সংস্থা বা ব্যক্তি কি ক্লাস্টারে একচেটিয়া অধিকারী?
- কোন মিশ্র উন্নয়ন এবং অপারেশন কাজ এক ক্লাস্টারে কাজ করছে?
আপনি চেকলিস্টটি সম্পূর্ণ করার পরে, ভবিষ্যতের আর্কিটেকচার কীভাবে ডিজাইন করবেন সে সম্পর্কে আপনার আরও ভাল ধারণা থাকবে। EMR ক্লাস্টার খরচ কার্যকারিতা অপ্টিমাইজ করার জন্য, নিম্নলিখিত টেবিলটি সঠিক ধরনের EMR ক্লাস্টার নির্বাচন করার সাধারণ নির্দেশিকা প্রদান করে এবং অ্যামাজন ইলাস্টিক কম্পিউট ক্লাউড (Amazon EC2) পরিবার।
সঠিক ক্লাস্টার টাইপ এবং ইনস্ট্যান্স ফ্যামিলি বাছাই করার জন্য, আপনাকে বিভিন্ন মানদণ্ডের উপর ভিত্তি করে ইয়ার্ন লগের বিরুদ্ধে বিভিন্ন রাউন্ড বিশ্লেষণ করতে হবে। আসুন কিছু মূল মেট্রিক্স তাকান.
Timeline
আপনি একটি টাইম উইন্ডোতে চালানো Hadoop অ্যাপ্লিকেশনের সংখ্যার উপর ভিত্তি করে কাজের চাপের ধরণ খুঁজে পেতে পারেন। উদাহরণস্বরূপ, দৈনিক বা ঘন্টার চার্ট "শুরু সময়ের দ্বারা রেকর্ডের গণনা" নিম্নলিখিত অন্তর্দৃষ্টি প্রদান করে:
- দৈনিক টাইম সিরিজ চার্টে, আপনি কর্মদিবস এবং ছুটির দিন এবং ক্যালেন্ডার দিনের মধ্যে অ্যাপ্লিকেশন চালানোর সংখ্যা তুলনা করেন। যদি সংখ্যাগুলি একই রকম হয়, তাহলে এর মানে ক্লাস্টারের দৈনিক ব্যবহারগুলি তুলনীয়৷ অন্যদিকে, বিচ্যুতি বড় হলে, অ্যাডহক চাকরির অনুপাত উল্লেখযোগ্য। আপনি নির্দিষ্ট দিনে সম্ভাব্য সাপ্তাহিক বা মাসিক কাজগুলিও বের করতে পারেন। এই পরিস্থিতিতে, আপনি খুব সহজেই এক সপ্তাহ বা এক মাসে নির্দিষ্ট দিনগুলি উচ্চ কাজের চাপের ঘনত্বের সাথে দেখতে পারেন।
- ঘন্টায় টাইম সিরিজ চার্টে, আপনি আরও বুঝতে পারবেন কিভাবে অ্যাপ্লিকেশানগুলি ঘন্টায় উইন্ডোতে চালানো হয়। আপনি দিনে সর্বোচ্চ এবং অফ-পিক ঘন্টা খুঁজে পেতে পারেন।
ব্যবহারকারীরা
YARN লগগুলিতে প্রতিটি অ্যাপ্লিকেশনের ব্যবহারকারী আইডি থাকে। এই তথ্য আপনাকে বুঝতে সাহায্য করে কে একটি সারিতে একটি আবেদন জমা দেয়। প্রতিটি সারি এবং প্রতি ব্যবহারকারীর ব্যক্তিগত এবং সমষ্টিগত অ্যাপ্লিকেশনের পরিসংখ্যানের উপর ভিত্তি করে, আপনি ব্যবহারকারীর দ্বারা বিদ্যমান কাজের চাপ বন্টন নির্ধারণ করতে পারেন। সাধারণত, একই দলের ব্যবহারকারীরা সারি ভাগ করে নেন। কখনও কখনও, একাধিক দল সারি ভাগ করেছে। ব্যবহারকারীদের জন্য সারি ডিজাইন করার সময়, আপনার কাছে এখন এমন অন্তর্দৃষ্টি রয়েছে যা আপনাকে অ্যাপ্লিকেশন ওয়ার্কলোডগুলি ডিজাইন এবং বিতরণ করতে সহায়তা করে যা আগের তুলনায় সারিগুলিতে আরও ভারসাম্যপূর্ণ।
আবেদনের ধরন
আপনি বিভিন্ন ধরনের অ্যাপ্লিকেশনের (যেমন Hive, Spark, Presto, বা HBase) উপর ভিত্তি করে কাজের চাপ ভাগ করতে পারেন এবং ইঞ্জিন চালাতে পারেন (যেমন MR, Spark, বা Tez)। MapReduce বা Hive-on-MR কাজের মতো গণনা-ভারী কাজের জন্য, CPU-অপ্টিমাইজ করা উদাহরণ ব্যবহার করুন। হাইভ-অন-টিইজেড, প্রেস্টো এবং স্পার্ক কাজের মতো মেমরি-নিবিড় কাজের চাপের জন্য, মেমরি-অপ্টিমাইজ করা উদাহরণ ব্যবহার করুন।
ব্যায়িত সময়
আপনি রানটাইম দ্বারা অ্যাপ্লিকেশন শ্রেণীবদ্ধ করতে পারেন. এমবেডেড ক্লাউডফর্মেশন টেমপ্লেট স্বয়ংক্রিয়ভাবে একটি কুইকসাইট ড্যাশবোর্ডে একটি অতিবাহিত গ্রুপ ক্ষেত্র তৈরি করে। এটি আপনাকে QuickSight ড্যাশবোর্ডের চারটি চার্টের একটিতে দীর্ঘমেয়াদী কাজগুলি পর্যবেক্ষণ করার অনুমতি দেওয়ার জন্য একটি মূল বৈশিষ্ট্য সক্ষম করে৷ অতএব, আপনি এই বড় কাজের জন্য উপযোগী ভবিষ্যতের আর্কিটেকচার ডিজাইন করতে পারেন।
সংশ্লিষ্ট QuickSight ড্যাশবোর্ডে চারটি চার্ট রয়েছে। আপনি প্রতিটি চার্ট ড্রিল করতে পারেন, যা একটি গ্রুপের সাথে যুক্ত।
গ্রুপ সংখ্যা |
একটি কাজের রানটাইম/বিগত সময় |
1 | 10 মিনিটের চেয়ে কম |
2 | 10 মিনিট থেকে 30 মিনিটের মধ্যে |
3 | 30 মিনিট এবং 1 ঘন্টার মধ্যে |
4 | ১ ঘণ্টার বেশি |
গ্রুপ 4-এর চার্টে, আপনি ব্যবহারকারী, সারি, আবেদনের ধরন, টাইমলাইন, সম্পদের ব্যবহার এবং আরও অনেক কিছু সহ বিভিন্ন মেট্রিক্সের উপর ভিত্তি করে বড় কাজগুলি যাচাই করার উপর মনোযোগ দিতে পারেন। এই বিবেচনার উপর ভিত্তি করে, আপনার কাছে একটি ক্লাস্টারে ডেডিকেটেড সারি থাকতে পারে বা বড় কাজের জন্য একটি ডেডিকেটেড EMR ক্লাস্টার থাকতে পারে। ইতিমধ্যে, আপনি ভাগ করা সারিতে ছোট চাকরি জমা দিতে পারেন।
Resources
রিসোর্স (CPU, মেমরি) খরচের ধরণগুলির উপর ভিত্তি করে, আপনি কর্মক্ষমতা এবং খরচ কার্যকারিতার জন্য EC2 দৃষ্টান্তগুলির সঠিক আকার এবং পরিবার নির্বাচন করেন। কম্পিউট-ইনটেনসিভ অ্যাপ্লিকেশনগুলির জন্য, আমরা CPU-অপ্টিমাইজ করা পরিবারের উদাহরণগুলি সুপারিশ করি। মেমরি-নিবিড় অ্যাপ্লিকেশনের জন্য, মেমরি-অপ্টিমাইজ করা উদাহরণ পরিবারগুলি সুপারিশ করা হয়।
উপরন্তু, সময়ের সাথে সাথে অ্যাপ্লিকেশন কাজের চাপ এবং সম্পদ ব্যবহারের প্রকৃতির উপর ভিত্তি করে, আপনি একটি স্থায়ী বা ক্ষণস্থায়ী EMR ক্লাস্টার বেছে নিতে পারেন, EKS-এ Amazon EMR, বা আমাজন ইএমআর সার্ভারহীন.
বিভিন্ন মেট্রিক্স দ্বারা ইয়ার্ন লগ বিশ্লেষণ করার পরে, আপনি ভবিষ্যতের EMR আর্কিটেকচার ডিজাইন করতে প্রস্তুত। নিচের সারণীতে প্রস্তাবিত EMR ক্লাস্টারের উদাহরণ রয়েছে। আপনি আরো বিস্তারিত জানতে পারেন অপ্টিমাইজড-টিকো-ক্যালকুলেটর গিটহাব রেপো.
TCO গণনা করুন
অবশেষে, আপনার স্থানীয় মেশিনে, অপ্টিমাইজ করা TCO গণনা করার জন্য একটি এক্সেল টেমপ্লেট ব্যবহার করার আগে প্রতি ঘণ্টায় YARN কাজের ইতিহাসের লগগুলিকে একত্রিত করতে tco-input-generator.py চালান। এই পদক্ষেপটি অত্যন্ত গুরুত্বপূর্ণ কারণ ফলাফলগুলি ভবিষ্যতের EMR দৃষ্টান্তগুলিতে Hadoop কাজের চাপকে অনুকরণ করে৷
টিসিও সিমুলেশনের পূর্বশর্ত হল চালানো tco-input-generator.py
, যা প্রতি ঘণ্টায় একত্রিত লগ তৈরি করে। এর পরে, আপনি ম্যাক্রো সক্ষম করতে একটি এক্সেল টেমপ্লেট ফাইল খুলুন এবং TCO গণনার জন্য সবুজ কক্ষগুলিতে আপনার ইনপুটগুলি প্রদান করুন৷ ইনপুট ডেটা সম্পর্কে, আপনি প্রতিলিপি ছাড়াই প্রকৃত ডেটার আকার এবং Hadoop প্রাথমিক নোড এবং ডেটা নোডের হার্ডওয়্যার স্পেসিফিকেশন (vCore, mem) প্রবেশ করান। আপনাকে পূর্বে উত্পন্ন ঘন্টায় একত্রিত লগ নির্বাচন এবং আপলোড করতে হবে। আপনি TCO সিমুলেশন ভেরিয়েবল সেট করার পরে, যেমন অঞ্চল, EC2 প্রকার, Amazon EMR উচ্চ প্রাপ্যতা, ইঞ্জিন প্রভাব, Amazon EC2 এবং Amazon EBS ডিসকাউন্ট (EDP), Amazon S3 ভলিউম ডিসকাউন্ট, স্থানীয় মুদ্রার হার এবং EMR EC2 টাস্ক/কোর মূল্য অনুপাত এবং মূল্য/ঘন্টা, TCO সিমুলেটর স্বয়ংক্রিয়ভাবে Amazon EC2 এ ভবিষ্যতের EMR দৃষ্টান্তের সর্বোত্তম খরচ গণনা করে। নিম্নলিখিত স্ক্রিনশটগুলি HMDK TCO ফলাফলের একটি উদাহরণ দেখায়।
HMDK TCO গণনার অতিরিক্ত তথ্য এবং নির্দেশাবলীর জন্য, দেখুন অপ্টিমাইজড-টিকো-ক্যালকুলেটর গিটহাব রেপো.
পরিষ্কার কর
আপনি সমস্ত পদক্ষেপগুলি সম্পূর্ণ করার পরে এবং পরীক্ষা শেষ করার পরে, খরচ এড়াতে সংস্থানগুলি মুছতে নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:
- AWS CloudFormation কনসোলে, আপনার তৈরি করা স্ট্যাকটি বেছে নিন।
- বেছে নিন মুছে ফেলা.
- বেছে নিন স্ট্যাক মুছুন.
- আপনি স্ট্যাটাস দেখতে না হওয়া পর্যন্ত পৃষ্ঠাটি রিফ্রেশ করুন
DELETE_COMPLETE
. - Amazon S3 কনসোলে, আপনার তৈরি করা S3 বালতি মুছুন।
উপসংহার
AWS ProServe HMDK TCO টুল উল্লেখযোগ্যভাবে মাইগ্রেশন পরিকল্পনা প্রচেষ্টা হ্রাস করে, যা আপনার Hadoop কাজের চাপের মূল্যায়ন করার জন্য সময়সাপেক্ষ এবং চ্যালেঞ্জিং কাজ। HMDK TCO টুলের সাহায্যে, মূল্যায়নে সাধারণত 2-3 সপ্তাহ সময় লাগে। আপনি ভবিষ্যতের EMR আর্কিটেকচারের গণনাকৃত TCO নির্ধারণ করতে পারেন। HMDK TCO টুলের সাহায্যে, আপনি আপনার কাজের চাপ এবং সম্পদ ব্যবহারের ধরণগুলি দ্রুত বুঝতে পারবেন। টুল দ্বারা উত্পন্ন অন্তর্দৃষ্টি দিয়ে, আপনি সর্বোত্তম ভবিষ্যতের EMR আর্কিটেকচার ডিজাইন করতে সজ্জিত। অনেক ব্যবহারের ক্ষেত্রে, অপ্টিমাইজড রিফ্যাক্টর আর্কিটেকচারের 1-বছরের TCO লিফ্ট-এন্ড-শিফ্ট হাডুপ মাইগ্রেশনের তুলনায় কম্পিউট এবং স্টোরেজের ক্ষেত্রে উল্লেখযোগ্য খরচ সাশ্রয় (64-80% হ্রাস) প্রদান করে।
Amazon EMR এবং HMDK CTO টুলে আপনার Hadoop স্থানান্তর ত্বরান্বিত করার বিষয়ে আরও জানতে, দেখুন Hadoop মাইগ্রেশন ডেলিভারি কিট TCO GitHub রেপো, অথবা পৌঁছান AWS-HMDK@amazon.com.
লেখক সম্পর্কে
সুংইউল পার্ক AWS ProServe-এর একজন সিনিয়র প্র্যাকটিস ম্যানেজার। তিনি গ্রাহকদের AWS অ্যানালিটিক্স, IoT, এবং AI/ML পরিষেবার মাধ্যমে তাদের ব্যবসায় উদ্ভাবনে সহায়তা করেন। বড় ডেটা পরিষেবা এবং প্রযুক্তিতে তার বিশেষত্ব রয়েছে এবং গ্রাহকদের ব্যবসায়িক ফলাফলগুলিকে একত্রে তৈরি করার আগ্রহ রয়েছে।
জিসেং কিম AWS ProServe-এর একজন সিনিয়র ডেটা আর্কিটেক্ট। তিনি মূলত এন্টারপ্রাইজ গ্রাহকদের সাথে ডেটা লেক স্থানান্তর এবং আধুনিকীকরণে সহায়তা করার জন্য কাজ করেন এবং হাডুপ, স্পার্ক, ডেটা গুদামজাতকরণ, রিয়েল-টাইম ডেটা প্রসেসিং এবং বড় আকারের মেশিন লার্নিংয়ের মতো বড় ডেটা প্রকল্পগুলিতে নির্দেশিকা এবং প্রযুক্তিগত সহায়তা প্রদান করেন। তিনি আরও বোঝেন কীভাবে বড় ডেটা সমস্যার সমাধান করতে এবং একটি ভাল-পরিকল্পিত ডেটা আর্কিটেকচার তৈরি করতে প্রযুক্তি প্রয়োগ করতে হয়।
জর্জ ঝাও AWS ProServe-এর একজন সিনিয়র ডেটা আর্কিটেক্ট। তিনি আধুনিক ডেটা সমাধান প্রদানের জন্য AWS গ্রাহকদের সাথে কাজ করা একজন অভিজ্ঞ বিশ্লেষণী নেতা। তিনি একজন ProServe Amazon EMR ডোমেন বিশেষজ্ঞ যিনি Hadoop থেকে Amazon EMR মাইগ্রেশনের জন্য সর্বোত্তম অনুশীলন এবং ডেলিভারি কিটগুলিতে ProServe পরামর্শদাতাদের সক্ষম করে। তার আগ্রহের ক্ষেত্র হল ডেটা লেক এবং ক্লাউড আধুনিক ডেটা আর্কিটেকচার ডেলিভারি।
ক্যালেন ঝাং AWS-এ অংশীদার ডেটা এবং বিশ্লেষণের গ্লোবাল সেগমেন্ট টেক লিড ছিলেন। ডেটা এবং অ্যানালিটিক্সের বিশ্বস্ত উপদেষ্টা হিসাবে, তিনি ডেটা ট্রান্সফরমেশন, নেতৃত্বাধীন ডেটা এবং অ্যানালিটিক্স ওয়ার্কলোড মাইগ্রেশন এবং আধুনিকীকরণ প্রোগ্রামগুলির জন্য কৌশলগত উদ্যোগগুলি তৈরি করেছেন এবং অংশীদারদের সাথে স্কেলে গ্রাহকদের স্থানান্তর যাত্রাকে ত্বরান্বিত করেছেন। তিনি ডিস্ট্রিবিউটেড সিস্টেম, এন্টারপ্রাইজ ডেটা ম্যানেজমেন্ট, উন্নত বিশ্লেষণ এবং বড় আকারের কৌশলগত উদ্যোগে বিশেষজ্ঞ।
- এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
- প্লেটোব্লকচেন। Web3 মেটাভার্স ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
- উত্স: https://aws.amazon.com/blogs/big-data/deep-dive-into-the-aws-proserve-hadoop-migration-delivery-kit-tco-tool/
- 000
- 1
- 10
- 100
- 7
- a
- সক্ষম
- সম্পর্কে
- দ্রুততর করা
- দ্রুততর
- খানি
- ত্বরক
- ত্বরণ
- অভিগম্যতা
- হিসাব
- দিয়ে
- Ad
- যোগ
- অতিরিক্ত
- অতিরিক্ত তথ্য
- উপরন্তু
- অগ্রসর
- অধ্যাপক
- পর
- বিরুদ্ধে
- এআই / এমএল
- সব
- মর্দানী স্ত্রীলোক
- আমাজন EC2
- আমাজন ইএমআর
- মধ্যে
- বিশ্লেষণ
- বৈশ্লেষিক ন্যায়
- বিশ্লেষণ করা
- বিশ্লেষণ
- এবং
- API
- আবেদন
- অ্যাপ্লিকেশন
- প্রয়োগ করা
- উপযুক্তভাবে
- স্থাপত্য
- এলাকায়
- মূল্যায়ন
- সহায়তা
- যুক্ত
- স্বয়ংক্রিয়ভাবে
- উপস্থিতি
- ডেস্কটপ AWS
- এডাব্লুএস ক্লাউডফর্মেশন
- ভিত্তি
- ভিত্তি
- কারণ
- হচ্ছে
- সুবিধা
- সর্বোত্তম
- সেরা অভ্যাস
- উত্তম
- মধ্যে
- বিশাল
- বড় ডেটা
- সংক্ষেপে
- নির্মাণ করা
- ভবন
- ব্যবসায়
- গণনা করা
- গণিত
- হিসাব করে
- গণক
- ক্যালেন্ডার
- নামক
- কলিং
- ক্ষমতা
- ধারণক্ষমতা
- মামলা
- সেল
- কিছু
- চ্যালেঞ্জিং
- তালিকা
- চার্ট
- বেছে নিন
- নির্বাচন
- মেঘ
- গুচ্ছ
- সংগ্রহ করা
- সংগ্রহ
- সংগ্রহ
- সংগ্রাহক
- সংগ্রহ
- এর COM
- তুলনীয়
- তুলনা করা
- তুলনা
- সম্পূর্ণ
- গনা
- ঘনীভূত করা
- একাগ্রতা
- আচার
- আবহ
- সংযোগ করা
- সংযোগ
- সংযোগ স্থাপন করে
- পরপর
- বিবেচনা
- কনসোল
- পরামর্শদাতা
- খরচ
- ধারণ
- অনুরূপ
- মূল্য
- খরচ বাঁচানো
- খরচ
- সিপিইউ
- নির্মিত
- সৃষ্টি
- নির্ণায়ক
- কঠোর
- CTO
- প্লেলিস্টে যোগ করা
- মুদ্রা
- বর্তমান
- ক্রেতা
- গ্রাহকদের
- চক্র
- দৈনিক
- ড্যাশবোর্ড
- উপাত্ত
- ডেটা লেক
- ডাটা ব্যাবস্থাপনা
- তথ্য প্রক্রিয়াজাতকরণ
- ডেটাসেট
- দিন
- দিন
- নিবেদিত
- গভীর
- গভীর ডুব
- প্রদান করা
- বিলি
- প্রদর্শিত
- মোতায়েন
- নকশা
- ফন্দিবাজ
- বিস্তারিত
- নির্ধারণ
- উন্নয়ন
- চ্যুতি
- বিভিন্ন
- ডিসকাউন্ট
- বিতরণ করা
- বণ্টিত
- বিতরণ সিস্টেম
- বিতরণ
- ডোমেইন
- নিচে
- সময়
- প্রতি
- সহজে
- EBS
- সংস্করণ
- প্রভাব
- কার্যকারিতা
- প্রচেষ্টা
- এম্বেড করা
- সক্ষম করা
- সক্ষম করা
- সম্ভব
- সর্বশেষ সীমা
- ইঞ্জিন
- ইঞ্জিন
- নিশ্চিত করা
- প্রবেশ করান
- উদ্যোগ
- এন্টারপ্রাইজ গ্রাহকরা
- সজ্জিত
- স্থাপন করা
- থার (eth)
- ঘটনাবলী
- প্রতি
- উদাহরণ
- উদাহরণ
- সীমা অতিক্রম করা
- বিদ্যমান
- অভিজ্ঞ
- সুবিধা
- পরিবারের
- পরিবার
- বৈশিষ্ট্য
- বৈশিষ্ট্য
- ক্ষেত্র
- ব্যক্তিত্ব
- ফাইল
- নথি পত্র
- আবিষ্কার
- শেষ
- অনুসরণ
- বিন্যাস
- থেকে
- বৈশিষ্ট্য
- অধিকতর
- ভবিষ্যৎ
- সাধারণ
- উত্পন্ন
- উত্পন্ন
- পাওয়া
- পেয়ে
- GitHub
- বিশ্বব্যাপী
- Green
- গ্রুপ
- নির্দেশিকা
- Hadoop
- হার্ডওয়্যারের
- সাহায্য
- সাহায্য
- উচ্চ
- ইতিহাস
- মধুচক্র
- ছুটির
- হোলিস্টিক
- ঘন্টার
- কিভাবে
- কিভাবে
- এইচটিএমএল
- HTTPS দ্বারা
- আইকন
- উন্নতি
- in
- অন্তর্ভুক্ত করা
- সুদ্ধ
- স্বতন্ত্র
- ব্যক্তি
- তথ্য
- উদ্যোগ
- পরিবর্তন করা
- ইনপুট
- অর্ন্তদৃষ্টি
- উদাহরণ
- নির্দেশাবলী
- স্বার্থ
- মধ্যে রয়েছে
- উপস্থাপিত
- IOT
- IT
- কাজ
- জবস
- যাতায়াতের
- JSON
- চাবি
- সজ্জা
- হ্রদ
- বড়
- বড় আকারের
- শুরু করা
- নেতৃত্ব
- নেতা
- শিখতে
- শিক্ষা
- বরফ
- LED ডেটা
- পাখি
- বোঝা
- স্থানীয়
- দীর্ঘ
- অনেকক্ষণ
- দেখুন
- অনেক
- মেশিন
- মেশিন লার্নিং
- ম্যাক্রো
- প্রধান
- করা
- ব্যবস্থাপনা
- পরিচালক
- পরিচালকের
- অনেক
- মানে
- এদিকে
- স্মৃতি
- মার্জ
- ছন্দোবিজ্ঞান
- অভিপ্রয়াণ
- মিনিট
- মিশ্র
- আধুনিক
- আধুনিকীকরণ
- মাস
- মাসিক
- অধিক
- বহু
- প্রকৃতি
- প্রয়োজন
- পরবর্তী
- নোড
- নোড
- সংখ্যা
- সংখ্যার
- মান্য করা
- উপগমন
- ONE
- খোলা
- অপারেটিং
- অপারেশন
- অনুকূল
- অপ্টিমাইজ
- সর্বোচ্চকরন
- সর্বোত্তম
- সংগঠন
- অন্যান্য
- বিশেষ
- হাসপাতাল
- অংশীদারদের
- নিদর্শন
- শিখর
- সম্পাদন করা
- কর্মক্ষমতা
- কাল
- অনুমতি
- জায়গা
- পরিকল্পনা
- Plato
- প্লেটো ডেটা ইন্টেলিজেন্স
- প্লেটোডাটা
- নীতি
- সম্ভব
- পোস্ট
- অনুশীলন
- চর্চা
- পূর্বশর্ত
- পূর্বে
- মূল্য
- প্রাথমিক
- পূর্বে
- সমস্যা
- প্রক্রিয়াজাতকরণ
- প্রোগ্রাম
- প্রকল্প
- সঠিক
- প্রস্তাবিত
- প্রদান
- উপলব্ধ
- পাইথন
- দ্রুত
- হার
- অনুপাত
- নাগাল
- প্রস্তুত
- প্রকৃত সময়
- রিয়েল-টাইম ডেটা
- সুপারিশ করা
- সুপারিশ করা
- রেকর্ড
- হ্রাস
- সংক্রান্ত
- এলাকা
- নিয়মিত
- সরানোর
- প্রতিলিপি
- সংস্থান
- Resources
- ফলাফল
- স্মৃতিশক্তি
- চক্রের
- চালান
- দৌড়
- একই
- জমা
- স্কেল
- তফসিল
- স্ক্রিনশট
- বিভাগে
- রেখাংশ
- জ্যেষ্ঠ
- ক্রম
- সেবা
- সেট
- বিন্যাস
- বিভিন্ন
- ভাগ
- প্রদর্শনী
- গ্লাসকেস
- গুরুত্বপূর্ণ
- উল্লেখযোগ্যভাবে
- অনুরূপ
- সহজ
- ব্যাজ
- কাল্পনিক
- অবস্থা
- আয়তন
- ছোট
- So
- সলিউশন
- সমাধান
- কিছু
- স্ফুলিঙ্গ
- বিশেষজ্ঞ
- বিশেষ
- বিশিষ্টতা
- নির্দিষ্ট
- স্পেসিফিকেশনের
- গাদা
- শুরু
- পরিসংখ্যান
- অবস্থা
- ধাপ
- প্রারম্ভিক ব্যবহারের নির্দেশাবলী
- স্টোরেজ
- কৌশলগত
- জমা
- এমন
- সমর্থিত
- পদ্ধতি
- সিস্টেম
- টেবিল
- উপযোগী
- লাগে
- লক্ষ্য
- কাজ
- টীম
- দল
- প্রযুক্তি
- কারিগরী
- প্রযুক্তি
- টেমপ্লেট
- টেমপ্লেট
- পরীক্ষামূলক
- সার্জারির
- ভবিষ্যৎ
- তাদের
- অতএব
- দ্বারা
- সময়
- সময় সিরিজ
- সময় অপগিত হয় এমন
- টাইমলাইনে
- থেকে
- একসঙ্গে
- টুল
- রুপান্তর
- রুপান্তর
- রুপান্তরিত
- সত্য
- বিশ্বস্ত
- ধরনের
- অধীনে
- বোঝা
- বোধশক্তি
- বুঝতে পারে
- ব্যবহার
- ব্যবহার
- ব্যবহারকারী
- ব্যবহারকারী
- সাধারণত
- বিভিন্ন
- যাচাই
- কল্পনা
- আয়তন
- চলাফেরা
- গুদামজাত করা
- সপ্তাহান্তিক কাল
- সাপ্তাহিক
- সপ্তাহ
- কি
- যে
- হু
- জানালা
- ছাড়া
- কর্মপ্রবাহ
- কাজ
- কাজ
- ইয়ামল
- আপনার
- zephyrnet