আমাজন ইএমআর অ্যামাজন সিম্পল স্টোরেজ সার্ভিসের সাথে একীকরণ ঘোষণা করে খুশিআমাজন S3) অ্যাক্সেস অনুদান যা Amazon S3 অনুমতি ব্যবস্থাপনাকে সহজ করে এবং আপনাকে স্কেলে দানাদার অ্যাক্সেস প্রয়োগ করার অনুমতি দেয়। এই ইন্টিগ্রেশনের মাধ্যমে, আপনি সমস্ত Amazon EMR স্থাপনার বিকল্পগুলিতে Apache Spark কাজের জন্য জব-ভিত্তিক Amazon S3 অ্যাক্সেস স্কেল করতে পারেন এবং আরও ভাল নিরাপত্তা ভঙ্গির জন্য দানাদার Amazon S3 অ্যাক্সেস প্রয়োগ করতে পারেন।
এই পোস্টে, আমরা Amazon S3 অ্যাক্সেস অনুদান কীভাবে ব্যবহার করতে হয় তার কয়েকটি ভিন্ন পরিস্থিতির মধ্য দিয়ে চলে যাব। আমরা Amazon EMR এবং Amazon S3 অ্যাক্সেস অনুদান একীকরণের মাধ্যমে হাঁটা শুরু করার আগে, আমরা S3 অ্যাক্সেস অনুদান সেট আপ এবং কনফিগার করব। তারপর, আমরা ব্যবহার করব এডাব্লুএস ক্লাউডফর্মেশন অ্যামাজন ইলাস্টিক কম্পিউট ক্লাউডে একটি অ্যামাজন EMR তৈরি করতে নীচের টেমপ্লেটটি (আমাজন EC2) ক্লাস্টার, একটি EMR সার্ভারহীন অ্যাপ্লিকেশন এবং দুটি ভিন্ন কাজের ভূমিকা।
সেটআপের পরে, আমরা S3 অ্যাক্সেস অনুদান সহ আপনি কীভাবে Amazon EMR ব্যবহার করতে পারেন তার কয়েকটি পরিস্থিতি চালাব। প্রথমে, আমরা CSV ডেটা আমদানি করতে এবং Parquet-এ রূপান্তর করতে Amazon EC2-এ EMR-এ একটি ব্যাচ কাজ চালাব। দ্বিতীয়ত, ডেটা বিশ্লেষণ করতে আমরা একটি ইন্টারেক্টিভ ইএমআর সার্ভারলেস অ্যাপ্লিকেশন সহ অ্যামাজন ইএমআর স্টুডিও ব্যবহার করব। অবশেষে, আমরা দেখাব কিভাবে Amazon S3 অ্যাক্সেস অনুদানের জন্য ক্রস-অ্যাকাউন্ট অ্যাক্সেস সেট আপ করতে হয়। অনেক গ্রাহক ডেটা ভাগ করার জন্য তাদের প্রতিষ্ঠানে এমনকি তাদের প্রতিষ্ঠানের বাইরেও বিভিন্ন অ্যাকাউন্ট ব্যবহার করে। Amazon S3 অ্যাক্সেস অনুদান বিভিন্ন উপসর্গ দ্বারা ফিল্টার করার সময়ও আপনার ডেটাতে ক্রস-অ্যাকাউন্ট অ্যাক্সেস প্রদান করা সহজ করে তোলে।
এই পোস্টটি ছাড়াও, আপনি Amazon S3 অ্যাক্সেস অনুদান সম্পর্কে আরও জানতে পারবেন Amazon S3 অ্যাক্সেস অনুদান দিয়ে ডেটা অ্যাক্সেস স্কেলিং.
পূর্বশর্ত
আপনি AWS ক্লাউডফর্মেশন স্ট্যাক চালু করার আগে, নিশ্চিত করুন যে আপনার কাছে নিম্নলিখিতগুলি আছে:
- একটি AWS অ্যাকাউন্ট যা AWS পরিষেবাগুলিতে অ্যাক্সেস প্রদান করে
- AWS কমান্ড লাইন ইন্টারফেসের সর্বশেষ সংস্করণ (এডাব্লুএস সি এল আই)
- একটি AWS আইডেন্টিটি এবং অ্যাক্সেস ম্যানেজমেন্ট (AWS IAM) AWS CLI কনফিগার করার জন্য একটি অ্যাক্সেস কী এবং গোপন কী সহ ব্যবহারকারী এবং AWS ক্লাউডফর্মেশনে একটি IAM ভূমিকা, IAM নীতি এবং স্ট্যাক তৈরি করার অনুমতি
- আপনি ক্রস-অ্যাকাউন্ট কার্যকারিতা পরীক্ষা করতে চাইলে একটি দ্বিতীয় AWS অ্যাকাউন্ট
walkthrough
AWS ক্লাউডফর্মেশন দিয়ে সংস্থান তৈরি করুন
Amazon S3 অ্যাক্সেস অনুদান ব্যবহার করার জন্য, আপনাকে Amazon EMR 6.15.0 বা তার পরে একটি ক্লাস্টারের প্রয়োজন হবে৷ আরও তথ্যের জন্য, অ্যামাজন S3 অ্যাক্সেস অনুদান ব্যবহার করার জন্য একটি ডকুমেন্টেশন দেখুন আমাজন ইএমআর ক্লাস্টার, একটি EKS ক্লাস্টারে Amazon EMR, এবং একটি অ্যামাজন ইএমআর সার্ভারহীন অ্যাপ্লিকেশন. এই পোস্টের উদ্দেশ্যে, আমরা ধরে নেব যে আপনার সংস্থায় আপনার কাছে দুটি ভিন্ন ধরণের ডেটা অ্যাক্সেস ব্যবহারকারী রয়েছে—বাকেটের ডেটাতে পড়ার এবং লেখার অ্যাক্সেস সহ অ্যানালিটিক্স ইঞ্জিনিয়ার এবং শুধুমাত্র-পঠন অ্যাক্সেস সহ ব্যবসায়িক বিশ্লেষক৷ আমরা দুটি ভিন্ন AWS IAM ভূমিকা ব্যবহার করব, তবে আপনি চাইলে আপনার নিজের পরিচয় প্রদানকারীকে সরাসরি IAM আইডেন্টিটি সেন্টারে সংযুক্ত করতে পারেন।
এখানে এই প্রথম অংশের জন্য স্থাপত্য. AWS CloudFormation স্ট্যাক নিম্নলিখিত AWS সম্পদ তৈরি করে:
- EMR স্টুডিও, রুট টেবিল এবং নেটওয়ার্ক অ্যাড্রেস ট্রান্সলেশন (NAT) গেটওয়ের সাথে ব্যবহার করার জন্য ব্যক্তিগত এবং পাবলিক সাবনেট সহ একটি ভার্চুয়াল প্রাইভেট ক্লাউড (VPC) স্ট্যাক।
- লগ ফাইল, স্পার্ক কোড এবং জুপিটার নোটবুকের মতো EMR শিল্পকর্মের জন্য একটি Amazon S3 বালতি।
- S3 অ্যাক্সেস অনুদানের সাথে ব্যবহার করার জন্য নমুনা ডেটা সহ একটি Amazon S3 বালতি।
- একটি Amazon EMR ক্লাস্টার ব্যবহার করার জন্য কনফিগার করা হয়েছে৷ রানটাইম ভূমিকা এবং S3 অ্যাক্সেস অনুদান।
- একটি Amazon EMR সার্ভারহীন অ্যাপ্লিকেশন S3 অ্যাক্সেস অনুদান ব্যবহার করার জন্য কনফিগার করা হয়েছে।
- একটি অ্যামাজন ইএমআর স্টুডিও যেখানে ব্যবহারকারীরা লগইন করতে এবং ইএমআর সার্ভারলেস অ্যাপ্লিকেশন দিয়ে ওয়ার্কস্পেস নোটবুক তৈরি করতে পারে।
- দুটি AWS IAM ভূমিকা আমরা আমাদের EMR কাজের জন্য ব্যবহার করব: একটি Amazon EC2-এর জন্য লেখার অ্যাক্সেস সহ এবং অন্যটি সার্ভারহীনের জন্য পড়ার অ্যাক্সেস সহ৷
- একটি AWS IAM ভূমিকা যা S3 অ্যাক্সেস অনুদান দ্বারা বাকেট ডেটা অ্যাক্সেস করার জন্য ব্যবহার করা হবে (অর্থাৎ, S3 অ্যাক্সেস অনুদানের সাথে একটি অবস্থান নিবন্ধন করার সময় ব্যবহার করার ভূমিকা। S3 অ্যাক্সেস অনুদান অস্থায়ী শংসাপত্র তৈরি করতে এই ভূমিকাটি ব্যবহার করে)।
শুরু করতে, নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:
- লঞ্চ স্ট্যাক চয়ন করুন:
- ডিফল্ট গ্রহণ করুন এবং নির্বাচন করুন আমি স্বীকার করছি যে এই টেমপ্লেটটি IAM সম্পদ তৈরি করতে পারে।
AWS ক্লাউডফর্মেশন স্ট্যাকটি সম্পূর্ণ হতে প্রায় 10-15 মিনিট সময় নেয়। স্ট্যাক শেষ হয়ে গেলে, আউটপুট ট্যাবে যান যেখানে আপনি নিম্নলিখিত পদক্ষেপগুলির জন্য প্রয়োজনীয় তথ্য পাবেন।
Amazon S3 অ্যাক্সেস অনুদান সংস্থান তৈরি করুন
প্রথমত, আমরা আমাদের অ্যাকাউন্টে একটি Amazon S3 অ্যাক্সেস অনুদান সংস্থান তৈরি করতে যাচ্ছি। আমরা একটি S3 অ্যাক্সেস অনুদান উদাহরণ তৈরি করি, একটি S3 অ্যাক্সেস অনুদান অবস্থান যা AWS ক্লাউডফরমেশন স্ট্যাক দ্বারা তৈরি করা আমাদের ডেটা বাকেটকে বোঝায় যা শুধুমাত্র আমাদের ডেটা বাকেট AWS IAM ভূমিকা দ্বারা অ্যাক্সেসযোগ্য এবং আমাদের পাঠক এবং লেখকের ভূমিকাগুলিতে বিভিন্ন স্তরের অ্যাক্সেস মঞ্জুর করে৷
প্রয়োজনীয় S3 অ্যাক্সেস অনুদান সংস্থান তৈরি করতে, প্রশাসনিক ব্যবহারকারী হিসাবে নিম্নলিখিত AWS CLI কমান্ডগুলি ব্যবহার করুন এবং আপনার CloudFormation স্ট্যাক থেকে আউটপুট দিয়ে তীরগুলির মধ্যে যে কোনও ক্ষেত্র প্রতিস্থাপন করুন৷
এর পরে, আমরা একটি নতুন S3 অ্যাক্সেস অনুদান অবস্থান তৈরি করি৷ একটি অবস্থান কি? Amazon S3 অ্যাক্সেস অনুদান একটি নির্দিষ্ট S3 উপসর্গে অ্যাক্সেসের সুযোগ সহ AWS IAM শংসাপত্র বিক্রি করে কাজ করে। একটি S3 অ্যাক্সেস অনুদান অবস্থান একটি AWS IAM ভূমিকার সাথে যুক্ত হবে যেখান থেকে এই অস্থায়ী সেশনগুলি তৈরি করা হবে৷
আমাদের ক্ষেত্রে, আমরা আমাদের AWS ক্লাউডফরমেশন স্ট্যাকের সাথে তৈরি করা বালতিতে AWS IAM ভূমিকা স্কোপ করতে যাচ্ছি এবং স্ট্যাকের দ্বারা তৈরি ডেটা বাকেট ভূমিকাতে অ্যাক্সেস দেব। নিম্নলিখিত কোড স্নিপেট দিয়ে প্রতিস্থাপন করার জন্য মানগুলি খুঁজে বের করতে আউটপুট ট্যাবে যান:
মনে রাখবেন AccessGrantsLocationId
প্রতিক্রিয়া মধ্যে মান. পরবর্তী পদক্ষেপগুলির জন্য আমাদের এটির প্রয়োজন হবে যেখানে আমরা আপনার বালতিতে পড়ার এবং লেখার অ্যাক্সেস সীমিত করার জন্য প্রয়োজনীয় S3 অ্যাক্সেস গ্রান্ট তৈরি করার মাধ্যমে হাঁটব।
- পঠন/লেখা ব্যবহারকারীর জন্য, ব্যবহার করুন
s3-control create-access-grant
"আউটপুট/*" উপসর্গে READWRITE অ্যাক্সেসের অনুমতি দিতে: - পঠিত ব্যবহারকারীর জন্য, ব্যবহার করুন
s3control create-access-grant
আবার একই উপসর্গে শুধুমাত্র READ অ্যাক্সেসের অনুমতি দিতে:
ডেমো দৃশ্যকল্প 1: Parquet ডেটা তৈরি করতে EC2 স্পার্ক জব-এ Amazon EMR
এখন যেহেতু আমরা আমাদের অ্যামাজন ইএমআর পরিবেশগুলি সেট আপ করেছি এবং S3 অ্যাক্সেস অনুদানের মাধ্যমে আমাদের ভূমিকাগুলিতে অ্যাক্সেস মঞ্জুর করেছি, এটি মনে রাখা গুরুত্বপূর্ণ যে আমাদের EMR ক্লাস্টার এবং EMR সার্ভারলেস অ্যাপ্লিকেশনের জন্য দুটি AWS IAM ভূমিকার একটি IAM নীতি রয়েছে যা শুধুমাত্র অ্যাক্সেসের অনুমতি দেয় আমাদের ইএমআর আর্টিফ্যাক্ট বালতি। আমাদের S3 ডেটা বালতিতে তাদের IAM অ্যাক্সেস নেই এবং পরিবর্তে বালতি এবং উপসর্গে স্কোপ করা স্বল্প-কালীন শংসাপত্রগুলি আনতে S3 অ্যাক্সেস অনুদান ব্যবহার করে৷ বিশেষভাবে, ভূমিকাগুলি মঞ্জুর করা হয় s3:GetDataAccess এবং s3:GetDataAccessGrantsInstanceForPrefix
আমাদের অঞ্চলে তৈরি নির্দিষ্ট S3 অ্যাক্সেস অনুদান উদাহরণের মাধ্যমে অ্যাক্সেসের অনুরোধ করার অনুমতি। এটি আপনাকে একটি উচ্চ স্কোপড এবং দানাদার ফ্যাশনে এক জায়গায় সহজেই আপনার S3 অ্যাক্সেস পরিচালনা করতে দেয় যা আপনার নিরাপত্তা ভঙ্গি বাড়ায়। অ্যামাজন ইলাস্টিক কুবারনেটস সার্ভিসে (আমাজন ইকেএস) এবং EMR সার্ভারহীন পাশাপাশি অ্যামাজন ইএমআর পদক্ষেপের জন্য রানটাইম ভূমিকা EMR 6.7.0 দিয়ে শুরু করে, আপনি সহজেই ব্যক্তিগত চাকরি বা প্রশ্নের জন্য অ্যাক্সেস নিয়ন্ত্রণ পরিচালনা করতে পারেন। S3 অ্যাক্সেস অনুদান EMR 6.15.0 এবং পরবর্তীতে উপলব্ধ। কিছু নমুনা ডেটা Parquet-এ রূপান্তর করতে আমাদের অ্যানালিটিক্স ইঞ্জিনিয়ার হিসাবে প্রথমে EC2-এ EMR-এ একটি স্পার্ক কাজ চালাই।
এই জন্য, দেওয়া নমুনা কোড ব্যবহার করুন converter.py. ফাইলটি ডাউনলোড করুন এবং এটিতে অনুলিপি করুন EMR_ARTIFACTS_BUCKET
AWS CloudFormation স্ট্যাক দ্বারা তৈরি। আমরা ReadWrite AWS IAM ভূমিকা সহ আমাদের কাজ জমা দেব। মনে রাখবেন যে EMR ক্লাস্টারের জন্য, আমরা S3 অ্যাক্সেস অনুদানকে IAM ভূমিকায় ফিরে আসার জন্য কনফিগার করেছি যদি S3 অ্যাক্সেস অনুদান দ্বারা অ্যাক্সেস সরবরাহ করা না হয়। দ্য DATA_WRITER_ROLE
একটি IAM নীতির মাধ্যমে EMR আর্টিফ্যাক্ট বালতিতে পড়ার অ্যাক্সেস রয়েছে যাতে এটি আমাদের স্ক্রিপ্ট পড়তে পারে। আগের মত, সব মান প্রতিস্থাপন করুন <>
থেকে প্রতীক আউটপুট আপনার CloudFormation স্ট্যাকের ট্যাব।
কাজ শেষ হয়ে গেলে, আমাদের কিছু Parquet ডেটা দেখতে হবে s3://<DATA_BUCKET>/output/weather-data/
. এতে চাকরির অবস্থা দেখতে পারবেন প্রারম্ভিক ব্যবহারের নির্দেশাবলী ট্যাব ইএমআর কনসোল.
ডেমো দৃশ্যকল্প 2: ডেটা বিশ্লেষণ করার জন্য একটি ইন্টারেক্টিভ EMR সার্ভারলেস অ্যাপ্লিকেশন সহ EMR স্টুডিও
এখন চলুন এগিয়ে যাই এবং EMR স্টুডিওতে লগইন করি এবং আপনার EMR সার্ভারলেস অ্যাপ্লিকেশানের সাথে রিডঅনলি রানটাইম ভূমিকার সাথে সিনারিও 1 থেকে ডেটা বিশ্লেষণ করি। প্রথমে আমাদের আপনার সার্ভারলেস অ্যাপ্লিকেশনে ইন্টারেক্টিভ এন্ডপয়েন্ট সক্রিয় করতে হবে।
- নির্বাচন করুন EMRStudioURL মধ্যে আউটপুট ট্যাব আপনার AWS ক্লাউডফর্মেশন স্ট্যাকের।
- নির্বাচন করা অ্যাপ্লিকেশন অধীনে Serverless বাম দিকের অংশ।
- নির্বাচন করুন ইএমআরব্লগ আবেদন, তারপর কর্ম ড্রপডাউন, এবং কনফিগারe.
- বিস্তৃত করা ইন্টারেক্টিভ এন্ডপয়েন্ট বিভাগ এবং নিশ্চিত করুন যে ইন্টারেক্টিভ এন্ডপয়েন্ট সক্ষম করুন আমি পরীক্ষা করে দেখেছি.
- নীচে স্ক্রোল করুন এবং ক্লিক করুন অ্যাপ্লিকেশন কনফিগার করুন আপনার পরিবর্তনগুলি সংরক্ষণ করুন।
- অ্যাপ্লিকেশন পৃষ্ঠায় ফিরে, নির্বাচন করুন ইএমআরব্লগ আবেদন, তারপর আবেদন শুরু করুন বোতাম.
এর পরে, আমাদের স্টুডিওতে একটি নতুন কর্মক্ষেত্র তৈরি করুন।
- বেছে নিন ওয়ার্কস্পেস বাম দিকে, তারপর কর্মক্ষেত্র তৈরি করুন বোতাম.
- একটি ওয়ার্কস্পেস নাম লিখুন, অবশিষ্ট ডিফল্টগুলি ছেড়ে দিন এবং নির্বাচন করুন৷ কর্মক্ষেত্র তৈরি করুন.
- ওয়ার্কস্পেস তৈরি করার পরে, এটি কয়েক সেকেন্ডের মধ্যে একটি নতুন ট্যাবে চালু হওয়া উচিত।
এখন আপনার ওয়ার্কস্পেসকে আপনার EMR সার্ভারলেস অ্যাপ্লিকেশনের সাথে সংযুক্ত করুন।
- নির্বাচন করুন ইএমআর কম্পিউট নীচের কোডে দেখানো হিসাবে বাম দিকের বোতাম।
- বেছে নিন EMR সার্ভারহীন গণনার ধরন হিসাবে।
- পছন্দ ইএমআরব্লগ অ্যাপ্লিকেশন এবং রানটাইম ভূমিকা যা দিয়ে শুরু হয় ইএমআরব্লগ.
- বেছে নিন জোড়া. উইন্ডোটি রিফ্রেশ হবে এবং আপনি একটি নতুন খুলতে পারেন পাইস্পার্ক নোটবুক এবং নীচে বরাবর অনুসরণ করুন. কোডটি নিজে চালাতে, ডাউনলোড করুন AccessGrantsReadOnly.ipynb নোটবুক এবং এটি ব্যবহার করে আপনার কর্মক্ষেত্রে আপলোড করুন ফাইল আপলোড ফাইল ব্রাউজারে বোতাম।
চলুন তথ্য একটি দ্রুত পড়া করা যাক.
আমরা একটি সাধারণ গণনা করব (*):
আপনি আরও দেখতে পারেন যে যদি আমরা আউটপুট অবস্থানে ডেটা লেখার চেষ্টা করি, আমরা একটি Amazon S3 ত্রুটি পাই।
আপনি যখন AWS IAM নীতিগুলির মাধ্যমে অনুরূপ অ্যাক্সেস মঞ্জুর করতে পারেন, তখন Amazon S3 অ্যাক্সেস অনুদান এমন পরিস্থিতিতে উপযোগী হতে পারে যেখানে আপনার সংস্থা IAM এর মাধ্যমে অ্যাক্সেস পরিচালনার সুযোগ বাড়িয়ে দিয়েছে, IAM আইডেন্টিটি সেন্টারের প্রধান বা ভূমিকাগুলিতে S3 অ্যাক্সেস অনুদান ম্যাপ করতে চায় বা আগে EMR ব্যবহার করেছে ফাইল সিস্টেম (EMRFS) ভূমিকা ম্যাপিং। S3 অ্যাক্সেস গ্রান্টের শংসাপত্রগুলিও অস্থায়ীভাবে আপনার ডেটাতে আরও নিরাপদ অ্যাক্সেস প্রদান করে। এছাড়াও, নীচে দেখানো হিসাবে, ক্রস-অ্যাকাউন্ট অ্যাক্সেসও S3 অ্যাক্সেস অনুদানের সরলতা থেকে উপকৃত হয়।
ডেমো দৃশ্যকল্প 3 - ক্রস-অ্যাকাউন্ট অ্যাক্সেস
অন্যান্য সাধারণ অ্যাক্সেস প্যাটার্নগুলির মধ্যে একটি হল অ্যাকাউন্ট জুড়ে ডেটা অ্যাক্সেস করা। ডেটা জালের উত্থানের সাথে এই প্যাটার্নটি ক্রমবর্ধমানভাবে সাধারণ হয়ে উঠেছে, যেখানে ডেটা উত্পাদক এবং ভোক্তাদের বিভিন্ন AWS অ্যাকাউন্ট জুড়ে বিকেন্দ্রীকরণ করা হয়।
পূর্বে, আপনার স্পার্ক জব কনফিগার করার সময় জটিল ক্রস-অ্যাকাউন্ট অ্যাসিউম রোল অ্যাকশন এবং কাস্টম শংসাপত্র প্রদানকারী সেট আপ করতে ক্রস-অ্যাকাউন্ট অ্যাক্সেস প্রয়োজন। S3 অ্যাক্সেস অনুদান দিয়ে, আমাদের শুধুমাত্র নিম্নলিখিতগুলি করতে হবে:
- একটি দ্বিতীয় ডেটা গ্রাহক অ্যাকাউন্টে একটি Amazon EMR কাজের ভূমিকা এবং ক্লাস্টার তৈরি করুন
- ডেটা প্রযোজক অ্যাকাউন্ট একটি নতুন ইনস্ট্যান্স রিসোর্স নীতি সহ ডেটা গ্রাহক অ্যাকাউন্টে অ্যাক্সেস মঞ্জুর করে
- ডেটা প্রযোজক অ্যাকাউন্ট ডেটা গ্রাহক কাজের ভূমিকার জন্য একটি অ্যাক্সেস অনুদান তৈরি করে
এবং এটাই! যদি আপনার কাছে একটি দ্বিতীয় অ্যাকাউন্ট থাকে, তাহলে এগিয়ে যান এবং স্থাপন করুন এই AWS ক্লাউডফর্মেশন স্ট্যাক ডেটা কনজিউমার অ্যাকাউন্টে, একটি নতুন EMR সার্ভারহীন অ্যাপ্লিকেশন এবং কাজের ভূমিকা তৈরি করতে। যদি না হয়, শুধু নীচে বরাবর অনুসরণ করুন. AWS CloudFormation স্ট্যাকটি এক মিনিটের মধ্যে তৈরি করা শেষ করা উচিত। এর পরে, আসুন এগিয়ে যাই এবং আমাদের ডেটা প্রযোজক অ্যাকাউন্টে S3 অ্যাক্সেস অনুদানের উদাহরণে আমাদের ডেটা ভোক্তাদের অ্যাক্সেস মঞ্জুর করি।
- প্রতিস্থাপন করা
<DATA_PRODUCER_ACCOUNT_ID>
এবং<DATA_CONSUMER_ACCOUNT_ID>
প্রাসঙ্গিক 12-সংখ্যার AWS অ্যাকাউন্ট আইডি সহ। - আপনাকে কমান্ড এবং নীতিতে অঞ্চল পরিবর্তন করতে হতে পারে।
- এবং তারপর ডাটা ভোক্তা অ্যাকাউন্টে আমাদের EMR সার্ভারলেস কাজের ভূমিকায় আউটপুট ফোল্ডারে READ অ্যাক্সেস মঞ্জুর করুন।
এখন যেহেতু আমরা এটি করেছি, আমরা ডেটা প্রযোজক অ্যাকাউন্টের বালতি থেকে ডেটা গ্রাহক অ্যাকাউন্টে ডেটা পড়তে পারি। আমরা শুধু একটি সহজ চালাব COUNT(*)
আবার প্রতিস্থাপন <APPLICATION_ID>
, <DATA_CONSUMER_JOB_ROLE>
, এবং <DATA_CONSUMER_LOG_BUCKET>
আপনার দ্বিতীয় অ্যাকাউন্টে তৈরি AWS ক্লাউডফর্মেশন স্ট্যাকের আউটপুট ট্যাব থেকে মান সহ।
এবং প্রতিস্থাপন করুন <DATA_PRODUCER_BUCKET>
আপনার প্রথম অ্যাকাউন্ট থেকে বালতি দিয়ে।
কাজটি একটি সম্পূর্ণ অবস্থায় পৌঁছানোর জন্য অপেক্ষা করুন, এবং তারপর আপনার বালতি থেকে stdout লগটি আনুন, প্রতিস্থাপন করুন <APPLICATION_ID>
, <JOB_RUN_ID>
উপরের কাজ থেকে, এবং <DATA_CONSUMER_LOG_BUCKET>
.
আপনি যদি একটি ইউনিক্স-ভিত্তিক মেশিনে থাকেন এবং থাকে গানজিপ ইনস্টল করা হয়েছে, তারপর আপনি আপনার প্রশাসনিক ব্যবহারকারী হিসাবে নিম্নলিখিত কমান্ডটি ব্যবহার করতে পারেন।
মনে রাখবেন যে এই কমান্ডটি শুধুমাত্র AWS IAM ভূমিকা নীতি ব্যবহার করে, Amazon S3 অ্যাক্সেস অনুদান নয়।
অন্যথায়, আপনি ব্যবহার করতে পারেন চাকরীর জন্য ড্যাশবোর্ড পেতে কমান্ড দিন এবং স্পার্ক UI-এর এক্সিকিউটর ট্যাবে ড্রাইভার stdout লগগুলি দেখতে আপনার ব্রাউজারে ফলস্বরূপ URL খুলুন।
পরিষ্কার আপ
আপনার AWS অ্যাকাউন্টের উদাহরণগুলির জন্য ভবিষ্যতের খরচগুলি এড়াতে, নিম্নলিখিত পদক্ষেপগুলি নিতে ভুলবেন না:
- আপনাকে অবশ্যই পোস্টের প্রথম অংশে তৈরি Amazon EMR স্টুডিও ওয়ার্কস্পেসটি ম্যানুয়ালি মুছতে হবে
- AWS ক্লাউডফর্মেশন স্ট্যাক দ্বারা তৈরি Amazon S3 বালতিগুলি খালি করুন৷
- নিশ্চিত করুন যে আপনি অ্যামাজন S3 অ্যাক্সেস অনুদান, সম্পদ নীতি এবং S3 অ্যাক্সেস অনুদানের অবস্থান মুছে ফেলেছেন
delete-access-grant
,delete-access-grants-instance-resource-policy
,delete-access-grants-location
, এবংdelete-access-grants-instance
কমান্ড। - প্রতিটি অ্যাকাউন্টে তৈরি করা AWS ক্লাউডফর্মেশন স্ট্যাকগুলি মুছুন৷
AWS IAM ভূমিকা ম্যাপিংয়ের সাথে তুলনা
2018 সালে, EMR একাধিক IAM ভূমিকার সাথে EMRFS কনফিগার করে স্টোরেজ-স্তরের অনুমোদন প্রদানের উপায় হিসাবে EMRFS রোল ম্যাপিং চালু করেছে। কার্যকরী হওয়া সত্ত্বেও, ভূমিকা ম্যাপিংয়ের জন্য আপনার EMR ক্লাস্টারে স্থানীয়ভাবে ব্যবহারকারী বা গোষ্ঠীগুলিকে সেই পরিচয় এবং তাদের সংশ্লিষ্ট IAM ভূমিকাগুলির মধ্যে ম্যাপিংগুলি বজায় রাখার পাশাপাশি পরিচালনা করা প্রয়োজন৷ আমি তাল মিলাতে চেষ্টা করছি EC2 এ EMR-এ রানটাইম ভূমিকা এবং কাজের ভূমিকা EKS-এ EMR এবং EMR সার্ভারহীন, এখন কাজ পিছু ভিত্তিতে প্রাসঙ্গিক প্রিন্সিপালের কাছে সরাসরি S3-এ আপনার ডেটাতে অ্যাক্সেস দেওয়া সহজ।
উপসংহার
এই পোস্টে, আমরা আপনাকে দেখিয়েছি কিভাবে আপনার Amazon EMR কাজের লোডের জন্য সহজেই ডেটা অ্যাক্সেস পরিচালনা করার জন্য Amazon EMR এর সাথে Amazon S3 অ্যাক্সেস অনুদান সেট আপ এবং ব্যবহার করতে হয়। S3 অ্যাক্সেস অনুদান এবং EMR সহ, আপনি সহজেই IAM পরিচয়ের জন্য S3-এ ডেটা অ্যাক্সেস কনফিগার করতে পারেন বা আপনার পরিচয় উৎস হিসাবে IAM আইডেন্টিটি সেন্টারে আপনার কর্পোরেট ডিরেক্টরি ব্যবহার করতে পারেন৷ S3 অ্যাক্সেস অনুদান EC2-এ EMR, EKS-এ EMR এবং EMR রিলিজ 6.15.0 থেকে শুরু করে EMR সার্ভারলেস জুড়ে সমর্থিত।
আরও জানতে, S3 অ্যাক্সেস অনুদান দেখুন এবং EMR ডকুমেন্টেশন এবং মন্তব্যে কোন প্রশ্ন জিজ্ঞাসা করতে বিনা দ্বিধায়!
লেখক সম্পর্কে
ড্যামন কর্টেসি আমাজন ওয়েব পরিষেবাগুলির সাথে একজন প্রধান বিকাশকারী অ্যাডভোকেট৷ ডেটা ইঞ্জিনিয়ারদের জীবন সহজ করতে সাহায্য করার জন্য তিনি সরঞ্জাম এবং সামগ্রী তৈরি করেন। যখন কাজ করা কঠিন নয়, তখনও তিনি ডেটা পাইপলাইন তৈরি করেন এবং তার অবসর সময়ে লগ বিভক্ত করেন।
- এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
- PlatoData.Network উল্লম্ব জেনারেটিভ Ai. নিজেকে ক্ষমতায়িত করুন। এখানে প্রবেশ করুন.
- প্লেটোএআইস্ট্রিম। Web3 ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
- প্লেটোইএসজি। কার্বন, ক্লিনটেক, শক্তি, পরিবেশ সৌর, বর্জ্য ব্যবস্থাপনা. এখানে প্রবেশ করুন.
- প্লেটো হেলথ। বায়োটেক এবং ক্লিনিক্যাল ট্রায়াল ইন্টেলিজেন্স। এখানে প্রবেশ করুন.
- উত্স: https://aws.amazon.com/blogs/big-data/use-amazon-emr-with-s3-access-grants-to-scale-spark-access-to-amazon-s3/
- : আছে
- : হয়
- :না
- :কোথায়
- $ ইউপি
- 1
- 10
- 100
- 107
- 11
- 1232
- 15%
- 20
- 2018
- 500
- 7
- 8
- a
- সম্পর্কে
- উপরে
- প্রবেশ
- অ্যাক্সেস ম্যানেজমেন্ট
- ডেটাতে অ্যাক্সেস
- প্রবেশযোগ্য
- অ্যাক্সেস করা
- হিসাব
- অ্যাকাউন্টস
- স্বীকার করা
- দিয়ে
- কর্ম
- স্টক
- যোগ
- ঠিকানা
- প্রশাসনিক
- উকিল
- আবার
- এগিয়ে
- সব
- অনুমতি
- অনুমতি
- বরাবর
- এছাড়াও
- মর্দানী স্ত্রীলোক
- আমাজন EC2
- অ্যামাজন ইলাস্টিক কুবারনেটস পরিষেবা
- আমাজন ইএমআর
- অ্যামাজন ওয়েব সার্ভিসেস
- an
- বিশ্লেষকরা
- বৈশ্লেষিক ন্যায়
- বিশ্লেষণ করা
- এবং
- ঘোষণা করা
- অন্য
- কোন
- এ্যাপাচি
- আপা স্পার্ক
- আবেদন
- অ্যাপ্লিকেশন
- আন্দাজ
- স্থাপত্য
- রয়েছি
- AS
- জিজ্ঞাসা করা
- যুক্ত
- অনুমান
- At
- অনুমোদন
- সহজলভ্য
- এড়াতে
- ডেস্কটপ AWS
- এডাব্লুএস ক্লাউডফর্মেশন
- পিছনে
- ভিত্তি
- BE
- পরিণত
- আগে
- শুরু
- নিচে
- সুবিধা
- উত্তম
- মধ্যে
- ব্রাউজার
- তৈরী করে
- ব্যবসায়
- কিন্তু
- বোতাম
- by
- CAN
- কেস
- কেন্দ্র
- পরিবর্তন
- পরিবর্তন
- চেক করা হয়েছে
- বেছে নিন
- ক্লিক
- মক্কেল
- মেঘ
- গুচ্ছ
- কোড
- সমাহার
- মিশ্রন
- সাধারণ
- সম্পূর্ণ
- সম্পন্ন হয়েছে
- জটিল
- গনা
- কনফিগার
- কনফিগার করার
- সংযোগ করা
- ভোক্তা
- কনজিউমার্স
- বিষয়বস্তু
- অবিরত
- নিয়ন্ত্রণ
- রূপান্তর
- কর্পোরেট
- অনুরূপ
- খরচ
- সৃষ্টি
- নির্মিত
- সৃষ্টি
- তৈরি করা হচ্ছে
- পরিচয়পত্র
- প্রথা
- গ্রাহকদের
- উপাত্ত
- তথ্য এক্সেস
- বিকেন্দ্রীভূত
- ডিফল্ট
- অক্ষমতা
- স্থাপন
- বিস্তৃতি
- বিকাশকারী
- বিভিন্ন
- সরাসরি
- do
- ডকুমেন্টেশন
- সম্পন্ন
- নিচে
- ডাউনলোড
- চালক
- e
- প্রতি
- সহজ
- সহজে
- সহজ
- প্রভাব
- কার্যকর
- উত্থান
- সক্ষম করা
- শেষপ্রান্ত
- জোরদার করা
- প্রকৌশলী
- প্রকৌশলী
- বাড়ায়
- নিশ্চিত করা
- পরিবেশের
- ভুল
- থার (eth)
- এমন কি
- উদাহরণ
- এক্সিকিউট
- পতন
- ফ্যাশন
- মনে
- কয়েক
- ক্ষেত্রসমূহ
- ফাইল
- নথি পত্র
- ফিল্টারিং
- পরিশেষে
- আবিষ্কার
- শেষ
- প্রথম
- অনুসরণ করা
- অনুসরণ
- জন্য
- বিনামূল্যে
- থেকে
- ভবিষ্যৎ
- প্রবেশপথ
- উত্পাদন করা
- পাওয়া
- দাও
- Go
- চালু
- পেয়েছিলাম
- প্রদান
- মঞ্জুর
- অনুদান
- গ্রুপ
- গ্রুপের
- কুশলী
- কঠিন
- আছে
- he
- সাহায্য
- অত্যন্ত
- তার
- মধুচক্র
- কিভাবে
- কিভাবে
- এইচটিএমএল
- HTTPS দ্বারা
- i
- আমি
- ID
- পরিচয়
- পরিচয়
- পরিচয় এবং অ্যাক্সেস পরিচালনা
- আইডি
- if
- আমদানি
- গুরুত্বপূর্ণ
- in
- ক্রমবর্ধমানভাবে
- স্বতন্ত্র
- তথ্য
- উদাহরণ
- পরিবর্তে
- ইন্টিগ্রেশন
- ইন্টারেক্টিভ
- ইন্টারফেস
- মধ্যে
- উপস্থাপিত
- IT
- কাজ
- জবস
- JPG
- মাত্র
- চাবি
- Kubernetes
- পরে
- সর্বশেষ
- শুরু করা
- শিখতে
- ত্যাগ
- মাত্রা
- মত
- LIMIT টি
- লাইন
- লাইভস
- স্থানীয়ভাবে
- অবস্থান
- লগ ইন করুন
- লগইন
- মেশিন
- বজায় রাখার
- করা
- পরিচালনা করা
- ব্যবস্থাপনা
- পরিচালক
- ম্যানুয়ালি
- অনেক
- মানচিত্র
- ম্যাপিং
- মে..
- জাল
- মিনিট
- মিনিট
- অধিক
- বহু
- অবশ্যই
- নাম
- প্রয়োজনীয়
- প্রয়োজন
- নেটওয়ার্ক
- নতুন
- পরবর্তী
- না।
- বিঃদ্রঃ
- নোটবই
- নোটবুক
- এখন
- of
- on
- একদা
- ONE
- কেবল
- খোলা
- অপশন সমূহ
- or
- ক্রম
- সংগঠন
- অন্যান্য
- আমাদের
- আউটপুট
- আউটপুট
- বাহিরে
- নিজের
- পৃষ্ঠা
- অংশ
- বিশেষ
- প্যাটার্ন
- নিদর্শন
- অনুমতি
- অনুমতি
- জায়গা
- Plato
- প্লেটো ডেটা ইন্টেলিজেন্স
- প্লেটোডাটা
- খুশি
- নীতি
- নীতি
- পোস্ট
- পূর্বে
- অধ্যক্ষ
- প্রিন্সিপাল
- ব্যক্তিগত
- সৃজনকর্তা
- প্রযোজক
- প্রদান
- প্রদত্ত
- প্রদানকারী
- প্রদানকারীর
- উপলব্ধ
- প্রদানের
- প্রকাশ্য
- উদ্দেশ্য
- প্রশ্নের
- প্রশ্ন
- দ্রুত
- নাগাল
- পড়া
- পাঠক
- বোঝায়
- এলাকা
- নিবন্ধনের
- মুক্তি
- প্রাসঙ্গিক
- অবশিষ্ট
- প্রতিস্থাপন করা
- অনুরোধ
- প্রয়োজনীয়
- সংস্থান
- Resources
- প্রতিক্রিয়া
- ফলে এবং
- ভূমিকা
- ভূমিকা
- রুট
- চালান
- রান
- একই
- সংরক্ষণ করুন
- স্কেল
- দৃশ্যকল্প
- পরিস্থিতিতে
- সুযোগ
- লিপি
- দ্বিতীয়
- সেকেন্ড
- গোপন
- অধ্যায়
- নিরাপদ
- নিরাপত্তা
- দেখ
- নির্বাচন করা
- Serverless
- সেবা
- সেবা
- সেশন
- সেট
- বিন্যাস
- সেটআপ
- শেয়ার
- উচিত
- প্রদর্শনী
- দেখিয়েছেন
- প্রদর্শিত
- পাশ
- অনুরূপ
- সহজ
- সরলতা
- সরলীকৃত
- পরিস্থিতিতে
- টুকিটাকি
- So
- কিছু
- উৎস
- স্ফুলিঙ্গ
- নির্দিষ্ট
- বিশেষভাবে
- টুকরা
- এসকিউএল
- গাদা
- স্ট্যাক
- শুরু
- শুরু হচ্ছে
- শুরু
- রাষ্ট্র
- বিবৃতি
- অবস্থা
- প্রারম্ভিক ব্যবহারের নির্দেশাবলী
- এখনো
- স্টোরেজ
- চিত্রশালা
- জমা
- সাবনেট
- সাফল্য
- সমর্থিত
- নিশ্চিত
- পদ্ধতি
- গ্রহণ করা
- লাগে
- টেমপ্লেট
- অস্থায়ী
- পরীক্ষা
- যে
- সার্জারির
- তাদের
- তারপর
- এইগুলো
- তারা
- এই
- সেগুলো
- দ্বারা
- সময়
- থেকে
- সরঞ্জাম
- অনুবাদ
- চেষ্টা
- দুই
- আদর্শ
- ধরনের
- ui
- অধীনে
- URL টি
- ব্যবহার
- ব্যবহৃত
- ব্যবহারকারী
- ব্যবহারকারী
- ব্যবহারসমূহ
- ব্যবহার
- সদ্ব্যবহার করা
- মূল্য
- মানগুলি
- সংস্করণ
- মাধ্যমে
- চেক
- ভার্চুয়াল
- পদব্রজে ভ্রমণ
- চলাফেরা
- চায়
- উপায়..
- we
- আবহাওয়া
- ওয়েব
- ওয়েব সার্ভিস
- আমরা একটি
- কি
- কখন
- যে
- যখন
- ইচ্ছা
- জানলা
- সঙ্গে
- হয়া যাই ?
- কাজ
- লেখা
- লেখক
- ইয়ামল
- বছর
- আপনি
- আপনার
- নিজেকে
- zephyrnet