ডেটার মান সময় সংবেদনশীল। রিয়েল-টাইম প্রক্রিয়াকরণ ডেটা-চালিত সিদ্ধান্তগুলিকে ঘন্টা বা দিনের পরিবর্তে সেকেন্ড বা মিনিটে সঠিক এবং কার্যকর করে তোলে। পরিবর্তন ডেটা ক্যাপচার (CDC) একটি ডাটাবেসের ডেটাতে করা পরিবর্তনগুলি সনাক্তকরণ এবং ক্যাপচার করার প্রক্রিয়াকে বোঝায় এবং তারপরে সেই পরিবর্তনগুলিকে রিয়েল টাইমে একটি ডাউনস্ট্রিম সিস্টেমে সরবরাহ করে। সোর্স ডাটাবেসে লেনদেন থেকে প্রতিটি পরিবর্তন ক্যাপচার করা এবং তাদেরকে রিয়েল টাইমে টার্গেটে নিয়ে যাওয়া সিস্টেমগুলিকে সিঙ্ক্রোনাইজ রাখে এবং রিয়েল-টাইম অ্যানালিটিক্স ব্যবহার কেস এবং জিরো-ডাউনটাইম ডাটাবেস মাইগ্রেশনে সহায়তা করে। সিডিসির কিছু সুবিধা নিচে দেওয়া হল:
- এটি আপনার টার্গেট রিপোজিটরিতে ডেটা পরিবর্তনের ক্রমবর্ধমান লোডিং বা রিয়েল-টাইম স্ট্রিমিং সক্ষম করে বাল্ক লোড আপডেট করার প্রয়োজনীয়তা এবং অসুবিধাজনক ব্যাচ উইন্ডোজকে দূর করে।
- এটি নিশ্চিত করে যে একাধিক সিস্টেমে ডেটা সিঙ্কে থাকে। এটি বিশেষ করে গুরুত্বপূর্ণ যদি আপনি একটি উচ্চ-বেগ ডেটা পরিবেশে সময়-সংবেদনশীল সিদ্ধান্ত নিচ্ছেন।
কাফকা কানেক্ট Apache Kafka-এর একটি ওপেন-সোর্স উপাদান যা ডেটাবেস, কী-ভ্যালু স্টোর, সার্চ ইনডেক্স এবং ফাইল সিস্টেমের মধ্যে সহজ ডেটা ইন্টিগ্রেশনের জন্য কেন্দ্রীভূত ডেটা হাব হিসেবে কাজ করে। দ্য AWS গ্লু স্কিমা রেজিস্ট্রি আপনাকে কেন্দ্রীয়ভাবে ডেটা স্ট্রিম স্কিমাগুলি আবিষ্কার, নিয়ন্ত্রণ এবং বিকাশের অনুমতি দেয়। কাফকা কানেক্ট এবং স্কিমা রেজিস্ট্রি সংযোগকারী থেকে স্কিমা তথ্য ক্যাপচার করতে একত্রিত হয়। কাফকা কানেক্ট অভ্যন্তরীণ ডেটা টাইপ থেকে ডেটা রূপান্তর করার জন্য একটি প্রক্রিয়া প্রদান করে যা কাফকা কানেক্ট ব্যবহার করে অভ্র, প্রোটোবুফ বা JSON স্কিমা হিসাবে উপস্থাপিত ডেটা প্রকারে। AvroConverter, ProtobufConverter, এবং JsonSchemaConverter স্বয়ংক্রিয়ভাবে কাফকা সংযোগকারী (উৎস) দ্বারা উত্পন্ন স্কিমা নিবন্ধন করে যা কাফকাকে ডেটা তৈরি করে। কাফকার ডেটা গ্রহণকারী সংযোগকারীরা (সিঙ্ক) প্রতিটি বার্তার ডেটা ছাড়াও স্কিমা তথ্য গ্রহণ করে। এটি সিঙ্ক সংযোগকারীকে ডেটা ক্যাটালগে একটি ডাটাবেস টেবিল স্কিমা বজায় রাখার মতো ক্ষমতা প্রদানের জন্য ডেটার গঠন জানতে দেয়।
পোস্টটি প্রদর্শন করে কিভাবে একটি এন্ড-টু-এন্ড সিডিসি ব্যবহার করে তৈরি করা যায় আমাজন MSK কানেক্ট, কাফকা কানেক্ট অ্যাপ্লিকেশন এবং AWS গ্লু স্কিমা রেজিস্ট্রি স্থাপন এবং চালানোর জন্য একটি AWS পরিচালিত পরিষেবা, যা আপনাকে কেন্দ্রীয়ভাবে ডেটা স্ট্রিম স্কিমাগুলি আবিষ্কার, নিয়ন্ত্রণ এবং বিকাশ করতে দেয়৷
সমাধান ওভারভিউ
প্রযোজকের দিক থেকে, এই উদাহরণের জন্য আমরা একটি MySQL- সামঞ্জস্যপূর্ণ নির্বাচন করি অ্যামাজন অরোরা ডাটাবেস হিসাবে ডাটা সোর্স, এবং আমরা একটি ডেবেজিয়াম সিডিসি সঞ্চালনের জন্য মাইএসকিউএল সংযোগকারী। Debezium সংযোগকারী ক্রমাগত ডাটাবেস নিরীক্ষণ করে এবং একটি কাফকা বিষয়ে সারি-স্তরের পরিবর্তনগুলিকে ঠেলে দেয়। সংযোজক রেকর্ডগুলিকে একটি বাইনারি আকারে সিরিয়াল করার জন্য ডাটাবেস থেকে স্কিমা নিয়ে আসে। যদি রেজিস্ট্রিতে স্কিমাটি ইতিমধ্যেই বিদ্যমান না থাকে তবে স্কিমাটি নিবন্ধিত হবে। যদি স্কিমা বিদ্যমান থাকে তবে সিরিয়ালাইজার একটি নতুন সংস্করণ ব্যবহার করছে, স্কিমা রেজিস্ট্রি পরীক্ষা করে সামঞ্জস্যতা মোড স্কিমা আপডেট করার আগে স্কিমার। এই সমাধান, আমরা ব্যবহার পশ্চাদগামী সামঞ্জস্য মোড. স্কিমা রেজিস্ট্রি একটি ত্রুটি ফেরত দেয় যদি স্কিমার একটি নতুন সংস্করণ ব্যাকওয়ার্ড সামঞ্জস্যপূর্ণ না হয় এবং আমরা কাফকা কানেক্ট কনফিগার করতে পারি যাতে ডেড-লেটার কিউতে বেমানান বার্তা পাঠানো যায়।
ভোক্তার দিক থেকে, আমরা একটি ব্যবহার করি আমাজন সিম্পল স্টোরেজ সার্ভিস (Amazon S3) অ্যামাজন S3 এ রেকর্ড এবং সঞ্চয় পরিবর্তনগুলিকে ডিসিরিয়ালাইজ করতে সিঙ্ক সংযোগকারী। আমরা MSK Connect ব্যবহার করে Debezium সংযোগকারী এবং Amazon S3 সিঙ্ক তৈরি এবং স্থাপন করি।
উদাহরণ স্কিমা
এই পোস্টের জন্য, আমরা টেবিলের প্রথম সংস্করণ হিসাবে নিম্নলিখিত স্কিমা ব্যবহার করি:
পূর্বশর্ত
MSK প্রযোজক এবং ভোক্তা সংযোগকারী কনফিগার করার আগে, আমাদের প্রথমে একটি ডেটা উৎস, MSK ক্লাস্টার এবং নতুন স্কিমা রেজিস্ট্রি সেট আপ করতে হবে। আমরা একটি প্রদান এডাব্লুএস ক্লাউডফর্মেশন সমাধানের জন্য প্রয়োজনীয় সহায়ক সংস্থান তৈরি করতে টেমপ্লেট:
- ডেটা উত্স হিসাবে একটি MySQL- সামঞ্জস্যপূর্ণ অরোরা ডাটাবেস। CDC সঞ্চালনের জন্য, আমরা বাইনারি লগিং চালু করি ডিবি ক্লাস্টার প্যারামিটার গ্রুপ.
- একটি MSK ক্লাস্টার। নেটওয়ার্ক সংযোগ সহজ করার জন্য, আমরা Aurora ডাটাবেস এবং MSK ক্লাস্টারের জন্য একই VPC ব্যবহার করি।
- দুটি স্কিমা রেজিস্ট্রি বার্তা কী এবং বার্তার মানের জন্য স্কিমা পরিচালনা করতে।
- ডেটা সিঙ্ক হিসাবে একটি S3 বালতি।
- এই ডেমোর জন্য MSK Connect প্লাগইন এবং কর্মী কনফিগারেশন প্রয়োজন।
- এক অ্যামাজন ইলাস্টিক কম্পিউট ক্লাউড (Amazon EC2) ডাটাবেস কমান্ড চালানোর উদাহরণ।
আপনার AWS অ্যাকাউন্টে সংস্থান সেট আপ করতে, AWS অঞ্চলে নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন যা Amazon MSK, MSK Connect, এবং AWS Glue Schema Registry সমর্থন করে:
- বেছে নিন স্ট্যাক চালু করুন:
- বেছে নিন পরবর্তী.
- জন্য স্ট্যাকের নাম, উপযুক্ত নাম লিখুন।
- জন্য ডাটাবেস পাসওয়ার্ড, ডাটাবেস ব্যবহারকারীর জন্য আপনি যে পাসওয়ার্ড চান তা লিখুন।
- ডিফল্ট হিসাবে অন্যান্য মান রাখুন।
- বেছে নিন পরবর্তী.
- পরের পৃষ্ঠায়, চয়ন করুন পরবর্তী.
- চূড়ান্ত পৃষ্ঠায় বিশদটি পর্যালোচনা করুন এবং নির্বাচন করুন আমি স্বীকার করি যে এডাব্লুএস ক্লাউডফর্মেশন আইএএম সংস্থান তৈরি করতে পারে.
- বেছে নিন স্ট্যাক তৈরি করুন.
উৎস এবং গন্তব্য সংযোগকারীর জন্য কাস্টম প্লাগইন
একটি কাস্টম প্লাগইন হল JAR ফাইলগুলির একটি সেট যাতে এক বা একাধিক সংযোগকারী, রূপান্তর বা রূপান্তরকারীর বাস্তবায়ন থাকে। Amazon MSK MSK Connect ক্লাস্টারের কর্মীদের উপর প্লাগইনটি ইনস্টল করবে যেখানে সংযোগকারী চলছে। এই ডেমোর অংশ হিসাবে, উৎস সংযোগকারীর জন্য আমরা ওপেন-সোর্স ব্যবহার করি Debezium MySQL সংযোগকারী JARs, এবং গন্তব্য সংযোগকারীর জন্য আমরা লাইসেন্সকৃত কনফ্লুয়েন্ট সম্প্রদায় ব্যবহার করি Amazon S3 সিঙ্ক সংযোগকারী JARs. উভয় প্লাগইন লাইব্রেরির সাথে যোগ করা হয়েছে অভ্র সিরিয়ালাইজার এবং ডিসিরিয়ালাইজার AWS গ্লু স্কিমা রেজিস্ট্রি। এই কাস্টম প্লাগইনগুলি পূর্ববর্তী ধাপে স্থাপন করা CloudFormation টেমপ্লেটের অংশ হিসাবে ইতিমধ্যেই তৈরি করা হয়েছে।
MSK প্রযোজক হিসাবে MSK Connect-এ Debezium সংযোগকারীর সাথে AWS Glue Schema Registry ব্যবহার করুন
আমরা প্রথমে ডেবেজিয়াম মাইএসকিউএল প্লাগইন ব্যবহার করে উৎস সংযোগকারী স্থাপন করি Amazon Aurora MySQL- সামঞ্জস্যপূর্ণ সংস্করণ আমাজন এমএসকে ডাটাবেস। নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:
- Amazon MSK কনসোলে, নেভিগেশন প্যানে, নীচে MSK কানেক্টনির্বাচন সংযোজকগুলির.
- বেছে নিন সংযোগকারী তৈরি করুন.
- বেছে নিন বিদ্যমান কাস্টম প্লাগইন ব্যবহার করুন এবং তারপর নাম শুরু করে কাস্টম প্লাগইন বাছাই করুন
msk-blog-debezium-source-plugin
. - বেছে নিন পরবর্তী.
- মত একটি উপযুক্ত নাম লিখুন
debezium-mysql-connector
এবং একটি ঐচ্ছিক বিবরণ। - জন্য অ্যাপাচি কাফকা ক্লাস্টারনির্বাচন MSK ক্লাস্টার এবং ক্লাউডফর্মেশন টেমপ্লেট দ্বারা তৈরি ক্লাস্টারটি বেছে নিন।
- In সংযোগকারী কনফিগারেশন, ডিফল্ট মানগুলি মুছুন এবং নিম্নলিখিত কনফিগারেশন কী-মান জোড়া এবং উপযুক্ত মানগুলির সাথে ব্যবহার করুন:
- নাম - সংযোগকারীর জন্য ব্যবহৃত নাম।
- database.hostsname - এর জন্য ক্লাউডফর্মেশন আউটপুট ডাটাবেস এন্ডপয়েন্ট.
- database.user এবং database.password - ক্লাউডফর্মেশন টেমপ্লেটে পাস করা পরামিতিগুলি।
- database.history.kafka.bootstrap.servers - এর জন্য ক্লাউডফর্মেশন আউটপুট কাফকা বুটস্ট্র্যাপ.
- key.converter.region এবং value.converter.region - আপনার অঞ্চল।
এর মধ্যে কিছু সেটিংস জেনেরিক এবং যেকোনো সংযোগকারীর জন্য নির্দিষ্ট করা উচিত। উদাহরণ স্বরূপ:
- connector.class হল কানেক্টরের জাভা ক্লাস
- tasks.max হল এই কানেক্টরের জন্য তৈরি করা কাজের সর্বাধিক সংখ্যা
কিছু সেটিংস (database.*
, transforms.*
) Debezium MySQL সংযোগকারীর জন্য নির্দিষ্ট। নির্দেশ করে Debezium MySQL উৎস সংযোগকারী কনফিগারেশন বৈশিষ্ট্য আরও তথ্যের জন্য.
কিছু সেটিংস (key.converter.*
এবং value.converter.*
) স্কিমা রেজিস্ট্রির জন্য নির্দিষ্ট। আমরা ব্যবহার করি AWSKafkaAvroConverter
থেকে AWS গ্লু স্কিমা রেজিস্ট্রি লাইব্রেরি বিন্যাস রূপান্তরকারী হিসাবে। কনফিগার করতে AWSKafkaAvroConverter
, আমরা স্ট্রিং ধ্রুবক বৈশিষ্ট্যের মান ব্যবহার করি AWSSchemaRegistry Constants শ্রেণী:
key.converter
এবংvalue.converter
ডেটার বিন্যাস নিয়ন্ত্রণ করুন যা উৎস সংযোগকারীর জন্য কাফকাকে লেখা হবে বা সিঙ্ক সংযোগকারীর জন্য কাফকা থেকে পড়া হবে। আমরা ব্যাবহার করিAWSKafkaAvroConverter
অভ্র ফরম্যাটের জন্য।key.converter.registry.name
এবংvalue.converter.registry.name
কোন স্কিমা রেজিস্ট্রি ব্যবহার করতে হবে তা নির্ধারণ করুন।key.converter.compatibility
এবংvalue.converter.compatibility
সামঞ্জস্য মডেল সংজ্ঞায়িত করুন।
নির্দেশ করে AWS গ্লু স্কিমা রেজিস্ট্রির সাথে কাফকা সংযোগ ব্যবহার করা আরও তথ্যের জন্য.
- এর পরে, আমরা কনফিগার করি সংযোগকারী ক্ষমতা. আমরা বেছে নিতে পারি বিধান করা হয়েছে এবং ডিফল্ট হিসাবে অন্যান্য বৈশিষ্ট্য ছেড়ে দিন
- জন্য কর্মী কনফিগারেশন, নাম শুরু করে কাস্টম ওয়ার্কার কনফিগারেশন বেছে নিন
msk-gsr-blog
CloudFormation টেমপ্লেটের অংশ হিসাবে তৈরি করা হয়েছে। - জন্য অনুমতি অ্যাক্সেস, ব্যবহার এডাব্লুএস আইডেন্টিটি এবং অ্যাক্সেস ম্যানেজমেন্ট (IAM) ভূমিকা CloudFormation টেমপ্লেট দ্বারা তৈরি
MSKConnectRole
. - বেছে নিন পরবর্তী.
- জন্য নিরাপত্তা, ডিফল্ট নির্বাচন করুন।
- বেছে নিন পরবর্তী.
- জন্য লগ ডেলিভারি, নির্বাচন করুন অ্যামাজন ক্লাউডওয়াচ লগগুলিতে বিতরণ করুন এবং CloudFormation টেমপ্লেট দ্বারা তৈরি লগ গ্রুপের জন্য ব্রাউজ করুন (
msk-connector-logs
). - বেছে নিন পরবর্তী.
- সেটিংস পর্যালোচনা করুন এবং চয়ন করুন সংযোগকারী তৈরি করুন.
কয়েক মিনিট পরে, সংযোগকারী চলমান অবস্থায় পরিবর্তিত হয়।
MSK ভোক্তা হিসাবে MSK কানেক্টে চলমান কনফ্লুয়েন্ট S3 সিঙ্ক সংযোগকারীর সাথে AWS গ্লু স্কিমা রেজিস্ট্রি ব্যবহার করুন
Amazon MSK থেকে Amazon S3-এ ডেটা স্ট্রিম করতে আমরা Confluent S3 সিঙ্ক প্লাগইন ব্যবহার করে সিঙ্ক সংযোগকারী স্থাপন করি। নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:
-
- Amazon MSK কনসোলে, নেভিগেশন প্যানে, নীচে MSK কানেক্টনির্বাচন সংযোজকগুলির.
- বেছে নিন সংযোগকারী তৈরি করুন.
- বেছে নিন বিদ্যমান কাস্টম প্লাগইন ব্যবহার করুন এবং নাম শুরু করে কাস্টম প্লাগইন নির্বাচন করুন
msk-blog-S3sink-plugin
. - বেছে নিন পরবর্তী.
- মত একটি উপযুক্ত নাম লিখুন
s3-sink-connector
এবং একটি ঐচ্ছিক বিবরণ। - জন্য অ্যাপাচি কাফকা ক্লাস্টারনির্বাচন MSK ক্লাস্টার এবং CloudFormation টেমপ্লেট দ্বারা তৈরি ক্লাস্টার নির্বাচন করুন।
- In সংযোগকারী কনফিগারেশন, প্রদত্ত ডিফল্ট মানগুলি মুছুন এবং উপযুক্ত মান সহ নিম্নলিখিত কনফিগারেশন কী-মান জোড়া ব্যবহার করুন:
-
- নাম - সংযোগকারীর জন্য ব্যবহৃত একই নাম।
- s3.bucket.name - এর জন্য ক্লাউডফর্মেশন আউটপুট বালতির নাম.
- s3.region, key.converter.region এবং value.converter.region - আপনার অঞ্চল।
-
- এর পরে, আমরা কনফিগার করি সংযোগকারী ক্ষমতা. আমরা বেছে নিতে পারি বিধান করা হয়েছে এবং ডিফল্ট হিসাবে অন্যান্য বৈশিষ্ট্য ছেড়ে দিন
- জন্য কর্মী কনফিগারেশন, নাম শুরু করে কাস্টম ওয়ার্কার কনফিগারেশন বেছে নিন
msk-gsr-blog
CloudFormation টেমপ্লেটের অংশ হিসাবে তৈরি করা হয়েছে। - জন্য অনুমতি অ্যাক্সেস, CloudFormation টেমপ্লেট দ্বারা তৈরি IAM ভূমিকা ব্যবহার করুন
MSKConnectRole
. - বেছে নিন পরবর্তী.
- জন্য নিরাপত্তা, ডিফল্ট নির্বাচন করুন।
- বেছে নিন পরবর্তী.
- জন্য লগ ডেলিভারি, নির্বাচন করুন অ্যামাজন ক্লাউডওয়াচ লগগুলিতে বিতরণ করুন এবং CloudFormation টেমপ্লেট দ্বারা তৈরি লগ গ্রুপের জন্য ব্রাউজ করুন
msk-connector-logs
. - বেছে নিন পরবর্তী.
- সেটিংস পর্যালোচনা করুন এবং চয়ন করুন সংযোগকারী তৈরি করুন.
কয়েক মিনিট পরে, সংযোগকারী চলছে।
এন্ড-টু-এন্ড CDC লগ স্ট্রীম পরীক্ষা করুন
এখন যেহেতু Debezium এবং S3 সিঙ্ক সংযোগকারী উভয়ই আপ এবং চলমান, শেষ থেকে শেষ সিডিসি পরীক্ষা করার জন্য নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:
- Amazon EC2 কনসোলে, নেভিগেট করুন সুরক্ষা গ্রুপ পাতা.
- নিরাপত্তা গ্রুপ নির্বাচন করুন
ClientInstanceSecurityGroup
এবং নির্বাচন করুন অন্তর্মুখী নিয়ম সম্পাদনা করুন. - আপনার স্থানীয় নেটওয়ার্ক থেকে SSH সংযোগের অনুমতি দিয়ে একটি অন্তর্মুখী নিয়ম যোগ করুন।
- উপরে দৃষ্টান্ত পৃষ্ঠা, উদাহরণ নির্বাচন করুন
ClientInstance
এবং নির্বাচন করুন সংযোগ করা. - উপরে EC2 ইনস্ট্যান্স কানেক্ট ট্যাব, চয়ন করুন সংযোগ করা.
- আপনার বর্তমান কাজের ডিরেক্টরি নিশ্চিত করুন
/home/ec2-user
এবং এটি ফাইল আছেcreate_table.sql
,alter_table.sql
,initial_insert.sql
, এবংinsert_data_with_new_column.sql
. - নিম্নলিখিত কমান্ডটি চালিয়ে আপনার MySQL ডাটাবেসে একটি টেবিল তৈরি করুন (ক্লাউডফরমেশন টেমপ্লেট আউটপুট থেকে ডাটাবেস হোস্টের নাম প্রদান করুন):
- পাসওয়ার্ডের জন্য অনুরোধ করা হলে, CloudFormation টেমপ্লেট প্যারামিটার থেকে পাসওয়ার্ড লিখুন।
- নিম্নলিখিত কমান্ড দিয়ে টেবিলে কিছু নমুনা তথ্য সন্নিবেশ করান:
- পাসওয়ার্ডের জন্য অনুরোধ করা হলে, CloudFormation টেমপ্লেট প্যারামিটার থেকে পাসওয়ার্ড লিখুন।
- এডাব্লুএস আঠালো কনসোলে, নির্বাচন করুন স্কিমা রেজিস্ট্রি নেভিগেশন ফলকে, তারপর নির্বাচন করুন স্কিমাস.
- নেভিগেট করুন
db1.sampledatabase.movies
মুভি টেবিলের জন্য তৈরি করা নতুন স্কিমা পরীক্ষা করতে সংস্করণ 1:
কাফকা বিষয়ের প্রতিটি পার্টিশনের জন্য একটি পৃথক S3 ফোল্ডার তৈরি করা হয় এবং সেই ফোল্ডারে বিষয়ের ডেটা লেখা হয়।
- Amazon S3 কনসোলে, আপনার কাফকা বিষয়ের ফোল্ডারে Parquet বিন্যাসে লেখা ডেটা পরীক্ষা করুন।
স্কিমা বিবর্তন
প্রাথমিক স্কিমা সংজ্ঞায়িত করার পরে, অ্যাপ্লিকেশনগুলিকে সময়ের সাথে সাথে এটির বিকাশের প্রয়োজন হতে পারে। যখন এটি ঘটে, ডাউনস্ট্রিম ভোক্তাদের জন্য পুরানো এবং নতুন উভয় স্কিমার সাথে এনকোড করা ডেটা নির্বিঘ্নে পরিচালনা করতে সক্ষম হওয়া গুরুত্বপূর্ণ। সামঞ্জস্যপূর্ণ মোডগুলি আপনাকে নিয়ন্ত্রণ করতে দেয় যে কীভাবে স্কিমাগুলি সময়ের সাথে বিকশিত হতে পারে বা না হতে পারে। এই মোডগুলি অ্যাপ্লিকেশন উত্পাদন এবং ডেটা ব্যবহার করার মধ্যে চুক্তি গঠন করে। AWS গ্লু স্কিমা রেজিস্ট্রিতে উপলব্ধ বিভিন্ন সামঞ্জস্যপূর্ণ মোড সম্পর্কে বিস্তারিত তথ্যের জন্য, দেখুন AWS গ্লু স্কিমা রেজিস্ট্রি. আমাদের উদাহরণে, ভোক্তারা বর্তমান এবং পূর্ববর্তী উভয় স্কিমা সংস্করণ পড়তে পারে তা নিশ্চিত করার জন্য আমরা পশ্চাদগামী কম্পাবিলিটি ব্যবহার করি। নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:
- নিম্নলিখিত কমান্ডটি চালিয়ে টেবিলে একটি নতুন কলাম যুক্ত করুন:
- নিম্নলিখিত কমান্ডটি চালিয়ে টেবিলে নতুন ডেটা সন্নিবেশ করুন:
- এডাব্লুএস আঠালো কনসোলে, নির্বাচন করুন স্কিমা রেজিস্ট্রি নেভিগেশন ফলকে, তারপর নির্বাচন করুন স্কিমাস.
- স্কিমাতে নেভিগেট করুন
db1.sampledatabase.movies
আপনি যে দেশের কলাম যুক্ত করেছেন তা সহ মুভি টেবিল মুভিগুলির জন্য তৈরি স্কিমার নতুন সংস্করণ পরীক্ষা করতে সংস্করণ 2:
- Amazon S3 কনসোলে, কাফকা বিষয়ের ফোল্ডারে Parquet বিন্যাসে লেখা ডেটা পরীক্ষা করুন।
পরিষ্কার কর
আপনার AWS অ্যাকাউন্টে অবাঞ্ছিত চার্জ প্রতিরোধে সাহায্য করতে, আপনি এই পোস্টে যে AWS সংস্থানগুলি ব্যবহার করেছেন তা মুছুন:
- Amazon S3 কনসোলে, CloudFormation টেমপ্লেট দ্বারা তৈরি S3 বালতিতে নেভিগেট করুন।
- সমস্ত ফাইল এবং ফোল্ডার নির্বাচন করুন এবং নির্বাচন করুন মুছে ফেলা.
- নির্দেশিত হিসাবে স্থায়ীভাবে মুছে দিন এবং নির্বাচন করুন বস্তু মুছুন.
- AWS CloudFormation কনসোলে, আপনার তৈরি করা স্ট্যাকটি মুছুন।
- স্ট্যাকের স্থিতিতে পরিবর্তন করার জন্য অপেক্ষা করুন DELETE_COMPLETE.
উপসংহার
এই পোস্টে দেখানো হয়েছে কিভাবে Amazon MSK, MSK Connect, এবং AWS Glue Schema Registry ব্যবহার করে একটি CDC লগ স্ট্রীম তৈরি করতে হয় এবং ব্যবসার প্রয়োজনে পরিবর্তনের সাথে সাথে ডেটা স্ট্রীমগুলির জন্য স্কিমা তৈরি করতে হয়। আপনি বিভিন্ন কাফকা সংযোগকারীর সাথে অন্যান্য ডেটা উত্সগুলিতে এই আর্কিটেকচার প্যাটার্ন প্রয়োগ করতে পারেন। আরো তথ্যের জন্য, পড়ুন MSK সংযোগ উদাহরণ.
লেখক সম্পর্কে
কল্যাণ জানকী অ্যামাজন ওয়েব পরিষেবাগুলির সাথে সিনিয়র বিগ ডেটা এবং অ্যানালিটিক্স বিশেষজ্ঞ৷ তিনি গ্রাহকদের আর্কিটেক্ট করতে এবং AWS-এ অত্যন্ত মাপযোগ্য, পারফরম্যান্ট এবং সুরক্ষিত ক্লাউড-ভিত্তিক সমাধান তৈরি করতে সহায়তা করেন।
- এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
- প্লেটোব্লকচেন। Web3 মেটাভার্স ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
- উত্স: https://aws.amazon.com/blogs/big-data/build-an-end-to-end-change-data-capture-with-amazon-msk-connect-and-aws-glue-schema-registry/
- : হয়
- $ ইউপি
- 1
- 10
- 11
- 7
- 8
- a
- সক্ষম
- সম্পর্কে
- প্রবেশ
- হিসাব
- সঠিক
- স্বীকার করা
- যোগ
- যোগ
- সব
- অনুমতি
- অনুমতি
- ইতিমধ্যে
- মর্দানী স্ত্রীলোক
- আমাজন EC2
- অ্যামাজন ওয়েব সার্ভিসেস
- বৈশ্লেষিক ন্যায়
- এবং
- এ্যাপাচি
- আপাচি কাফকা
- অ্যাপ্লিকেশন
- প্রয়োগ করা
- যথাযথ
- স্থাপত্য
- রয়েছি
- AS
- ঊষা
- স্বয়ংক্রিয়ভাবে
- সহজলভ্য
- ডেস্কটপ AWS
- এডাব্লুএস ক্লাউডফর্মেশন
- এডাব্লুএস আঠালো
- BE
- আগে
- সুবিধা
- মধ্যে
- বিশাল
- বড় ডেটা
- বুটস্ট্র্যাপ
- নির্মাণ করা
- ব্যবসায়
- by
- CAN
- ক্ষমতা
- গ্রেপ্তার
- ক্যাপচার
- মামলা
- তালিকা
- সিডিসি
- কেন্দ্রীভূত
- পরিবর্তন
- পরিবর্তন
- চার্জ
- চেক
- চেক
- বেছে নিন
- শ্রেণী
- গুচ্ছ
- স্তম্ভ
- সম্প্রদায়
- সঙ্গতি
- উপযুক্ত
- সম্পূর্ণ
- উপাদান
- গনা
- কনফিগারেশন
- মিলিয়া একীভূত
- সংযোগ করা
- সংযোগ
- কনসোল
- ধ্রুব
- গ্রাস করা
- ভোক্তা
- কনজিউমার্স
- একটানা
- চুক্তি
- নিয়ন্ত্রণ
- দেশ
- সৃষ্টি
- নির্মিত
- সংকটপূর্ণ
- বর্তমান
- প্রথা
- গ্রাহকদের
- উপাত্ত
- বিভিন্ন উপাদানের মিশ্রনের তথ্য
- তথ্য চালিত
- ডেটাবেস
- ডাটাবেস
- দিন
- সিদ্ধান্ত
- ডিফল্ট
- অক্ষমতা
- সংজ্ঞায়িত
- প্রদান
- ডেমো
- প্রদর্শিত
- প্রমান
- স্থাপন
- মোতায়েন
- বিবরণ
- গন্তব্য
- বিশদ
- বিস্তারিত
- বিভিন্ন
- আবিষ্কার করা
- না
- ড্রপ
- প্রতি
- ঘটিয়েছে
- সক্রিয়
- সর্বশেষ সীমা
- নিশ্চিত করা
- নিশ্চিত
- প্রবেশ করান
- পরিবেশ
- ভুল
- বিশেষত
- থার (eth)
- প্রতি
- গজান
- উদাহরণ
- বিদ্যমান
- বিদ্যমান
- কয়েক
- ক্ষেত্রসমূহ
- ফাইল
- নথি পত্র
- চূড়ান্ত
- প্রথম
- অনুসরণ
- জন্য
- ফর্ম
- বিন্যাস
- থেকে
- উত্পাদন করা
- উত্পন্ন
- গ্রুপ
- গ্রুপের
- হাতল
- হ্যান্ডলিং
- এরকম
- আছে
- সাহায্য
- সাহায্য
- অত্যন্ত
- ইতিহাস
- নিমন্ত্রণকর্তা
- ঘন্টার
- কিভাবে
- কিভাবে
- এইচটিএমএল
- HTTP
- HTTPS দ্বারা
- নাভি
- আমি
- চিহ্নিতকরণের
- পরিচয়
- বাস্তবায়ন
- গুরুত্বপূর্ণ
- in
- সুদ্ধ
- ইনডেক্স
- তথ্য
- প্রারম্ভিক
- ইনস্টল
- উদাহরণ
- পরিবর্তে
- সম্পূর্ণ
- ইন্টিগ্রেশন
- অভ্যন্তরীণ
- IT
- জাভা
- JPG
- JSON
- কাফকা
- চাবি
- জানা
- ত্যাগ
- লাইব্রেরি
- অনুমতিপ্রাপ্ত
- মত
- বোঝা
- বোঝাই
- স্থানীয়
- দীর্ঘ
- প্রণীত
- তৈরি করে
- মেকিং
- পরিচালিত
- মালিক
- সর্বোচ্চ
- সর্বাধিক
- পদ্ধতি
- বার্তা
- বার্তা
- হতে পারে
- মিনিট
- মডেল
- মোড
- মনিটর
- অধিক
- চলচ্চিত্র
- চলন্ত
- বহু
- মাইএসকিউএল
- নাম
- নেভিগেট করুন
- ন্যাভিগেশন
- প্রয়োজন
- প্রয়োজন
- চাহিদা
- নেটওয়ার্ক
- নতুন
- পরবর্তী
- সংখ্যা
- of
- পুরাতন
- on
- ONE
- ওপেন সোর্স
- অন্যান্য
- আউটপুট
- পৃষ্ঠা
- জোড়া
- শার্সি
- স্থিতিমাপ
- পরামিতি
- অংশ
- গৃহীত
- পাসওয়ার্ড
- প্যাটার্ন
- সম্পাদন করা
- স্থায়িভাবে
- বাছাই
- Plato
- প্লেটো ডেটা ইন্টেলিজেন্স
- প্লেটোডাটা
- প্লাগ লাগানো
- প্লাগ-ইন
- পোস্ট
- প্রতিরোধ
- আগে
- প্রক্রিয়া
- প্রক্রিয়াজাতকরণ
- উৎপাদন করা
- সৃজনকর্তা
- বৈশিষ্ট্য
- প্রদান
- প্রদত্ত
- উপলব্ধ
- পড়া
- বাস্তব
- প্রকৃত সময়
- গ্রহণ করা
- নথি
- রেকর্ড
- বোঝায়
- এলাকা
- খাতা
- নিবন্ধভুক্ত
- রেজিস্ট্রি
- সংগ্রহস্থলের
- প্রতিনিধিত্ব
- Resources
- আয়
- ভূমিকা
- নিয়ম
- চালান
- দৌড়
- একই
- মাপযোগ্য
- নির্বিঘ্নে
- সার্চ
- সেকেন্ড
- নিরাপদ
- নিরাপত্তা
- জ্যেষ্ঠ
- সংবেদনশীল
- আলাদা
- সেবা
- সেবা
- সেট
- সেটিংস
- উচিত
- সহজ
- সহজতর করা
- সমাধান
- সলিউশন
- কিছু
- উৎস
- সোর্স
- বিশেষজ্ঞ
- নির্দিষ্ট
- নিদিষ্ট
- গাদা
- শুরু হচ্ছে
- অবস্থা
- ধাপ
- প্রারম্ভিক ব্যবহারের নির্দেশাবলী
- স্টোরেজ
- দোকান
- দোকান
- প্রবাহ
- স্ট্রিমিং
- স্ট্রিম
- গঠন
- উপযুক্ত
- সমর্থক
- সমর্থন
- সুসংগত.
- পদ্ধতি
- সিস্টেম
- টেবিল
- লক্ষ্য
- কাজ
- টেমপ্লেট
- পরীক্ষা
- যে
- সার্জারির
- উৎস
- তাহাদিগকে
- এইগুলো
- সময়
- সংবেদনশীল সময়
- শিরনাম
- থেকে
- বিষয়
- লেনদেন
- চালু
- ধরনের
- অধীনে
- অনাবশ্যক
- আপডেট
- ব্যবহার
- ব্যবহারকারী
- মূল্য
- মানগুলি
- সংস্করণ
- ওয়েব
- ওয়েব সার্ভিস
- যে
- ইচ্ছা
- জানালা
- সঙ্গে
- কর্মী
- শ্রমিকদের
- কাজ
- কাজ
- লিখিত
- আপনার
- zephyrnet