ڈیٹا کی قدر وقت کے لیے حساس ہے۔ ریئل ٹائم پروسیسنگ ڈیٹا سے چلنے والے فیصلوں کو گھنٹوں یا دنوں کی بجائے سیکنڈوں یا منٹوں میں درست اور قابل عمل بناتی ہے۔ تبدیلی ڈیٹا کیپچر (CDC) سے مراد ڈیٹا بیس میں ڈیٹا میں کی جانے والی تبدیلیوں کی شناخت اور کیپچر کرنے کا عمل ہے اور پھر ان تبدیلیوں کو حقیقی وقت میں نیچے دھارے کے نظام تک پہنچانا ہے۔ ماخذ ڈیٹا بیس میں لین دین سے ہونے والی ہر تبدیلی کو کیپچر کرنا اور انہیں حقیقی وقت میں ہدف پر منتقل کرنا سسٹمز کو ہم آہنگ رکھتا ہے، اور ریئل ٹائم اینالیٹکس کے استعمال کے کیسز اور صفر-ڈاؤن ٹائم ڈیٹا بیس کی منتقلی میں مدد کرتا ہے۔ سی ڈی سی کے چند فوائد درج ذیل ہیں:
- یہ آپ کے ٹارگٹ ریپوزٹری میں ڈیٹا کی تبدیلیوں کی اضافی لوڈنگ یا ریئل ٹائم اسٹریمنگ کو چالو کرکے بلک لوڈ اپڈیٹنگ اور تکلیف دہ بیچ ونڈوز کی ضرورت کو ختم کرتا ہے۔
- یہ یقینی بناتا ہے کہ متعدد سسٹمز میں ڈیٹا مطابقت پذیر رہے۔ یہ خاص طور پر اہم ہے اگر آپ تیز رفتار ڈیٹا ماحول میں وقت کے لحاظ سے حساس فیصلے کر رہے ہیں۔
کافکا کنیکٹ اپاچی کافکا کا ایک اوپن سورس جزو ہے جو ڈیٹا بیسز، کلیدی ویلیو اسٹورز، سرچ انڈیکس اور فائل سسٹم کے درمیان سادہ ڈیٹا انضمام کے لیے مرکزی ڈیٹا ہب کے طور پر کام کرتا ہے۔ دی AWS گلو سکیما رجسٹری آپ کو ڈیٹا اسٹریم اسکیموں کو مرکزی طور پر دریافت کرنے، کنٹرول کرنے اور تیار کرنے کی اجازت دیتا ہے۔ کافکا کنیکٹ اور سکیما رجسٹری کنیکٹرز سے سکیما کی معلومات حاصل کرنے کے لیے مربوط ہیں۔ کافکا کنیکٹ کافکا کنیکٹ کے ذریعہ استعمال کردہ اندرونی ڈیٹا کی اقسام سے ڈیٹا کو Avro، Protobuf، یا JSON Schema کے طور پر پیش کردہ ڈیٹا کی اقسام میں تبدیل کرنے کا طریقہ کار فراہم کرتا ہے۔ AvroConverter، ProtobufConverter، اور JsonSchemaConverter خود کار طریقے سے کافکا کنیکٹرز (ذریعہ) کے ذریعہ تیار کردہ اسکیموں کو رجسٹر کرتے ہیں جو کافکا کو ڈیٹا تیار کرتے ہیں۔ کافکا سے ڈیٹا استعمال کرنے والے کنیکٹرز (سنک) ہر پیغام کے ڈیٹا کے علاوہ اسکیما کی معلومات حاصل کرتے ہیں۔ یہ سنک کنیکٹرز کو ڈیٹا کی ساخت کو جاننے کی اجازت دیتا ہے تاکہ ڈیٹا کیٹلاگ میں ڈیٹا بیس ٹیبل اسکیما کو برقرار رکھنے جیسی صلاحیتیں فراہم کی جا سکیں۔
پوسٹ میں دکھایا گیا ہے کہ کس طرح ایک اینڈ ٹو اینڈ سی ڈی سی استعمال کرتے ہوئے بنایا جائے۔ ایمیزون ایم ایس کے کنیکٹ، کافکا کنیکٹ ایپلی کیشنز اور AWS Glue Schema Registry کو تعینات کرنے اور چلانے کے لیے AWS کے زیر انتظام سروس، جو آپ کو ڈیٹا اسٹریم اسکیموں کو مرکزی طور پر دریافت کرنے، کنٹرول کرنے اور تیار کرنے کی اجازت دیتی ہے۔
حل جائزہ
پروڈیوسر کی طرف، اس مثال کے لیے ہم ایک MySQL-compatible کا انتخاب کرتے ہیں۔ ایمیزون ارورہ ڈیٹا بیس کو بطور ڈیٹا ماخذ، اور ہمارے پاس ایک ہے۔ ڈیبیزیم سی ڈی سی انجام دینے کے لیے مائی ایس کیو ایل کنیکٹر۔ ڈیبیزیم کنیکٹر ڈیٹا بیس کی مسلسل نگرانی کرتا ہے اور کافکا کے موضوع پر قطار کی سطح کی تبدیلیوں کو آگے بڑھاتا ہے۔ کنیکٹر ریکارڈز کو بائنری شکل میں سیریلائز کرنے کے لیے ڈیٹا بیس سے اسکیما لاتا ہے۔ اگر اسکیما رجسٹری میں پہلے سے موجود نہیں ہے تو اسکیما رجسٹر ہو جائے گی۔ اگر اسکیما موجود ہے لیکن سیریلائزر نیا ورژن استعمال کر رہا ہے، تو اسکیما رجسٹری چیک کرتی ہے مطابقت وضع اسکیما کو اپ ڈیٹ کرنے سے پہلے اسکیما کا۔ اس حل میں، ہم استعمال کرتے ہیں پسماندہ مطابقت موڈ. اسکیما رجسٹری ایک خرابی لوٹاتی ہے اگر اسکیما کا نیا ورژن پسماندہ مطابقت نہیں رکھتا ہے، اور ہم کافکا کنیکٹ کو ڈیڈ لیٹر قطار میں غیر موازن پیغامات بھیجنے کے لیے ترتیب دے سکتے ہیں۔
صارفین کی طرف، ہم ایک استعمال کرتے ہیں۔ ایمیزون سادہ اسٹوریج سروس (ایمیزون S3) سنک کنیکٹر ریکارڈ کو ڈی سیریلائز کرنے اور ایمیزون S3 میں تبدیلیاں اسٹور کرنے کے لیے۔ ہم MSK Connect کا استعمال کرتے ہوئے Debezium کنیکٹر اور Amazon S3 سنک بناتے اور لگاتے ہیں۔
اسکیما کی مثال
اس پوسٹ کے لیے، ہم ٹیبل کے پہلے ورژن کے طور پر درج ذیل اسکیما کا استعمال کرتے ہیں:
شرائط
MSK پروڈیوسر اور کنزیومر کنیکٹرز کو کنفیگر کرنے سے پہلے، ہمیں پہلے ڈیٹا سورس، MSK کلسٹر، اور نئی سکیما رجسٹری سیٹ اپ کرنے کی ضرورت ہے۔ ہم ایک فراہم کرتے ہیں AWS کلاؤڈ فارمیشن حل کے لیے درکار معاون وسائل پیدا کرنے کے لیے ٹیمپلیٹ:
- ڈیٹا ماخذ کے طور پر ایک MySQL سے ہم آہنگ ارورہ ڈیٹا بیس۔ CDC کو انجام دینے کے لیے، ہم بائنری لاگنگ کو آن کرتے ہیں۔ ڈی بی کلسٹر پیرامیٹر گروپ.
- ایک MSK کلسٹر۔ نیٹ ورک کنکشن کو آسان بنانے کے لیے، ہم Aurora ڈیٹا بیس اور MSK کلسٹر کے لیے ایک ہی VPC استعمال کرتے ہیں۔
- پیغام کی کلید اور پیغام کی قدر کے لیے اسکیموں کو ہینڈل کرنے کے لیے دو اسکیما رجسٹریاں۔
- ڈیٹا سنک کے طور پر ایک S3 بالٹی۔
- اس ڈیمو کے لیے MSK کنیکٹ پلگ انز اور ورکر کنفیگریشن کی ضرورت ہے۔
- ایک ایمیزون لچکدار کمپیوٹ کلاؤڈ (ایمیزون EC2) مثال کے طور پر ڈیٹا بیس کمانڈز کو چلانے کے لیے۔
اپنے AWS اکاؤنٹ میں وسائل ترتیب دینے کے لیے، AWS ریجن میں درج ذیل مراحل کو مکمل کریں جو Amazon MSK، MSK Connect، اور AWS Glue Schema رجسٹری کو سپورٹ کرتا ہے:
- میں سے انتخاب کریں اسٹیک لانچ کریں۔:
- میں سے انتخاب کریں اگلے.
- کے لئے اسٹیک کا نام، مناسب نام درج کریں۔
- کے لئے ڈیٹا بیس پاس ورڈ، وہ پاس ورڈ درج کریں جو آپ ڈیٹا بیس صارف کے لیے چاہتے ہیں۔
- دیگر اقدار کو بطور ڈیفالٹ رکھیں۔
- میں سے انتخاب کریں اگلے.
- اگلے صفحے پر، منتخب کریں۔ اگلے.
- حتمی صفحہ پر تفصیلات کا جائزہ لیں اور منتخب کریں۔ میں تسلیم کرتا ہوں کہ AWS CloudFormation IAM وسائل پیدا کر سکتا ہے۔.
- میں سے انتخاب کریں اسٹیک بنائیں.
ماخذ اور منزل کنیکٹر کے لیے حسب ضرورت پلگ ان
اپنی مرضی کے مطابق پلگ ان JAR فائلوں کا ایک سیٹ ہے جس میں ایک یا زیادہ کنیکٹرز، ٹرانسفارمز یا کنورٹرز کا نفاذ ہوتا ہے۔ ایمیزون ایم ایس کے ایم ایس کے کنیکٹ کلسٹر کے کارکنوں پر پلگ ان انسٹال کرے گا جہاں کنیکٹر چل رہا ہے۔ اس ڈیمو کے حصے کے طور پر، سورس کنیکٹر کے لیے ہم اوپن سورس استعمال کرتے ہیں۔ Debezium MySQL کنیکٹر JARs، اور منزل کنیکٹر کے لیے ہم لائسنس یافتہ Confluent کمیونٹی استعمال کرتے ہیں۔ ایمیزون S3 سنک کنیکٹر JARs. دونوں پلگ ان کو لائبریریوں کے ساتھ بھی شامل کیا گیا ہے۔ ایورو سیریلائزرز اور ڈیسیریلائزرز AWS گلو سکیما رجسٹری کی. یہ حسب ضرورت پلگ ان پہلے ہی پچھلے مرحلے میں تعینات کردہ CloudFormation ٹیمپلیٹ کے حصے کے طور پر بنائے گئے ہیں۔
MSK پروڈیوسر کے طور پر MSK Connect پر Debezium کنیکٹر کے ساتھ AWS Glue Schema رجسٹری کا استعمال کریں۔
ہم سب سے پہلے ڈیبیزیم مائی ایس کیو ایل پلگ ان کا استعمال کرتے ہوئے ماخذ کنیکٹر کو ایک سے ڈیٹا سٹریم کرنے کے لیے تعینات کرتے ہیں۔ Amazon Aurora MySQL- ہم آہنگ ایڈیشن ایمیزون MSK کا ڈیٹا بیس۔ درج ذیل مراحل کو مکمل کریں:
- ایمیزون MSK کنسول پر، نیویگیشن پین میں، نیچے MSK کنیکٹمنتخب کریں کنیکٹر.
- میں سے انتخاب کریں کنیکٹر بنائیں.
- میں سے انتخاب کریں موجودہ کسٹم پلگ ان کا استعمال کریں۔ اور پھر نام شروع کرنے کے ساتھ اپنی مرضی کے مطابق پلگ ان کو منتخب کریں۔
msk-blog-debezium-source-plugin
. - میں سے انتخاب کریں اگلے.
- ایک مناسب نام درج کریں۔
debezium-mysql-connector
اور ایک اختیاری وضاحت۔ - کے لئے اپاچی کافکا کلسٹرمنتخب کریں MSK کلسٹر اور CloudFormation ٹیمپلیٹ کے ذریعے تخلیق کردہ کلسٹر کا انتخاب کریں۔
- In رابط کنفیگریشن، پہلے سے طے شدہ اقدار کو حذف کریں اور درج ذیل کنفیگریشن کلیدی قدر کے جوڑے اور مناسب اقدار کے ساتھ استعمال کریں:
- نام - کنیکٹر کے لیے استعمال ہونے والا نام۔
- database.hostsname - کے لیے کلاؤڈ فارمیشن آؤٹ پٹ ڈیٹا بیس اینڈ پوائنٹ.
- database.user اور database.password - CloudFormation ٹیمپلیٹ میں پاس کردہ پیرامیٹرز۔
- database.history.kafka.bootstrap.servers - کے لیے کلاؤڈ فارمیشن آؤٹ پٹ کافکا بوٹسٹریپ.
- key.converter.region اور value.converter.region - آپ کا علاقہ۔
ان میں سے کچھ ترتیبات عام ہیں اور کسی بھی کنیکٹر کے لیے مخصوص کی جانی چاہئیں۔ مثال کے طور پر:
- connector.class کنیکٹر کی جاوا کلاس ہے۔
- tasks.max کاموں کی زیادہ سے زیادہ تعداد ہے جو اس کنیکٹر کے لیے بنائے جانے چاہئیں
کچھ ترتیبات (database.*
, transforms.*
) Debezium MySQL کنیکٹر کے لیے مخصوص ہیں۔ کا حوالہ دیتے ہیں ڈیبیزیم مائی ایس کیو ایل سورس کنیکٹر کنفیگریشن پراپرٹیز مزید معلومات کے لیے.
کچھ ترتیبات (key.converter.*
اور value.converter.*
) اسکیما رجسٹری کے لیے مخصوص ہیں۔ ہم استعمال کرتے ہیں AWSKafkaAvroConverter
سے AWS گلو سکیما رجسٹری لائبریری فارمیٹ کنورٹر کے طور پر۔ ترتیب دینے کے لیے AWSKafkaAvroConverter
، ہم سٹرنگ مستقل خصوصیات کی قدر میں استعمال کرتے ہیں۔ AWSSchemaRegistryConstants کلاس:
key.converter
اورvalue.converter
ڈیٹا کے فارمیٹ کو کنٹرول کریں جو سورس کنیکٹرز کے لیے کافکا کو لکھا جائے گا یا سنک کنیکٹرز کے لیے کافکا سے پڑھا جائے گا۔ ہم استعمال کرتے ہیںAWSKafkaAvroConverter
Avro فارمیٹ کے لیے۔key.converter.registry.name
اورvalue.converter.registry.name
وضاحت کریں کہ کون سی اسکیما رجسٹری استعمال کرنی ہے۔key.converter.compatibility
اورvalue.converter.compatibility
مطابقت کے ماڈل کی وضاحت کریں۔
کا حوالہ دیتے ہیں AWS Glue Schema Registry کے ساتھ کافکا کنیکٹ کا استعمال مزید معلومات کے لیے.
- اگلا، ہم ترتیب دیتے ہیں کنیکٹر کی گنجائش. ہم انتخاب کر سکتے ہیں۔ فراہم کردہ اور دیگر خصوصیات کو بطور ڈیفالٹ چھوڑ دیں۔
- کے لئے کارکن کی ترتیب، نام شروع ہونے کے ساتھ کسٹم ورکر کنفیگریشن کا انتخاب کریں۔
msk-gsr-blog
CloudFormation ٹیمپلیٹ کے حصے کے طور پر بنایا گیا ہے۔ - کے لئے اجازت تک رسائی، کا استعمال کرتے ہیں AWS شناخت اور رسائی کا انتظام CloudFormation ٹیمپلیٹ کے ذریعے تیار کردہ (IAM) کردار
MSKConnectRole
. - میں سے انتخاب کریں اگلے.
- کے لئے سلامتی، ڈیفالٹس کا انتخاب کریں۔
- میں سے انتخاب کریں اگلے.
- کے لئے لاگ ڈیلیوریمنتخب ایمیزون کلاؤڈ واچ لاگز پر ڈیلیور کریں۔ اور CloudFormation ٹیمپلیٹ کے ذریعہ تخلیق کردہ لاگ گروپ کو براؤز کریں (
msk-connector-logs
). - میں سے انتخاب کریں اگلے.
- ترتیبات کا جائزہ لیں اور منتخب کریں۔ کنیکٹر بنائیں.
چند منٹوں کے بعد، کنیکٹر چلنے کی حالت میں بدل جاتا ہے۔
AWS Glue Schema رجسٹری کو MSK کنیکٹ پر چلنے والے Confluent S3 سنک کنیکٹر کے ساتھ MSK صارف کے طور پر استعمال کریں۔
ہم Amazon MSK سے Amazon S3 تک ڈیٹا سٹریم کرنے کے لیے Confluent S3 سنک پلگ ان کا استعمال کرتے ہوئے سنک کنیکٹر تعینات کرتے ہیں۔ درج ذیل مراحل کو مکمل کریں:
-
- ایمیزون MSK کنسول پر، نیویگیشن پین میں، نیچے MSK کنیکٹمنتخب کریں کنیکٹر.
- میں سے انتخاب کریں کنیکٹر بنائیں.
- میں سے انتخاب کریں موجودہ کسٹم پلگ ان کا استعمال کریں۔ اور نام شروع کرنے کے ساتھ اپنی مرضی کے مطابق پلگ ان کا انتخاب کریں۔
msk-blog-S3sink-plugin
. - میں سے انتخاب کریں اگلے.
- ایک مناسب نام درج کریں۔
s3-sink-connector
اور ایک اختیاری وضاحت۔ - کے لئے اپاچی کافکا کلسٹرمنتخب کریں MSK کلسٹر اور CloudFormation ٹیمپلیٹ کے ذریعے تخلیق کردہ کلسٹر کو منتخب کریں۔
- In رابط کنفیگریشن، فراہم کردہ پہلے سے طے شدہ اقدار کو حذف کریں اور مناسب اقدار کے ساتھ درج ذیل کنفیگریشن کلیدی قدر کے جوڑے استعمال کریں:
-
- نام - کنیکٹر کے لیے وہی نام استعمال کیا جاتا ہے۔
- s3.bucket.name - کے لیے کلاؤڈ فارمیشن آؤٹ پٹ بالٹی کا نام.
- s3.region، key.converter.region، اور value.converter.region - آپ کا علاقہ۔
-
- اگلا، ہم ترتیب دیتے ہیں کنیکٹر کی گنجائش. ہم انتخاب کر سکتے ہیں۔ فراہم کردہ اور دیگر خصوصیات کو بطور ڈیفالٹ چھوڑ دیں۔
- کے لئے کارکن کی ترتیب، نام شروع ہونے کے ساتھ کسٹم ورکر کنفیگریشن کا انتخاب کریں۔
msk-gsr-blog
CloudFormation ٹیمپلیٹ کے حصے کے طور پر بنایا گیا ہے۔ - کے لئے اجازت تک رسائی، CloudFormation ٹیمپلیٹ کے ذریعہ تیار کردہ IAM کردار کا استعمال کریں۔
MSKConnectRole
. - میں سے انتخاب کریں اگلے.
- کے لئے سلامتی، ڈیفالٹس کا انتخاب کریں۔
- میں سے انتخاب کریں اگلے.
- کے لئے لاگ ڈیلیوریمنتخب ایمیزون کلاؤڈ واچ لاگز پر ڈیلیور کریں۔ اور CloudFormation ٹیمپلیٹ کے ذریعہ تخلیق کردہ لاگ گروپ کو براؤز کریں۔
msk-connector-logs
. - میں سے انتخاب کریں اگلے.
- ترتیبات کا جائزہ لیں اور منتخب کریں۔ کنیکٹر بنائیں.
چند منٹوں کے بعد کنیکٹر چل رہا ہے۔
اینڈ ٹو اینڈ سی ڈی سی لاگ اسٹریم کی جانچ کریں۔
اب جبکہ Debezium اور S3 سنک کنیکٹر دونوں تیار اور چل رہے ہیں، آخر سے آخر تک CDC کو جانچنے کے لیے درج ذیل مراحل کو مکمل کریں:
- Amazon EC2 کنسول پر، تشریف لے جائیں۔ سیکیورٹی گروپس صفحہ.
- سیکیورٹی گروپ کو منتخب کریں۔
ClientInstanceSecurityGroup
اور منتخب کریں ان باؤنڈ قوانین میں ترمیم کریں۔. - اپنے مقامی نیٹ ورک سے SSH کنکشن کی اجازت دینے والا ان باؤنڈ اصول شامل کریں۔
- پر مثال صفحہ، مثال منتخب کریں۔
ClientInstance
اور منتخب کریں رابطہ قائم کریں. - پر EC2 انسٹینس کنیکٹ ٹیب، منتخب کریں رابطہ قائم کریں.
- یقینی بنائیں کہ آپ کی موجودہ ورکنگ ڈائرکٹری ہے۔
/home/ec2-user
اور اس میں فائلیں ہیں۔create_table.sql
,alter_table.sql
,initial_insert.sql
، اورinsert_data_with_new_column.sql
. - درج ذیل کمانڈ کو چلا کر اپنے MySQL ڈیٹا بیس میں ایک ٹیبل بنائیں (کلاؤڈ فارمیشن ٹیمپلیٹ آؤٹ پٹ سے ڈیٹا بیس کے میزبان کا نام فراہم کریں):
- جب پاس ورڈ کا اشارہ کیا جائے تو، CloudFormation ٹیمپلیٹ پیرامیٹرز سے پاس ورڈ درج کریں۔
- مندرجہ ذیل کمانڈ کے ساتھ ٹیبل میں کچھ نمونہ ڈیٹا داخل کریں:
- جب پاس ورڈ کا اشارہ کیا جائے تو، CloudFormation ٹیمپلیٹ پیرامیٹرز سے پاس ورڈ درج کریں۔
- AWS Glue کنسول پر، منتخب کریں۔ اسکیما رجسٹریاں نیویگیشن پین میں، پھر منتخب کریں۔ سکیمیں۔.
- پر تشریف لے جائیں
db1.sampledatabase.movies
موویز ٹیبل کے لیے بنائے گئے نئے اسکیما کو چیک کرنے کے لیے ورژن 1:
کافکا موضوع کی ہر تقسیم کے لیے ایک علیحدہ S3 فولڈر بنایا جاتا ہے، اور اس فولڈر میں موضوع کے لیے ڈیٹا لکھا جاتا ہے۔
- Amazon S3 کنسول پر، اپنے کافکا موضوع کے فولڈر میں Parquet فارمیٹ میں لکھا ہوا ڈیٹا چیک کریں۔
اسکیما ارتقاء
ابتدائی اسکیما کی وضاحت کے بعد، ایپلی کیشنز کو وقت کے ساتھ اسے تیار کرنے کی ضرورت پڑسکتی ہے۔ جب ایسا ہوتا ہے تو، نیچے کی طرف صارفین کے لیے یہ اہم ہے کہ وہ پرانے اور نئے دونوں اسکیما کے ساتھ انکوڈ کردہ ڈیٹا کو بغیر کسی رکاوٹ کے ہینڈل کر سکیں۔ مطابقت کے موڈز آپ کو یہ کنٹرول کرنے کی اجازت دیتے ہیں کہ وقت کے ساتھ اسکیماس کیسے تیار ہو سکتے ہیں یا نہیں یہ طریقوں سے ڈیٹا تیار کرنے اور استعمال کرنے والی ایپلی کیشنز کے درمیان معاہدہ ہوتا ہے۔ AWS Glue Schema Registry میں دستیاب مختلف مطابقت کے طریقوں کے بارے میں تفصیلی معلومات کے لیے، ملاحظہ کریں AWS گلو سکیما رجسٹری. ہماری مثال میں، ہم اس بات کو یقینی بنانے کے لیے پسماندہ کومبیبلٹی کا استعمال کرتے ہیں کہ صارفین موجودہ اور پچھلے دونوں سکیما ورژن پڑھ سکیں۔ درج ذیل مراحل کو مکمل کریں:
- درج ذیل کمانڈ کو چلا کر ٹیبل میں ایک نیا کالم شامل کریں۔
- درج ذیل کمانڈ کو چلا کر ٹیبل میں نیا ڈیٹا داخل کریں:
- AWS Glue کنسول پر، منتخب کریں۔ اسکیما رجسٹریاں نیویگیشن پین میں، پھر منتخب کریں۔ سکیمیں۔.
- اسکیما پر جائیں۔
db1.sampledatabase.movies
موویز ٹیبل موویز کے لیے بنائے گئے اسکیما کے نئے ورژن کو چیک کرنے کے لیے ورژن 2 بشمول کنٹری کالم جو آپ نے شامل کیا ہے:
- Amazon S3 کنسول پر، کافکا موضوع کے فولڈر میں Parquet فارمیٹ میں لکھا ہوا ڈیٹا چیک کریں۔
صاف کرو
اپنے AWS اکاؤنٹ پر ناپسندیدہ چارجز کو روکنے میں مدد کے لیے، AWS وسائل کو حذف کریں جو آپ نے اس پوسٹ میں استعمال کیے ہیں:
- Amazon S3 کنسول پر، CloudFormation ٹیمپلیٹ کے ذریعے تخلیق کردہ S3 بالٹی پر جائیں۔
- تمام فائلوں اور فولڈرز کو منتخب کریں اور منتخب کریں۔ خارج کر دیں.
- ہدایت کے مطابق مستقل طور پر حذف کریں درج کریں اور منتخب کریں۔ اشیاء کو حذف کریں۔.
- AWS CloudFormation کنسول پر، اپنے بنائے ہوئے اسٹیک کو حذف کریں۔
- اسٹیک اسٹیٹس کے تبدیل ہونے کا انتظار کریں۔ DELETE_COMPLETE.
نتیجہ
اس پوسٹ میں دکھایا گیا ہے کہ کس طرح Amazon MSK، MSK Connect، اور AWS Glue Schema Registry کو CDC لاگ سٹریم بنانے اور ڈیٹا اسٹریمز کے لیے سکیموں کو تیار کرنے کے لیے استعمال کیا جائے جیسا کہ کاروبار کی ضروریات میں تبدیلی آتی ہے۔ آپ مختلف کافکا کنیکٹرز کے ساتھ اس آرکیٹیکچر پیٹرن کو ڈیٹا کے دیگر ذرائع پر لاگو کر سکتے ہیں۔ مزید معلومات کے لیے، سے رجوع کریں۔ MSK کنیکٹ کی مثالیں۔.
مصنف کے بارے میں
کلیان جانکی ایمیزون ویب سروسز کے ساتھ سینئر بگ ڈیٹا اور تجزیات کے ماہر ہیں۔ وہ صارفین کو آرکیٹیکٹ بنانے اور AWS پر انتہائی قابل توسیع، پرفارمنس، اور محفوظ کلاؤڈ بیسڈ حل بنانے میں مدد کرتا ہے۔
- SEO سے چلنے والا مواد اور PR کی تقسیم۔ آج ہی بڑھا دیں۔
- پلیٹو بلاک چین۔ Web3 Metaverse Intelligence. علم میں اضافہ۔ یہاں تک رسائی حاصل کریں۔
- ماخذ: https://aws.amazon.com/blogs/big-data/build-an-end-to-end-change-data-capture-with-amazon-msk-connect-and-aws-glue-schema-registry/
- : ہے
- $UP
- 1
- 10
- 11
- 7
- 8
- a
- قابلیت
- ہمارے بارے میں
- تک رسائی حاصل
- اکاؤنٹ
- درست
- تسلیم کرتے ہیں
- شامل کیا
- اس کے علاوہ
- تمام
- اجازت دے رہا ہے
- کی اجازت دیتا ہے
- پہلے ہی
- ایمیزون
- ایمیزون EC2
- ایمیزون ویب سروسز
- تجزیاتی
- اور
- اپاچی
- اپاچی کافکا
- ایپلی کیشنز
- کا اطلاق کریں
- مناسب
- فن تعمیر
- کیا
- AS
- ارورہ
- خود کار طریقے سے
- دستیاب
- AWS
- AWS کلاؤڈ فارمیشن
- AWS گلو
- BE
- اس سے پہلے
- فوائد
- کے درمیان
- بگ
- بگ ڈیٹا
- بوٹسٹریپ
- تعمیر
- کاروبار
- by
- کر سکتے ہیں
- صلاحیتوں
- قبضہ
- گرفتاری
- مقدمات
- کیٹلوگ
- سی ڈی سی
- مرکزی
- تبدیل
- تبدیلیاں
- بوجھ
- چیک کریں
- چیک
- میں سے انتخاب کریں
- طبقے
- کلسٹر
- کالم
- کمیونٹی
- مطابقت
- ہم آہنگ
- مکمل
- جزو
- کمپیوٹنگ
- ترتیب
- میں confluent
- رابطہ قائم کریں
- کنکشن
- کنسول
- مسلسل
- بسم
- صارفین
- صارفین
- مسلسل
- کنٹریکٹ
- کنٹرول
- ملک
- تخلیق
- بنائی
- اہم
- موجودہ
- اپنی مرضی کے
- گاہکوں
- اعداد و شمار
- ڈیٹا انضمام
- اعداد و شمار پر مبنی ہے
- ڈیٹا بیس
- ڈیٹا بیس
- دن
- فیصلے
- پہلے سے طے شدہ
- غلطی
- کی وضاحت
- ترسیل
- ڈیمو
- demonstrated,en
- ثبوت
- تعیناتی
- تعینات
- تفصیل
- منزل
- تفصیلی
- تفصیلات
- مختلف
- دریافت
- نہیں کرتا
- چھوڑ
- ہر ایک
- ختم
- کو فعال کرنا
- آخر سے آخر تک
- کو یقینی بنانے کے
- یقینی بناتا ہے
- درج
- ماحولیات
- خرابی
- خاص طور پر
- Ether (ETH)
- ہر کوئی
- تیار
- مثال کے طور پر
- موجودہ
- موجود ہے
- چند
- قطعات
- فائل
- فائلوں
- فائنل
- پہلا
- کے بعد
- کے لئے
- فارم
- فارمیٹ
- سے
- پیدا
- پیدا
- گروپ
- گروپ کا
- ہینڈل
- ہینڈلنگ
- ہوتا ہے
- ہے
- مدد
- مدد کرتا ہے
- انتہائی
- تاریخ
- میزبان
- HOURS
- کس طرح
- کیسے
- HTML
- HTTP
- HTTPS
- حب
- IAM
- کی نشاندہی
- شناختی
- نفاذ
- اہم
- in
- سمیت
- انڈیکس
- معلومات
- ابتدائی
- انسٹال
- مثال کے طور پر
- کے بجائے
- ضم
- انضمام
- اندرونی
- IT
- اعلی درجے کا Java
- فوٹو
- JSON
- kafka
- کلیدی
- جان
- چھوڑ دو
- لائبریریوں
- لائسنس یافتہ
- کی طرح
- لوڈ
- لوڈ کر رہا ہے
- مقامی
- لانگ
- بنا
- بناتا ہے
- بنانا
- میں کامیاب
- ماسٹر
- میکس
- زیادہ سے زیادہ
- میکانزم
- پیغام
- پیغامات
- شاید
- منٹ
- ماڈل
- طریقوں
- نظر رکھتا ہے
- زیادہ
- فلم
- منتقل
- ایک سے زیادہ
- MySQL
- نام
- تشریف لے جائیں
- سمت شناسی
- ضرورت ہے
- ضرورت
- ضروریات
- نیٹ ورک
- نئی
- اگلے
- تعداد
- of
- پرانا
- on
- ایک
- اوپن سورس
- دیگر
- پیداوار
- صفحہ
- جوڑے
- پین
- پیرامیٹر
- پیرامیٹرز
- حصہ
- منظور
- پاس ورڈ
- پاٹرن
- انجام دینے کے
- مستقل طور پر
- لینے
- پلاٹا
- افلاطون ڈیٹا انٹیلی جنس
- پلیٹو ڈیٹا
- رابطہ بحال کرو
- پلگ ان
- پوسٹ
- کی روک تھام
- پچھلا
- عمل
- پروسیسنگ
- پیدا
- پروڈیوسر
- خصوصیات
- فراہم
- فراہم
- فراہم کرتا ہے
- پڑھیں
- اصلی
- اصل وقت
- وصول
- ریکارڈ
- ریکارڈ
- مراد
- خطے
- رجسٹر
- رجسٹرڈ
- رجسٹری
- ذخیرہ
- نمائندگی
- وسائل
- واپسی
- کردار
- حکمرانی
- رن
- چل رہا ہے
- اسی
- توسیع پذیر
- بغیر کسی رکاوٹ کے
- تلاش کریں
- سیکنڈ
- محفوظ بنانے
- سیکورٹی
- سینئر
- حساس
- علیحدہ
- سروس
- سروسز
- مقرر
- ترتیبات
- ہونا چاہئے
- سادہ
- آسان بنانے
- حل
- حل
- کچھ
- ماخذ
- ذرائع
- ماہر
- مخصوص
- مخصوص
- ڈھیر لگانا
- شروع
- درجہ
- مرحلہ
- مراحل
- ذخیرہ
- ذخیرہ
- پردہ
- سٹریم
- محرومی
- اسٹریمز
- ساخت
- موزوں
- امدادی
- کی حمایت کرتا ہے
- ہم آہنگی
- کے نظام
- سسٹمز
- ٹیبل
- ہدف
- کاموں
- سانچے
- ٹیسٹ
- کہ
- ۔
- ماخذ
- ان
- یہ
- وقت
- وقت کے ساتھ حساس
- عنوان
- کرنے کے لئے
- موضوع
- معاملات
- ٹرن
- اقسام
- کے تحت
- ناپسندیدہ
- اپ ڈیٹ
- استعمال کی شرائط
- رکن کا
- قیمت
- اقدار
- ورژن
- ویب
- ویب خدمات
- جس
- گے
- کھڑکیاں
- ساتھ
- کارکن
- کارکنوں
- کام کر
- کام کرتا ہے
- لکھا
- اور
- زیفیرنیٹ