ایمیزون ایم ایس کے کنیکٹ کی ایک خصوصیت ہے ایمیزون نے اپاچی کافکا کے لیے سٹریمنگ کا انتظام کیا۔ (Amazon MSK) جو AWS پر مکمل طور پر منظم اپاچی کافکا کنیکٹ ماحول پیش کرتا ہے۔ MSK Connect کے ساتھ، آپ Kafka Connect کے لیے بنائے گئے مکمل طور پر منظم کنیکٹرز کو تعینات کر سکتے ہیں جو ایمیزون S3 اور Amazon OpenSearch سروس جیسے مشہور ڈیٹا اسٹورز سے ڈیٹا منتقل کرتے ہیں یا ان سے ڈیٹا کھینچتے ہیں۔ کے تعارف کے ساتھ MSK کنیکٹ میں نجی DNS سپورٹ, کنیکٹرز کسٹمر VPC DHCP آپشن سیٹ میں کنفیگر کردہ اپنے DNS سرورز کا استعمال کرتے ہوئے نجی کسٹمر ڈومین ناموں کو حل کرنے کے قابل ہیں۔ یہ پوسٹ MSK کنیکٹ کے لیے کسٹمر VPC میں بیان کردہ نجی DNS میزبان ناموں کو حل کرنے کے حل کو ظاہر کرتی ہے۔
آپ متعدد وجوہات کی بنا پر MSK کنیکٹ کے لیے پرائیویٹ DNS میزبان نام سپورٹ استعمال کرنا چاہتے ہیں۔ ایم ایس کے کنیکٹ کے ساتھ شامل نجی DNS ریزولوشن کی اہلیت سے پہلے، اس نے DNS ریزولوشن کے لیے سروس VPC DNS ریزولور کا استعمال کیا۔ MSK Connect نے DNS ریزولوشن کے لیے کسٹمر VPC DHCP آپشن سیٹ میں بیان کردہ نجی DNS سرورز کا استعمال نہیں کیا۔ کنیکٹر صرف کنیکٹر کنفیگریشن یا پلگ ان میں میزبان ناموں کا حوالہ دینے کے قابل تھے جو عوامی طور پر قابل حل ہیں اور نجی میزبانی والے زون میں بیان کردہ نجی میزبان ناموں کو حل نہیں کرسکتے ہیں یا کسی دوسرے کسٹمر نیٹ ورک میں DNS سرورز استعمال کرسکتے ہیں۔
بہت سے صارفین اس بات کو یقینی بناتے ہیں کہ ان کی داخلی DNS ایپلیکیشنز عوامی طور پر قابل حل نہیں ہیں۔ مثال کے طور پر، آپ کے پاس MySQL یا PostgreSQL ڈیٹا بیس ہو سکتا ہے اور ہو سکتا ہے کہ آپ کے ڈیٹا بیس کا DNS نام عوامی طور پر حل یا قابل رسائی نہ ہو۔ ایمیزون متعلقہ ڈیٹا بیس سروس (ایمیزون آر ڈی ایس) یا ایمیزون ارورہ سرورز کے DNS نام ہوتے ہیں جو عوامی طور پر قابل حل ہیں لیکن قابل رسائی نہیں ہیں۔ آپ کے پاس متعدد داخلی ایپلیکیشنز جیسے ڈیٹا بیس، ڈیٹا گودام، یا دوسرے سسٹمز ہو سکتے ہیں جہاں DNS نام عوامی طور پر حل کرنے کے قابل نہیں ہیں۔
MSK Connect نجی DNS سپورٹ کے حالیہ آغاز کے ساتھ، آپ کنیکٹرز کو پبلک یا پرائیویٹ ڈومین ناموں کا حوالہ دینے کے لیے کنفیگر کر سکتے ہیں۔ کنیکٹرز ڈومین ناموں کو حل کرنے کے لیے آپ کے VPC کے DHCP آپشن میں ترتیب کردہ DNS سرورز کا استعمال کرتے ہیں۔ اب آپ MSK Connect کا استعمال اپنے VPC میں ڈیٹا بیسز، ڈیٹا گوداموں، اور دیگر وسائل سے نجی طور پر منسلک ہونے کے لیے کر سکتے ہیں تاکہ آپ کی حفاظتی ضروریات کو پورا کیا جا سکے۔
اگر آپ کے پاس پرائیویٹ DNS کے ساتھ MySQL یا PostgreSQL ڈیٹا بیس ہے، تو آپ اسے اپنی مرضی کے DNS سرور پر کنفیگر کر سکتے ہیں اور VPC کے مخصوص DHCP آپشن کو ترتیب دے سکتے ہیں تاکہ DNS ریزولوشن کرنے کے لیے VPC کے لیے اپنی مرضی کے DNS سرور کو مقامی DNS سروس استعمال کرنے کے بجائے ترتیب دیا جائے۔ قرارداد
حل جائزہ
ایک صارف کے پاس اپنے MSK کنیکٹ کو ترتیب دینے کے لیے مختلف فن تعمیر کے اختیارات ہو سکتے ہیں۔ مثال کے طور پر، ان کے پاس Amazon MSK اور MSK Connect ایک ہی VPC یا VPC1 میں سورس سسٹم میں ہیں اور Amazon MSK اور MSK Connect VPC2 یا سورس سسٹم میں ہیں، Amazon MSK اور MSK Connect سبھی مختلف VPCs میں ہیں۔
مندرجہ ذیل سیٹ اپ میں دو مختلف VPCs کا استعمال کیا گیا ہے، جہاں MySQL VPC MySQL ڈیٹا بیس کی میزبانی کرتا ہے اور MSK VPC Amazon MSK، MSK Connect، DNS سرور، اور دیگر مختلف اجزاء کی میزبانی کرتا ہے۔ آپ مناسب استعمال کرتے ہوئے دیگر تعیناتی ٹوپولاجیوں کی مدد کے لیے اس فن تعمیر کو بڑھا سکتے ہیں۔ AWS شناخت اور رسائی کا انتظام (IAM) اجازتیں اور کنیکٹیویٹی کے اختیارات۔
یہ پوسٹ MSK کنیکٹ کو ترتیب دینے کے لیے مرحلہ وار ہدایات فراہم کرتی ہے جہاں یہ MySQL VPC میں پرائیویٹ DNS ہوسٹ نام کے ساتھ ماخذ MySQL ڈیٹا بیس سے ڈیٹا حاصل کرے گا اور MSK Connect کا استعمال کرتے ہوئے Amazon MSK کو ڈیٹا بھیجے گا۔ مندرجہ ذیل خاکہ اعلیٰ سطحی فن تعمیر کو واضح کرتا ہے۔
سیٹ اپ کی ہدایات میں درج ذیل کلیدی اقدامات شامل ہیں:
- VPCs، سب نیٹس، اور دیگر بنیادی ڈھانچے کے اجزاء مرتب کریں۔
- DNS سرور کو انسٹال اور کنفیگر کریں۔
- MySQL ڈیٹا بیس میں ڈیٹا اپ لوڈ کریں۔
- Amazon MSK اور MSK Connect تعینات کریں اور تبدیلی ڈیٹا کیپچر (CDC) ریکارڈ استعمال کریں۔
شرائط
اس پوسٹ میں ٹیوٹوریل کی پیروی کرنے کے لیے، آپ کو درج ذیل کی ضرورت ہے:
AWS CloudFormation کا استعمال کرتے ہوئے مطلوبہ انفراسٹرکچر بنائیں
MSK کنیکٹ کو ترتیب دینے سے پہلے، ہمیں VPCs، سب نیٹس، اور دیگر بنیادی ڈھانچے کے اجزاء کو ترتیب دینے کی ضرورت ہے۔ اپنے AWS اکاؤنٹ میں وسائل ترتیب دینے کے لیے، درج ذیل مراحل کو مکمل کریں:
- میں سے انتخاب کریں اسٹیک لانچ کریں۔ اسٹیک کو ایک ایسے خطے میں شروع کرنے کے لیے جو Amazon MSK اور MSK Connect کو سپورٹ کرتا ہے۔
- اس پرائیویٹ کلید کی وضاحت کریں جسے آپ EC2 مثالوں سے منسلک کرنے کے لیے استعمال کرتے ہیں۔
- اپنے مقامی IP ایڈریس کے ساتھ SSH مقام کو اپ ڈیٹ کریں اور دیگر اقدار کو بطور ڈیفالٹ رکھیں۔
- میں سے انتخاب کریں اگلے.
- حتمی صفحہ پر تفصیلات کا جائزہ لیں اور منتخب کریں۔ میں تسلیم کرتا ہوں کہ AWS CloudFormation IAM وسائل پیدا کر سکتا ہے۔.
- میں سے انتخاب کریں اسٹیک بنائیں اور مطلوبہ وسائل پیدا ہونے کا انتظار کریں۔
CloudFormation ٹیمپلیٹ آپ کے اکاؤنٹ میں درج ذیل کلیدی وسائل تخلیق کرتا ہے:
- VPCs:
- MSK VPC
- MySQL VPC
- MSK VPC میں ذیلی نیٹ:
- Amazon MSK کے لیے تین نجی ذیلی نیٹ
- DNS سرور کے لیے پرائیویٹ سب نیٹ
- MSKClient کے لیے پرائیویٹ سب نیٹ
- گڑھ کے میزبان کے لیے پبلک سب نیٹ
- MySQL VPC میں ذیلی نیٹ:
- MySQL ڈیٹا بیس کے لیے پرائیویٹ سب نیٹ
- گڑھ کے میزبان کے لیے پبلک سب نیٹ
- انٹرنیٹ گیٹ وے MySQL VPC اور MSK VPC سے منسلک ہے۔
- NAT گیٹ ویز MySQL پبلک سب نیٹ اور MSK پبلک سب نیٹ سے منسلک ہیں۔
- VPC اور VPCs میں مختلف سب نیٹس کے درمیان ٹریفک کے بہاؤ کو سپورٹ کرنے کے لیے روٹ ٹیبلز
- MySQL VPC اور MSK VPC کے درمیان پیئرنگ کنکشن
- MySQL ڈیٹا بیس اور کنفیگریشنز
- DNS سرور
- متعلقہ لائبریریوں کے ساتھ MSK کلائنٹ
براہ کرم نوٹ کریں، اگر آپ وی پی سی پیئرنگ یا استعمال کر رہے ہیں۔ AWS ٹرانزٹ گیٹ وے MSK Connect کے ساتھ، اپنے کنیکٹر کو CIDR رینج میں IPs کے ساتھ پیئرڈ VPC وسائل تک پہنچنے کے لیے کنفیگر نہ کریں۔ مزید معلومات کے لیے رجوع کریں۔ کنیکٹرز سے جڑنا.
DNS سرور کو ترتیب دیں۔
DNS سرور کو کنفیگر کرنے کے لیے درج ذیل مراحل کو مکمل کریں:
- DNS سرور سے جڑیں۔. کے تحت DNS سرور پر تین کنفیگریشن فائلیں دستیاب ہیں۔
/home/ec2-user
فولڈر:named.conf
mysql.internal.zone
kafka.us-east-1.amazonaws.com.zone
- اپنے DNS سرور کو انسٹال اور کنفیگر کرنے کے لیے درج ذیل کمانڈز چلائیں:
- اپ ڈیٹ کریں
/etc/named.conf
.
اجازت-منتقلی کی خصوصیت کے لیے، DNS سرور کے اندرونی IP ایڈریس کو اجازت-منتقلی کے لیے اپ ڈیٹ کریں۔
{ localhost; <DNS Server internal IP address>; };.
آپ CloudFormation ٹیمپلیٹ پر DNS سرور IP ایڈریس تلاش کر سکتے ہیں۔ نتائج ٹیب.
نوٹ کہ MSK کلسٹر ابھی تک اس مرحلے پر قائم نہیں ہوا ہے۔ ہمیں کافکا بروکر DNS ناموں اور ان کے متعلقہ اندرونی IP پتوں کو اپ ڈیٹ کرنے کی ضرورت ہے۔ /var/named/kafka.region.amazonaws.com
اس پوسٹ میں بعد میں MSK کلسٹر ترتیب دینے کے بعد کنفیگریشن فائل۔ ہدایات کے لیے، یہاں سے رجوع کریں۔
یہ بھی نوٹ کریں کہ یہ سیٹنگز اس پوسٹ کے لیے DNS سرور کو کنفیگر کرتی ہیں۔ اپنے ماحول میں، آپ اپنی ضرورت کے مطابق DNS سرور کو ترتیب دے سکتے ہیں۔
- DNS سروس کو دوبارہ شروع کریں:
آپ کو مندرجہ ذیل پیغام دیکھنا چاہئے:
MySQL ڈیٹا بیس میں ڈیٹا اپ لوڈ کریں۔
عام طور پر، ہم ایک استعمال کر سکتے ہیں ایمیزون آر ڈی ایس برائے ایس کیو ایل ڈیٹا بیس، لیکن اس پوسٹ کے لیے، ہم حسب ضرورت MySQL ڈیٹا بیس سرور استعمال کرتے ہیں۔ Amazon RDS DNS عوامی طور پر قابل رسائی ہے اور MSK Connect اس کی حمایت کرتا ہے، لیکن یہ ماضی میں نجی DNS کے ساتھ ڈیٹا بیس یا ایپلیکیشنز کو سپورٹ کرنے کے قابل نہیں تھا۔ تازہ ترین کے ساتھ نجی DNS میزبان نام فیچر لانچ، یہ ایپلی کیشنز کے پرائیویٹ DNS کو بھی سپورٹ کر سکتا ہے، اس لیے ہم EC2 مثال پر MySQL ڈیٹا بیس استعمال کرتے ہیں۔
یہ تنصیب سنگل نوڈ EC2 مثال پر MySQL ڈیٹا بیس کو ترتیب دینے کے بارے میں معلومات فراہم کرتی ہے۔ اسے آپ کے پروڈکشن سیٹ اپ کے لیے استعمال نہیں کیا جانا چاہیے۔ آپ کو اپنے اکاؤنٹ میں MySQL کو ترتیب دینے اور ترتیب دینے کے لیے مناسب رہنمائی پر عمل کرنا چاہیے۔
مائی ایس کیو ایل ڈیٹا بیس پہلے ہی CloudFormation ٹیمپلیٹ کا استعمال کرتے ہوئے ترتیب دیا گیا ہے اور اب استعمال کے لیے تیار ہے۔ ڈیٹا اپ لوڈ کرنے کے لیے، درج ذیل مراحل کو مکمل کریں:
- ایس ایس ایچ کو MySQL EC2 مثال کے طور پر۔ ہدایات کے لیے، رجوع کریں۔ اپنے لینکس مثال سے جڑیں۔. ڈیٹا فائل
salesdb.sql
کے تحت پہلے ہی ڈاؤن لوڈ اور دستیاب ہے۔/home/ec2-user
ڈائریکٹری. - یوزر نیم ماسٹر کے ساتھ mysqldb میں لاگ ان کریں۔
- پاس ورڈ تک رسائی کے لیے، تشریف لے جائیں۔ AWS سسٹمز مینیجر اور پیرامیٹر اسٹور ٹیب منتخب کریں / ڈیٹا بیس/ اسناد/ ماسٹر اور پر کلک کریں تفصیلات دیکھیں اور کلید کی قدر کاپی کریں۔
- درج ذیل کمانڈ کا استعمال کرتے ہوئے MySQL میں لاگ ان کریں:
- بنانے کے لیے درج ذیل کمانڈز چلائیں۔
salesdb
ڈیٹا بیس اور ڈیٹا کو ٹیبل پر لوڈ کریں:
یہ مختلف ٹیبلز میں ریکارڈ داخل کرے گا۔ salesdb
ڈیٹا بیس
- میں درج ذیل جدولوں کو دیکھنے کے لیے شو ٹیبلز چلائیں۔
salesdb
:
DHCP آپشن سیٹ بنائیں
DHCP آپشن سیٹ آپ کو اپنے ورچوئل نیٹ ورک میں روٹنگ کے درج ذیل پہلوؤں پر کنٹرول دیتے ہیں۔
- آپ DNS سرورز، ڈومین ناموں، یا نیٹ ورک ٹائم پروٹوکول (NTP) سرورز کو کنٹرول کر سکتے ہیں جو آپ کے VPC میں آلات کے ذریعے استعمال ہوتے ہیں۔
- آپ اپنے VPC میں DNS ریزولوشن کو مکمل طور پر غیر فعال کر سکتے ہیں۔
نجی DNS کو سپورٹ کرنے کے لیے، آپ ایک استعمال کر سکتے ہیں۔ ایمیزون روٹ 53 نجی زون یا آپ کا اپنا کسٹم DNS سرور۔ اگر آپ روٹ 53 نجی زون استعمال کرتے ہیں، تو سیٹ اپ خود بخود کام کرے گا اور MSK VPC کے لیے طے شدہ DHCP آپشن میں کوئی تبدیلی کرنے کی ضرورت نہیں ہے۔ حسب ضرورت DNS سرور کے لیے، استعمال کرتے ہوئے اپنی مرضی کے مطابق DHCP کنفیگریشن ترتیب دینے کے لیے درج ذیل مراحل کو مکمل کریں۔ ایمیزون ورچوئل پرائیویٹ کلاؤڈ (Amazon VPC) اور اسے MSK VPC سے منسلک کریں۔
Amazon کے فراہم کردہ DNS سرور سے منسلک آپ کے VPC میں ڈیفالٹ DHCP آپشن سیٹ ہوگا۔ اس مرحلے پر، درخواستیں ریزولوشن کے لیے ایمیزون کے فراہم کردہ DNS سرور پر جائیں گی۔ تاہم، ہم ایک نیا DHCP آپشن سیٹ بناتے ہیں کیونکہ ہم ایک حسب ضرورت DNS سرور استعمال کر رہے ہیں۔
- Amazon VPC کنسول پر، منتخب کریں۔ DHCP آپشن سیٹ نیوی گیشن پین میں.
- میں سے انتخاب کریں DHCP آپشن سیٹ بنائیں.
- کے لئے DHCP آپشن سیٹ کا نام، داخل کریں
MSKConnect_Private_DHCP_OptionSet
. - کے لئے ڈومین نام، داخل کریں
mysql.internal
. - کے لئے ڈومین نیم سرور، DNS سرور IP ایڈریس درج کریں۔
- میں سے انتخاب کریں DHCP آپشن سیٹ بنائیں.
- پر تشریف لے جائیں MSK VPC اور عوامل مینو، منتخب کریں VPC ترتیبات میں ترمیم کریں۔.
- نئے بنائے گئے DHCP آپشن سیٹ کو منتخب کریں اور اسے محفوظ کریں۔
مندرجہ ذیل اسکرین شاٹ مثال کی ترتیب کو ظاہر کرتا ہے۔ - Amazon EC2 کنسول پر، تشریف لے جائیں۔
privateDNS_bastion_host
. - میں سے انتخاب کریں مثال کی حالت اور ریبوٹ مثال.
- چند منٹ انتظار کریں اور پھر دوڑیں۔
nslookup
گڑھ کے میزبان سے؛ اسے روٹ 53 کے بجائے آپ کے مقامی DNS سرور کا استعمال کرتے ہوئے اسے حل کرنے کے قابل ہونا چاہئے:
اب ہمارا بنیادی انفراسٹرکچر سیٹ اپ اگلے مرحلے میں جانے کے لیے تیار ہے۔ اپنے بنیادی ڈھانچے کے حصے کے طور پر، ہم نے درج ذیل کلیدی اجزاء کو کامیابی کے ساتھ ترتیب دیا ہے:
- MSK اور MySQL VPCs
- سبطینٹس
- EC2 مثالیں۔
- وی پی سی پیئرنگ
- راستے کی میزیں۔
- NAT گیٹ ویز اور انٹرنیٹ گیٹ ویز
- DNS سرور اور ترتیب
- مناسب سیکورٹی گروپس اور این اے سی ایل
- مطلوبہ ڈیٹا کے ساتھ MySQL ڈیٹا بیس
اس مرحلے پر، MySQL DB DNS نام روٹ 53 کی بجائے حسب ضرورت DNS سرور کا استعمال کرتے ہوئے قابل حل ہے۔
MSK کلسٹر اور MSK کنیکٹ سیٹ اپ کریں۔
اگلا مرحلہ MSK کلسٹر اور MSK کنیکٹ کو تعینات کرنا ہے، جو کہ اس سے ریکارڈ حاصل کرے گا۔ salesdb
اور اسے بھیج دیں۔ ایمیزون سادہ اسٹوریج سروس (ایمیزون S3) بالٹی۔ اس سیکشن میں، ہم MySQL ڈیٹا بیس کو نقل کرنے کا ایک واک تھرو فراہم کرتے ہیں (salesdb
) ایمیزون MSK کا استعمال کرتے ہوئے ڈیبیزیم، ایک اوپن سورس کنیکٹر۔ کنیکٹر ڈیٹا بیس میں ہونے والی کسی بھی تبدیلی کی نگرانی کرے گا اور میزوں میں ہونے والی کسی بھی تبدیلی کو کیپچر کرے گا۔
MSK کنیکٹ کے ساتھ، آپ AWS پر مکمل طور پر منظم اپاچی کافکا کنیکٹ ورک بوجھ چلا سکتے ہیں۔ MSK Connect مطلوبہ وسائل فراہم کرتا ہے اور کلسٹر کو ترتیب دیتا ہے۔ یہ مسلسل کنیکٹرز کی صحت اور ترسیل کی حالت پر نظر رکھتا ہے، پیچ کرتا ہے اور بنیادی ہارڈ ویئر اور آٹو اسکیل کنیکٹرز کو تھرو پٹ میں ہونے والی تبدیلیوں سے مماثل کرنے کے لیے ان کا انتظام کرتا ہے۔ نتیجے کے طور پر، آپ انفراسٹرکچر کا انتظام کرنے کے بجائے اپنے وسائل کو ایپلی کیشنز بنانے پر مرکوز کر سکتے ہیں۔
MSK Connect VPC میں اپنی مرضی کے DNS سرور کا استعمال کرے گا اور یہ روٹ 53 پر منحصر نہیں ہوگا۔
ایک MSK کلسٹر کنفیگریشن بنائیں
MSK کلسٹر بنانے کے لیے درج ذیل مراحل کو مکمل کریں:
- Amazon MSK کنسول پر، منتخب کریں۔ کلسٹر کنفیگریشنز کے تحت MSK کلسٹرز نیوی گیشن پین میں.
- میں سے انتخاب کریں کنفیگریشن بنائیں.
- ترتیب کو نام دیں۔
mskc-tutorial-cluster-configuration
. - کے تحت کنفیگریشن کی خصوصیات، ہر چیز کو ہٹا دیں اور لائن شامل کریں۔
auto.create.topics.enable=true
. - میں سے انتخاب کریں تخلیق کریں.
ایک MSK کلسٹر بنائیں اور کنفیگریشن منسلک کریں۔
اگلے مرحلے میں، ہم اس ترتیب کو ایک کلسٹر سے منسلک کرتے ہیں۔ درج ذیل مراحل کو مکمل کریں:
- Amazon MSK کنسول پر، منتخب کریں۔ کلسٹر کے تحت MSK کلسٹرز نیوی گیشن پین میں.
- میں سے انتخاب کریں کلسٹرز بنائیں اور اپنی مرضی کے مطابق بنائیں.
- کلسٹر کے نام کے لیے، درج کریں۔
mkc-tutorial-cluster
. - کے تحت عمومی کلسٹر کی خصوصیاتمنتخب کریں فراہم کردہ کلسٹر کی قسم کے لیے اور اپاچی کافکا کا ڈیفالٹ ورژن 2.8.1 استعمال کریں۔
- کے لیے تمام ڈیفالٹ اختیارات استعمال کریں۔ بروکرز اور ذخیرہ حصوں.
- کے تحت ترتیباتمنتخب کریں کسٹم تشکیل.
- منتخب کریں
mskc-tutorial-cluster-configuration
مناسب نظر ثانی کے ساتھ اور منتخب کریں اگلے. - کے تحت نیٹ ورکنگ، MSK VPC کا انتخاب کریں۔
- اپنے علاقے کے لحاظ سے دستیابی والے زونز کو منتخب کریں، جیسے
us-east1a
,us-east1b
، اورus-east1c
، اور متعلقہ نجی ذیلی نیٹMSK-Private-1
,MSK-Private-2
، اورMSK-Private-3
اگر آپ اس میں ہیںus-east-1
علاقہ۔ ان بروکرز تک عوام کی رسائی بند ہونی چاہیے۔ - سے سیکیورٹی گروپ آئی ڈی کاپی کریں۔ سیکیورٹی گروپس کا انتخاب کیا۔
- میں سے انتخاب کریں اگلے.
- کے تحت رسائی کنٹرول کے طریقے، منتخب IAM رول پر مبنی توثیق.
- میں خفیہ کاری سیکشن کے تحت گاہکوں اور بروکرز کے درمیان, TLS خفیہ کاری پہلے سے طے شدہ طور پر منتخب کیا جائے گا۔
- کے لئے اینکرypt ڈیٹا باقی ہے۔منتخب AWS مینیجڈ کلید استعمال کریں۔.
- کے لیے پہلے سے طے شدہ اختیارات استعمال کریں۔ باخبر رہنا اور منتخب کریں بنیادی نگرانی.
- منتخب کریں ایمیزون کلاؤڈ واچ لاگز پر ڈیلیور کریں۔.
- کے تحت لاگ گروپمنتخب کریں Amazon CloudWatch Logs کنسول ملاحظہ کریں۔.
- میں سے انتخاب کریں لاگ گروپ بنائیں.
- لاگ گروپ کا نام درج کریں اور منتخب کریں۔ تخلیق کریں.
- واپس مانیٹرنگ اور ٹیگز صفحہ اور نیچے لاگ گروپسمنتخب کریں لاگ گروپ کا انتخاب کریں۔
- میں سے انتخاب کریں اگلے.
- کنفیگریشنز کا جائزہ لیں اور منتخب کریں۔ کلسٹر بنائیں. آپ کو کلسٹر کے تفصیلات والے صفحہ پر بھیج دیا گیا ہے۔
- کے تحت سیکیورٹی گروپس کو لاگو کیا گیا۔، بعد کے مرحلے میں استعمال کرنے کے لیے سیکیورٹی گروپ ID کو نوٹ کریں۔
کلسٹر بنانے میں عام طور پر 25-30 منٹ لگ سکتے ہیں۔ کامیابی کے ساتھ تخلیق ہونے پر اس کی حیثیت ایکٹو میں بدل جاتی ہے۔
/var/named/kafka.region.amazonaws.com زون فائل کو اپ ڈیٹ کریں۔
MSK کنیکٹر بنانے سے پہلے، MSK کلسٹر کی تفصیلات کے ساتھ DNS سرور کنفیگریشن کو اپ ڈیٹ کریں۔
- بوٹسٹریپ سرور DNS اور متعلقہ IP پتوں کی فہرست حاصل کرنے کے لیے، کلسٹر پر جائیں اور منتخب کریں کلائنٹ کی معلومات دیکھیں.
- IAM توثیق کی قسم کے ساتھ بوٹسٹریپ سرور کی معلومات کاپی کریں۔
- آپ بروکر کے IP پتوں کی شناخت کر سکتے ہیں۔
nslookup
آپ کی مقامی مشین سے اور یہ آپ کو بروکر کا مقامی IP پتہ فراہم کرے گا۔ فی الحال، آپ کا VPC تازہ ترین DHCP آپشن سیٹ کی طرف اشارہ کرتا ہے اور آپ کا DNS سرور آپ کے VPC سے ان DNS ناموں کو حل نہیں کر سکے گا۔
اب آپ DNS سرور میں لاگ ان کر سکتے ہیں اور مختلف بروکرز اور متعلقہ IP پتوں کے ریکارڈ کو اپ ڈیٹ کر سکتے ہیں۔ /var/named/kafka.region.amazonaws.com
فائل.
- اپ لوڈ کریں
msk-access.pem
فائل پرBastionHostInstance
آپ کی مقامی مشین سے: - DNS سرور میں لاگ ان کریں اور کھولیں۔
/var/named/kafka.region.amazonaws.com
درج ذیل لائنوں کو درست MSK بروکر DNS ناموں اور متعلقہ IP پتوں کے ساتھ فائل کریں اور اپ ڈیٹ کریں:
نوٹ کریں کہ آپ کو بروکر DNS فراہم کرنے کی ضرورت ہے جیسا کہ پہلے بتایا گیا ہے۔ دور .kafka.<region id>.amazonaws.com
بروکر DNS نام سے۔
- DNS سروس کو دوبارہ شروع کریں:
آپ کو مندرجہ ذیل پیغام دیکھنا چاہئے:
آپ کا حسب ضرورت DNS سرور ابھی تیار اور چل رہا ہے اور آپ کو اندرونی DNS سرور کا استعمال کرتے ہوئے بروکر DNS ناموں کا استعمال کرتے ہوئے حل کرنے کے قابل ہونا چاہئے۔
MySQL ڈیٹا بیس اور MSK Connect کے درمیان رابطے کے لیے سیکیورٹی گروپ کو اپ ڈیٹ کریں۔
MSK Connect اور MySQL ڈیٹا بیس کے درمیان مناسب کنیکٹیویٹی کا ہونا ضروری ہے۔ درج ذیل مراحل کو مکمل کریں:
- ایمیزون ایم ایس کے کنسول پر، ایم ایس کے کلسٹر اور اس کے نیچے نیویگیٹ کریں۔ نیٹ ورک کی ترتیباتسیکیورٹی گروپ کو کاپی کریں۔
- Amazon EC2 کنسول پر، منتخب کریں۔ سیکیورٹی گروپس نیوی گیشن پین میں.
- سیکیورٹی گروپ میں ترمیم کریں۔
MySQL_SG
اور منتخب کریں اصول شامل کریں. - MySQL/Aurora کے ساتھ ایک قاعدہ ٹائپ کے طور پر اور MSK سیکیورٹی گروپ کو اس کے ماخذ کے لیے ان باؤنڈ وسیلہ کے طور پر شامل کریں۔
- میں سے انتخاب کریں قوانین کو محفوظ کریں۔.
MSK کنیکٹر بنائیں
اپنا MSK کنیکٹر بنانے کے لیے، درج ذیل مراحل کو مکمل کریں:
- Amazon MSK کنسول پر، منتخب کریں۔ کنیکٹر کے تحت MSK کنیکٹ نیوی گیشن پین میں.
- میں سے انتخاب کریں کنیکٹر بنائیں.
- منتخب کریں اپنی مرضی کے مطابق پلگ ان بنائیں.
- سے تازہ ترین مستحکم ریلیز کے لیے MySQL کنیکٹر پلگ ان ڈاؤن لوڈ کریں۔ ڈیبیزیم سائٹ یا ڈاؤن لوڈ Debezium.zip.
- MySQL کنیکٹر زپ فائل کو S3 بالٹی میں اپ لوڈ کریں۔
- فائل کے لیے یو آر ایل کاپی کریں، جیسے
s3://<bucket name>/Debezium.zip
. - واپس اپنی مرضی کے مطابق پلگ ان کا انتخاب کریں۔ صفحہ پر جائیں اور S3 فائل کا راستہ درج کریں۔ S3 URI.
- کے لئے حسب ضرورت پلگ ان کا نام، داخل کریں
mysql-plugin
. - میں سے انتخاب کریں اگلے.
- کے لئے نام، داخل کریں
mysql-connector
. - کے لئے Description، کنیکٹر کی تفصیل درج کریں۔
- کے لئے کلسٹر کی قسممنتخب کریں ایم ایس کے کلسٹر.
- فہرست سے موجودہ کلسٹر کو منتخب کریں (اس پوسٹ کے لیے،
mkc-tutorial-cluster
). - توثیق کی قسم کی وضاحت کریں بطور IAM.
- کے لیے درج ذیل اقدار کا استعمال کریں۔ رابط کنفیگریشن:
- درج ذیل کنیکٹر کنفیگریشن کو اپ ڈیٹ کریں:
- کے لئے صلاحیت کی قسممنتخب کریں فراہم کردہ.
- کے لئے MCU شمار فی کارکن، 1 درج کریں۔
- کے لئے کارکنوں کی تعداد، 1 درج کریں۔
- منتخب کریں MSK ڈیفالٹ کنفیگریشن استعمال کریں۔.
- میں رسائی کی اجازت سیکشن، پر سروس رول کا انتخاب کریں۔ مینو، منتخب کریں
MSK-Connect-PrivateDNS-MySQLConnector*
، پھر منتخب کریں اگلے. - میں سلامتی سیکشن، پہلے سے طے شدہ ترتیبات رکھیں۔
- میں کھنگالیں سیکشن، منتخب کریں Amazon CloudWatch لاگز کو ڈیلیور کریں۔.
- میں سے انتخاب کریں Amazon CloudWatch Logs کنسول ملاحظہ کریں۔.
- کے تحت کھنگالیں نیویگیشن پین میں، منتخب کریں۔ لاگ گروپ.
- میں سے انتخاب کریں لاگ گروپ بنائیں.
- لاگ گروپ کا نام، برقرار رکھنے کی ترتیبات، اور ٹیگز درج کریں، پھر منتخب کریں۔ تخلیق کریں.
- کنیکٹر تخلیق کے صفحے پر واپس جائیں اور منتخب کریں۔ لاگ گروپ کو براؤز کریں۔.
- منتخب کیجئیے
AmazonMSKConnect
لاگ گروپ، پھر منتخب کریں۔ اگلے. - کنفیگریشنز کا جائزہ لیں اور منتخب کریں۔ کنیکٹر بنائیں.
کنیکٹر بنانے کا عمل مکمل ہونے کا انتظار کریں (تقریباً 10-15 منٹ)۔
MSK کنیکٹ کنیکٹر اب تیار اور چل رہا ہے۔ آپ اپنے یوزر آئی ڈی کا استعمال کرتے ہوئے MySQL ڈیٹا بیس میں لاگ ان کر سکتے ہیں اور کسٹمر ٹیبل کے ریکارڈ میں کچھ ریکارڈ تبدیلیاں کر سکتے ہیں۔ MSK Connect CDC ریکارڈ حاصل کر سکے گا اور MSK میں ڈیٹا بیس کی اپ ڈیٹس دستیاب ہوں گی۔ موضوع.
MSK کے عنوان سے پیغامات استعمال کریں۔
MSK موضوع سے پیغامات استعمال کرنے کے لیے، کافکا صارف کو چلائیں۔ MSK_Client
EC2 مثال MSK VPC میں دستیاب ہے۔
- SSH کو
MSK_Client
EC2 مثال۔ دیMSK_Client
مثال کے طور پر مطلوبہ کافکا کلائنٹ لائبریریاں، ایمیزون MSK IAM JAR فائل،client.properties
فائل، اور CloudFormation ٹیمپلیٹ کا استعمال کرتے ہوئے مناسب IAM کردار کے ساتھ اس کے ساتھ منسلک ایک مثال پروفائل۔ - شامل کریں
MSKClientSG
سیکورٹی گروپ مندرجہ ذیل خصوصیات کے ساتھ MSK سیکورٹی گروپ کے ذریعہ کے طور پر:- کے لئے قسممنتخب کریں تمام ٹریفک.
- کے لئے ماخذمنتخب کریں کسٹم اور MSK سیکیورٹی گروپ.
اب آپ ڈیٹا استعمال کرنے کے لیے تیار ہیں۔
- عنوانات کی فہرست کے لیے درج ذیل کمانڈ کو چلائیں:
- سے ڈیٹا استعمال کرنے کے لیے
salesdb-server.salesdb.CUSTOMER
موضوع، درج ذیل کمانڈ کا استعمال کریں:
کافکا صارف کو اپنی EC2 مشین پر چلائیں اور آپ درج ذیل کی طرح کے پیغامات کو لاگ ان کرنے کے قابل ہو جائیں گے۔
ایپلیکیشن کی جانچ کے دوران، CUST_ID 1998، 1999، اور 2000 کے ریکارڈز کو اپ ڈیٹ کیا گیا، اور یہ ریکارڈز لاگز میں دستیاب ہیں۔
صاف کرو
کسی بھی اضافی لاگت سے بچنے کے لیے اس پوسٹ کے حصے کے طور پر بنائے گئے تمام وسائل کو صاف کرنا ہمیشہ ایک اچھا عمل ہے۔ اپنے وسائل کو صاف کرنے کے لیے، MSK کلسٹر، MSK کنیکٹ کنکشن، EC2 مثالیں، DNS سرور، باسشن ہوسٹ، S3 بالٹی، VPC، سب نیٹس اور CloudWatch لاگز کو حذف کریں۔
مزید برآں، دیگر تمام AWS وسائل کو صاف کریں جو آپ نے AWS CloudFormation کا استعمال کرتے ہوئے بنائے ہیں۔ آپ اسٹیک کو حذف کر کے AWS CloudFormation کنسول پر ان وسائل کو حذف کر سکتے ہیں۔
نتیجہ
اس پوسٹ میں، ہم نے نجی DNS کا استعمال کرتے ہوئے MSK Connect کو ترتیب دینے کے عمل پر تبادلہ خیال کیا۔ یہ خصوصیت آپ کو کنیکٹرز کو پبلک یا پرائیویٹ ڈومین ناموں کے حوالے سے ترتیب دینے کی اجازت دیتی ہے۔
ہم ایک علیحدہ VPC میں میزبان MySQL ڈیٹا بیس سے ابتدائی بوجھ اور CDC ریکارڈ حاصل کرنے کے قابل ہیں اور اس کا DNS بیرونی طور پر قابل رسائی یا قابل حل نہیں ہے۔ MSK Connect MySQL ڈیٹا بیس سے منسلک ہونے اور MSK Connect نجی DNS خصوصیت کا استعمال کرتے ہوئے ریکارڈ استعمال کرنے کے قابل تھا۔ اپنی مرضی کے مطابق DHCP آپشن سیٹ VPC کے ساتھ منسلک تھا، جس نے یقینی بنایا کہ DNS ریزولوشن روٹ 53 کے بجائے مقامی DNS سرور کا استعمال کرتے ہوئے انجام دیا گیا تھا۔
MSK Connect پرائیویٹ DNS سپورٹ فیچر کے ساتھ، آپ اپنے ڈیٹا بیس، ڈیٹا گوداموں، اور خفیہ مینیجرز جیسے سسٹمز کو جو آپ کے اپنے VPC کے ساتھ کام کرتے ہیں انٹرنیٹ تک ناقابل رسائی بنا سکتے ہیں اور اس حد کو عبور کرنے اور اپنی کارپوریٹ سیکیورٹی پوزیشن کی تعمیل کرنے کے قابل ہو سکتے ہیں۔
مزید جاننے اور شروع کرنے کے لیے، رجوع کریں۔ MSK کنیکٹ کے لیے نجی DNS.
مصنف کے بارے میں
امر برطانیہ میں Amazon AWS میں ایک سینئر سولیوشن آرکیٹیکٹ ہیں۔ وہ پاور، یوٹیلیٹیز، مینوفیکچرنگ اور آٹوموٹیو صارفین کے ساتھ اسٹریٹجک نفاذ پر کام کرتا ہے، بہترین کاروباری نتائج حاصل کرنے کے لیے AWS سٹریمنگ اور جدید ڈیٹا اینالیٹکس سلوشنز کے استعمال میں مہارت رکھتا ہے۔
- SEO سے چلنے والا مواد اور PR کی تقسیم۔ آج ہی بڑھا دیں۔
- پلیٹو ڈیٹا ڈاٹ نیٹ ورک ورٹیکل جنریٹو اے آئی۔ اپنے آپ کو بااختیار بنائیں۔ یہاں تک رسائی حاصل کریں۔
- پلیٹوآئ اسٹریم۔ ویب 3 انٹیلی جنس۔ علم میں اضافہ۔ یہاں تک رسائی حاصل کریں۔
- پلیٹو ای ایس جی۔ کاربن، کلین ٹیک، توانائی ، ماحولیات، شمسی، ویسٹ مینجمنٹ یہاں تک رسائی حاصل کریں۔
- پلیٹو ہیلتھ۔ بائیوٹیک اینڈ کلینیکل ٹرائلز انٹیلی جنس۔ یہاں تک رسائی حاصل کریں۔
- ماخذ: https://aws.amazon.com/blogs/big-data/resolve-private-dns-hostnames-for-amazon-msk-connect/
- : ہے
- : ہے
- : نہیں
- :کہاں
- $UP
- 1
- 14
- 160
- 1998
- 1999
- 2000
- 53
- 7
- 73
- 8
- 9
- a
- قابلیت
- ہمارے بارے میں
- تک رسائی حاصل
- قابل رسائی
- اکاؤنٹ
- تسلیم کرتے ہیں
- کے پار
- فعال
- شامل کریں
- ایڈیشنل
- پتہ
- پتے
- اعلی درجے کی
- کے بعد
- تمام
- کی اجازت دیتا ہے
- ساتھ
- پہلے ہی
- ہمیشہ
- ایمیزون
- ایمیزون EC2
- ایمیزون آر ڈی ایس
- ایمیزون ویب سروسز
- an
- تجزیاتی
- اور
- ایک اور
- کوئی بھی
- اپاچی
- اپاچی کافکا
- درخواست
- ایپلی کیشنز
- مناسب
- فن تعمیر
- کیا
- AS
- پہلوؤں
- At
- منسلک کریں
- مصنف
- کی توثیق
- آٹو
- خود کار طریقے سے
- آٹوموٹو
- دستیابی
- دستیاب
- سے اجتناب
- AWS
- AWS کلاؤڈ فارمیشن
- بیس
- BE
- کیونکہ
- اس سے پہلے
- کے درمیان
- باندھنے
- بوٹسٹریپ
- بروکر
- بروکرز
- عمارت
- تعمیر
- کاروبار
- لیکن
- by
- کر سکتے ہیں
- صلاحیت
- قبضہ
- سی ڈی سی
- تبدیل
- تبدیلیاں
- میں سے انتخاب کریں
- کلک کریں
- کلائنٹ
- کلائنٹس
- کلسٹر
- COM
- مکمل
- مکمل طور پر
- عمل
- اجزاء
- ترتیب
- تشکیل شدہ
- رابطہ قائم کریں
- کنکشن
- رابطہ
- کنسول
- بسم
- صارفین
- مسلسل
- کنٹرول
- کور
- کارپوریٹ
- درست
- قیمت
- جوڑے
- تخلیق
- بنائی
- پیدا
- مخلوق
- اس وقت
- اپنی مرضی کے
- گاہک
- گاہکوں
- اعداد و شمار
- ڈیٹا تجزیات
- ڈیٹا گودام
- ڈیٹا بیس
- ڈیٹا بیس
- پہلے سے طے شدہ
- کی وضاحت
- ترسیل
- ثبوت
- انحصار
- منحصر ہے
- تعیناتی
- تعیناتی
- تفصیل
- تفصیلات
- کے الات
- مختلف
- بات چیت
- DNS
- do
- ڈومین
- DOMAIN NAMES
- نہیں
- ڈاؤن لوڈ، اتارنا
- ڈرائیو
- اس سے قبل
- یا تو
- کو یقینی بنانے کے
- اس بات کا یقین
- درج
- ماحولیات
- Ether (ETH)
- سب کچھ
- مثال کے طور پر
- موجودہ
- توسیع
- بیرونی طور پر
- نمایاں کریں
- چند
- فائل
- فائلوں
- فائنل
- مل
- بہاؤ
- توجہ مرکوز
- پر عمل کریں
- کے بعد
- کے لئے
- سے
- مکمل طور پر
- گیٹ وے
- حاصل
- دے دو
- Go
- اچھا
- گروپ
- گروپ کا
- رہنمائی
- ہارڈ ویئر
- ہے
- he
- صحت
- یہاں
- اعلی سطحی
- تاریخ
- میزبان
- میزبانی کی
- میزبان
- تاہم
- HTML
- HTTP
- HTTPS
- IAM
- ID
- شناخت
- شناختی
- if
- وضاحت کرتا ہے
- عمل درآمد
- اہم
- in
- قابل رسائی
- شامل
- شامل
- معلومات
- انفراسٹرکچر
- ابتدائی
- انسٹال
- تنصیب
- مثال کے طور پر
- واقعات
- کے بجائے
- ہدایات
- اندرونی
- انٹرنیٹ
- میں
- تعارف
- IP
- IP ایڈریس
- آئی پی پتے
- IT
- میں
- فوٹو
- kafka
- رکھیں
- کلیدی
- بعد
- تازہ ترین
- شروع
- جانیں
- لائبریریوں
- کی طرح
- حد کے
- لائن
- لائنوں
- لینکس
- لسٹ
- لوڈ
- مقامی
- محل وقوع
- لاگ ان کریں
- مشین
- بنا
- میں کامیاب
- مینیجر
- مینیجر
- انتظام کرتا ہے
- مینیجنگ
- مینوفیکچرنگ
- ماسٹر
- میچ
- مئی..
- ذکر کیا
- مینو
- پیغام
- پیغامات
- طریقوں
- شاید
- منٹ
- کی نگرانی
- نظر رکھتا ہے
- زیادہ
- منتقل
- ایک سے زیادہ
- MySQL
- نام
- نامزد
- نام
- تشریف لے جائیں
- سمت شناسی
- ضرورت ہے
- ضروریات
- نیٹ ورک
- نئی
- نیا
- اگلے
- نہیں
- براہ مہربانی نوٹ کریں
- اب
- of
- بند
- تجویز
- on
- صرف
- کھول
- اوپن سورس
- زیادہ سے زیادہ
- اختیار
- آپشنز کے بھی
- or
- دیگر
- ہمارے
- نتائج
- پر
- پر قابو پانے
- خود
- صفحہ
- پین
- پیرامیٹر
- حصہ
- پاس ورڈ
- گزشتہ
- پیچ
- راستہ
- فی
- کارکردگی
- اجازتیں
- مقام
- پلاٹا
- افلاطون ڈیٹا انٹیلی جنس
- پلیٹو ڈیٹا
- رابطہ بحال کرو
- پوائنٹس
- مقبول
- پوسٹ
- پوسٹگریسقیل
- طاقت
- پریکٹس
- نجی
- ذاتی کلید
- عمل
- پروڈیوسر
- مصنوعات
- پیداوار
- پروفائل
- خصوصیات
- پروٹوکول
- فراہم
- فراہم
- فراہم کرتا ہے
- عوامی
- عوامی طور پر
- بلکہ
- پہنچنا
- تیار
- وجوہات
- وصول
- حال ہی میں
- ریکارڈ
- ریکارڈ
- کا حوالہ دیتے ہیں
- حوالہ
- خطے
- جاری
- ہٹا
- درخواستوں
- ضرورت
- قرارداد
- کے حل
- وسائل
- وسائل
- متعلقہ
- نتیجہ
- برقراری
- کردار
- روٹ
- روٹنگ
- حکمرانی
- رن
- چل رہا ہے
- اسی
- محفوظ کریں
- ترازو
- خفیہ
- سیکشن
- سیکشنز
- سیکورٹی
- دیکھنا
- حصے
- منتخب
- بھیجنے
- سینئر
- علیحدہ
- سرور
- سرورز
- سروس
- سروسز
- مقرر
- سیٹ
- قائم کرنے
- ترتیبات
- سیٹ اپ
- ہونا چاہئے
- دکھائیں
- شوز
- اسی طرح
- سادہ
- سائٹ
- So
- حل
- حل
- ماخذ
- مہارت
- SQL
- مستحکم
- ڈھیر لگانا
- اسٹیج
- شروع
- حالت
- درجہ
- مرحلہ
- مراحل
- ابھی تک
- ذخیرہ
- ذخیرہ
- پردہ
- حکمت عملی
- محرومی
- سب نیٹ
- ذیلی نیٹ
- کامیابی کے ساتھ
- اس طرح
- سپلائر
- حمایت
- کی حمایت کرتا ہے
- کے نظام
- سسٹمز
- ٹیبل
- لے لو
- کاموں
- سانچے
- ٹیسٹنگ
- سے
- کہ
- ۔
- ماخذ
- برطانیہ
- ان
- تو
- وہاں.
- یہ
- وہ
- اس
- تین
- تھرو پٹ
- وقت
- کرنے کے لئے
- موضوع
- موضوعات
- ٹریفک
- ٹرانزٹ
- سبق
- دو
- قسم
- عام طور پر
- Uk
- کے تحت
- بنیادی
- اپ ڈیٹ کریں
- اپ ڈیٹ
- تازہ ترین معلومات
- صلی اللہ علیہ وسلم
- URL
- استعمال کی شرائط
- استعمال کیا جاتا ہے
- رکن کا
- استعمال
- کا استعمال کرتے ہوئے
- افادیت
- قیمت
- اقدار
- مختلف
- ورژن
- مجازی
- انتظار
- واک تھرو
- چاہتے ہیں
- تھا
- we
- ویب
- ویب خدمات
- اچھا ہے
- تھے
- جب
- جس
- گے
- ساتھ
- کام
- کام کرتا ہے
- یامل
- آپ
- اور
- زیفیرنیٹ
- زپ
- علاقوں