آمازون MSK Connect یک ویژگی است آمازون پخش جریانی را برای آپاچی کافکا مدیریت کرد (Amazon MSK) که یک محیط کاملاً مدیریت شده Apache Kafka Connect را در AWS ارائه می دهد. با MSK Connect، میتوانید کانکتورهای کاملاً مدیریت شده ساخته شده برای Kafka Connect را مستقر کنید که دادهها را به فروشگاههای داده محبوب مانند Amazon S3 و Amazon OpenSearch منتقل میکند یا دادهها را از آنها میکشد. با معرفی پشتیبانی از DNS خصوصی در MSK Connect، کانکتورها می توانند با استفاده از سرورهای DNS خود که در مجموعه گزینه های VPC DHCP مشتری پیکربندی شده اند، نام دامنه مشتری خصوصی را حل کنند. این پست راه حلی را برای حل نام هاست DNS خصوصی تعریف شده در VPC مشتری برای MSK Connect نشان می دهد.
ممکن است بخواهید به دلایل متعدد از پشتیبانی از نام میزبان DNS خصوصی برای MSK Connect استفاده کنید. قبل از قابلیت رزولوشن خصوصی DNS که در MSK Connect گنجانده شده بود، از سرویس حلکننده DNS VPC برای وضوح DNS استفاده میکرد. MSK Connect از سرورهای DNS خصوصی تعریف شده در مجموعه گزینه های مشتری VPC DHCP برای وضوح DNS استفاده نمی کند. رابطها فقط میتوانستند به نامهای میزبان در پیکربندی رابط یا افزونه ارجاع دهند که به صورت عمومی قابل حل هستند و نمیتوانستند نامهای میزبان خصوصی تعریفشده در یک منطقه میزبان خصوصی یا استفاده از سرورهای DNS در شبکه مشتری دیگر را حل کنند.
بسیاری از مشتریان اطمینان میدهند که برنامههای DNS داخلی آنها به صورت عمومی قابل حل نیستند. به عنوان مثال، ممکن است شما یک پایگاه داده MySQL یا PostgreSQL داشته باشید و ممکن است نخواهید نام DNS پایگاه داده شما به صورت عمومی قابل حل یا در دسترس باشد. سرویس پایگاه داده رابطه آمازون (آمازون RDS) یا آمازون شفق قطبی سرورها دارای نام های DNS هستند که به صورت عمومی قابل حل هستند اما در دسترس نیستند. شما می توانید چندین برنامه داخلی مانند پایگاه های داده، انبارهای داده یا سایر سیستم هایی داشته باشید که نام های DNS به صورت عمومی قابل حل نیستند.
با راه اندازی اخیر پشتیبانی از DNS خصوصی MSK Connect، می توانید کانکتورها را برای ارجاع به نام های دامنه عمومی یا خصوصی پیکربندی کنید. اتصال دهنده ها از سرورهای DNS پیکربندی شده در گزینه DHCP VPC شما برای حل نام دامنه استفاده می کنند. اکنون می توانید از MSK Connect برای ارتباط خصوصی با پایگاه های داده، انبارهای داده و سایر منابع موجود در VPC خود استفاده کنید تا با نیازهای امنیتی خود مطابقت داشته باشید.
اگر یک پایگاه داده MySQL یا PostgreSQL با DNS خصوصی دارید، می توانید آن را روی یک سرور DNS سفارشی پیکربندی کنید و گزینه DHCP اختصاصی VPC را برای انجام رزولوشن DNS با استفاده از سرور DNS سفارشی محلی به VPC به جای استفاده از سرویس DNS پیکربندی کنید. وضوح.
بررسی اجمالی راه حل
یک مشتری می تواند گزینه های معماری مختلفی برای راه اندازی MSK Connect خود داشته باشد. به عنوان مثال، آنها می توانند آمازون MSK و MSK Connect در یک VPC یا سیستم منبع در VPC1 باشند و Amazon MSK و MSK Connect در VPC2 یا سیستم منبع هستند، Amazon MSK و MSK Connect همه در VPC های مختلف هستند.
راهاندازی زیر از دو VPC مختلف استفاده میکند، که در آن MySQL VPC میزبان پایگاه داده MySQL و MSK VPC میزبان Amazon MSK، MSK Connect، سرور DNS و اجزای مختلف دیگر است. شما می توانید این معماری را برای پشتیبانی از توپولوژی های استقرار دیگر با استفاده از مناسب گسترش دهید هویت AWS و مدیریت دسترسی مجوزها و گزینه های اتصال (IAM).
این پست دستورالعمل های گام به گام را برای راه اندازی MSK Connect ارائه می دهد که در آن داده ها را از یک پایگاه داده منبع MySQL با نام میزبان DNS خصوصی در MySQL VPC دریافت می کند و داده ها را با استفاده از MSK Connect در VPC دیگری به Amazon MSK ارسال می کند. نمودار زیر معماری سطح بالا را نشان می دهد.
دستورالعمل های راه اندازی شامل مراحل کلیدی زیر است:
- VPC ها، زیرشبکه ها و سایر اجزای زیرساخت اصلی را راه اندازی کنید.
- سرور DNS را نصب و پیکربندی کنید.
- داده ها را در پایگاه داده MySQL آپلود کنید.
- آمازون MSK و MSK Connect را مستقر کنید و رکوردهای ضبط داده تغییر (CDC) را مصرف کنید.
پیش نیازها
برای دنبال کردن آموزش این پست به موارد زیر نیاز دارید:
زیرساخت مورد نیاز را با استفاده از AWS CloudFormation ایجاد کنید
قبل از پیکربندی MSK Connect، باید VPC ها، زیرشبکه ها و سایر اجزای زیرساخت اصلی را راه اندازی کنیم. برای تنظیم منابع در حساب AWS خود، مراحل زیر را انجام دهید:
- را انتخاب کنید Stack را راه اندازی کنید برای راه اندازی پشته در منطقه ای که از Amazon MSK و MSK Connect پشتیبانی می کند.
- کلید خصوصی را که برای اتصال به نمونه های EC2 استفاده می کنید، مشخص کنید.
- مکان SSH را با آدرس IP محلی خود به روز کنید و مقادیر دیگر را به عنوان پیش فرض نگه دارید.
- را انتخاب کنید بعدی.
- جزئیات صفحه آخر را بررسی کرده و انتخاب کنید من تصدیق می کنم که AWS CloudFormation ممکن است منابع IAM را ایجاد کند.
- را انتخاب کنید پشته ایجاد کنید و منتظر بمانید تا منابع مورد نیاز ایجاد شود.
الگوی CloudFormation منابع کلیدی زیر را در حساب شما ایجاد می کند:
- VPC ها:
- MSK VPC
- MySQL VPC
- زیرشبکه ها در MSK VPC:
- سه زیرشبکه خصوصی برای Amazon MSK
- زیرشبکه خصوصی برای سرور DNS
- زیرشبکه خصوصی برای MSKClient
- زیر شبکه عمومی برای میزبان سنگر
- زیرشبکه ها در MySQL VPC:
- زیرشبکه خصوصی برای پایگاه داده MySQL
- زیر شبکه عمومی برای میزبان سنگر
- دروازه اینترنت متصل به MySQL VPC و MSK VPC
- دروازه های NAT متصل به زیر شبکه عمومی MySQL و زیر شبکه عمومی MSK
- جداول مسیریابی برای پشتیبانی از جریان ترافیک بین زیرشبکه های مختلف در یک VPC و در سراسر VPCها
- اتصال همتا بین MySQL VPC و MSK VPC
- پایگاه داده و تنظیمات MySQL
- سرور DNS
- سرویس گیرنده MSK با کتابخانه های مربوطه
لطفاً توجه داشته باشید، اگر از همتاسازی VPC یا AWS Transit Gateway با MSK Connect، کانکتور خود را برای دسترسی به منابع VPC همتا با IP در محدوده CIDR پیکربندی نکنید. برای اطلاعات بیشتر مراجعه کنید اتصال از کانکتورها.
سرور DNS را پیکربندی کنید
مراحل زیر را برای پیکربندی سرور DNS انجام دهید:
- به سرور DNS متصل شوید. سه فایل پیکربندی در سرور DNS در زیر وجود دارد
/home/ec2-user
پوشه:named.conf
mysql.internal.zone
kafka.us-east-1.amazonaws.com.zone
- دستورات زیر را برای نصب و پیکربندی سرور DNS خود اجرا کنید:
- بروزرسانی
/etc/named.conf
.
برای ویژگی allow-transfer، آدرس IP داخلی سرور DNS را به اجازه انتقال بهروزرسانی کنید
{ localhost; <DNS Server internal IP address>; };.
می توانید آدرس IP سرور DNS را در قالب CloudFormation پیدا کنید خروجی تب.
توجه داشته باشید که خوشه MSK هنوز در این مرحله تنظیم نشده است. ما باید نامهای DNS بروکر کافکا و آدرسهای IP داخلی مربوطه را در آن بهروزرسانی کنیم /var/named/kafka.region.amazonaws.com
فایل پیکربندی پس از راه اندازی کلاستر MSK در ادامه این پست. برای دستورالعمل، به اینجا مراجعه کنید.
همچنین توجه داشته باشید که این تنظیمات سرور DNS را برای این پست پیکربندی می کند. در محیط شخصی خود، می توانید سرور DNS را بر اساس نیاز خود پیکربندی کنید.
- سرویس DNS را مجددا راه اندازی کنید:
باید پیام زیر را ببینید:
داده ها را در پایگاه داده MySQL آپلود کنید
به طور معمول، ما می توانیم از یک استفاده کنیم Amazon RDS برای MySQL پایگاه داده، اما برای این پست از سرورهای پایگاه داده MySQL سفارشی استفاده می کنیم. آمازون RDS DNS برای عموم قابل دسترسی است و MSK Connect از آن پشتیبانی می کند، اما در گذشته قادر به پشتیبانی از پایگاه داده یا برنامه های کاربردی با DNS خصوصی نبود. با جدیدترین نام میزبان DNS خصوصی راه اندازی ویژگی، می تواند از DNS خصوصی برنامه ها نیز پشتیبانی کند، بنابراین ما از پایگاه داده MySQL در نمونه EC2 استفاده می کنیم.
این نصب اطلاعاتی در مورد راه اندازی پایگاه داده MySQL در یک نمونه EC2 تک گره ارائه می دهد. این نباید برای تنظیم تولید شما استفاده شود. برای راه اندازی و پیکربندی MySQL در حساب خود باید از راهنمایی های مناسب پیروی کنید.
پایگاه داده MySQL قبلاً با استفاده از الگوی CloudFormation تنظیم شده است و اکنون آماده استفاده است. برای آپلود داده ها، مراحل زیر را انجام دهید:
- SSH به نمونه MySQL EC2. برای دستورالعمل، مراجعه کنید به نمونه لینوکس خود متصل شوید. فایل دیتا
salesdb.sql
قبلا دانلود شده و در زیر در دسترس است/home/ec2-user
دایرکتوری. - با نام کاربری master وارد mysqldb شوید.
- برای دسترسی به رمز عبور، به مدیر سیستم های AWS و فروشگاه پارامتر برگه انتخاب کنید /پایگاه داده/مدارک/مستر و کلیک بر روی دیدن جزئیات و مقدار کلید را کپی کنید.
- با استفاده از دستور زیر وارد MySQL شوید:
- برای ایجاد دستورات زیر را اجرا کنید
salesdb
پایگاه داده و بارگذاری داده ها در جدول:
با این کار رکوردها در جداول مختلف وارد می شود salesdb
پایگاه داده.
- برای دیدن جداول زیر در جدول نمایش را اجرا کنید
salesdb
:
یک مجموعه گزینه DHCP ایجاد کنید
مجموعه گزینه های DHCP به شما امکان کنترل روی جنبه های زیر از مسیریابی در شبکه مجازی را می دهد:
- میتوانید سرورهای DNS، نامهای دامنه، یا سرورهای پروتکل زمان شبکه (NTP) مورد استفاده دستگاههای موجود در VPC خود را کنترل کنید.
- شما می توانید وضوح DNS را به طور کامل در VPC خود غیرفعال کنید.
برای پشتیبانی از DNS خصوصی، می توانید از یک استفاده کنید مسیر آمازون 53 منطقه خصوصی یا سرور DNS سفارشی شما. اگر از یک منطقه خصوصی Route 53 استفاده می کنید، راه اندازی به طور خودکار کار می کند و نیازی به ایجاد هیچ تغییری در تنظیم گزینه پیش فرض DHCP برای MSK VPC نیست. برای یک سرور DNS سفارشی، مراحل زیر را برای تنظیم یک پیکربندی DHCP سفارشی با استفاده از آن انجام دهید ابر خصوصی مجازی آمازون (Amazon VPC) و آن را به MSK VPC متصل کنید.
یک گزینه پیشفرض DHCP در VPC شما متصل به سرور DNS ارائهشده آمازون وجود خواهد داشت. در این مرحله درخواست ها برای حل و فصل به سرور DNS ارائه شده آمازون می روند. با این حال، ما یک مجموعه گزینه DHCP جدید ایجاد می کنیم زیرا از یک سرور DNS سفارشی استفاده می کنیم.
- در کنسول VPC آمازون، انتخاب کنید مجموعه گزینه های DHCP در صفحه ناوبری
- را انتخاب کنید مجموعه گزینه های DHCP را ایجاد کنید.
- برای نام مجموعه گزینه DHCP، وارد
MSKConnect_Private_DHCP_OptionSet
. - برای نام دامنه، وارد
mysql.internal
. - برای سرور نام دامنه، آدرس IP سرور DNS را وارد کنید.
- را انتخاب کنید مجموعه گزینه های DHCP را ایجاد کنید.
- حرکت به MSK VPC و در اعمال منو ، انتخاب کنید تنظیمات VPC را ویرایش کنید.
- مجموعه گزینه DHCP جدید ایجاد شده را انتخاب کرده و آن را ذخیره کنید.
تصویر زیر نمونه تنظیمات را نشان می دهد. - در کنسول آمازون EC2، به
privateDNS_bastion_host
. - را انتخاب کنید حالت نمونه و نمونه راه اندازی مجدد.
- چند دقیقه صبر کنید و سپس اجرا کنید
nslookup
از میزبان سنگر; باید بتواند آن را با استفاده از سرور DNS محلی شما به جای Route 53 حل کند:
اکنون راه اندازی زیرساخت پایه ما آماده حرکت به مرحله بعدی است. به عنوان بخشی از زیرساخت پایه خود، ما مؤلفه های کلیدی زیر را با موفقیت راه اندازی کرده ایم:
- VPC های MSK و MySQL
- زیرشبکه ها
- نمونه های EC2
- همتاسازی VPC
- جداول مسیر
- دروازه های NAT و دروازه های اینترنت
- سرور DNS و پیکربندی
- گروه های امنیتی مناسب و NACL
- پایگاه داده MySQL با داده های مورد نیاز
در این مرحله، نام MySQL DB DNS با استفاده از سرور DNS سفارشی به جای Route 53 قابل حل است.
خوشه MSK و MSK Connect را راه اندازی کنید
مرحله بعدی استقرار خوشه MSK و MSK Connect است که رکوردها را از آن واکشی می کند salesdb
و آن را به یک سرویس ذخیره سازی ساده آمازون سطل (Amazon S3). در این بخش، ما توضیحی در مورد تکرار پایگاه داده MySQL ارائه می کنیم (salesdb
) به آمازون MSK با استفاده از دبزیوم، یک رابط منبع باز. کانکتور هرگونه تغییر در پایگاه داده را کنترل می کند و هر تغییری را در جداول ثبت می کند.
با MSK Connect میتوانید بارهای کاری کاملاً مدیریت شده Apache Kafka Connect را در AWS اجرا کنید. MSK Connect منابع مورد نیاز را فراهم می کند و خوشه را راه اندازی می کند. این به طور مداوم سلامت و وضعیت تحویل کانکتورها را کنترل می کند، سخت افزارهای زیرین را اصلاح می کند و مدیریت می کند، و کانکتورها را به صورت خودکار مقیاس می کند تا با تغییرات در توان عملیاتی مطابقت داشته باشد. در نتیجه، می توانید منابع خود را به جای مدیریت زیرساخت، بر روی ساخت اپلیکیشن ها متمرکز کنید.
MSK Connect از سرور DNS سفارشی در VPC استفاده خواهد کرد و به Route 53 وابسته نخواهد بود.
یک پیکربندی کلاستر MSK ایجاد کنید
مراحل زیر را برای ایجاد یک کلاستر MSK انجام دهید:
- در کنسول آمازون MSK، را انتخاب کنید تنظیمات خوشه زیر خوشه های MSK در صفحه ناوبری
- را انتخاب کنید ایجاد پیکربندی.
- پیکربندی را نام ببرید
mskc-tutorial-cluster-configuration
. - تحت ویژگی های پیکربندی، همه چیز را حذف کنید و خط را اضافه کنید
auto.create.topics.enable=true
. - را انتخاب کنید ساختن.
یک کلاستر MSK ایجاد کنید و پیکربندی را ضمیمه کنید
در مرحله بعد این پیکربندی را به یک خوشه متصل می کنیم. مراحل زیر را کامل کنید:
- در کنسول آمازون MSK، را انتخاب کنید خوشه زیر خوشه های MSK در صفحه ناوبری
- را انتخاب کنید خوشه ایجاد کنید و سفارشی ایجاد کنید.
- برای نام خوشه، وارد کنید
mkc-tutorial-cluster
. - تحت خصوصیات خوشه عمومی، انتخاب کنید تامین شده است برای نوع کلاستر و از آپاچی کافکا نسخه پیش فرض 2.8.1 استفاده کنید.
- از تمام گزینه های پیش فرض برای کارگزاران و ذخیره سازی بخش.
- تحت پیکربندی، انتخاب کنید پیکربندی سفارشی.
- انتخاب کنید
mskc-tutorial-cluster-configuration
با بازنگری مناسب و انتخاب کنید بعدی. - تحت شبکه، MSK VPC را انتخاب کنید.
- مناطق در دسترس را بسته به منطقه خود انتخاب کنید، مانند
us-east1a
,us-east1b
وus-east1c
، و زیرشبکه های خصوصی مربوطهMSK-Private-1
,MSK-Private-2
وMSK-Private-3
اگر شما درus-east-1
منطقه. دسترسی عمومی به این کارگزاران باید خاموش باشد. - شناسه گروه امنیتی را از آن کپی کنید گروه های امنیتی منتخب
- را انتخاب کنید بعدی.
- تحت روش های کنترل دسترسی، را انتخاب کنید احراز هویت مبتنی بر نقش IAM.
- در رمزگذاری بخش، زیر بین مشتریان و کارگزاران, رمزگذاری TLS به صورت پیش فرض انتخاب خواهد شد.
- برای Encrداده های ypt در حالت استراحت، انتخاب کنید از کلید مدیریت شده AWS استفاده کنید.
- از گزینه های پیش فرض برای استفاده کنید نظارت را انتخاب کنید و نظارت اولیه.
- انتخاب کنید به گزارشهای آمازون CloudWatch تحویل دهید.
- تحت گروه گزارش، انتخاب کنید به کنسول آمازون CloudWatch Logs مراجعه کنید.
- را انتخاب کنید ایجاد گروه گزارش.
- نام گروه گزارش را وارد کنید و انتخاب کنید ساختن.
- بازگشت به نظارت و برچسب ها صفحه و زیر گروه های گزارش، انتخاب کنید گروه گزارش را انتخاب کنید
- را انتخاب کنید بعدی.
- تنظیمات را بررسی کرده و انتخاب کنید خوشه ایجاد کنید. شما به صفحه جزئیات خوشه هدایت می شوید.
- تحت گروه های امنیتی اعمال شد، به شناسه گروه امنیتی توجه کنید تا در مرحله بعد از آن استفاده کنید.
ایجاد خوشه معمولاً 25 تا 30 دقیقه طول می کشد. وقتی با موفقیت ایجاد شد وضعیت آن به Active تغییر می کند.
فایل منطقه /var/named/kafka.region.amazonaws.com را به روز کنید
قبل از ایجاد کانکتور MSK، تنظیمات سرور DNS را با جزئیات خوشه MSK به روز کنید.
- برای دریافت لیست DNS سرور بوت استرپ و آدرس های IP مربوطه، به کلاستر بروید و انتخاب کنید مشاهده اطلاعات مشتری.
- اطلاعات سرور بوت استرپ را با نوع احراز هویت IAM کپی کنید.
- شما می توانید آدرس های IP کارگزار را با استفاده از آن شناسایی کنید
nslookup
از دستگاه محلی شما و آدرس IP محلی کارگزار را در اختیار شما قرار می دهد. در حال حاضر، VPC شما به آخرین مجموعه گزینه های DHCP اشاره می کند و سرور DNS شما نمی تواند این نام های DNS را از VPC شما حل کند.
اکنون می توانید وارد سرور DNS شوید و سوابق کارگزاران مختلف و آدرس های IP مربوطه را در سرور به روز کنید. /var/named/kafka.region.amazonaws.com
فایل.
- بارگذاری کنید
msk-access.pem
فایل بهBastionHostInstance
از ماشین محلی شما: - وارد سرور DNS شوید و آن را باز کنید
/var/named/kafka.region.amazonaws.com
خطوط زیر را با نامهای DNS کارگزار MSK و آدرسهای IP مربوطه فایل و بهروزرسانی کنید:
توجه داشته باشید که باید DNS بروکر را همانطور که قبلا ذکر شد ارائه دهید. برداشتن .kafka.<region id>.amazonaws.com
از نام کارگزار DNS.
- سرویس DNS را مجددا راه اندازی کنید:
باید پیام زیر را ببینید:
سرور DNS سفارشی شما در حال حاضر راه اندازی شده است و باید بتوانید با استفاده از نام های DNS واسطه با استفاده از سرور DNS داخلی آن را حل کنید.
گروه امنیتی را برای اتصال بین پایگاه داده MySQL و MSK Connect به روز کنید
وجود اتصال مناسب بین MSK Connect و پایگاه داده MySQL بسیار مهم است. مراحل زیر را کامل کنید:
- در کنسول MSK آمازون، به کلاستر MSK و زیر آن بروید تنظیمات شبکه، گروه امنیتی را کپی کنید.
- در کنسول آمازون EC2، را انتخاب کنید گروه های امنیتی در صفحه ناوبری
- گروه امنیتی را ویرایش کنید
MySQL_SG
و انتخاب کنید قانون اضافه کنید. - یک قانون با MySQL/Aurora به عنوان نوع و گروه امنیتی MSK به عنوان منبع ورودی برای منبع آن اضافه کنید.
- را انتخاب کنید قوانین را ذخیره کنید.
کانکتور MSK را ایجاد کنید
برای ایجاد کانکتور MSK، مراحل زیر را انجام دهید:
- در کنسول آمازون MSK، را انتخاب کنید اتصالات زیر اتصال MSK در صفحه ناوبری
- را انتخاب کنید اتصال ایجاد کنید.
- انتخاب کنید افزونه سفارشی ایجاد کنید.
- افزونه اتصال MySQL را برای آخرین نسخه پایدار از سایت دانلود کنید دبزیوم سایت یا دانلود Debezium.zip.
- فایل فشرده کانکتور MySQL را در سطل S3 آپلود کنید.
- URL فایل را کپی کنید، مانند
s3://<bucket name>/Debezium.zip
. - بازگشت به افزونه سفارشی را انتخاب کنید صفحه و مسیر فایل S3 را برای آن وارد کنید S3 URI.
- برای نام افزونه سفارشی، وارد
mysql-plugin
. - را انتخاب کنید بعدی.
- برای نام، وارد
mysql-connector
. - برای توضیحات:توضیحی از رابط را وارد کنید.
- برای نوع خوشه، انتخاب کنید خوشه MSK.
- خوشه موجود را از لیست انتخاب کنید (برای این پست،
mkc-tutorial-cluster
). - نوع احراز هویت را به عنوان مشخص کنید IAM.
- برای استفاده از مقادیر زیر استفاده کنید پیکربندی اتصال:
- پیکربندی کانکتور زیر را به روز کنید:
- برای نوع ظرفیت، انتخاب کنید تامین شده است.
- برای تعداد MCU برای هر کارگر، 1 را وارد کنید.
- برای تعداد کارگران، 1 را وارد کنید.
- انتخاب کنید از پیکربندی پیش فرض MSK استفاده کنید.
- در مجوزهای دسترسی بخش، در نقش خدمات را انتخاب کنید منو ، انتخاب کنید
MSK-Connect-PrivateDNS-MySQLConnector*
، پس از آن را انتخاب کنید بعدی. - در دوربین های مداربسته بخش، تنظیمات پیش فرض را حفظ کنید.
- در سیاههها بخش، انتخاب کنید به گزارشهای آمازون CloudWatch تحویل دهید.
- را انتخاب کنید به کنسول آمازون CloudWatch Logs مراجعه کنید.
- تحت سیاههها در قسمت ناوبری، را انتخاب کنید گروه گزارش.
- را انتخاب کنید ایجاد گروه گزارش.
- نام گروه گزارش، تنظیمات نگهداری و برچسب ها را وارد کنید، سپس انتخاب کنید ساختن.
- به صفحه ایجاد کانکتور برگردید و انتخاب کنید گروه گزارش را مرور کنید.
- انتخاب
AmazonMSKConnect
ورود به سیستم، سپس انتخاب کنید بعدی. - تنظیمات را بررسی کرده و انتخاب کنید اتصال ایجاد کنید.
صبر کنید تا فرآیند ایجاد کانکتور کامل شود (حدود 10 تا 15 دقیقه).
کانکتور MSK Connect اکنون آماده و در حال اجرا است. می توانید با استفاده از شناسه کاربری خود وارد پایگاه داده MySQL شوید و چند تغییر رکورد در رکورد جدول مشتری ایجاد کنید. MSK Connect قادر به دریافت سوابق CDC خواهد بود و به روز رسانی های پایگاه داده در MSK در دسترس خواهد بود موضوع.
پیام های موضوع MSK را مصرف کنید
برای مصرف پیامهای موضوع MSK، مصرف کننده کافکا را بر روی آن اجرا کنید MSK_Client
نمونه EC2 موجود در MSK VPC.
- SSH به
MSK_Client
نمونه EC2 راMSK_Client
نمونه دارای کتابخانه های مورد نیاز مشتری کافکا، فایل Amazon MSK IAM JAR،client.properties
فایل، و یک نمایه نمونه متصل به آن، همراه با نقش IAM مناسب با استفاده از الگوی CloudFormation. - اضافه کردن
MSKClientSG
گروه امنیتی به عنوان منبع گروه امنیتی MSK با ویژگی های زیر:- برای نوع، انتخاب کنید تمام ترافیک.
- برای منبع، انتخاب کنید گروه امنیتی سفارشی و MSK.
اکنون شما آماده مصرف داده هستید.
- برای فهرست کردن موضوعات، دستور زیر را اجرا کنید:
- برای مصرف داده ها از
salesdb-server.salesdb.CUSTOMER
موضوع، از دستور زیر استفاده کنید:
مصرف کننده کافکا را روی دستگاه EC2 خود اجرا کنید و می توانید پیام هایی مشابه موارد زیر را ثبت کنید:
در حین آزمایش برنامه، سوابق با CUST_ID 1998، 1999 و 2000 به روز شدند و این رکوردها در گزارش ها موجود هستند.
پاک کردن
تمیز کردن تمام منابع ایجاد شده به عنوان بخشی از این پست برای جلوگیری از هرگونه هزینه اضافی، همیشه یک تمرین خوب است. برای پاکسازی منابع خود، MSK Cluster، اتصال MSK Connect، نمونه های EC2، سرور DNS، میزبان پایگاه، سطل S3، VPC، زیرشبکه ها و گزارش های CloudWatch را حذف کنید.
علاوه بر این، سایر منابع AWS را که با استفاده از AWS CloudFormation ایجاد کردهاید، پاک کنید. می توانید با حذف پشته، این منابع را در کنسول AWS CloudFormation حذف کنید.
نتیجه
در این پست، روند راه اندازی MSK Connect با استفاده از یک DNS خصوصی را مورد بحث قرار دادیم. این ویژگی به شما امکان می دهد کانکتورها را برای ارجاع به نام های دامنه عمومی یا خصوصی پیکربندی کنید.
ما قادریم بار اولیه و سوابق CDC را از یک پایگاه داده MySQL که در یک VPC جداگانه میزبانی شده است دریافت کنیم و DNS آن به صورت خارجی قابل دسترسی یا حل نیست. MSK Connect توانست با استفاده از ویژگی MSK Connect خصوصی DNS به پایگاه داده MySQL متصل شود و رکوردها را مصرف کند. مجموعه گزینه های سفارشی DHCP به VPC متصل شد، که اطمینان حاصل کرد که وضوح DNS با استفاده از سرور DNS محلی به جای Route 53 انجام می شود.
با قابلیت پشتیبانی از DNS خصوصی MSK Connect، میتوانید پایگاههای داده، انبارهای داده و سیستمهایی مانند مدیران مخفی را که با VPC خودتان کار میکنند برای اینترنت غیرقابل دسترس کنید و بتوانید بر این محدودیت غلبه کنید و با وضعیت امنیتی شرکت خود مطابقت داشته باشید.
برای کسب اطلاعات بیشتر و شروع به ادامه مطلب مراجعه کنید DNS خصوصی برای اتصال MSK.
درباره نویسنده
Amar یک معمار ارشد راه حل در آمازون AWS در بریتانیا است. او در میان مشتریان برق، خدمات شهری، تولید و خودرو روی پیادهسازی استراتژیک کار میکند و متخصص در استفاده از AWS Streaming و راهحلهای پیشرفته تجزیه و تحلیل دادهها برای به دست آوردن نتایج بهینه کسبوکار است.
- محتوای مبتنی بر SEO و توزیع روابط عمومی. امروز تقویت شوید.
- PlatoData.Network Vertical Generative Ai. به خودت قدرت بده دسترسی به اینجا.
- PlatoAiStream. هوش وب 3 دانش تقویت شده دسترسی به اینجا.
- PlatoESG. کربن ، CleanTech، انرژی، محیط، خورشیدی، مدیریت پسماند دسترسی به اینجا.
- PlatoHealth. هوش بیوتکنولوژی و آزمایشات بالینی. دسترسی به اینجا.
- منبع: https://aws.amazon.com/blogs/big-data/resolve-private-dns-hostnames-for-amazon-msk-connect/
- : دارد
- :است
- :نه
- :جایی که
- $UP
- 1
- 14
- 160
- 1998
- 1999
- 2000
- 53
- 7
- 73
- 8
- 9
- a
- قادر
- درباره ما
- دسترسی
- در دسترس
- حساب
- اذعان
- در میان
- فعال
- اضافه کردن
- اضافی
- نشانی
- آدرس
- پیشرفته
- پس از
- معرفی
- اجازه می دهد تا
- در امتداد
- قبلا
- همیشه
- آمازون
- آمازون EC2
- آمازون RDS
- آمازون خدمات وب
- an
- علم تجزیه و تحلیل
- و
- دیگر
- هر
- آپاچی
- آپاچی کافکا
- کاربرد
- برنامه های کاربردی
- مناسب
- معماری
- هستند
- AS
- جنبه
- At
- ضمیمه کردن
- اتهام
- تصدیق
- خودکار
- بطور خودکار
- خودرو
- دسترس پذیری
- در دسترس
- اجتناب از
- AWS
- AWS CloudFormation
- پایه
- BE
- زیرا
- قبل از
- میان
- اتصال
- خود راه انداز
- دلال
- کارگزاران
- بنا
- ساخته
- کسب و کار
- اما
- by
- CAN
- قابلیت
- گرفتن
- CDC
- تغییر دادن
- تبادل
- را انتخاب کنید
- کلیک
- مشتری
- مشتریان
- خوشه
- COM
- کامل
- به طور کامل
- مطابق
- اجزاء
- پیکر بندی
- پیکربندی
- اتصال
- ارتباط
- اتصال
- کنسول
- مصرف
- مصرف کننده
- به طور مداوم
- کنترل
- هسته
- شرکت
- اصلاح
- هزینه
- زن و شوهر
- ایجاد
- ایجاد شده
- ایجاد
- ایجاد
- در حال حاضر
- سفارشی
- مشتری
- مشتریان
- داده ها
- تجزیه و تحلیل داده ها
- انبارهای داده
- پایگاه داده
- پایگاه های داده
- به طور پیش فرض
- مشخص
- تحویل
- نشان می دهد
- وابسته
- بستگی دارد
- گسترش
- گسترش
- شرح
- جزئیات
- دستگاه ها
- مختلف
- بحث کردیم
- دی ان اس
- do
- دامنه
- نام های دامنه
- آیا
- دانلود
- راندن
- پیش از آن
- هر دو
- اطمینان حاصل شود
- تضمین
- وارد
- محیط
- اتر (ETH)
- همه چیز
- مثال
- موجود
- گسترش
- بیرون
- ویژگی
- کمی از
- پرونده
- فایل ها
- نهایی
- پیدا کردن
- جریان
- تمرکز
- به دنبال
- پیروی
- برای
- از جانب
- کاملا
- دروازه
- دریافت کنید
- دادن
- Go
- خوب
- گروه
- گروه ها
- راهنمایی
- سخت افزار
- آیا
- he
- سلامتی
- اینجا کلیک نمایید
- در سطح بالا
- تاریخ
- میزبان
- میزبانی
- میزبان
- اما
- HTML
- HTTP
- HTTPS
- IAM
- ID
- شناسایی
- هویت
- if
- نشان می دهد
- پیاده سازی ها
- مهم
- in
- غیر قابل دسترس
- شامل
- مشمول
- اطلاعات
- شالوده
- اول
- نصب
- نصب و راه اندازی
- نمونه
- نمونه ها
- در عوض
- دستورالعمل
- داخلی
- اینترنت
- به
- معرفی
- IP
- IP آدرس
- آدرس های IP
- IT
- ITS
- JPG
- کافکا
- نگاه داشتن
- کلید
- بعد
- آخرین
- راه اندازی
- یاد گرفتن
- کتابخانه ها
- پسندیدن
- محدودیت
- لاین
- خطوط
- لینوکس
- فهرست
- بار
- محلی
- محل
- ورود به سیستم
- دستگاه
- ساخت
- اداره می شود
- مدیر
- مدیران
- مدیریت می کند
- مدیریت
- تولید
- استاد
- مسابقه
- ممکن است..
- ذکر شده
- فهرست
- پیام
- پیام
- روش
- قدرت
- دقیقه
- مانیتور
- مانیتور
- بیش
- حرکت
- چندگانه
- خروجی
- نام
- تحت عنوان
- نام
- هدایت
- جهت یابی
- نیاز
- نیازهای
- شبکه
- جدید
- به تازگی
- بعد
- نه
- توجه داشته باشید
- اکنون
- of
- خاموش
- پیشنهادات
- on
- فقط
- باز کن
- منبع باز
- بهینه
- گزینه
- گزینه
- or
- دیگر
- ما
- نتایج
- روی
- غلبه بر
- خود
- با ما
- قطعه
- پارامتر
- بخش
- کلمه عبور
- گذشته
- پچ های
- مسیر
- برای
- انجام
- مجوز
- محل
- افلاطون
- هوش داده افلاطون
- PlatoData
- پلاگین
- نقطه
- محبوب
- پست
- postgresql
- قدرت
- تمرین
- خصوصی
- کلید خصوصی
- روند
- تهيه كننده
- محصول
- تولید
- مشخصات
- املاک
- پروتکل
- ارائه
- ارائه
- فراهم می کند
- عمومی
- عمومی
- نسبتا
- رسیدن به
- اماده
- دلایل
- گرفتن
- اخیر
- رکورد
- سوابق
- مراجعه
- مرجع
- منطقه
- آزاد
- برداشتن
- درخواست
- ضروری
- وضوح
- رفع
- منابع
- منابع
- قابل احترام
- نتیجه
- نگهداری
- نقش
- مسیر
- مسیریابی
- قانون
- دویدن
- در حال اجرا
- همان
- ذخیره
- مقیاس ها
- راز
- بخش
- بخش
- تیم امنیت لاتاری
- دیدن
- بخش
- انتخاب شد
- ارسال
- ارشد
- جداگانه
- سرور
- سرورها
- سرویس
- خدمات
- تنظیم
- مجموعه
- محیط
- تنظیمات
- برپایی
- باید
- نشان
- نشان می دهد
- مشابه
- ساده
- سایت
- So
- راه حل
- مزایا
- منبع
- متخصص
- SQL
- پایدار
- پشته
- صحنه
- آغاز شده
- دولت
- وضعیت
- گام
- مراحل
- هنوز
- ذخیره سازی
- opbevare
- پرده
- استراتژیک
- جریان
- زیر شبکه
- زیرشبکه ها
- موفقیت
- چنین
- تهیه کننده
- پشتیبانی
- پشتیبانی از
- سیستم
- سیستم های
- جدول
- گرفتن
- وظایف
- قالب
- تست
- نسبت به
- که
- La
- منبع
- انگلستان
- شان
- سپس
- آنجا.
- اینها
- آنها
- این
- سه
- توان
- زمان
- به
- موضوع
- تاپیک
- ترافیک
- عبور
- آموزش
- دو
- نوع
- به طور معمول
- Uk
- زیر
- اساسی
- بروزرسانی
- به روز شده
- به روز رسانی
- بر
- URL
- استفاده کنید
- استفاده
- کاربر
- استفاده
- با استفاده از
- آب و برق
- ارزش
- ارزشها
- مختلف
- نسخه
- مجازی
- صبر کنيد
- خرید
- می خواهم
- بود
- we
- وب
- خدمات وب
- خوب
- بود
- چه زمانی
- که
- اراده
- با
- مهاجرت کاری
- با این نسخهها کار
- یامل
- شما
- شما
- زفیرنت
- زیپ
- مناطق