Kết nối Amazon MSK là một tính năng của Truyền trực tuyến được quản lý của Amazon cho Apache Kafka (Amazon MSK) cung cấp môi trường Apache Kafka Connect được quản lý hoàn toàn trên AWS. Với MSK Connect, bạn có thể triển khai các trình kết nối được quản lý hoàn toàn được xây dựng cho Kafka Connect để di chuyển dữ liệu vào hoặc lấy dữ liệu từ các kho dữ liệu phổ biến như Amazon S3 và Amazon OpenSearch Service. Với sự ra đời của Hỗ trợ DNS riêng vào MSK Connect, trình kết nối có thể phân giải tên miền riêng của khách hàng bằng cách sử dụng máy chủ DNS được định cấu hình trong bộ Tùy chọn DHCP VPC của khách hàng. Bài đăng này trình bày giải pháp phân giải tên máy chủ DNS riêng được xác định trong VPC khách hàng cho MSK Connect.
Bạn có thể muốn sử dụng hỗ trợ tên máy chủ DNS riêng cho MSK Connect vì nhiều lý do. Trước khi có khả năng phân giải DNS riêng đi kèm với MSK Connect, nó đã sử dụng trình phân giải DNS VPC dịch vụ để phân giải DNS. MSK Connect không sử dụng máy chủ DNS riêng được xác định trong bộ tùy chọn VPC DHCP của khách hàng để phân giải DNS. Trình kết nối chỉ có thể tham chiếu tên máy chủ trong cấu hình trình kết nối hoặc plugin có thể phân giải công khai và không thể phân giải tên máy chủ riêng được xác định trong vùng lưu trữ riêng tư hoặc sử dụng máy chủ DNS trong mạng khách hàng khác.
Nhiều khách hàng đảm bảo rằng các ứng dụng DNS nội bộ của họ không thể phân giải công khai. Ví dụ: bạn có thể có cơ sở dữ liệu MySQL hoặc PostgreSQL và có thể không muốn tên DNS cho cơ sở dữ liệu của mình có thể phân giải hoặc truy cập công khai. Dịch vụ cơ sở dữ liệu quan hệ của Amazon (Amazon RDS) hoặc Amazon cực quang máy chủ có tên DNS có thể phân giải công khai nhưng không thể truy cập được. Bạn có thể có nhiều ứng dụng nội bộ như cơ sở dữ liệu, kho dữ liệu hoặc các hệ thống khác mà tên DNS không thể phân giải công khai.
Với sự ra mắt gần đây của hỗ trợ DNS riêng MSK Connect, bạn có thể định cấu hình trình kết nối để tham chiếu tên miền công cộng hoặc riêng tư. Trình kết nối sử dụng máy chủ DNS được định cấu hình trong bộ tùy chọn DHCP của VPC để phân giải tên miền. Giờ đây, bạn có thể sử dụng MSK Connect để kết nối riêng tư với cơ sở dữ liệu, kho dữ liệu và các tài nguyên khác trong VPC nhằm tuân thủ nhu cầu bảo mật của mình.
Nếu bạn có cơ sở dữ liệu MySQL hoặc PostgreSQL có DNS riêng, bạn có thể định cấu hình nó trên máy chủ DNS tùy chỉnh và định cấu hình bộ tùy chọn DHCP dành riêng cho VPC để thực hiện phân giải DNS bằng cách sử dụng máy chủ DNS tùy chỉnh cục bộ cho VPC thay vì sử dụng DNS dịch vụ nghị quyết.
Tổng quan về giải pháp
Khách hàng có thể có các tùy chọn kiến trúc khác nhau để thiết lập MSK Connect của mình. Ví dụ: họ có thể có Amazon MSK và MSK Connect trong cùng một VPC hoặc hệ thống nguồn trong VPC1 và Amazon MSK và MSK Connect nằm trong VPC2 hoặc hệ thống nguồn, Amazon MSK và MSK Connect đều nằm trong các VPC khác nhau.
Thiết lập sau đây sử dụng hai VPC khác nhau, trong đó VPC MySQL lưu trữ cơ sở dữ liệu MySQL và MSK VPC lưu trữ Amazon MSK, MSK Connect, máy chủ DNS và nhiều thành phần khác. Bạn có thể mở rộng kiến trúc này để hỗ trợ các cấu trúc liên kết triển khai khác bằng cách sử dụng thích hợp Quản lý truy cập và nhận dạng AWS (IAM) quyền và tùy chọn kết nối.
Bài đăng này cung cấp hướng dẫn từng bước để thiết lập MSK Connect, nơi nó sẽ nhận dữ liệu từ cơ sở dữ liệu MySQL nguồn có tên máy chủ DNS riêng trong MySQL VPC và gửi dữ liệu tới Amazon MSK bằng MSK Connect trong một VPC khác. Sơ đồ sau minh họa kiến trúc cấp cao.
Hướng dẫn thiết lập bao gồm các bước chính sau:
- Thiết lập VPC, mạng con và các thành phần cơ sở hạ tầng cốt lõi khác.
- Cài đặt và cấu hình máy chủ DNS.
- Tải dữ liệu lên cơ sở dữ liệu MySQL.
- Triển khai Amazon MSK và MSK Connect và sử dụng các bản ghi thu thập dữ liệu thay đổi (CDC).
Điều kiện tiên quyết
Để làm theo hướng dẫn trong bài đăng này, bạn cần những thứ sau:
Tạo cơ sở hạ tầng cần thiết bằng AWS CloudFormation
Trước khi định cấu hình MSK Connect, chúng tôi cần thiết lập VPC, mạng con và các thành phần cơ sở hạ tầng cốt lõi khác. Để thiết lập tài nguyên trong tài khoản AWS của bạn, hãy hoàn thành các bước sau:
- Chọn Khởi chạy Stack để khởi chạy ngăn xếp trong Khu vực hỗ trợ Amazon MSK và MSK Connect.
- Chỉ định khóa riêng mà bạn sử dụng để kết nối với phiên bản EC2.
- Cập nhật vị trí SSH bằng địa chỉ IP cục bộ của bạn và giữ các giá trị khác làm mặc định.
- Chọn Sau.
- Xem lại chi tiết trên trang cuối cùng và chọn Tôi xác nhận rằng AWS CloudFormation có thể tạo tài nguyên IAM.
- Chọn Tạo ngăn xếp và chờ đợi các tài nguyên cần thiết được tạo.
Mẫu CloudFormation tạo các tài nguyên chính sau trong tài khoản của bạn:
- VPC:
- MSK VPC
- MySQL VPC
- Mạng con trong MSK VPC:
- Ba mạng con riêng cho Amazon MSK
- Mạng con riêng cho máy chủ DNS
- Mạng con riêng cho MSKClient
- Mạng con công cộng cho máy chủ pháo đài
- Mạng con trong MySQL VPC:
- Mạng con riêng cho cơ sở dữ liệu MySQL
- Mạng con công cộng cho máy chủ pháo đài
- Cổng Internet gắn liền với MySQL VPC và MSK VPC
- Cổng NAT được gắn vào mạng con công cộng MySQL và mạng con công cộng MSK
- Bảng định tuyến để hỗ trợ luồng lưu lượng giữa các mạng con khác nhau trong VPC và trên các VPC
- Kết nối ngang hàng giữa MySQL VPC và MSK VPC
- Cơ sở dữ liệu và cấu hình MySQL
- máy chủ DNS
- Máy khách MSK với các thư viện tương ứng
Xin lưu ý, nếu bạn đang sử dụng tính năng ngang hàng VPC hoặc Cổng chuyển tuyến AWS với MSK Connect, không định cấu hình trình kết nối của bạn để tiếp cận các tài nguyên VPC ngang hàng có IP trong phạm vi CIDR. Để biết thêm thông tin, hãy tham khảo Kết nối từ các đầu nối.
Cấu hình máy chủ DNS
Hoàn thành các bước sau để định cấu hình máy chủ DNS:
- Kết nối với máy chủ DNS. Có ba tệp cấu hình có sẵn trên máy chủ DNS dưới tên
/home/ec2-user
thư mục:named.conf
mysql.internal.zone
kafka.us-east-1.amazonaws.com.zone
- Chạy các lệnh sau để cài đặt và định cấu hình máy chủ DNS của bạn:
- Cập nhật
/etc/named.conf
.
Đối với thuộc tính allow-transfer, hãy cập nhật địa chỉ IP nội bộ của máy chủ DNS thành allow-transfer
{ localhost; <DNS Server internal IP address>; };.
Bạn có thể tìm thấy địa chỉ IP của máy chủ DNS trên mẫu CloudFormation Kết quả đầu ra tab.
Chú thích rằng cụm MSK vẫn chưa được thiết lập ở giai đoạn này. Chúng tôi cần cập nhật tên DNS của nhà môi giới Kafka và địa chỉ IP nội bộ tương ứng của họ trong /var/named/kafka.region.amazonaws.com
tập tin cấu hình sau khi thiết lập cụm MSK ở phần sau của bài đăng này. Để biết hướng dẫn, hãy tham khảo tại đây.
Cũng lưu ý rằng các cài đặt này sẽ định cấu hình máy chủ DNS cho bài đăng này. Trong môi trường của riêng bạn, bạn có thể định cấu hình máy chủ DNS theo nhu cầu của mình.
- Khởi động lại dịch vụ DNS:
Bạn sẽ thấy thông báo sau:
Tải dữ liệu lên cơ sở dữ liệu MySQL
Thông thường chúng ta có thể sử dụng một Amazon RDS dành cho MySQL cơ sở dữ liệu, nhưng đối với bài đăng này, chúng tôi sử dụng máy chủ cơ sở dữ liệu MySQL tùy chỉnh. DNS của Amazon RDS có thể truy cập công khai và MSK Connect hỗ trợ nó, nhưng trước đây nó không thể hỗ trợ cơ sở dữ liệu hoặc ứng dụng có DNS riêng. Với cái mới nhất tên máy chủ DNS riêng khởi chạy tính năng, nó cũng có thể hỗ trợ DNS riêng của ứng dụng, vì vậy chúng tôi sử dụng cơ sở dữ liệu MySQL trên phiên bản EC2.
Bản cài đặt này cung cấp thông tin về cách thiết lập cơ sở dữ liệu MySQL trên phiên bản EC2 một nút. Điều này không nên được sử dụng cho thiết lập sản xuất của bạn. Bạn nên làm theo hướng dẫn thích hợp để thiết lập và định cấu hình MySQL trong tài khoản của mình.
Cơ sở dữ liệu MySQL đã được thiết lập bằng mẫu CloudFormation và sẵn sàng sử dụng ngay bây giờ. Để tải lên dữ liệu, hãy hoàn thành các bước sau:
- SSH tới phiên bản MySQL EC2. Để biết hướng dẫn, hãy tham khảo Kết nối với phiên bản Linux của bạn. Tệp dữ liệu
salesdb.sql
đã được tải xuống và có sẵn trong/home/ec2-user
thư mục. - Đăng nhập vào mysqldb bằng tên người dùng master.
- Để truy cập mật khẩu, hãy điều hướng đến Người quản lý hệ thống AWS và Cửa hàng thông số chuyển hướng. Lựa chọn /Cơ sở dữ liệu/Thông tin xác thực/chính và click vào Xem chi tiết và sao chép giá trị cho khóa.
- Đăng nhập vào MySQL bằng lệnh sau:
- Chạy các lệnh sau để tạo
salesdb
cơ sở dữ liệu và tải dữ liệu vào bảng:
Điều này sẽ chèn các bản ghi vào các bảng khác nhau trong salesdb
cơ sở dữ liệu.
- Chạy các bảng hiển thị để xem các bảng sau trong
salesdb
:
Tạo bộ tùy chọn DHCP
Bộ tùy chọn DHCP cung cấp cho bạn quyền kiểm soát các khía cạnh định tuyến sau trong mạng ảo của bạn:
- Bạn có thể kiểm soát máy chủ DNS, tên miền hoặc máy chủ Giao thức thời gian mạng (NTP) được các thiết bị trong VPC của bạn sử dụng.
- Bạn có thể tắt hoàn toàn độ phân giải DNS trong VPC của mình.
Để hỗ trợ DNS riêng, bạn có thể sử dụng Amazon Route 53 vùng riêng tư hoặc máy chủ DNS tùy chỉnh của riêng bạn. Nếu bạn sử dụng vùng riêng tư Route 53, thiết lập sẽ hoạt động tự động và không cần thực hiện bất kỳ thay đổi nào đối với tùy chọn DHCP mặc định được đặt cho MSK VPC. Đối với máy chủ DNS tùy chỉnh, hãy hoàn thành các bước sau để thiết lập cấu hình DHCP tùy chỉnh bằng cách sử dụng Đám mây riêng ảo Amazon (Amazon VPC) và gắn nó vào MSK VPC.
Sẽ có một tùy chọn DHCP mặc định được đặt trong VPC của bạn được đính kèm với máy chủ DNS do Amazon cung cấp. Ở giai đoạn này, các yêu cầu sẽ được chuyển đến máy chủ DNS do Amazon cung cấp để giải quyết. Tuy nhiên, chúng tôi tạo một bộ tùy chọn DHCP mới vì chúng tôi đang sử dụng máy chủ DNS tùy chỉnh.
- Trên bảng điều khiển Amazon VPC, chọn Bộ tùy chọn DHCP trong khung điều hướng.
- Chọn Tạo bộ tùy chọn DHCP.
- Trong Tên bộ tùy chọn DHCP, đi vào
MSKConnect_Private_DHCP_OptionSet
. - Trong Tên miền, đi vào
mysql.internal
. - Trong Máy chủ tên miền, nhập địa chỉ IP của máy chủ DNS.
- Chọn Tạo bộ tùy chọn DHCP.
- Điều hướng đến MSK VPC và trên Hoạt động menu, chọn Chỉnh sửa cài đặt VPC.
- Chọn bộ tùy chọn DHCP mới tạo và lưu nó.
Ảnh chụp màn hình sau đây hiển thị các cấu hình mẫu. - Trên bảng điều khiển Amazon EC2, điều hướng đến
privateDNS_bastion_host
. - Chọn trạng thái sơ thẩm và Khởi động lại phiên bản.
- Đợi vài phút rồi chạy
nslookup
từ máy chủ pháo đài; nó sẽ có thể giải quyết nó bằng máy chủ DNS cục bộ của bạn thay vì Tuyến 53:
Bây giờ thiết lập cơ sở hạ tầng cơ sở của chúng tôi đã sẵn sàng để chuyển sang giai đoạn tiếp theo. Là một phần của cơ sở hạ tầng cơ sở, chúng tôi đã thiết lập thành công các thành phần chính sau:
- VPC MSK và MySQL
- Mạng con
- Phiên bản EC2
- VPC ngang hàng
- Bảng tuyến đường
- Cổng NAT và cổng Internet
- Máy chủ DNS và cấu hình
- Các nhóm bảo mật và NACL phù hợp
- Cơ sở dữ liệu MySQL với dữ liệu cần thiết
Ở giai đoạn này, tên DNS MySQL DB có thể được phân giải bằng máy chủ DNS tùy chỉnh thay vì Tuyến 53.
Thiết lập cụm MSK và MSK Connect
Bước tiếp theo là triển khai cụm MSK và MSK Connect, cụm này sẽ tìm nạp các bản ghi từ salesdb
và gửi nó đến một Dịch vụ lưu trữ đơn giản của Amazon (Amazon S3). Trong phần này, chúng tôi cung cấp hướng dẫn sao chép cơ sở dữ liệu MySQL (salesdb
) sang Amazon MSK bằng cách sử dụng Debezi, một trình kết nối nguồn mở. Trình kết nối sẽ giám sát mọi thay đổi đối với cơ sở dữ liệu và ghi lại mọi thay đổi đối với các bảng.
Với MSK Connect, bạn có thể chạy khối lượng công việc Apache Kafka Connect được quản lý hoàn toàn trên AWS. MSK Connect cung cấp các tài nguyên cần thiết và thiết lập cụm. Nó liên tục theo dõi tình trạng và trạng thái phân phối của các đầu nối, vá lỗi và quản lý phần cứng cơ bản, đồng thời tự động điều chỉnh quy mô các đầu nối để phù hợp với những thay đổi về thông lượng. Nhờ đó, bạn có thể tập trung nguồn lực vào việc xây dựng ứng dụng thay vì quản lý cơ sở hạ tầng.
MSK Connect sẽ sử dụng máy chủ DNS tùy chỉnh trong VPC và nó sẽ không phụ thuộc vào Tuyến 53.
Tạo cấu hình cụm MSK
Hoàn thành các bước sau để tạo cụm MSK:
- Trên bảng điều khiển Amazon MSK, chọn Cấu hình cụm Dưới cụm MSK trong khung điều hướng.
- Chọn Tạo cấu hình.
- Đặt tên cho cấu hình
mskc-tutorial-cluster-configuration
. - Theo Thuộc tính Cấu hình, xóa mọi thứ và thêm dòng
auto.create.topics.enable=true
. - Chọn Tạo.
Tạo cụm MSK và đính kèm cấu hình
Trong bước tiếp theo, chúng tôi đính kèm cấu hình này vào một cụm. Hoàn thành các bước sau:
- Trên bảng điều khiển Amazon MSK, chọn Cụm Dưới cụm MSK trong khung điều hướng.
- Chọn Tạo cụm và tạo tùy chỉnh.
- Đối với tên cụm, hãy nhập
mkc-tutorial-cluster
. - Theo Thuộc tính cụm chung, chọn được cung cấp đối với loại cụm và sử dụng phiên bản mặc định của Apache Kafka 2.8.1.
- Sử dụng tất cả các tùy chọn mặc định cho Môi giới và Kho phần.
- Theo cấu hình, chọn cấu hình tùy chỉnh.
- Chọn
mskc-tutorial-cluster-configuration
với bản sửa đổi thích hợp và chọn Sau. - Theo mạng, chọn MSK VPC.
- Chọn Vùng sẵn sàng tùy thuộc vào Khu vực của bạn, chẳng hạn như
us-east1a
,us-east1b
vàus-east1c
và các mạng con riêng tương ứngMSK-Private-1
,MSK-Private-2
vàMSK-Private-3
nếu bạn ở trongus-east-1
Vùng đất. Quyền truy cập công khai vào các nhà môi giới này sẽ bị tắt. - Sao chép ID nhóm bảo mật từ Các nhóm bảo mật được lựa chọn
- Chọn Sau.
- Theo Phương pháp kiểm soát truy cập, chọn Xác thực dựa trên vai trò IAM.
- Trong tạp chí Encryption phần, dưới Giữa khách hàng và môi giới, Mã hóa TLS sẽ được chọn theo mặc định.
- Trong Encrdữ liệu ypt ở trạng thái nghỉ, lựa chọn Sử dụng khóa được quản lý AWS.
- Sử dụng các tùy chọn mặc định cho Giám sát và chọn Giám sát cơ bản.
- Chọn Cung cấp cho Amazon CloudWatch Logs.
- Theo Nhóm nhật ký, chọn truy cập bảng điều khiển Amazon CloudWatch Logs.
- Chọn Tạo nhóm nhật ký.
- Nhập tên nhóm nhật ký và chọn Tạo.
- Quay lại Giám sát và gắn thẻ trang trở xuống Nhật ký nhóm, chọn Chọn nhóm nhật ký
- Chọn Sau.
- Xem lại các cấu hình và chọn Tạo cụm. Bạn được chuyển hướng đến trang chi tiết của cụm.
- Theo Nhóm bảo mật được áp dụng, hãy lưu ý ID nhóm bảo mật để sử dụng ở bước sau.
Quá trình tạo cụm thường có thể mất 25–30 phút. Trạng thái của nó thay đổi thành Hoạt động khi được tạo thành công.
Cập nhật tệp vùng /var/named/kafka.khu vực.amazonaws.com
Trước khi bạn tạo trình kết nối MSK, hãy cập nhật cấu hình máy chủ DNS với chi tiết cụm MSK.
- Để có danh sách DNS máy chủ bootstrap và địa chỉ IP tương ứng, hãy điều hướng đến cụm và chọn Xem thông tin khách hàng.
- Sao chép thông tin máy chủ bootstrap với loại xác thực IAM.
- Bạn có thể xác định địa chỉ IP của nhà môi giới bằng cách sử dụng
nslookup
từ máy cục bộ của bạn và nó sẽ cung cấp cho bạn địa chỉ IP cục bộ của nhà môi giới. Hiện tại, VPC của bạn trỏ đến bộ tùy chọn DHCP mới nhất và máy chủ DNS của bạn sẽ không thể phân giải các tên DNS này từ VPC của bạn.
Bây giờ bạn có thể đăng nhập vào máy chủ DNS và cập nhật bản ghi cho các nhà môi giới khác nhau và địa chỉ IP tương ứng trong /var/named/kafka.region.amazonaws.com
tập tin.
- Tải lên
msk-access.pem
tập tin đểBastionHostInstance
từ máy cục bộ của bạn: - Đăng nhập vào máy chủ DNS và mở
/var/named/kafka.region.amazonaws.com
tệp và cập nhật các dòng sau với tên DNS của nhà môi giới MSK chính xác và địa chỉ IP tương ứng:
Lưu ý rằng bạn cần cung cấp DNS của nhà môi giới như đã đề cập trước đó. Di dời .kafka.<region id>.amazonaws.com
từ tên DNS của nhà môi giới.
- Khởi động lại dịch vụ DNS:
Bạn sẽ thấy thông báo sau:
Máy chủ DNS tùy chỉnh của bạn hiện đã hoạt động và bạn sẽ có thể giải quyết bằng cách sử dụng tên DNS của nhà môi giới bằng máy chủ DNS nội bộ.
Cập nhật nhóm bảo mật để kết nối giữa cơ sở dữ liệu MySQL và MSK Connect
Điều quan trọng là phải có kết nối thích hợp giữa MSK Connect và cơ sở dữ liệu MySQL. Hoàn thành các bước sau:
- Trên bảng điều khiển Amazon MSK, điều hướng đến cụm MSK và bên dưới Thiết lập mạng, sao chép nhóm bảo mật.
- Trên bảng điều khiển Amazon EC2, hãy chọn Nhóm bảo mật trong khung điều hướng.
- Chỉnh sửa nhóm bảo mật
MySQL_SG
Và chọn Thêm quy tắc. - Thêm quy tắc với MySQL/Aurora làm loại và nhóm bảo mật MSK làm tài nguyên gửi đến cho nguồn của nó.
- Chọn Lưu quy tắc.
Tạo trình kết nối MSK
Để tạo trình kết nối MSK của bạn, hãy hoàn thành các bước sau:
- Trên bảng điều khiển Amazon MSK, chọn Kết nối Dưới Kết nối MSK trong khung điều hướng.
- Chọn Tạo trình kết nối.
- Chọn Tạo plugin tùy chỉnh.
- Tải xuống plugin trình kết nối MySQL để có bản phát hành ổn định mới nhất từ Debezi trang web hoặc tải xuống Debezium.zip.
- Tải tệp zip trình kết nối MySQL lên vùng lưu trữ S3.
- Sao chép URL của tệp, chẳng hạn như
s3://<bucket name>/Debezium.zip
. - Quay lại Chọn plugin tùy chỉnh trang và nhập đường dẫn tệp S3 cho URI S3.
- Trong Tên plugin tùy chỉnh, đi vào
mysql-plugin
. - Chọn Sau.
- Trong Họ tên, đi vào
mysql-connector
. - Trong Mô tả, nhập mô tả của trình kết nối.
- Trong Loại cụm, chọn Cụm MSK.
- Chọn cụm hiện có từ danh sách (đối với bài đăng này,
mkc-tutorial-cluster
). - Chỉ định loại xác thực là IAM.
- Sử dụng các giá trị sau cho Cấu hình trình kết nối:
- Cập nhật cấu hình trình kết nối sau:
- Trong loại công suất, chọn được cung cấp.
- Trong Số lượng MCU trên mỗi công nhân, nhập 1.
- Trong Số lượng công nhân, nhập 1.
- Chọn Sử dụng cấu hình mặc định của MSK.
- Trong tạp chí Quyền truy cập phần, trên Chọn vai trò dịch vụ menu, chọn
MSK-Connect-PrivateDNS-MySQLConnector*
, sau đó chọn Sau. - Trong tạp chí Bảo mật phần này, hãy giữ nguyên cài đặt mặc định.
- Trong tạp chí Logs phần, chọn Gửi tới nhật ký Amazon CloudWatch.
- Chọn truy cập bảng điều khiển Amazon CloudWatch Logs.
- Theo Logs trong ngăn điều hướng, chọn Nhóm nhật ký.
- Chọn Tạo nhóm nhật ký.
- Nhập tên nhóm nhật ký, cài đặt lưu giữ và thẻ, sau đó chọn Tạo.
- Quay lại trang tạo trình kết nối và chọn Duyệt nhóm nhật ký.
- Chọn
AmazonMSKConnect
nhóm log, sau đó chọn Sau. - Xem lại các cấu hình và chọn Tạo trình kết nối.
Đợi quá trình tạo trình kết nối hoàn tất (khoảng 10–15 phút).
Trình kết nối MSK Connect hiện đã hoạt động. Bạn có thể đăng nhập vào cơ sở dữ liệu MySQL bằng ID người dùng của mình và thực hiện một số thay đổi bản ghi đối với bản ghi bảng khách hàng. MSK Connect sẽ có thể nhận các bản ghi CDC và các bản cập nhật cơ sở dữ liệu sẽ có sẵn trong MSK đề tài.
Sử dụng tin nhắn từ chủ đề MSK
Để sử dụng tin nhắn từ chủ đề MSK, hãy chạy ứng dụng tiêu dùng Kafka trên MSK_Client
Phiên bản EC2 có sẵn trong MSK VPC.
- SSH tới
MSK_Client
Phiên bản EC2. CácMSK_Client
instance có các thư viện máy khách Kafka cần thiết, tệp Amazon MSK IAM JAR,client.properties
tệp và hồ sơ phiên bản được đính kèm với nó, cùng với vai trò IAM thích hợp bằng cách sử dụng mẫu CloudFormation. - Thêm
MSKClientSG
nhóm bảo mật làm nguồn cho nhóm bảo mật MSK với các thuộc tính sau:- Trong Kiểu, chọn Tất cả lưu lượng.
- Trong nguồn, chọn Nhóm bảo mật tùy chỉnh và MSK.
Bây giờ bạn đã sẵn sàng sử dụng dữ liệu.
- Để liệt kê các chủ đề, hãy chạy lệnh sau:
- Để sử dụng dữ liệu từ
salesdb-server.salesdb.CUSTOMER
chủ đề, sử dụng lệnh sau:
Chạy ứng dụng tiêu dùng Kafka trên máy EC2 của bạn và bạn sẽ có thể ghi nhật ký các thông báo tương tự như sau:
Trong khi kiểm tra ứng dụng, các bản ghi có CUST_ID 1998, 1999 và 2000 đã được cập nhật và các bản ghi này có sẵn trong nhật ký.
Làm sạch
Bạn nên dọn sạch tất cả tài nguyên được tạo trong bài đăng này để tránh mọi chi phí bổ sung. Để dọn sạch tài nguyên của bạn, hãy xóa Cụm MSK, kết nối MSK Connect, phiên bản EC2, máy chủ DNS, máy chủ pháo đài, nhóm S3, VPC, mạng con và nhật ký CloudWatch.
Ngoài ra, hãy dọn sạch tất cả tài nguyên AWS khác mà bạn đã tạo bằng AWS CloudFormation. Bạn có thể xóa các tài nguyên này trên bảng điều khiển AWS CloudFormation bằng cách xóa ngăn xếp.
Kết luận
Trong bài đăng này, chúng tôi đã thảo luận về quá trình thiết lập MSK Connect bằng DNS riêng. Tính năng này cho phép bạn định cấu hình trình kết nối để tham chiếu tên miền công cộng hoặc riêng tư.
Chúng tôi có thể nhận bản ghi CDC và tải ban đầu từ cơ sở dữ liệu MySQL được lưu trữ trong một VPC riêng biệt và DNS của nó không thể truy cập hoặc phân giải được từ bên ngoài. MSK Connect có thể kết nối với cơ sở dữ liệu MySQL và sử dụng các bản ghi bằng tính năng DNS riêng của MSK Connect. Bộ tùy chọn DHCP tùy chỉnh được đính kèm với VPC, đảm bảo độ phân giải DNS được thực hiện bằng máy chủ DNS cục bộ thay vì Tuyến 53.
Với tính năng hỗ trợ DNS riêng của MSK Connect, bạn có thể làm cho cơ sở dữ liệu, kho dữ liệu và các hệ thống như trình quản lý bí mật hoạt động với VPC của riêng bạn không thể truy cập được vào Internet và có thể khắc phục hạn chế này cũng như tuân thủ chính sách bảo mật của công ty bạn.
Để tìm hiểu thêm và bắt đầu, hãy tham khảo DNS riêng cho kết nối MSK.
Giới thiệu về tác giả
Amar là Kiến trúc sư giải pháp cấp cao tại Amazon AWS ở Anh. Anh làm việc với các khách hàng năng lượng, tiện ích, sản xuất và ô tô về triển khai chiến lược, chuyên sử dụng AWS Streaming và các giải pháp phân tích dữ liệu nâng cao để mang lại kết quả kinh doanh tối ưu.
- Phân phối nội dung và PR được hỗ trợ bởi SEO. Được khuếch đại ngay hôm nay.
- PlatoData.Network Vertical Generative Ai. Trao quyền cho chính mình. Truy cập Tại đây.
- PlatoAiStream. Thông minh Web3. Kiến thức khuếch đại. Truy cập Tại đây.
- Trung tâmESG. Than đá, công nghệ sạch, Năng lượng, Môi trường Hệ mặt trời, Quản lý chất thải. Truy cập Tại đây.
- PlatoSức khỏe. Tình báo thử nghiệm lâm sàng và công nghệ sinh học. Truy cập Tại đây.
- nguồn: https://aws.amazon.com/blogs/big-data/resolve-private-dns-hostnames-for-amazon-msk-connect/
- : có
- :là
- :không phải
- :Ở đâu
- $ LÊN
- 1
- 14
- 160
- 1998
- 1999
- 2000
- 53
- 7
- 73
- 8
- 9
- a
- Có khả năng
- Giới thiệu
- truy cập
- có thể truy cập
- Tài khoản
- công nhận
- ngang qua
- hoạt động
- thêm vào
- thêm vào
- địa chỉ
- địa chỉ
- tiên tiến
- Sau
- Tất cả
- cho phép
- dọc theo
- Đã
- luôn luôn
- đàn bà gan dạ
- Amazon EC2
- Amazon RDS
- Amazon Web Services
- an
- phân tích
- và
- Một
- bất kì
- Apache
- Kafka Apache
- Các Ứng Dụng
- các ứng dụng
- thích hợp
- kiến trúc
- LÀ
- AS
- các khía cạnh
- At
- đính kèm
- Xác thực
- Xác thực
- tự động
- tự động
- ô tô
- sẵn có
- có sẵn
- tránh
- AWS
- Hình thành đám mây AWS
- cơ sở
- BE
- bởi vì
- trước
- giữa
- ràng buộc
- bootstrap
- người môi giới
- môi giới
- Xây dựng
- xây dựng
- kinh doanh
- nhưng
- by
- CAN
- khả năng
- nắm bắt
- CDC
- thay đổi
- Những thay đổi
- Chọn
- Nhấp chuột
- khách hàng
- khách hàng
- cụm
- COM
- hoàn thành
- hoàn toàn
- tuân theo
- các thành phần
- Cấu hình
- cấu hình
- Kết nối
- liên quan
- Kết nối
- An ủi
- ăn
- người tiêu dùng
- liên tục
- điều khiển
- Trung tâm
- Doanh nghiệp
- sửa chữa
- Phí Tổn
- Couple
- tạo
- tạo ra
- tạo ra
- tạo
- Hiện nay
- khách hàng
- khách hàng
- khách hàng
- dữ liệu
- Phân tích dữ liệu
- Kho dữ liệu
- Cơ sở dữ liệu
- cơ sở dữ liệu
- Mặc định
- xác định
- giao hàng
- chứng minh
- phụ thuộc
- Tùy
- triển khai
- triển khai
- Mô tả
- chi tiết
- Thiết bị (Devices)
- khác nhau
- thảo luận
- dns
- do
- miền
- TÊN MIỀN
- dont
- tải về
- lái xe
- Sớm hơn
- hay
- đảm bảo
- đảm bảo
- đăng ký hạng mục thi
- Môi trường
- Ether (ETH)
- tất cả mọi thứ
- ví dụ
- hiện tại
- thêm
- bên ngoài
- Đặc tính
- vài
- Tập tin
- Các tập tin
- cuối cùng
- Tìm kiếm
- dòng chảy
- Tập trung
- theo
- tiếp theo
- Trong
- từ
- đầy đủ
- cửa ngõ
- được
- Cho
- Go
- tốt
- Nhóm
- Các nhóm
- hướng dẫn
- phần cứng
- Có
- he
- cho sức khoẻ
- tại đây
- cấp độ cao
- lịch sử
- chủ nhà
- tổ chức
- host
- Tuy nhiên
- HTML
- http
- HTTPS
- IAM
- ID
- xác định
- Bản sắc
- if
- minh họa
- triển khai
- quan trọng
- in
- không thể tiếp cận
- bao gồm
- bao gồm
- thông tin
- Cơ sở hạ tầng
- ban đầu
- cài đặt, dựng lên
- cài đặt
- ví dụ
- trường hợp
- thay vì
- hướng dẫn
- nội bộ
- Internet
- trong
- Giới thiệu
- IP
- Địa chỉ IP
- Địa chỉ IP
- IT
- ITS
- jpg
- Kafka
- Giữ
- Key
- một lát sau
- mới nhất
- phóng
- LEARN
- thư viện
- Lượt thích
- giới hạn
- Dòng
- dòng
- linux
- Danh sách
- tải
- địa phương
- địa điểm thư viện nào
- đăng nhập
- máy
- làm cho
- quản lý
- giám đốc
- Quản lý
- quản lý
- quản lý
- sản xuất
- chủ
- Trận đấu
- Có thể..
- đề cập
- Menu
- tin nhắn
- tin nhắn
- phương pháp
- Might
- phút
- Màn Hình
- màn hình
- chi tiết
- di chuyển
- nhiều
- MySQL
- tên
- Được đặt theo tên
- tên
- Điều hướng
- THÔNG TIN
- Cần
- nhu cầu
- mạng
- Mới
- mới
- tiếp theo
- Không
- ghi
- tại
- of
- off
- Cung cấp
- on
- có thể
- mở
- mã nguồn mở
- tối ưu
- Tùy chọn
- Các lựa chọn
- or
- Nền tảng khác
- vfoXNUMXfipXNUMXhfpiXNUMXufhpiXNUMXuf
- kết quả
- kết thúc
- Vượt qua
- riêng
- trang
- cửa sổ
- tham số
- một phần
- Mật khẩu
- qua
- Các bản vá lỗi
- con đường
- mỗi
- thực hiện
- quyền
- Nơi
- plato
- Thông tin dữ liệu Plato
- PlatoDữ liệu
- Plugin
- điểm
- Phổ biến
- Bài đăng
- postgresql
- quyền lực
- thực hành
- riêng
- Key Private
- quá trình
- sản xuất
- Sản phẩm
- Sản lượng
- Hồ sơ
- tài sản
- giao thức
- cho
- cung cấp
- cung cấp
- công khai
- công khai
- hơn
- đạt
- sẵn sàng
- lý do
- nhận
- gần đây
- ghi
- hồ sơ
- xem
- tài liệu tham khảo
- khu
- phát hành
- tẩy
- yêu cầu
- cần phải
- Độ phân giải
- giải quyết
- tài nguyên
- Thông tin
- mà
- kết quả
- giữ
- Vai trò
- Route
- định tuyến
- Quy tắc
- chạy
- chạy
- tương tự
- Lưu
- quy mô
- Bí mật
- Phần
- phần
- an ninh
- xem
- phân khúc
- chọn
- gửi
- cao cấp
- riêng biệt
- máy chủ
- máy chủ
- dịch vụ
- DỊCH VỤ
- định
- bộ
- thiết lập
- thiết lập
- thiết lập
- nên
- hiển thị
- Chương trình
- tương tự
- Đơn giản
- website
- So
- giải pháp
- Giải pháp
- nguồn
- chuyên
- SQL
- ổn định
- ngăn xếp
- Traineeship
- bắt đầu
- Tiểu bang
- Trạng thái
- Bước
- Các bước
- Vẫn còn
- là gắn
- hàng
- cửa hàng
- Chiến lược
- trực tuyến
- subnet
- mạng con
- Thành công
- như vậy
- nhà cung cấp
- hỗ trợ
- Hỗ trợ
- hệ thống
- hệ thống
- bàn
- Hãy
- nhiệm vụ
- mẫu
- Kiểm tra
- hơn
- việc này
- Sản phẩm
- Nguồn
- Anh
- cung cấp their dịch
- sau đó
- Đó
- Kia là
- họ
- điều này
- số ba
- thông lượng
- thời gian
- đến
- chủ đề
- Chủ đề
- giao thông
- quá cảnh
- hướng dẫn
- hai
- kiểu
- thường
- Uk
- Dưới
- cơ bản
- Cập nhật
- cập nhật
- Cập nhật
- trên
- URL
- sử dụng
- đã sử dụng
- người sử dang
- sử dụng
- sử dụng
- tiện ích
- giá trị
- Các giá trị
- khác nhau
- phiên bản
- ảo
- chờ đợi
- hương
- muốn
- là
- we
- web
- các dịch vụ web
- TỐT
- là
- khi nào
- cái nào
- sẽ
- với
- Công việc
- công trinh
- khoai mỡ
- bạn
- trên màn hình
- zephyrnet
- Zip
- khu vực Ace