아마존 MSK 커넥트 의 특징이다. Apache Kafka 용 Amazon Managed Streaming (Amazon MSK)는 AWS에서 완전관리형 Apache Kafka Connect 환경을 제공합니다. MSK Connect를 사용하면 Amazon S3 및 Amazon OpenSearch Service와 같은 널리 사용되는 데이터 스토어로 데이터를 이동하거나 가져오는 Kafka Connect용으로 구축된 완전 관리형 커넥터를 배포할 수 있습니다. 의 도입으로 MSK Connect에 대한 개인 DNS 지원, 커넥터는 고객 VPC DHCP 옵션 세트에 구성된 DNS 서버를 사용하여 개인 고객 도메인 이름을 확인할 수 있습니다. 이 게시물은 MSK Connect용 고객 VPC에 정의된 프라이빗 DNS 호스트 이름을 확인하기 위한 솔루션을 보여줍니다.
여러 가지 이유로 MSK Connect에 개인 DNS 호스트 이름 지원을 사용하고 싶을 수 있습니다. MSK Connect에 포함된 프라이빗 DNS 확인 기능 이전에는 DNS 확인을 위해 서비스 VPC DNS 확인자를 사용했습니다. MSK Connect는 DNS 확인을 위해 고객 VPC DHCP 옵션 세트에 정의된 프라이빗 DNS 서버를 사용하지 않았습니다. 커넥터는 공개적으로 확인 가능한 커넥터 구성 또는 플러그인의 호스트 이름만 참조할 수 있었고 프라이빗 호스팅 영역에 정의된 프라이빗 호스트 이름을 확인하거나 다른 고객 네트워크의 DNS 서버를 사용할 수 없었습니다.
많은 고객은 내부 DNS 애플리케이션을 공개적으로 확인할 수 없도록 합니다. 예를 들어 MySQL 또는 PostgreSQL 데이터베이스가 있고 데이터베이스의 DNS 이름을 공개적으로 확인하거나 액세스하는 것을 원하지 않을 수 있습니다. Amazon 관계형 데이터베이스 서비스 (Amazon RDS) 또는 Amazon Aurora 서버에는 공개적으로 확인할 수 있지만 액세스할 수 없는 DNS 이름이 있습니다. 데이터베이스, 데이터 웨어하우스 또는 DNS 이름을 공개적으로 확인할 수 없는 기타 시스템과 같은 내부 애플리케이션이 여러 개 있을 수 있습니다.
최근 MSK Connect 개인 DNS 지원이 출시되면서 공용 또는 개인 도메인 이름을 참조하도록 커넥터를 구성할 수 있습니다. 커넥터는 VPC의 DHCP 옵션 세트에 구성된 DNS 서버를 사용하여 도메인 이름을 확인합니다. 이제 MSK Connect를 사용하여 VPC의 데이터베이스, 데이터 웨어하우스 및 기타 리소스에 비공개로 연결하여 보안 요구 사항을 충족할 수 있습니다.
프라이빗 DNS가 포함된 MySQL 또는 PostgreSQL 데이터베이스가 있는 경우 사용자 지정 DNS 서버에서 이를 구성하고 서비스 DNS를 사용하는 대신 VPC에 로컬인 사용자 지정 DNS 서버를 사용하여 DNS 확인을 수행하도록 VPC별 DHCP 옵션 세트를 구성할 수 있습니다. 해결.
솔루션 개요
고객은 MSK Connect를 설정하기 위해 다양한 아키텍처 옵션을 가질 수 있습니다. 예를 들어 Amazon MSK와 MSK Connect는 동일한 VPC 또는 VPC1의 소스 시스템에 있고 Amazon MSK와 MSK Connect는 VPC2 또는 소스 시스템에 있고 Amazon MSK와 MSK Connect는 모두 서로 다른 VPC에 있을 수 있습니다.
다음 설정에서는 두 개의 서로 다른 VPC를 사용합니다. 여기서 MySQL VPC는 MySQL 데이터베이스를 호스팅하고 MSK VPC는 Amazon MSK, MSK Connect, DNS 서버 및 기타 다양한 구성 요소를 호스팅합니다. 적절한 방법을 사용하여 다른 배포 토폴로지를 지원하도록 이 아키텍처를 확장할 수 있습니다. AWS 자격 증명 및 액세스 관리 (IAM) 권한 및 연결 옵션.
이 게시물에서는 MySQL VPC의 프라이빗 DNS 호스트 이름을 사용하여 소스 MySQL 데이터베이스로부터 데이터를 수신하고 다른 VPC의 MSK Connect를 사용하여 Amazon MSK로 데이터를 보내는 MSK Connect를 설정하는 단계별 지침을 제공합니다. 다음 다이어그램은 개략적인 아키텍처를 보여줍니다.
설정 지침에는 다음과 같은 주요 단계가 포함됩니다.
- VPC, 서브넷 및 기타 핵심 인프라 구성 요소를 설정합니다.
- DNS 서버를 설치하고 구성합니다.
- MySQL 데이터베이스에 데이터를 업로드합니다.
- Amazon MSK 및 MSK Connect를 배포하고 변경 데이터 캡처(CDC) 레코드를 사용합니다.
사전 조건
이 게시물의 자습서를 따르려면 다음이 필요합니다.
AWS CloudFormation을 사용하여 필요한 인프라 생성
MSK Connect를 구성하기 전에 VPC, 서브넷 및 기타 핵심 인프라 구성 요소를 설정해야 합니다. AWS 계정에서 리소스를 설정하려면 다음 단계를 완료하십시오.
- 왼쪽 메뉴에서 발사 스택 Amazon MSK 및 MSK Connect를 지원하는 지역에서 스택을 시작합니다.
- EC2 인스턴스에 연결하는 데 사용하는 프라이빗 키를 지정합니다.
- 로컬 IP 주소로 SSH 위치를 업데이트하고 다른 값은 기본값으로 유지하세요.
- 왼쪽 메뉴에서 다음 보기.
- 마지막 페이지에서 세부 정보를 검토하고 AWS CloudFormation이 IAM 리소스를 생성 할 수 있음을 인정합니다.
- 왼쪽 메뉴에서 스택 생성 필요한 리소스가 생성될 때까지 기다립니다.
CloudFormation 템플릿은 계정에 다음과 같은 주요 리소스를 생성합니다.
- VPC:
- MSK VPC
- MySQL VPC
- MSK VPC의 서브넷:
- Amazon MSK용 프라이빗 서브넷 XNUMX개
- DNS 서버용 프라이빗 서브넷
- MSKClient용 프라이빗 서브넷
- 배스천 호스트용 퍼블릭 서브넷
- MySQL VPC의 서브넷:
- MySQL 데이터베이스용 프라이빗 서브넷
- 배스천 호스트용 퍼블릭 서브넷
- MySQL VPC 및 MSK VPC에 연결된 인터넷 게이트웨이
- MySQL 퍼블릭 서브넷 및 MSK 퍼블릭 서브넷에 연결된 NAT 게이트웨이
- VPC 내 서로 다른 서브넷 간 및 VPC 간 트래픽 흐름을 지원하는 라우팅 테이블
- MySQL VPC와 MSK VPC 간의 피어링 연결
- MySQL 데이터베이스 및 구성
- DNS 서버
- 해당 라이브러리가 포함된 MSK 클라이언트
VPC 피어링을 사용하는 경우 또는 AWS 전송 게이트웨이 MSK Connect를 사용하는 경우 CIDR 범위의 IP를 사용하여 피어링된 VPC 리소스에 연결하기 위해 커넥터를 구성하지 마세요. 자세한 내용은 다음을 참조하세요. 커넥터에서 연결.
DNS 서버 구성
DNS 서버를 구성하려면 다음 단계를 완료하십시오.
- DNS 서버에 연결. DNS 서버에는 세 가지 구성 파일이 있습니다.
/home/ec2-user
폴더 :named.conf
mysql.internal.zone
kafka.us-east-1.amazonaws.com.zone
- 다음 명령을 실행하여 DNS 서버를 설치하고 구성하십시오.
- 업데이트
/etc/named.conf
.
전송 허용 속성의 경우 DNS 서버 내부 IP 주소를 전송 허용으로 업데이트하세요.
{ localhost; <DNS Server internal IP address>; };.
CloudFormation 템플릿에서 DNS 서버 IP 주소를 찾을 수 있습니다. 출력 탭.
주의 사항 이 단계에서는 아직 MSK 클러스터가 설정되지 않았습니다. Kafka 브로커 DNS 이름과 해당 내부 IP 주소를 업데이트해야 합니다. /var/named/kafka.region.amazonaws.com
이 게시물의 뒷부분에서 MSK 클러스터를 설정한 후 구성 파일을 살펴보세요. 지침은 여기를 참조하세요.
또한 이 설정은 이 게시물에 대한 DNS 서버를 구성한다는 점에 유의하세요. 자신의 환경에서 필요에 따라 DNS 서버를 구성할 수 있습니다.
- DNS 서비스를 다시 시작합니다.
다음 메시지가 표시됩니다.
MySQL 데이터베이스에 데이터 업로드
일반적으로 우리는 MySQL 용 Amazon RDS 하지만 이 게시물에서는 사용자 정의 MySQL 데이터베이스 서버를 사용합니다. Amazon RDS DNS는 공개적으로 액세스할 수 있고 MSK Connect는 이를 지원하지만 과거에는 프라이빗 DNS를 사용하여 데이터베이스나 애플리케이션을 지원할 수 없었습니다. 최신으로 개인 DNS 호스트 이름 기능 출시 이후에는 애플리케이션의 프라이빗 DNS도 지원할 수 있으므로 EC2 인스턴스에서 MySQL 데이터베이스를 사용합니다.
이 설치에서는 단일 노드 EC2 인스턴스에 MySQL 데이터베이스를 설정하는 방법에 대한 정보를 제공합니다. 이는 프로덕션 설정에 사용하면 안 됩니다. 귀하의 계정에서 MySQL을 설정하고 구성하려면 적절한 지침을 따라야 합니다.
MySQL 데이터베이스는 이미 CloudFormation 템플릿을 사용하여 설정되었으며 이제 사용할 준비가 되었습니다. 데이터를 업로드하려면 다음 단계를 완료하세요.
- MySQL EC2 인스턴스에 SSH로 접속합니다. 지침은 다음을 참조하세요. Linux 인스턴스에 연결. 데이터 파일
salesdb.sql
이미 다운로드되어 다음에서 사용할 수 있습니다./home/ec2-user
디렉토리. - 사용자 이름 master로 mysqldb에 로그인합니다.
- 비밀번호에 액세스하려면 다음으로 이동하세요. AWS 시스템 관리자 및 파라미터 저장소 탭. 고르다 /데이터베이스/자격 증명/마스터 그리고 클릭 자세한 정보 보기 키 값을 복사합니다.
- 다음 명령을 사용하여 MySQL에 로그인합니다.
- 다음 명령을 실행하여
salesdb
데이터베이스를 만들고 테이블에 데이터를 로드합니다.
그러면 다양한 테이블에 레코드가 삽입됩니다. salesdb
데이터 베이스.
- show tables를 실행하면 다음 테이블을 볼 수 있습니다.
salesdb
:
DHCP 옵션 세트 생성
DHCP 옵션 세트를 사용하면 가상 네트워크 라우팅의 다음 측면을 제어할 수 있습니다.
- VPC의 디바이스에서 사용하는 DNS 서버, 도메인 이름 또는 NTP(Network Time Protocol) 서버를 제어할 수 있습니다.
- VPC에서 DNS 확인을 완전히 비활성화할 수 있습니다.
개인 DNS를 지원하려면 다음을 사용할 수 있습니다. 아마존 경로 53 개인 영역 또는 사용자 정의 DNS 서버. Route 53 프라이빗 영역을 사용하는 경우 설정이 자동으로 작동하며 MSK VPC에 설정된 기본 DHCP 옵션을 변경할 필요가 없습니다. 사용자 정의 DNS 서버의 경우 다음 단계를 완료하여 다음을 사용하여 사용자 정의 DHCP 구성을 설정하십시오. 아마존 가상 프라이빗 클라우드 (Amazon VPC)를 MSK VPC에 연결합니다.
Amazon 제공 DNS 서버에 연결된 VPC에는 기본 DHCP 옵션이 설정되어 있습니다. 이 단계에서 요청은 확인을 위해 Amazon이 제공한 DNS 서버로 이동됩니다. 그러나 우리는 사용자 정의 DNS 서버를 사용하고 있으므로 새로운 DHCP 옵션 세트를 생성합니다.
- Amazon VPC 콘솔에서 DHCP 옵션 세트 탐색 창에서
- 왼쪽 메뉴에서 DHCP 옵션 세트 생성.
- 럭셔리 DHCP 옵션 세트 이름, 입력
MSKConnect_Private_DHCP_OptionSet
. - 럭셔리 도메인 이름, 입력
mysql.internal
. - 럭셔리 도메인 이름 서버에서 DNS 서버 IP 주소를 입력하세요.
- 왼쪽 메뉴에서 DHCP 옵션 세트 생성.
- 로 이동 MSK VPC 과에 행위 메뉴, 선택 VPC 설정 편집.
- 새로 생성된 DHCP 옵션 세트를 선택하고 저장합니다.
다음 스크린샷은 구성 예를 보여줍니다. - Amazon EC2 콘솔에서 다음으로 이동합니다.
privateDNS_bastion_host
. - 왼쪽 메뉴에서 인스턴스 상태 및 인스턴스 재부팅.
- 몇 분 정도 기다린 후 실행하세요.
nslookup
요새 호스트에서; Route 53 대신 로컬 DNS 서버를 사용하여 문제를 해결할 수 있어야 합니다.
이제 기본 인프라 설정이 다음 단계로 넘어갈 준비가 되었습니다. 기본 인프라의 일부로 다음과 같은 주요 구성 요소를 성공적으로 설정했습니다.
- MSK 및 MySQL VPC
- 서브넷
- EC2 인스턴스
- VPC 피어링
- 경로 테이블
- NAT 게이트웨이 및 인터넷 게이트웨이
- DNS 서버 및 구성
- 적절한 보안 그룹 및 NACL
- 필수 데이터가 포함된 MySQL 데이터베이스
이 단계에서는 Route 53 대신 사용자 지정 DNS 서버를 사용하여 MySQL DB DNS 이름을 확인할 수 있습니다.
MSK 클러스터 및 MSK Connect 설정
다음 단계는 MSK 클러스터와 MSK Connect를 배포하는 것입니다. salesdb
그리고 그것을 다음 사람에게 보내세요. 아마존 단순 스토리지 서비스 (Amazon S3) 버킷. 이 섹션에서는 MySQL 데이터베이스 복제에 대한 연습을 제공합니다(salesdb
)를 사용하여 Amazon MSK에 데베 지움, 오픈 소스 커넥터입니다. 커넥터는 데이터베이스의 변경 사항을 모니터링하고 테이블의 변경 사항을 캡처합니다.
MSK Connect를 사용하면 AWS에서 완전관리형 Apache Kafka Connect 워크로드를 실행할 수 있습니다. MSK Connect는 필요한 리소스를 프로비저닝하고 클러스터를 설정합니다. 커넥터, 패치의 상태 및 전달 상태를 지속적으로 모니터링하고 기본 하드웨어를 관리하며 처리량 변화에 맞게 커넥터 크기를 자동 조정합니다. 결과적으로 인프라 관리보다는 애플리케이션 구축에 리소스를 집중할 수 있습니다.
MSK Connect는 VPC의 사용자 지정 DNS 서버를 활용하며 Route 53에 종속되지 않습니다.
MSK 클러스터 구성 만들기
MSK 클러스터를 생성하려면 다음 단계를 완료하십시오.
- Amazon MSK 콘솔에서 다음을 선택합니다. 클러스터 구성 아래에 MSK 클러스터 탐색 창에서
- 왼쪽 메뉴에서 구성 만들기.
- 구성 이름 지정
mskc-tutorial-cluster-configuration
. - $XNUMX Million 미만 구성 속성, 모든 것을 제거하고 줄을 추가하십시오
auto.create.topics.enable=true
. - 왼쪽 메뉴에서 만들기.
MSK 클러스터 생성 및 구성 연결
다음 단계에서는 이 구성을 클러스터에 연결합니다. 다음 단계를 완료하세요.
- Amazon MSK 콘솔에서 다음을 선택합니다. 클러스터 아래에 MSK 클러스터 탐색 창에서
- 왼쪽 메뉴에서 클러스터 만들기 및 맞춤 제작.
- 클러스터 이름으로 다음을 입력합니다.
mkc-tutorial-cluster
. - $XNUMX Million 미만 일반 클러스터 속성선택한다. 프로비저닝 됨 클러스터 유형에는 Apache Kafka 기본 버전 2.8.1을 사용합니다.
- 모든 기본 옵션을 사용하십시오. 중개사 및 스토리지 섹션을 참조하십시오.
- $XNUMX Million 미만 구성선택한다. 맞춤 구성.
- 선택
mskc-tutorial-cluster-configuration
적절한 개정판을 사용하여 선택하십시오. 다음 보기. - $XNUMX Million 미만 네트워킹에서 MSK VPC를 선택합니다.
- 다음과 같이 지역에 따라 가용 영역을 선택합니다.
us-east1a
,us-east1b
및us-east1c
및 해당 프라이빗 서브넷MSK-Private-1
,MSK-Private-2
및MSK-Private-3
당신이 안에 있다면us-east-1
지역. 이러한 브로커에 대한 공개 액세스는 꺼져 있어야 합니다. - 다음에서 보안 그룹 ID를 복사하세요. 선택된 보안 그룹.
- 왼쪽 메뉴에서 다음 보기.
- $XNUMX Million 미만 접근 제어 방법, 고르다 IAM 역할 기반 인증.
- . 암호화 섹션 아래 고객과 브로커 사이, TLS 암호화 기본적으로 선택됩니다.
- 럭셔리 암호화유휴 상태의 ypt 데이터, 고르다 AWS 관리형 키 사용.
- 다음에 대한 기본 옵션을 사용합니다. 모니터링 선택 기본 모니터링.
- 선택 Amazon CloudWatch Logs에 전달.
- $XNUMX Million 미만 로그 그룹선택한다. Amazon CloudWatch Logs 콘솔을 방문하세요..
- 왼쪽 메뉴에서 로그 그룹 생성.
- 로그 그룹 이름을 입력하고 선택합니다. 만들기.
- 다시 모니터링 및 태그 페이지 이하 로그 그룹선택한다. 로그 그룹 선택
- 왼쪽 메뉴에서 다음 보기.
- 구성을 검토하고 선택 클러스터 생성. 클러스터의 세부정보 페이지로 리디렉션됩니다.
- $XNUMX Million 미만 보안 그룹이 적용됨, 이후 단계에서 사용할 보안 그룹 ID를 기록해 둡니다.
클러스터 생성에는 일반적으로 25~30분이 소요됩니다. 성공적으로 생성되면 상태가 활성으로 변경됩니다.
/var/named/kafka.region.amazonaws.com 영역 파일 업데이트
MSK 커넥터를 생성하기 전에 MSK 클러스터 세부 정보로 DNS 서버 구성을 업데이트하세요.
- 부트스트랩 서버 DNS 및 해당 IP 주소 목록을 얻으려면 클러스터로 이동하여 다음을 선택합니다. 고객 정보 보기.
- IAM 인증 유형으로 부트스트랩 서버 정보를 복사합니다.
- 다음을 사용하여 브로커 IP 주소를 식별할 수 있습니다.
nslookup
로컬 컴퓨터에서 브로커 로컬 IP 주소를 제공합니다. 현재 귀하의 VPC는 최신 DHCP 옵션 세트를 가리키고 있으며 귀하의 DNS 서버는 귀하의 VPC에서 이러한 DNS 이름을 확인할 수 없습니다.
이제 DNS 서버에 로그인하여 다른 브로커 및 해당 IP 주소에 대한 레코드를 업데이트할 수 있습니다. /var/named/kafka.region.amazonaws.com
파일.
- 업로드
msk-access.pem
에 파일을BastionHostInstance
로컬 머신에서: - DNS 서버에 로그인하고
/var/named/kafka.region.amazonaws.com
파일을 작성하고 올바른 MSK 브로커 DNS 이름과 해당 IP 주소로 다음 줄을 업데이트합니다.
앞서 언급한 대로 브로커 DNS를 제공해야 합니다. 제거하다 .kafka.<region id>.amazonaws.com
브로커 DNS 이름에서.
- DNS 서비스를 다시 시작합니다.
다음 메시지가 표시됩니다.
이제 사용자 정의 DNS 서버가 실행 중이며 내부 DNS 서버를 사용하여 브로커 DNS 이름을 사용하여 확인할 수 있습니다.
MySQL 데이터베이스와 MSK Connect 간의 연결을 위한 보안 그룹 업데이트
MSK Connect와 MySQL 데이터베이스 간에 적절한 연결을 유지하는 것이 중요합니다. 다음 단계를 완료하세요.
- Amazon MSK 콘솔에서 MSK 클러스터로 이동한 다음 네트워크 설정, 보안 그룹을 복사합니다.
- Amazon EC2 콘솔에서 다음을 선택합니다. 보안 그룹 탐색 창에서
- 보안 그룹 편집
MySQL_SG
선택하고 규칙 추가. - MySQL/Aurora를 유형으로, MSK 보안 그룹을 해당 소스의 인바운드 리소스로 사용하여 규칙을 추가합니다.
- 왼쪽 메뉴에서 규칙 저장.
MSK 커넥터 만들기
MSK 커넥터를 생성하려면 다음 단계를 완료하세요.
- Amazon MSK 콘솔에서 다음을 선택합니다. 커넥터 아래에 MSK 연결 탐색 창에서
- 왼쪽 메뉴에서 커넥터 만들기.
- 선택 커스텀 플러그인 만들기.
- 다음 사이트에서 최신 안정 릴리스용 MySQL 커넥터 플러그인을 다운로드하세요. 데베 지움 사이트 또는 다운로드 데베지움.zip.
- MySQL 커넥터 zip 파일을 S3 버킷에 업로드합니다.
- 다음과 같은 파일의 URL을 복사합니다.
s3://<bucket name>/Debezium.zip
. - 다시 맞춤 플러그인 선택 페이지를 클릭하고 S3 파일 경로를 입력하세요. S3 URI.
- 럭셔리 맞춤 플러그인 이름, 입력
mysql-plugin
. - 왼쪽 메뉴에서 다음 보기.
- 럭셔리 성함, 입력
mysql-connector
. - 럭셔리 상품 설명에서 커넥터에 대한 설명을 입력합니다.
- 럭셔리 클러스터 유형선택한다. MSK 클러스터.
- 목록에서 기존 클러스터를 선택합니다(이 게시물의 경우
mkc-tutorial-cluster
). - 인증 유형을 다음과 같이 지정합니다. IAM.
- 다음 값을 사용하십시오. 커넥터 구성:
- 다음 커넥터 구성을 업데이트합니다.
- 럭셔리 용량 유형선택한다. 프로비저닝 됨.
- 럭셔리 작업자당 MCU 수, 1을 입력합니다.
- 럭셔리 근로자 수, 1을 입력합니다.
- 선택 MSK 기본 구성 사용.
- . 액세스 권한 섹션에서 서비스 역할 선택 메뉴, 선택
MSK-Connect-PrivateDNS-MySQLConnector*
다음을 선택 다음 보기. - . 보안 섹션에서는 기본 설정을 유지합니다.
- . 로그 섹션에서 선택 Amazon CloudWatch 로그로 전달.
- 왼쪽 메뉴에서 Amazon CloudWatch Logs 콘솔을 방문하세요..
- $XNUMX Million 미만 로그 탐색 창에서 로그 그룹.
- 왼쪽 메뉴에서 로그 그룹 생성.
- 로그 그룹 이름, 보존 설정 및 태그를 입력한 후 선택합니다. 만들기.
- 커넥터 생성 페이지로 돌아가서 다음을 선택하세요. 로그 그룹 찾아보기.
- 선택
AmazonMSKConnect
로그 그룹을 선택한 다음 다음 보기. - 구성을 검토하고 선택 커넥터 만들기.
커넥터 생성 프로세스가 완료될 때까지 기다립니다(약 10~15분).
이제 MSK Connect 커넥터가 작동 중입니다. 사용자 ID를 사용하여 MySQL 데이터베이스에 로그인하고 고객 테이블 레코드에 대한 몇 가지 레코드를 변경할 수 있습니다. MSK Connect는 CDC 기록을 수신할 수 있으며 데이터베이스 업데이트는 MSK에서 사용할 수 있습니다. 주제.
MSK 주제의 메시지 사용
MSK 주제의 메시지를 사용하려면 다음에서 Kafka 소비자를 실행하세요. MSK_Client
MSK VPC에서 EC2 인스턴스를 사용할 수 있습니다.
- SSH를 통해
MSK_Client
EC2 인스턴스. 그만큼MSK_Client
인스턴스에는 필수 Kafka 클라이언트 라이브러리, Amazon MSK IAM JAR 파일,client.properties
CloudFormation 템플릿을 사용하는 적절한 IAM 역할과 함께 파일 및 이에 연결된 인스턴스 프로필입니다. - 추가
MSKClientSG
보안 그룹을 다음 속성을 가진 MSK 보안 그룹의 소스로 사용합니다.- 럭셔리 타입선택한다. 모든 트래픽.
- 럭셔리 출처선택한다. 사용자 지정 및 MSK 보안 그룹.
이제 데이터를 사용할 준비가 되었습니다.
- 주제를 나열하려면 다음 명령어를 실행하세요.
- 다음에서 데이터를 소비하려면
salesdb-server.salesdb.CUSTOMER
주제에 대해서는 다음 명령을 사용하십시오.
EC2 머신에서 Kafka 소비자를 실행하면 다음과 유사한 메시지를 기록할 수 있습니다.
애플리케이션을 테스트하는 동안 CUST_ID가 1998, 1999, 2000인 기록이 업데이트되었으며 이러한 기록은 로그에서 확인할 수 있습니다.
정리
추가 비용을 피하기 위해 항상 이 게시물의 일부로 생성된 모든 리소스를 정리하는 것이 좋습니다. 리소스를 정리하려면 MSK 클러스터, MSK Connect 연결, EC2 인스턴스, DNS 서버, 접속 호스트, S3 버킷, VPC, 서브넷 및 CloudWatch 로그를 삭제하세요.
또한 AWS CloudFormation을 사용하여 생성한 다른 모든 AWS 리소스를 정리하십시오. 스택을 삭제하여 AWS CloudFormation 콘솔에서 이러한 리소스를 삭제할 수 있습니다.
결론
이 게시물에서는 개인 DNS를 사용하여 MSK Connect를 설정하는 프로세스에 대해 논의했습니다. 이 기능을 사용하면 공용 또는 개인 도메인 이름을 참조하도록 커넥터를 구성할 수 있습니다.
별도의 VPC에 호스팅된 MySQL 데이터베이스로부터 초기 로드 및 CDC 레코드를 수신할 수 있으며 해당 DNS는 외부에서 액세스하거나 확인할 수 없습니다. MSK Connect는 MSK Connect 개인 DNS 기능을 사용하여 MySQL 데이터베이스에 연결하고 레코드를 사용할 수 있었습니다. 사용자 지정 DHCP 옵션 세트가 VPC에 연결되어 Route 53 대신 로컬 DNS 서버를 사용하여 DNS 확인이 수행되었습니다.
MSK Connect 프라이빗 DNS 지원 기능을 사용하면 데이터베이스, 데이터 웨어하우스 및 자체 VPC와 함께 작동하는 비밀 관리자와 같은 시스템을 인터넷에 액세스할 수 없게 만들고 이러한 제한을 극복하고 기업 보안 태세를 준수할 수 있습니다.
자세히 알아보고 시작하려면 다음을 참조하십시오. MSK 연결을 위한 개인 DNS.
저자,
Amar는 영국 Amazon AWS의 수석 솔루션 아키텍트입니다. 그는 전략적 구현을 위해 전력, 유틸리티, 제조 및 자동차 고객 전반에 걸쳐 작업하며, 전문적으로 AWS 스트리밍 및 고급 데이터 분석 솔루션을 사용하여 최적의 비즈니스 결과를 도출합니다.
- SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
- PlatoData.Network 수직 생성 Ai. 자신에게 권한을 부여하십시오. 여기에서 액세스하십시오.
- PlatoAiStream. 웹3 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
- 플라톤ESG. 탄소, 클린테크, 에너지, 환경, 태양광, 폐기물 관리. 여기에서 액세스하십시오.
- PlatoHealth. 생명 공학 및 임상 시험 인텔리전스. 여기에서 액세스하십시오.
- 출처: https://aws.amazon.com/blogs/big-data/resolve-private-dns-hostnames-for-amazon-msk-connect/
- :있다
- :이다
- :아니
- :어디
- $UP
- 1
- 14
- 160
- 1998
- 1999
- 2000
- 53
- 7
- 73
- 8
- 9
- a
- 할 수 있는
- 소개
- ACCESS
- 얻기 쉬운
- 계정
- 인정
- 가로질러
- 활동적인
- 더하다
- 추가
- 주소
- 구애
- 많은
- 후
- All
- 수
- 따라
- 이미
- 항상
- 아마존
- Amazon EC2
- 아마존 RDS
- Amazon Web Services
- an
- 분석
- 및
- 다른
- 어떤
- 아파치
- 아파치 카프카
- 어플리케이션
- 어플리케이션
- 적당한
- 아키텍처
- 있군요
- AS
- 측면
- At
- 붙이다
- 인증
- 인증
- 자동
- 자동적으로
- 자동차
- 유효성
- 가능
- 피하기
- AWS
- AWS 클라우드 포메이션
- 기지
- BE
- 때문에
- 전에
- 사이에
- 바인딩
- 부트 스트랩
- 브로커
- 브로커
- 건물
- 내장
- 사업
- 비자 면제 프로그램에 해당하는 국가의 시민권을 가지고 있지만
- by
- CAN
- 능력
- 포착
- CDC
- 이전 단계로 돌아가기
- 변경
- 왼쪽 메뉴에서
- 클릭
- 클라이언트
- 클라이언트
- 클러스터
- COM
- 완전한
- 완전히
- 준수
- 구성 요소들
- 구성
- 구성
- 연결하기
- 연결
- 입/출력 라인
- 콘솔에서
- 소비
- 소비자
- 지속적으로
- 제어
- 핵심
- Corporate
- 수정
- 비용
- 두
- 만들
- 만든
- 생성
- 창조
- 현재
- 관습
- 고객
- 고객
- 데이터
- 데이터 분석
- 데이터웨어 하우스
- 데이터베이스
- 데이터베이스
- 태만
- 한정된
- 배달
- 보여줍니다
- 의존하는
- 의존
- 배포
- 전개
- 설명
- 세부설명
- 디바이스
- 다른
- 논의 된
- DNS
- do
- 도메인
- 도메인 이름
- 말라
- 다운로드
- 드라이브
- 이전
- 중
- 확인
- 보장
- 엔터 버튼
- 환경
- 에테르 (ETH)
- 모두
- 예
- 현존하는
- 확장
- 외부 적으로
- 특색
- 를
- 입양 부모로서의 귀하의 적합성을 결정하기 위해 미국 이민국에
- 파일
- 최후의
- Find
- 흐름
- 초점
- 따라
- 수행원
- 럭셔리
- 에
- 충분히
- 게이트웨이
- 얻을
- 주기
- Go
- 좋은
- 그룹
- 여러 떼
- 지도
- 하드웨어
- 있다
- he
- 건강
- 여기에서 지금 확인해 보세요.
- 고수준
- history
- 주인
- 호스팅
- 호스트
- 그러나
- HTML
- HTTP
- HTTPS
- IAM
- ID
- 확인
- 통합 인증
- if
- 설명하다
- 구현
- 중대한
- in
- 액세스
- 포함
- 포함
- 정보
- 인프라
- 처음에는
- 설치
- 설치
- 예
- 인스턴스
- 를 받아야 하는 미국 여행자
- 명령
- 내부의
- 인터넷
- 으로
- 개요
- IP
- IP 주소
- IP 주소
- IT
- 그
- JPG
- 카프카
- 유지
- 키
- 후에
- 최근
- 시작
- 배우다
- 도서관
- 처럼
- 한정
- 라인
- 라인
- 리눅스
- 명부
- 하중
- 지방의
- 위치
- 기록
- 기계
- 확인
- 관리
- 매니저
- 관리자
- 관리하다
- 관리
- 제조
- 석사
- 경기
- XNUMX월..
- 말하는
- 메뉴
- 메시지
- 메시지
- 방법
- 수도
- 분
- 모니터
- 모니터
- 배우기
- 움직임
- 여러
- MySQL의
- name
- 이름
- 이름
- 이동
- 카테고리
- 필요
- 요구
- 네트워크
- 신제품
- 새로운
- 다음 것
- 아니
- 주의
- 지금
- of
- 오프
- 제공
- on
- 만
- 열 수
- 오픈 소스
- 최적의
- 선택권
- 옵션
- or
- 기타
- 우리의
- 결과
- 위에
- 극복하다
- 자신의
- 페이지
- 빵
- 매개 변수
- 부품
- 비밀번호
- 과거
- 패치
- 통로
- 용
- 수행
- 권한
- 장소
- 플라톤
- 플라톤 데이터 인텔리전스
- 플라토데이터
- 플러그인
- 전철기
- 인기 문서
- 게시하다
- Postgresql
- 힘
- 연습
- 사설
- 개인 키
- 방법
- 제작자
- 프로덕트
- 생산
- 프로필
- 속성
- 프로토콜
- 제공
- 제공
- 제공
- 공개
- 공개적으로
- 차라리
- 에 도달
- 준비
- 이유
- 받다
- 최근
- 기록
- 기록
- 참조
- 참고
- 지방
- 공개
- 제거
- 요청
- 필수
- 분해능
- 해결
- 의지
- 제품 자료
- 그
- 결과
- 보유
- 직위별
- 길
- 라우팅
- 통치
- 달리기
- 달리는
- 같은
- 찜하기
- 저울
- 비밀
- 섹션
- 섹션
- 보안
- 참조
- 분절
- 선택된
- 보내다
- 연장자
- 별도의
- 섬기는 사람
- 서버
- 서비스
- 서비스
- 세트
- 설정
- 설정
- 설정
- 설치
- 영상을
- 표시
- 쇼
- 비슷한
- 단순, 간단, 편리
- 대지
- So
- 해결책
- 솔루션
- 출처
- 전문
- SQL
- 안정된
- 스택
- 단계
- 시작
- 주 정부
- Status
- 단계
- 단계
- 아직도
- 저장
- 저장
- 상점
- 전략의
- 스트리밍
- 서브넷
- 서브넷
- 성공적으로
- 이러한
- 공급 업체
- SUPPORT
- 지원
- 체계
- 시스템은
- 테이블
- 받아
- 작업
- 이 템플릿
- 지원
- 보다
- 그
- XNUMXD덴탈의
- 소스
- 영국
- 그들의
- 그때
- 그곳에.
- Bowman의
- 그들
- 이
- 세
- 처리량
- 시간
- 에
- 화제
- 이상의 주제
- 교통
- 운송
- 지도 시간
- 두
- 유형
- 일반적으로
- Uk
- 아래에
- 밑에 있는
- 업데이트
- 업데이트
- 업데이트
- ...에
- URL
- 사용
- 익숙한
- 사용자
- 사용
- 사용
- 유용
- 가치
- 마케팅은:
- 여러
- 버전
- 온라인
- 기다리다
- 연습
- 필요
- 였다
- we
- 웹
- 웹 서비스
- 잘
- 했다
- 언제
- 어느
- 의지
- 과
- 작업
- 일
- 얌
- 당신
- 너의
- 제퍼 넷
- 지퍼
- 지역