Amazon MSK Bağlantısı bir özelliği Apache Kafka için Amazon Tarafından Yönetilen Akış (Amazon MSK), AWS'de tam olarak yönetilen bir Apache Kafka Connect ortamı sunar. MSK Connect ile, verileri Amazon S3 ve Amazon OpenSearch Service gibi popüler veri depolarına taşıyan veya bu depolardan veri çeken, Kafka Connect için oluşturulmuş tam olarak yönetilen bağlayıcıları dağıtabilirsiniz. Tanıtımı ile MSK Connect'e özel DNS desteği, bağlayıcılar, müşterinin VPC DHCP Seçenekleri kümesinde yapılandırılan DNS sunucularını kullanarak özel müşteri alan adlarını çözümleyebilir. Bu gönderi, MSK Connect için müşteri VPC'sinde tanımlanan özel DNS ana bilgisayar adlarını çözümlemeye yönelik bir çözümü gösterir.
MSK Connect için özel DNS ana bilgisayar adı desteğini birçok nedenden dolayı kullanmak isteyebilirsiniz. MSK Connect, özel DNS çözümleme özelliğinden önce, DNS çözümlemesi için hizmet VPC DNS çözümleyicisini kullanıyordu. MSK Connect, DNS çözümlemesi için müşteri VPC DHCP seçenek kümelerinde tanımlanan özel DNS sunucularını kullanmadı. Bağlayıcılar yalnızca genel olarak çözümlenebilir olan ve özel bir barındırılan bölgede tanımlanan özel ana bilgisayar adlarını çözemeyen veya başka bir müşteri ağındaki DNS sunucularını kullanamayan bağlayıcı yapılandırmasındaki veya eklentideki ana bilgisayar adlarına başvuruda bulunabildi.
Birçok müşteri, dahili DNS uygulamalarının genel olarak çözümlenemez olmasını sağlar. Örneğin, bir MySQL veya PostgreSQL veritabanınız olabilir ve veritabanınızın DNS adının genel olarak çözümlenebilir veya erişilebilir olmasını istemeyebilirsiniz. Amazon İlişkisel Veritabanı Hizmeti (Amazon RDS) veya Amazon Aurora'sı sunucular genel olarak çözülebilen ancak erişilemeyen DNS adlarına sahiptir. Veritabanları, veri ambarları veya DNS adlarının genel olarak çözümlenemediği diğer sistemler gibi birden fazla dahili uygulamanız olabilir.
MSK Connect özel DNS desteğinin yakın zamanda kullanıma sunulmasıyla birlikte, bağlayıcıları genel veya özel alan adlarına referans verecek şekilde yapılandırabilirsiniz. Bağlayıcılar, alan adlarını çözümlemek için VPC'nizin DHCP seçenek kümesinde yapılandırılmış DNS sunucularını kullanır. Artık güvenlik ihtiyaçlarınızı karşılamak amacıyla VPC'nizdeki veritabanlarına, veri ambarlarına ve diğer kaynaklara özel olarak bağlanmak için MSK Connect'i kullanabilirsiniz.
Özel DNS'ye sahip bir MySQL veya PostgreSQL veritabanınız varsa, bunu özel bir DNS sunucusunda yapılandırabilir ve DNS çözümlemesini hizmet DNS'sini kullanmak yerine VPC'deki yerel özel DNS sunucusunu kullanarak yapacak şekilde VPC'ye özgü DHCP seçenek ayarını yapılandırabilirsiniz. çözünürlük.
Çözüme genel bakış
Müşteri, MSK Connect'i kurmak için farklı mimari seçeneklerine sahip olabilir. Örneğin, Amazon MSK ve MSK Connect'in aynı VPC'de veya VPC1'deki kaynak sistemde olmasını sağlayabilirler ve Amazon MSK ve MSK Connect'in VPC2'de veya kaynak sistemde olmasını, Amazon MSK ve MSK Connect'in hepsinin farklı VPC'lerde olmasını sağlayabilirler.
Aşağıdaki kurulum, MySQL VPC'nin MySQL veritabanını barındırdığı ve MSK VPC'nin Amazon MSK, MSK Connect, DNS sunucusu ve diğer çeşitli bileşenleri barındırdığı iki farklı VPC kullanır. Uygun mimariyi kullanarak diğer dağıtım topolojilerini destekleyecek şekilde bu mimariyi genişletebilirsiniz. AWS Kimlik ve Erişim Yönetimi (IAM) izinleri ve bağlantı seçenekleri.
Bu gönderide MSK Connect'in MySQL VPC'de özel DNS ana bilgisayar adına sahip bir kaynak MySQL veritabanından veri alacağı ve başka bir VPC'de MSK Connect'i kullanarak Amazon MSK'ya veri göndereceği MSK Connect'i kurmak için adım adım talimatlar verilmektedir. Aşağıdaki şemada üst düzey mimari gösterilmektedir.
Kurulum talimatları aşağıdaki temel adımları içerir:
- VPC'leri, alt ağları ve diğer temel altyapı bileşenlerini kurun.
- DNS sunucusunu kurun ve yapılandırın.
- Verileri MySQL veritabanına yükleyin.
- Amazon MSK ve MSK Connect'i dağıtın ve değişiklik verileri yakalama (CDC) kayıtlarını kullanın.
Önkoşullar
Bu gönderideki öğreticiyi takip etmek için aşağıdakilere ihtiyacınız vardır:
AWS CloudFormation kullanarak gerekli altyapıyı oluşturun
MSK Connect'i yapılandırmadan önce VPC'leri, alt ağları ve diğer temel altyapı bileşenlerini kurmamız gerekiyor. AWS hesabınızda kaynakları ayarlamak için aşağıdaki adımları tamamlayın:
- Klinik Yığını Başlat Yığını Amazon MSK ve MSK Connect'i destekleyen bir Bölgede başlatmak için.
- EC2 bulut sunucularına bağlanmak için kullandığınız özel anahtarı belirtin.
- SSH konumunu yerel IP adresinizle güncelleyin ve diğer değerleri varsayılan olarak koruyun.
- Klinik Sonraki.
- Son sayfadaki ayrıntıları gözden geçirin ve AWS CloudFormation'ın IAM kaynakları oluşturabileceğini kabul ediyorum.
- Klinik Yığın oluştur ve gerekli kaynakların oluşturulmasını bekleyin.
CloudFormation şablonu, hesabınızda aşağıdaki temel kaynakları oluşturur:
- VPC'ler:
- MSK VPC'si
- MySQL VPC'si
- MSK VPC'deki alt ağlar:
- Amazon MSK için üç özel alt ağ
- DNS sunucusu için özel alt ağ
- MSKClient için özel alt ağ
- Kale ana bilgisayarı için genel alt ağ
- MySQL VPC'deki alt ağlar:
- MySQL veritabanı için özel alt ağ
- Kale ana bilgisayarı için genel alt ağ
- MySQL VPC ve MSK VPC'ye bağlı İnternet ağ geçidi
- MySQL genel alt ağına ve MSK genel alt ağına bağlı NAT ağ geçitleri
- Bir VPC'deki farklı alt ağlar arasındaki ve VPC'ler arasındaki trafik akışını desteklemek için yönlendirme tabloları
- MySQL VPC ile MSK VPC arasındaki eşleme bağlantısı
- MySQL veritabanı ve yapılandırmaları
- DNS sunucusu
- İlgili kütüphanelere sahip MSK istemcisi
Lütfen VPC eşleme kullanıyorsanız veya AWS Toplu Taşıma Ağ Geçidi MSK Connect ile bağlayıcınızı CIDR aralıklarındaki IP'lere sahip eşlenen VPC kaynaklarına ulaşacak şekilde yapılandırmayın. Daha fazla bilgi için bkz. Konektörlerden bağlanma.
DNS sunucusunu yapılandırma
DNS sunucusunu yapılandırmak için aşağıdaki adımları tamamlayın:
- DNS sunucusuna bağlanın. DNS sunucusunda aşağıdaki üç yapılandırma dosyası bulunmaktadır:
/home/ec2-user
Klasör:named.conf
mysql.internal.zone
kafka.us-east-1.amazonaws.com.zone
- DNS sunucunuzu kurmak ve yapılandırmak için aşağıdaki komutları çalıştırın:
- Güncelleme
/etc/named.conf
.
Transfere izin verme özelliği için, DNS sunucusunun dahili IP adresini transfere izin verecek şekilde güncelleyin
{ localhost; <DNS Server internal IP address>; };.
DNS sunucusu IP adresini CloudFormation şablonunda bulabilirsiniz. Çıkışlar sekmesi.
not MSK kümesinin bu aşamada hâlâ kurulmadığını görüyoruz. Kafka aracısının DNS adlarını ve ilgili dahili IP adreslerini /var/named/kafka.region.amazonaws.com
Bu yazının ilerleyen kısımlarında MSK kümesini kurduktan sonra yapılandırma dosyası. Talimatlar için buraya bakın.
Ayrıca bu ayarların bu gönderi için DNS sunucusunu yapılandırdığını da unutmayın. Kendi ortamınızda DNS sunucusunu ihtiyaçlarınıza göre yapılandırabilirsiniz.
- DNS hizmetini yeniden başlatın:
Aşağıdaki mesajı görmelisiniz:
Verileri MySQL veritabanına yükleyin
Tipik olarak şunu kullanabiliriz: MySQL için Amazon RDS veritabanı, ancak bu yazı için özel MySQL veritabanı sunucuları kullanıyoruz. Amazon RDS DNS herkese açık olarak erişilebilirdir ve MSK Connect bunu destekler ancak geçmişte özel DNS'li veritabanlarını veya uygulamaları destekleyemiyordu. En son sürümle özel DNS ana bilgisayar adları özelliğin başlatılmasıyla birlikte uygulamaların özel DNS'sini de destekleyebilir, bu nedenle EC2 örneğinde bir MySQL veritabanı kullanıyoruz.
Bu kurulum, MySQL veritabanını tek düğümlü bir EC2 bulut sunucusunda kurma hakkında bilgi sağlar. Bu, üretim kurulumunuz için kullanılmamalıdır. Hesabınızda MySQL'i kurmak ve yapılandırmak için uygun yönergeleri izlemelisiniz.
MySQL veritabanı zaten CloudFormation şablonu kullanılarak ayarlanmıştır ve artık kullanıma hazırdır. Verileri yüklemek için aşağıdaki adımları tamamlayın:
- MySQL EC2 örneğine SSH. Talimatlar için bkz. Linux örneğinize bağlanın. Veri dosyası
salesdb.sql
zaten indirilmiş ve şu adreste mevcuttur:/home/ec2-user
dizin. - Master kullanıcı adı ile mysqldb'de oturum açın.
- Şifreye erişmek için şuraya gidin: AWS Sistem Yöneticisi ve Parametre Deposu sekmesi. seçmek /Veritabanı/Kimlik Bilgileri/ana ve üzerine tıklayın İncele ve anahtarın değerini kopyalayın.
- Aşağıdaki komutu kullanarak MySQL'de oturum açın:
- oluşturmak için aşağıdaki komutları çalıştırın.
salesdb
veritabanını açın ve verileri tabloya yükleyin:
Bu, kayıtları çeşitli farklı tablolara ekleyecektir. salesdb
veri tabanı.
- Aşağıdaki tabloları görmek için tabloları göster komutunu çalıştırın.
salesdb
:
DHCP seçenek kümesi oluşturma
DHCP seçenek setleri, sanal ağınızdaki yönlendirmenin aşağıdaki yönleri üzerinde kontrol sahibi olmanızı sağlar:
- VPC'nizdeki cihazların kullandığı DNS sunucularını, alan adlarını veya Ağ Zaman Protokolü (NTP) sunucularını kontrol edebilirsiniz.
- VPC'nizde DNS çözümlemesini tamamen devre dışı bırakabilirsiniz.
Özel DNS'yi desteklemek için şunları kullanabilirsiniz: Amazon Rota 53 özel bölgeniz veya kendi özel DNS sunucunuz. Route 53 özel bölgesini kullanıyorsanız kurulum otomatik olarak çalışacaktır ve MSK VPC için ayarlanan varsayılan DHCP seçeneğinde herhangi bir değişiklik yapmanıza gerek kalmayacaktır. Özel bir DNS sunucusu için, kullanarak özel bir DHCP yapılandırması ayarlamak üzere aşağıdaki adımları tamamlayın. Amazon Sanal Özel Bulut (Amazon VPC) ve MSK VPC'ye ekleyin.
Amazon tarafından sağlanan DNS sunucusuna bağlı VPC'nizde varsayılan bir DHCP seçeneği seti olacaktır. Bu aşamada istekler çözümlenmek üzere Amazon'un sağladığı DNS sunucusuna gidecektir. Ancak özel bir DNS sunucusu kullandığımız için yeni bir DHCP seçenek seti oluşturuyoruz.
- Amazon VPC konsolunda şunu seçin: DHCP seçenek seti Gezinti bölmesinde.
- Klinik DHCP seçenek kümesi oluştur.
- İçin DHCP seçenek kümesi adı, girmek
MSKConnect_Private_DHCP_OptionSet
. - İçin Alan adı, girmek
mysql.internal
. - İçin Alan adı sunucusu, DNS sunucusunun IP adresini girin.
- Klinik DHCP seçenek kümesi oluştur.
- gidin MSK VPC'si ve ilgili İşlemler menü seç VPC ayarlarını düzenleyin.
- Yeni oluşturulan DHCP seçenek kümesini seçin ve kaydedin.
Aşağıdaki ekran görüntüsü örnek yapılandırmaları göstermektedir. - Amazon EC2 konsolunda şuraya gidin:
privateDNS_bastion_host
. - Klinik Örnek durumu ve Örneği yeniden başlat.
- Birkaç dakika bekleyin ve ardından çalıştırın
nslookup
burç sunucusundan; Route 53 yerine yerel DNS sunucunuzu kullanarak sorunu çözebilmelidir:
Artık temel altyapı kurulumumuz bir sonraki aşamaya geçmeye hazır. Temel altyapımızın bir parçası olarak aşağıdaki temel bileşenleri başarıyla kurduk:
- MSK ve MySQL VPC'leri
- Alt ağlar
- EC2 örnekleri
- VPC eşlemesi
- Rota tabloları
- NAT ağ geçitleri ve internet ağ geçitleri
- DNS sunucusu ve yapılandırması
- Uygun güvenlik grupları ve NACL'ler
- Gerekli verileri içeren MySQL veritabanı
Bu aşamada MySQL DB DNS adı Route 53 yerine özel bir DNS sunucusu kullanılarak çözülebilir.
MSK kümesini ve MSK Connect'i kurma
Bir sonraki adım, kayıtlardan kayıtları getirecek olan MSK kümesini ve MSK Connect'i dağıtmaktır. salesdb
ve onu bir kişiye gönder Amazon Basit Depolama Hizmeti (Amazon S3) kovası. Bu bölümde, MySQL veritabanını çoğaltmaya ilişkin bir adım adım yol gösteriyoruz (salesdb
) kullanarak Amazon MSK'ya debezyum, açık kaynaklı bir bağlayıcı. Bağlayıcı, veritabanındaki değişiklikleri izleyecek ve tablolardaki değişiklikleri yakalayacaktır.
MSK Connect ile AWS'de tam olarak yönetilen Apache Kafka Connect iş yüklerini çalıştırabilirsiniz. MSK Connect gerekli kaynakları sağlar ve kümeyi kurar. Bağlayıcıların durumunu ve teslimat durumunu sürekli olarak izler, temel donanımı yamalar ve yönetir ve bağlayıcıları üretimdeki değişikliklere uyacak şekilde otomatik olarak ölçeklendirir. Sonuç olarak kaynaklarınızı altyapıyı yönetmek yerine uygulama oluşturmaya odaklayabilirsiniz.
MSK Connect, VPC'deki özel DNS sunucusunu kullanacak ve Route 53'e bağımlı olmayacaktır.
MSK kümesi yapılandırması oluşturma
MSK kümesi oluşturmak için aşağıdaki adımları tamamlayın:
- Amazon MSK konsolunda, Küme yapılandırmaları altında MSK kümeleri Gezinti bölmesinde.
- Klinik Yapılandırma oluştur.
- Yapılandırmayı adlandırın
mskc-tutorial-cluster-configuration
. - Altında Yapılandırma özellikleri, her şeyi kaldırın ve satırı ekleyin
auto.create.topics.enable=true
. - Klinik oluşturmak.
Bir MSK kümesi oluşturun ve yapılandırmayı ekleyin
Bir sonraki adımda bu konfigürasyonu bir kümeye ekliyoruz. Aşağıdaki adımları tamamlayın:
- Amazon MSK konsolunda, Kümeleri altında MSK kümeleri Gezinti bölmesinde.
- Klinik Kümeler oluşturun ve özel oluşturma.
- Küme adı için şunu girin:
mkc-tutorial-cluster
. - Altında Genel küme özellikleri, seçmek Sağlanan küme türü için Apache Kafka varsayılan sürüm 2.8.1'i kullanın.
- için tüm varsayılan seçenekleri kullanın. Komisyoncular ve Depolama bölümleri.
- Altında yapılandırmaları, seçmek Özel konfigürasyon.
- seç
mskc-tutorial-cluster-configuration
uygun revizyonla ve seçin Sonraki. - Altında Ağ, MSK VPC'yi seçin.
- Bölgenize bağlı olarak Erişilebilirlik Alanlarını seçin;
us-east1a
,us-east1b
, veus-east1c
ve ilgili özel alt ağlarMSK-Private-1
,MSK-Private-2
, veMSK-Private-3
eğer içindeysenus-east-1
Bölge. Bu aracılara genel erişim kapatılmalıdır. - Güvenlik grubu kimliğini şuradan kopyalayın: Seçilmiş güvenlik grupları.
- Klinik Sonraki.
- Altında Erişim kontrol yöntemleri, seçmek IAM rol tabanlı kimlik doğrulama.
- içinde Şifreleme bölümünde, altında Müşteriler ve komisyoncular arasında, TLS şifreleme varsayılan olarak seçilecektir.
- İçin Encratıl durumdaki ypt verileriseçin AWS yönetilen anahtarını kullan.
- için varsayılan seçenekleri kullanın İzleme seçin Temel izleme.
- seç Amazon CloudWatch Günlüklerini Teslim Edin.
- Altında Günlük grubu, seçmek Amazon CloudWatch Logs konsolunu ziyaret edin.
- Klinik Günlük grubu oluştur.
- Bir günlük grubu adı girin ve oluşturmak.
- Dönmek İzleme ve etiketler sayfa ve altı Günlük grupları, seçmek Günlük grubunu seçin
- Klinik Sonraki.
- Yapılandırmaları gözden geçirin ve seçin Küme oluştur. Kümenin ayrıntılar sayfasına yönlendirilirsiniz.
- Altında Uygulanan güvenlik grupları, daha sonraki bir adımda kullanılacak güvenlik grubu kimliğini not edin.
Küme oluşturma genellikle 25-30 dakika sürebilir. Başarıyla oluşturulduğunda durumu Etkin olarak değişir.
/var/named/kafka.region.amazonaws.com bölge dosyasını güncelleyin
MSK bağlayıcısını oluşturmadan önce DNS sunucusu yapılandırmalarını MSK kümesi ayrıntılarıyla güncelleyin.
- Önyükleme sunucusu DNS'sinin ve ilgili IP adreslerinin listesini almak için kümeye gidin ve Müşteri bilgilerini görüntüleyin.
- Önyükleme sunucusu bilgilerini IAM kimlik doğrulama türüyle kopyalayın.
- Aracının IP adreslerini kullanarak tanımlayabilirsiniz.
nslookup
yerel makinenizden ve size komisyoncunun yerel IP adresini sağlayacaktır. Şu anda VPC'niz en son DHCP seçenek kümesini işaret ediyor ve DNS sunucunuz bu DNS adlarını VPC'nizden çözemeyecektir.
Artık DNS sunucusunda oturum açabilir ve farklı aracıların ve ilgili IP adreslerinin kayıtlarını güncelleyebilirsiniz. /var/named/kafka.region.amazonaws.com
dosyası.
- Yükle
msk-access.pem
dosyasınıBastionHostInstance
yerel makinenizden: - DNS sunucusunda oturum açın ve
/var/named/kafka.region.amazonaws.com
Aşağıdaki satırları doğru MSK aracısı DNS adları ve ilgili IP adresleriyle dosyalayın ve güncelleyin:
Daha önce belirtildiği gibi aracı DNS'sini sağlamanız gerektiğini unutmayın. Kaldırmak .kafka.<region id>.amazonaws.com
aracının DNS adından.
- DNS hizmetini yeniden başlatın:
Aşağıdaki mesajı görmelisiniz:
Özel DNS sunucunuz şu anda çalışır durumda ve dahili DNS sunucusunu kullanarak aracı DNS adlarını kullanarak çözümleyebilmelisiniz.
MySQL veritabanı ile MSK Connect arasındaki bağlantı için güvenlik grubunu güncelleyin
MSK Connect ile MySQL veritabanı arasında uygun bağlantının mevcut olması önemlidir. Aşağıdaki adımları tamamlayın:
- Amazon MSK konsolunda MSK kümesine gidin ve altında Ağ ayarları, güvenlik grubunu kopyalayın.
- Amazon EC2 konsolunda şunu seçin: Güvenlik grupları Gezinti bölmesinde.
- Güvenlik grubunu düzenleyin
MySQL_SG
Ve seç Kural ekle. - Kaynağı için tür olarak MySQL/Aurora ve gelen kaynak olarak MSK güvenlik grubu içeren bir kural ekleyin.
- Klinik Kuralları kaydedin.
MSK bağlayıcısını oluşturma
MSK bağlayıcınızı oluşturmak için aşağıdaki adımları tamamlayın:
- Amazon MSK konsolunda, konektörler altında MSK Bağlantısı Gezinti bölmesinde.
- Klinik Bağlayıcı oluştur.
- seç Özel eklenti oluştur.
- En son kararlı sürüm için MySQL bağlayıcı eklentisini şu adresten indirin: debezyum site veya indirme Debezium.zip.
- MySQL bağlayıcı zip dosyasını S3 klasörüne yükleyin.
- Dosyanın URL'sini kopyalayın, örneğin
s3://<bucket name>/Debezium.zip
. - Dönmek Özel eklenti seçin sayfasına gidin ve S3 dosya yolunu girin. S3 URI'sı.
- İçin Özel eklenti adı, girmek
mysql-plugin
. - Klinik Sonraki.
- İçin Name, girmek
mysql-connector
. - İçin Açıklama, bağlayıcının açıklamasını girin.
- İçin küme türü, seçmek MSK Kümesi.
- Listeden mevcut kümeyi seçin (bu gönderi için,
mkc-tutorial-cluster
). - Kimlik doğrulama türünü şu şekilde belirtin: IAM.
- için aşağıdaki değerleri kullanın Bağlayıcı yapılandırması:
- Aşağıdaki bağlayıcı yapılandırmasını güncelleyin:
- İçin Kapasite tipi, seçmek Sağlanan.
- İçin Çalışan başına MCU sayısı, 1 girin.
- İçin Çalışan sayısı, 1 girin.
- seç MSK varsayılan yapılandırmasını kullanın.
- içinde Erişim İzinleri bölümünde, Hizmet rolünü seçin menü seç
MSK-Connect-PrivateDNS-MySQLConnector*
, Daha sonra seçmek Sonraki. - içinde Güvenlik bölümünde varsayılan ayarları koruyun.
- içinde Kayıtlar bölümünde, seçin Amazon CloudWatch günlüklerine teslim edin.
- Klinik Amazon CloudWatch Logs konsolunu ziyaret edin.
- Altında Kayıtlar gezinme bölmesinde öğesini seçin. Günlük grubu.
- Klinik Günlük grubu oluştur.
- Günlük grubu adını, saklama ayarlarını ve etiketleri girin ve ardından oluşturmak.
- Bağlayıcı oluşturma sayfasına dönün ve Günlük grubuna göz atın.
- Seçin
AmazonMSKConnect
günlük grubunu seçin ve ardından Sonraki. - Yapılandırmaları gözden geçirin ve seçin Bağlayıcı oluştur.
Bağlayıcı oluşturma işleminin tamamlanmasını bekleyin (yaklaşık 10-15 dakika).
MSK Connect bağlayıcısı artık çalışır durumdadır. Kullanıcı ID'nizi kullanarak MySQL veritabanına giriş yapabilir ve müşteri tablosu kaydında birkaç kayıt değişikliği yapabilirsiniz. MSK Connect, CDC kayıtlarını alabilecek ve veritabanındaki güncellemeler MSK'da mevcut olacak başlık.
MSK konusundaki mesajları tüketin
MSK konusundaki mesajları tüketmek için Kafka tüketicisini çalıştırın. MSK_Client
EC2 örneği MSK VPC'de mevcuttur.
- SSH'ye
MSK_Client
EC2 örneği.MSK_Client
örnek gerekli Kafka istemci kitaplıklarına ve Amazon MSK IAM JAR dosyasına sahiptir,client.properties
CloudFormation şablonunu kullanan uygun IAM rolüyle birlikte dosya ve buna eklenmiş bir örnek profili. - Eklemek
MSKClientSG
Aşağıdaki özelliklere sahip MSK güvenlik grubunun kaynağı olarak güvenlik grubu:- İçin Tip, seçmek Tüm Trafik.
- İçin Kaynak, seçmek Özel ve MSK Güvenlik Grubu.
Artık veri tüketmeye hazırsınız.
- Konuları listelemek için aşağıdaki komutu çalıştırın:
- Verileri tüketmek için
salesdb-server.salesdb.CUSTOMER
konu, aşağıdaki komutu kullanın:
Kafka tüketicisini EC2 makinenizde çalıştırdığınızda aşağıdakine benzer mesajları günlüğe kaydedebileceksiniz:
Uygulama test edilirken CUST_ID 1998, 1999 ve 2000 numaralı kayıtlar güncellenmiş olup bu kayıtlar loglarda mevcuttur.
Temizlemek
Herhangi bir ek maliyetten kaçınmak için bu gönderinin parçası olarak oluşturulan tüm kaynakları temizlemek her zaman iyi bir uygulamadır. Kaynaklarınızı temizlemek için MSK Kümesini, MSK Connect bağlantısını, EC2 bulut sunucularını, DNS sunucusunu, savunma ana bilgisayarını, S3 klasörünü, VPC'yi, alt ağları ve CloudWatch günlüklerini silin.
Ayrıca AWS CloudFormation'ı kullanarak oluşturduğunuz diğer tüm AWS kaynaklarını temizleyin. Bu kaynakları AWS CloudFormation konsolunda yığını silerek silebilirsiniz.
Sonuç
Bu yazıda MSK Connect'i özel bir DNS kullanarak kurma sürecini tartıştık. Bu özellik, bağlayıcıları genel veya özel etki alanı adlarına başvuracak şekilde yapılandırmanıza olanak tanır.
Başlangıç yükünü ve CDC kayıtlarını ayrı bir VPC'de barındırılan MySQL veritabanından alabiliyoruz ve DNS'sine dışarıdan erişilemiyor veya çözülemiyor. MSK Connect, MSK Connect özel DNS özelliğini kullanarak MySQL veritabanına bağlanabildi ve kayıtları kullanabildi. Özel DHCP seçenek seti VPC'ye eklendi; bu, DNS çözümlemesinin Route 53 yerine yerel DNS sunucusu kullanılarak gerçekleştirilmesini sağladı.
MSK Connect özel DNS desteği özelliği ile kendi VPC'niz ile çalışan veritabanlarınızı, veri ambarlarınızı ve gizli yöneticiler gibi sistemlerinizi internete erişilemez hale getirebilir ve bu sınırlamayı aşarak kurumsal güvenlik duruşunuza uyum sağlayabilirsiniz.
Daha fazla bilgi edinmek ve başlamak için bkz. MSK bağlantısı için özel DNS.
Yazar hakkında
Amar, Birleşik Krallık'taki Amazon AWS'de Kıdemli Çözüm Mimarıdır. Enerji, kamu hizmetleri, üretim ve otomotiv müşterileri genelinde stratejik uygulamalar üzerinde çalışıyor ve optimum iş sonuçlarına ulaşmak için AWS Streaming ve gelişmiş veri analizi çözümlerini kullanma konusunda uzmanlaşıyor.
- SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
- PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
- PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
- PlatoESG. karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
- PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
- Kaynak: https://aws.amazon.com/blogs/big-data/resolve-private-dns-hostnames-for-amazon-msk-connect/
- :vardır
- :dır-dir
- :olumsuzluk
- :Neresi
- $UP
- 1
- 14
- 160
- 1998
- 1999
- 2000
- 53
- 7
- 73
- 8
- 9
- a
- Yapabilmek
- Hakkımızda
- erişim
- ulaşılabilir
- Hesap
- onaylamak
- karşısında
- aktif
- eklemek
- Ek
- adres
- adresleri
- ileri
- Sonra
- Türkiye
- veriyor
- boyunca
- zaten
- her zaman
- Amazon
- Amazon EC2
- Amazon RDS'si
- Amazon Web Servisleri
- an
- analytics
- ve
- Başka
- herhangi
- Apache
- Apache Kafka
- Uygulama
- uygulamaları
- uygun
- mimari
- ARE
- AS
- yönleri
- At
- iliştirmek
- auth
- Doğrulama
- Oto
- otomatik olarak
- otomotiv
- kullanılabilirliği
- mevcut
- önlemek
- AWS
- AWS CloudFormation
- baz
- BE
- Çünkü
- önce
- arasında
- bağlamak
- Çizme atkısı
- komisyoncu
- broker
- bina
- yapılı
- iş
- fakat
- by
- CAN
- kabiliyet
- ele geçirmek
- CDC)
- değişiklik
- değişiklikler
- Klinik
- tıklayın
- müşteri
- istemciler
- Küme
- COM
- tamamlamak
- tamamen
- uymak
- bileşenler
- yapılandırma
- yapılandırılmış
- Sosyal medya
- bağ
- Bağlantı
- konsolos
- tüketmek
- tüketici
- devamlı olarak
- kontrol
- çekirdek
- Kurumsal
- doğru
- Ücret
- Çift
- yaratmak
- çevrimiçi kurslar düzenliyorlar.
- oluşturur
- oluşturma
- Şu anda
- görenek
- müşteri
- Müşteriler
- veri
- Veri Analizi
- veri depoları
- veritabanı
- veritabanları
- Varsayılan
- tanımlı
- teslim
- gösteriyor
- bağımlı
- bağlı
- dağıtmak
- açılma
- tanım
- ayrıntılar
- Cihaz
- farklı
- tartışılan
- dns
- do
- domain
- ALAN İSİMLERİ
- Dont
- indir
- sürücü
- Daha erken
- ya
- sağlamak
- sağlanmış
- Keşfet
- çevre
- Eter (ETH)
- her şey
- örnek
- mevcut
- uzatmak
- haricen
- Özellikler(Hazırlık aşamasında)
- az
- fileto
- dosyalar
- son
- bulmak
- akış
- odak
- takip et
- takip etme
- İçin
- itibaren
- tamamen
- geçit
- almak
- Vermek
- Go
- Tercih Etmenizin
- grup
- Grubun
- rehberlik
- donanım
- Var
- he
- Sağlık
- okuyun
- üst düzey
- tarih
- ev sahibi
- ev sahipliği yaptı
- ana
- Ancak
- HTML
- http
- HTTPS
- IAM
- ID
- belirlemek
- Kimlik
- if
- göstermektedir
- uygulamaları
- önemli
- in
- erişilemez
- dahil
- dahil
- bilgi
- Altyapı
- ilk
- kurmak
- Kurulum
- örnek
- durumlarda
- yerine
- talimatlar
- iç
- Internet
- içine
- Giriş
- IP
- IP Adresi
- IP adresleri
- IT
- ONUN
- jpg
- kafka
- tutmak
- anahtar
- sonra
- son
- başlatmak
- ÖĞRENİN
- kütüphaneler
- sevmek
- sınırlama
- çizgi
- hatları
- linux
- Liste
- yük
- yerel
- yer
- log
- makine
- yapmak
- yönetilen
- müdür
- Yöneticileri
- yönetir
- yönetme
- üretim
- usta
- Maç
- Mayıs..
- adı geçen
- Menü
- mesaj
- mesajları
- yöntemleri
- olabilir
- dakika
- izlemek
- monitörler
- Daha
- hareket
- çoklu
- MySQL
- isim
- adlı
- isimleri
- Gezin
- Navigasyon
- gerek
- ihtiyaçlar
- ağ
- yeni
- yeni
- sonraki
- yok hayır
- notlar
- şimdi
- of
- kapalı
- Teklifler
- on
- bir tek
- açık
- açık kaynak
- optimum
- seçenek
- Opsiyonlar
- or
- Diğer
- bizim
- sonuçlar
- tekrar
- Üstesinden gelmek
- kendi
- Kanal
- bölmesi
- parametre
- Bölüm
- Şifre
- geçmiş
- Yamalar
- yol
- başına
- yapılan
- izinleri
- yer
- Platon
- Plato Veri Zekası
- PlatoVeri
- fişe takmak
- noktaları
- Popüler
- Çivi
- postgreSQL
- güç kelimesini seçerim
- uygulama
- özel
- özel Anahtar
- süreç
- üretici
- PLATFORM
- üretim
- Profil
- özellikleri
- protokol
- sağlamak
- sağlanan
- sağlar
- halka açık
- alenen
- daha doğrusu
- uzanarak almak
- hazır
- nedenleri
- teslim almak
- son
- kayıt
- kayıtlar
- başvurmak
- referans
- bölge
- serbest
- Kaldır
- isteklerinizi
- gereklidir
- çözüm
- çözme
- kaynak
- Kaynaklar
- bu
- sonuç
- tutma
- Rol
- Rota
- yönlendirme
- Kural
- koşmak
- koşu
- aynı
- İndirim
- terazi
- Gizli
- Bölüm
- bölümler
- güvenlik
- görmek
- bölüm
- seçilmiş
- göndermek
- kıdemli
- ayrı
- sunucu
- sunucular
- hizmet
- Hizmetler
- set
- Setleri
- ayar
- ayarlar
- kurulum
- meli
- şov
- Gösteriler
- benzer
- Basit
- yer
- So
- çözüm
- Çözümler
- Kaynak
- uzmanlaşmış
- SQL
- kararlı
- yığın
- Aşama
- başladı
- Eyalet
- Durum
- adım
- Basamaklar
- Yine
- hafızası
- mağaza
- mağaza
- Stratejik
- akış
- alt
- altağlar
- Başarılı olarak
- böyle
- satıcı
- destek
- Destekler
- sistem
- Sistemler
- tablo
- Bizi daha iyi tanımak için
- görevleri
- şablon
- Test yapmak
- göre
- o
- The
- Kaynak
- UK
- ve bazı Asya
- sonra
- Orada.
- Bunlar
- onlar
- Re-Tweet
- üç
- verim
- zaman
- için
- konu
- Konular
- trafik
- transit
- öğretici
- iki
- tip
- tipik
- Uk
- altında
- altında yatan
- Güncelleme
- güncellenmiş
- Güncellemeler
- üzerine
- URL
- kullanım
- Kullanılmış
- kullanıcı
- kullanım
- kullanma
- kamu hizmetleri
- değer
- Değerler
- çeşitli
- versiyon
- Sanal
- beklemek
- örneklerde
- istemek
- oldu
- we
- ağ
- web hizmetleri
- İYİ
- vardı
- ne zaman
- hangi
- irade
- ile
- İş
- çalışır
- tatlım
- sen
- zefirnet
- zip
- bölgeleri