Amazon MSK Connect on ominaisuus Amazon hallinnoi suoratoistoa Apache Kafkalle (Amazon MSK), joka tarjoaa täysin hallitun Apache Kafka Connect -ympäristön AWS:ssä. MSK Connectin avulla voit ottaa käyttöön Kafka Connectille rakennettuja täysin hallittuja liittimiä, jotka siirtävät tietoja suosittuihin tietovarastoihin, kuten Amazon S3 ja Amazon OpenSearch Service, tai hakevat tietoja niistä. Käyttöönoton myötä Yksityinen DNS-tuki MSK Connectiin, liittimet pystyvät ratkaisemaan yksityisten asiakkaiden verkkotunnusten nimiä käyttämällä DNS-palvelimia, jotka on määritetty asiakkaan VPC DHCP -asetukset. Tämä viesti esittelee ratkaisun MSK Connectin asiakkaan VPC:ssä määritettyjen yksityisten DNS-isäntänimien ratkaisemiseen.
Saatat haluta käyttää yksityistä DNS-isäntänimien tukea MSK Connectissa useista syistä. Ennen MSK Connectin mukana tulevaa yksityistä DNS-selvitysominaisuutta se käytti DNS-ratkaisuun VPC DNS -ratkaisua. MSK Connect ei käyttänyt DNS-ratkaisuun asiakkaan VPC DHCP -asetussarjoissa määritettyjä yksityisiä DNS-palvelimia. Liittimet pystyivät viittaamaan vain sellaisiin liitinkokoonpanossa tai laajennuksessa oleviin isäntänimiin, jotka ovat julkisesti ratkaistavissa, eivätkä pystyneet ratkaisemaan yksityisessä isännöidyssä vyöhykkeessä määritettyjä yksityisiä isäntänimiä tai käyttämään toisen asiakasverkon DNS-palvelimia.
Monet asiakkaat varmistavat, että heidän sisäiset DNS-sovelluksensa eivät ole julkisesti ratkaistavissa. Sinulla voi esimerkiksi olla MySQL- tai PostgreSQL-tietokanta, etkä ehkä halua tietokannan DNS-nimen olevan julkisesti ratkaistavissa tai käytettävissä. Amazon Relational Database -palvelu (Amazon RDS) tai Amazon Aurora palvelimilla on DNS-nimiä, jotka ovat julkisesti selvitettävissä, mutta eivät ole käytettävissä. Sinulla voi olla useita sisäisiä sovelluksia, kuten tietokantoja, tietovarastoja tai muita järjestelmiä, joissa DNS-nimiä ei voida ratkaista julkisesti.
Äskettäin julkistetun MSK Connectin yksityisen DNS-tuen ansiosta voit määrittää liittimet viittaamaan julkisiin tai yksityisiin toimialuenimiin. Liittimet käyttävät DNS-palvelimia, jotka on määritetty VPC:n DHCP-asetusjoukossa verkkotunnusten ratkaisemiseen. Voit nyt käyttää MSK Connectia muodostaaksesi yksityisen yhteyden tietokantoihin, tietovarastoihin ja muihin VPC:n resursseihin täyttääksesi tietoturvatarpeesi.
Jos sinulla on MySQL- tai PostgreSQL-tietokanta yksityisellä DNS-palvelimella, voit määrittää sen mukautetussa DNS-palvelimessa ja määrittää VPC-kohtaisen DHCP-asetusjoukon suorittamaan DNS-ratkaisun käyttämällä mukautettua DNS-palvelinta, joka on paikallisesti VPC:ssä DNS-palvelun sijaan. resoluutio.
Ratkaisun yleiskatsaus
Asiakkaalla voi olla erilaisia arkkitehtuurivaihtoehtoja MSK Connectin määrittämiseksi. Esimerkiksi Amazon MSK ja MSK Connect voivat olla samassa VPC:ssä tai lähdejärjestelmässä VPC1:ssä ja Amazon MSK ja MSK Connect ovat VPC2:ssa tai lähdejärjestelmässä, Amazon MSK ja MSK Connect ovat kaikki eri VPC:issä.
Seuraavassa asennuksessa käytetään kahta erilaista VPC:tä, joissa MySQL VPC isännöi MySQL-tietokantaa ja MSK VPC isännöi Amazon MSK:ta, MSK Connectia, DNS-palvelinta ja monia muita komponentteja. Voit laajentaa tätä arkkitehtuuria tukemaan muita käyttöönottotopologioita käyttämällä asianmukaista AWS-henkilöllisyyden ja käyttöoikeuksien hallinta (IAM) käyttöoikeudet ja yhteysvaihtoehdot.
Tämä viesti sisältää vaiheittaiset ohjeet MSK Connectin määrittämiseksi, jossa se vastaanottaa tietoja MySQL-lähdetietokannasta yksityisellä DNS-isäntänimellä MySQL VPC:ssä ja lähettää tiedot Amazon MSK:lle käyttämällä MSK Connectia toisessa VPC:ssä. Seuraava kaavio havainnollistaa korkean tason arkkitehtuuria.
Asennusohjeet sisältävät seuraavat avainvaiheet:
- Määritä VPC:t, aliverkot ja muut infrastruktuurin ydinkomponentit.
- Asenna ja määritä DNS-palvelin.
- Lataa tiedot MySQL-tietokantaan.
- Ota käyttöön Amazon MSK ja MSK Connect ja käytä CDC-tietueita.
Edellytykset
Jotta voit seurata tämän viestin opetusohjelmaa, tarvitset seuraavat:
Luo tarvittava infrastruktuuri AWS CloudFormationin avulla
Ennen MSK Connectin määrittämistä meidän on määritettävä VPC:t, aliverkot ja muut infrastruktuurin ydinkomponentit. Voit määrittää resursseja AWS-tililläsi suorittamalla seuraavat vaiheet:
- Valita Käynnistä pino käynnistääksesi pinon alueella, joka tukee Amazon MSK:ta ja MSK Connectia.
- Määritä yksityinen avain, jota käytät yhteyden muodostamiseen EC2-instanssiin.
- Päivitä SSH-sijainti paikallisella IP-osoitteellasi ja säilytä muut arvot oletusarvoina.
- Valita seuraava.
- Tarkista yksityiskohdat viimeisellä sivulla ja valitse Tunnustan, että AWS CloudFormation saattaa luoda IAM-resursseja.
- Valita Luo pino ja odota tarvittavien resurssien luomista.
CloudFormation-malli luo tilillesi seuraavat keskeiset resurssit:
- VPC:t:
- MSK VPC
- MySQL VPC
- MSK VPC:n aliverkot:
- Kolme yksityistä aliverkkoa Amazon MSK:lle
- Yksityinen aliverkko DNS-palvelimelle
- Yksityinen aliverkko MSKClientille
- Julkinen aliverkko linnakeisännälle
- MySQL VPC:n aliverkot:
- MySQL-tietokannan yksityinen aliverkko
- Julkinen aliverkko linnakeisännälle
- Internet-yhdyskäytävä liitetty MySQL VPC:hen ja MSK VPC:hen
- NAT-yhdyskäytävät liitetty MySQL julkiseen aliverkkoon ja MSK julkiseen aliverkkoon
- Reittitaulukot tukemaan liikennevirtaa eri aliverkkojen välillä VPC:ssä ja VPC:iden välillä
- Peering-yhteys MySQL VPC:n ja MSK VPC:n välillä
- MySQL-tietokanta ja kokoonpanot
- DNS-palvelimen
- MSK-asiakas ja vastaavat kirjastot
Huomaa, jos käytät VPC peeringiä tai AWS Transit Gateway Kun käytät MSK Connectia, älä määritä liitintäsi saavuttamaan vertaisvertaiset VPC-resurssit, joiden IP-osoitteet ovat CIDR-alueella. Lisätietoja on kohdassa Yhdistäminen liittimistä.
Määritä DNS-palvelin
Määritä DNS-palvelin suorittamalla seuraavat vaiheet:
- Yhdistä DNS-palvelimeen. DNS-palvelimella on käytettävissä kolme määritystiedostoa
/home/ec2-user
kansio:named.conf
mysql.internal.zone
kafka.us-east-1.amazonaws.com.zone
- Asenna ja määritä DNS-palvelin suorittamalla seuraavat komennot:
- Päivitykset
/etc/named.conf
.
Päivitä allow-transfer-attribuuttia varten DNS-palvelimen sisäinen IP-osoite sallimaan siirto
{ localhost; <DNS Server internal IP address>; };.
Löydät DNS-palvelimen IP-osoitteen CloudFormation-mallista Lähdöt Tab.
Huomautuksia että MSK-klusteria ei ole vielä perustettu tässä vaiheessa. Meidän on päivitettävä Kafka-välittäjien DNS-nimet ja niiden sisäiset IP-osoitteet /var/named/kafka.region.amazonaws.com
määritystiedosto MSK-klusterin määrittämisen jälkeen myöhemmin tässä viestissä. Katso ohjeet täältä.
Huomaa myös, että nämä asetukset määrittävät DNS-palvelimen tälle viestille. Omassa ympäristössäsi voit määrittää DNS-palvelimen tarpeidesi mukaan.
- Käynnistä DNS-palvelu uudelleen:
Näet seuraavan viestin:
Lataa tiedot MySQL-tietokantaan
Tyypillisesti voimme käyttää Amazon RDS MySQL: lle tietokanta, mutta tässä viestissä käytämme mukautettuja MySQL-tietokantapalvelimia. Amazon RDS DNS on julkisesti saatavilla ja MSK Connect tukee sitä, mutta se ei aiemmin pystynyt tukemaan tietokantoja tai sovelluksia yksityisellä DNS:llä. Uusimman kanssa yksityiset DNS-isäntänimet ominaisuuden käynnistäminen, se voi tukea myös sovellusten yksityistä DNS:ää, joten käytämme MySQL-tietokantaa EC2-instanssissa.
Tämä asennus sisältää tietoja MySQL-tietokannan määrittämisestä yhden solmun EC2-ilmentymään. Tätä ei tule käyttää tuotantoasetuksissasi. Sinun tulee noudattaa asianmukaisia ohjeita MySQL:n määrittämisessä ja määrittämisessä tililläsi.
MySQL-tietokanta on jo määritetty käyttämällä CloudFormation-mallia ja on nyt käyttövalmis. Lataa tiedot suorittamalla seuraavat vaiheet:
- SSH MySQL EC2 -esiintymään. Katso ohjeet kohdasta Yhdistä Linux-esiintymääsi. Datatiedosto
salesdb.sql
on jo ladattu ja saatavilla alla/home/ec2-user
hakemistoon. - Kirjaudu mysqldb:hen käyttäjätunnuksella master.
- Päästäksesi salasanaan, siirry kohtaan AWS-järjestelmien päällikkö ja Parametrikauppa välilehti. valita /Tietokanta/Kirjautumistiedot/master ja klikkaa View Details ja kopioi avaimen arvo.
- Kirjaudu MySQL:ään käyttämällä seuraavaa komentoa:
- Luo seuraavat komennot
salesdb
tietokanta ja lataa tiedot taulukkoon:
Tämä lisää tietueet useisiin eri taulukoihin salesdb
tietokanta.
- Suorita näyttötaulukot nähdäksesi seuraavat taulukot
salesdb
:
Luo DHCP-asetusjoukko
DHCP-asetusjoukot antavat sinun hallita seuraavia virtuaaliverkon reitityksen näkökohtia:
- Voit hallita VPC:n laitteiden käyttämiä DNS-palvelimia, toimialuenimiä tai Network Time Protocol (NTP) -palvelimia.
- Voit poistaa DNS-resoluution kokonaan käytöstä VPC:ssäsi.
Yksityisen DNS:n tukemiseksi voit käyttää Amazon-reitti 53 yksityinen vyöhyke tai oma mukautettu DNS-palvelin. Jos käytät Route 53:n yksityistä vyöhykettä, asetukset toimivat automaattisesti, eikä MSK VPC:n DHCP-oletusasetukseen tarvitse tehdä muutoksia. Jos kyseessä on mukautettu DNS-palvelin, suorita seuraavat vaiheet määrittääksesi mukautetun DHCP-kokoonpanon käyttämällä Amazonin virtuaalinen yksityinen pilvi (Amazon VPC) ja liitä se MSK VPC:hen.
VPC:ssäsi on oletusarvoinen DHCP-vaihtoehto, joka on liitetty Amazonin toimittamaan DNS-palvelimeen. Tässä vaiheessa pyynnöt menevät Amazonin toimittamaan DNS-palvelimeen ratkaisemista varten. Luomme kuitenkin uuden DHCP-asetusjoukon, koska käytämme mukautettua DNS-palvelinta.
- Valitse Amazon VPC -konsolista DHCP-vaihtoehto asetettu navigointipaneelissa.
- Valita Luo DHCP-asetussarja.
- varten DHCP-asetusjoukon nimi, tulla sisään
MSKConnect_Private_DHCP_OptionSet
. - varten Verkkotunnus, tulla sisään
mysql.internal
. - varten Verkkotunnuksen nimipalvelin, anna DNS-palvelimen IP-osoite.
- Valita Luo DHCP-asetussarja.
- Siirry MSK VPC ja Toiminnot valikosta, valitse Muokkaa VPC-asetuksia.
- Valitse juuri luotu DHCP-asetusjoukko ja tallenna se.
Seuraava kuvakaappaus näyttää esimerkkikokoonpanot. - Siirry Amazon EC2 -konsolissa kohtaan
privateDNS_bastion_host
. - Valita Esineen tila ja Käynnistä ilmentymä uudelleen.
- Odota muutama minuutti ja juokse sitten
nslookup
linnakeisännästä; sen pitäisi pystyä ratkaisemaan se käyttämällä paikallista DNS-palvelinta Route 53:n sijaan:
Nyt perusinfrastruktuurin kokoonpano on valmis siirtymään seuraavaan vaiheeseen. Osana perusinfrastruktuuriamme olemme onnistuneesti määrittäneet seuraavat avainkomponentit:
- MSK ja MySQL VPC:t
- Aliverkot
- EC2-esiintymiä
- VPC peering
- Reittitaulukot
- NAT-yhdyskäytävät ja Internet-yhdyskäytävät
- DNS-palvelin ja kokoonpano
- Asianmukaiset suojausryhmät ja NACL:t
- MySQL-tietokanta, jossa on tarvittavat tiedot
Tässä vaiheessa MySQL DB DNS-nimi voidaan ratkaista käyttämällä mukautettua DNS-palvelinta Route 53:n sijaan.
Määritä MSK-klusteri ja MSK Connect
Seuraava vaihe on ottaa käyttöön MSK-klusteri ja MSK Connect, joka hakee tietueita salesdb
ja lähetä se osoitteeseen Amazonin yksinkertainen tallennuspalvelu (Amazon S3) ämpäri. Tässä osiossa annamme esittelyn MySQL-tietokannan replikointiin (salesdb
) Amazon MSK:lle käyttämällä Debezium, avoimen lähdekoodin liitin. Liitin tarkkailee tietokannan muutoksia ja tallentaa kaikki muutokset taulukoihin.
MSK Connectin avulla voit suorittaa täysin hallittuja Apache Kafka Connect -työkuormia AWS:ssä. MSK Connect hankkii tarvittavat resurssit ja perustaa klusterin. Se tarkkailee jatkuvasti liittimien kuntoa ja toimitustilaa, korjaa ja hallitsee taustalla olevia laitteistoja sekä skaalaa liittimet automaattisesti vastaamaan suorituskyvyn muutoksia. Tämän seurauksena voit keskittää resurssit sovellusten rakentamiseen infrastruktuurin hallintaan.
MSK Connect käyttää mukautettua DNS-palvelinta VPC:ssä, eikä se ole riippuvainen reitistä 53.
Luo MSK-klusterin kokoonpano
Luo MSK-klusteri suorittamalla seuraavat vaiheet:
- Valitse Amazon MSK -konsolissa Klusterikokoonpanot varten MSK-klusterit navigointipaneelissa.
- Valita Luo kokoonpano.
- Nimeä kokoonpano
mskc-tutorial-cluster-configuration
. - Alle Kokoonpanon ominaisuudet, poista kaikki ja lisää rivi
auto.create.topics.enable=true
. - Valita luoda.
Luo MSK-klusteri ja liitä kokoonpano
Seuraavassa vaiheessa liitämme tämän kokoonpanon klusteriin. Suorita seuraavat vaiheet:
- Valitse Amazon MSK -konsolissa Klusterit varten MSK-klusterit navigointipaneelissa.
- Valita Luo klustereita ja Mukautettu luominen.
- Anna klusterin nimi
mkc-tutorial-cluster
. - Alle Yleiset klusterin ominaisuudet, valitse Varustettu klusterityypille ja käytä Apache Kafkan oletusversiota 2.8.1.
- Käytä kaikkia oletusasetuksia Välittäjät ja varastointi osissa.
- Alle Kokoonpanot, valitse Mukautettu kokoonpano.
- valita
mskc-tutorial-cluster-configuration
sopivalla tarkistuksella ja valitse seuraava. - Alle Networking, valitse MSK VPC.
- Valitse saatavuusalueet alueesi mukaan, kuten
us-east1a
,us-east1b
jaus-east1c
, ja vastaavat yksityiset aliverkotMSK-Private-1
,MSK-Private-2
jaMSK-Private-3
jos oletus-east-1
Alue. Näiden välittäjien julkisen pääsyn pitäisi olla pois päältä. - Kopioi suojausryhmän tunnus Valitut turvaryhmät.
- Valita seuraava.
- Alle Kulunvalvontamenetelmät, valita IAM-roolipohjainen todennus.
- In Salaus kohta, alla Asiakkaiden ja välittäjien välillä, TLS-salaus valitaan oletusarvoisesti.
- varten Encrypt data levossavalitse Käytä AWS-hallittua avainta.
- Käytä oletusasetuksia Seuranta ja valitse Perusvalvonta.
- valita Toimita Amazon CloudWatch -lokeihin.
- Alle Lokiryhmä, valitse käy Amazon CloudWatch Logs -konsolissa.
- Valita Luo lokiryhmä.
- Kirjoita lokiryhmän nimi ja valitse luoda.
- Palaa Valvonta ja tunnisteet sivu ja alla Lokiryhmät, valitse Valitse lokiryhmä
- Valita seuraava.
- Tarkista kokoonpanot ja valitse Luo klusteri. Sinut ohjataan klusterin tietosivulle.
- Alle Turvaryhmiä on otettu käyttöön, merkitse muistiin myöhemmässä vaiheessa käytettävä suojausryhmän tunnus.
Klusterin luominen voi kestää tyypillisesti 25–30 minuuttia. Sen tila muuttuu aktiiviseksi, kun se on luotu onnistuneesti.
Päivitä /var/named/kafka.region.amazonaws.com vyöhyketiedosto
Ennen kuin luot MSK-liittimen, päivitä DNS-palvelimen määritykset MSK-klusterin tiedoilla.
- Saadaksesi luettelon bootstrap-palvelimen DNS:stä ja vastaavista IP-osoitteista, siirry klusteriin ja valitse Katso asiakastiedot.
- Kopioi käynnistyspalvelimen tiedot IAM-todennustyypillä.
- Voit tunnistaa välittäjän IP-osoitteet käyttämällä
nslookup
paikalliselta koneeltasi ja se antaa sinulle välittäjän paikallisen IP-osoitteen. Tällä hetkellä VPC:si osoittaa viimeisimpään DHCP-asetussarjaan, eikä DNS-palvelin pysty ratkaisemaan näitä DNS-nimiä VPC:stäsi.
Nyt voit kirjautua DNS-palvelimelle ja päivittää eri välittäjien tietueet ja vastaavat IP-osoitteet /var/named/kafka.region.amazonaws.com
tiedosto.
- Lataa
msk-access.pem
tiedostoBastionHostInstance
paikalliselta koneeltasi: - Kirjaudu DNS-palvelimelle ja avaa
/var/named/kafka.region.amazonaws.com
tiedosto ja päivitä seuraavat rivit oikeilla MSK-välittäjän DNS-nimillä ja vastaavilla IP-osoitteilla:
Huomaa, että sinun on annettava välittäjän DNS, kuten aiemmin mainittiin. Poista .kafka.<region id>.amazonaws.com
välittäjän DNS-nimestä.
- Käynnistä DNS-palvelu uudelleen:
Näet seuraavan viestin:
Mukautettu DNS-palvelimesi on nyt käynnissä ja sinun pitäisi pystyä ratkaisemaan DNS-välittäjien nimien avulla sisäisen DNS-palvelimen avulla.
Päivitä suojausryhmä MySQL-tietokannan ja MSK Connectin välistä yhteyttä varten
On tärkeää, että MSK Connectin ja MySQL-tietokannan välillä on oikea yhteys. Suorita seuraavat vaiheet:
- Siirry Amazon MSK -konsolissa MSK-klusteriin ja sen alle Verkkoasetukset, kopioi suojausryhmä.
- Valitse Amazon EC2 -konsolissa Suojausryhmät navigointipaneelissa.
- Muokkaa suojausryhmää
MySQL_SG
Ja valitse Lisää sääntö. - Lisää sääntö, jonka tyypiksi on MySQL/Aurora ja lähteen saapuvaksi resurssiksi MSK-suojausryhmä.
- Valita Tallenna säännöt.
Luo MSK-liitin
Luo MSK-liitin suorittamalla seuraavat vaiheet:
- Valitse Amazon MSK -konsolissa Liittimet varten MSK Connect navigointipaneelissa.
- Valita Luo liitin.
- valita Luo mukautettu laajennus.
- Lataa MySQL-liitinlaajennus saadaksesi uusimman vakaan julkaisun osoitteesta Debezium sivusto tai lataus Debezium.zip.
- Lataa MySQL-liittimen zip-tiedosto S3-säihöön.
- Kopioi tiedoston URL-osoite, esim
s3://<bucket name>/Debezium.zip
. - Palaa Valitse mukautettu laajennus sivu ja anna S3-tiedostopolku S3 URI.
- varten Muokattu laajennuksen nimi, tulla sisään
mysql-plugin
. - Valita seuraava.
- varten Nimi, tulla sisään
mysql-connector
. - varten Kuvaus, anna liittimen kuvaus.
- varten Klusterin tyyppi, valitse MSK-klusteri.
- Valitse luettelosta olemassa oleva klusteri (tätä viestiä varten,
mkc-tutorial-cluster
). - Määritä todennustyyppi muodossa IAM.
- Käytä seuraavia arvoja Liittimen kokoonpano:
- Päivitä seuraavat liitinkokoonpanot:
- varten Kapasiteetin tyyppi, valitse Varustettu.
- varten MCU-määrä työntekijää kohti, kirjoita 1.
- varten Työntekijöiden lukumäärä, kirjoita 1.
- valita Käytä MSK:n oletuskokoonpanoa.
- In Käyttöoikeudet -osassa Valitse palvelurooli valikosta, valitse
MSK-Connect-PrivateDNS-MySQLConnector*
, valitse sitten seuraava. - In Turvallisuus -osiossa, säilytä oletusasetukset.
- In Lokit , valitse Toimita Amazon CloudWatch -lokit.
- Valita käy Amazon CloudWatch Logs -konsolissa.
- Alle Lokit valitse siirtymisruudussa Lokiryhmä.
- Valita Luo lokiryhmä.
- Anna lokiryhmän nimi, säilytysasetukset ja tunnisteet ja valitse sitten luoda.
- Palaa liittimen luontisivulle ja valitse Selaa lokiryhmää.
- Valitse
AmazonMSKConnect
lokiryhmä ja valitse sitten seuraava. - Tarkista kokoonpanot ja valitse Luo liitin.
Odota, että liittimen luontiprosessi on valmis (noin 10–15 minuuttia).
MSK Connect -liitin on nyt käytössä. Voit kirjautua MySQL-tietokantaan käyttäjätunnuksellasi ja tehdä pari tietuemuutosta asiakastaulukkotietueeseen. MSK Connect pystyy vastaanottamaan CDC-tietueita, ja tietokannan päivitykset ovat saatavilla MSK:ssa aihe.
Käytä viestejä MSK-aiheesta
Jos haluat käyttää MSK-aiheen viestejä, suorita Kafka-kuluttaja osoitteessa MSK_Client
EC2-instanssi saatavilla MSK VPC:ssä.
- SSH:lle
MSK_Client
EC2 esimerkki. TheMSK_Client
instanssilla on tarvittavat Kafka-asiakaskirjastot, Amazon MSK IAM JAR -tiedosto,client.properties
tiedosto ja siihen liitetty ilmentymäprofiili sekä sopiva IAM-rooli CloudFormation-mallin avulla. - Lisää
MSKClientSG
suojausryhmä MSK-suojausryhmän lähteenä, jolla on seuraavat ominaisuudet:- varten Tyyppi, valitse Kaikki liikenne.
- varten lähde, valitse Custom ja MSK Security Group.
Nyt olet valmis käyttämään dataa.
- Listaa aiheet suorittamalla seuraava komento:
- Käyttääksesi tietoja
salesdb-server.salesdb.CUSTOMER
topic, käytä seuraavaa komentoa:
Suorita Kafka-kuluttaja EC2-laitteessasi ja voit kirjata seuraavankaltaisia viestejä:
Sovellusta testattaessa päivitettiin tietueita CUST_ID 1998, 1999 ja 2000, ja nämä tietueet ovat saatavilla lokeissa.
Puhdistaa
On aina hyvä käytäntö puhdistaa kaikki osana tätä viestiä luodut resurssit lisäkulujen välttämiseksi. Puhdistaaksesi resurssit, poista MSK-klusteri, MSK Connect -yhteys, EC2-esiintymät, DNS-palvelin, linnakeisäntä, S3-säilö, VPC, aliverkot ja CloudWatch-lokit.
Lisäksi puhdista kaikki muut AWS-resurssit, jotka loit AWS CloudFormationin avulla. Voit poistaa nämä resurssit AWS CloudFormation -konsolista poistamalla pinon.
Yhteenveto
Tässä viestissä keskustelimme MSK Connectin määrittämisestä yksityisen DNS:n avulla. Tämän ominaisuuden avulla voit määrittää liittimet viittaamaan julkisiin tai yksityisiin toimialuenimiin.
Pystymme vastaanottamaan alkuperäiset lataus- ja CDC-tietueet MySQL-tietokannasta, joka on isännöity erillisessä VPC:ssä, ja sen DNS ei ole käytettävissä tai ratkaistavissa ulkoisesti. MSK Connect pystyi muodostamaan yhteyden MySQL-tietokantaan ja kuluttamaan tietueita MSK Connectin yksityisen DNS-ominaisuuden avulla. Mukautettu DHCP-asetusjoukko liitettiin VPC:hen, mikä varmisti, että DNS-selvitys suoritettiin käyttämällä paikallista DNS-palvelinta Route 53:n sijaan.
MSK Connect -yksityisen DNS-tukiominaisuuden avulla voit tehdä tietokannoistasi, tietovarastoistasi ja järjestelmistäsi, kuten oman VPC:si kanssa työskentelevistä salaisista hallintajärjestelmistäsi Internetin ulottumattomissa, ja pystyt voittamaan tämän rajoituksen ja noudattamaan yrityksesi suojausasentoa.
Lisätietoja ja aloittaaksesi, katso yksityinen DNS MSK-yhteydelle.
Kirjailijasta
Amar on vanhempi ratkaisuarkkitehti Amazon AWS:ssä Isossa-Britanniassa. Hän työskentelee sähkö-, sähkö-, tuotanto- ja autoteollisuuden asiakkailla strategisten toteutusten parissa. Hän on erikoistunut AWS Streamingin ja edistyneiden data-analytiikkaratkaisujen käyttöön optimaalisen liiketoiminnan saavuttamiseksi.
- SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
- PlatoData.Network Vertical Generatiivinen Ai. Vahvista itseäsi. Pääsy tästä.
- PlatoAiStream. Web3 Intelligence. Tietoa laajennettu. Pääsy tästä.
- PlatoESG. hiili, CleanTech, energia, ympäristö, Aurinko, Jätehuolto. Pääsy tästä.
- PlatonHealth. Biotekniikan ja kliinisten kokeiden älykkyys. Pääsy tästä.
- Lähde: https://aws.amazon.com/blogs/big-data/resolve-private-dns-hostnames-for-amazon-msk-connect/
- :on
- :On
- :ei
- :missä
- $ YLÖS
- 1
- 14
- 160
- 1998
- 1999
- 2000
- 53
- 7
- 73
- 8
- 9
- a
- pystyy
- Meistä
- pääsy
- saatavilla
- Tili
- tunnustaa
- poikki
- aktiivinen
- lisätä
- lisä-
- osoite
- osoitteet
- kehittynyt
- Jälkeen
- Kaikki
- mahdollistaa
- pitkin
- jo
- aina
- Amazon
- Amazon EC2
- Amazon RDS
- Amazon Web Services
- an
- Analytics
- ja
- Toinen
- Kaikki
- Apache
- Apache Kafka
- Hakemus
- sovellukset
- sopiva
- arkkitehtuuri
- OVAT
- AS
- näkökohdat
- At
- liittää
- auth
- Authentication
- auto
- automaattisesti
- Automotive
- saatavuus
- saatavissa
- välttää
- AWS
- AWS-pilven muodostuminen
- pohja
- BE
- koska
- ennen
- välillä
- sitovat
- Bootstrap
- välittäjä
- välittäjät
- Rakentaminen
- rakennettu
- liiketoiminta
- mutta
- by
- CAN
- valmiudet
- kaapata
- CDC
- muuttaa
- Muutokset
- Valita
- napsauttaa
- asiakas
- asiakkaat
- Cluster
- KOM
- täydellinen
- täysin
- noudatettava
- osat
- Konfigurointi
- määritetty
- kytkeä
- liitäntä
- Liitännät
- Console
- kuluttaa
- kuluttaja
- jatkuvasti
- ohjaus
- Ydin
- Yrityksen
- korjata
- Hinta
- Pari
- luoda
- luotu
- luo
- luominen
- Tällä hetkellä
- asiakassuhde
- asiakas
- Asiakkaat
- tiedot
- Data Analytics
- tietovarastot
- tietokanta
- tietokannat
- oletusarvo
- määritelty
- toimitus
- osoittaa
- riippuvainen
- Riippuen
- sijoittaa
- käyttöönotto
- kuvaus
- yksityiskohdat
- Laitteet
- eri
- keskusteltiin
- dns
- do
- verkkotunnuksen
- DOMAIN-NIMET
- Dont
- download
- ajaa
- Aikaisemmin
- myöskään
- varmistaa
- varmistettu
- enter
- ympäristö
- Eetteri (ETH)
- kaikki
- esimerkki
- olemassa
- laajentaa
- ulkoisesti
- Ominaisuus
- harvat
- filee
- Asiakirjat
- lopullinen
- Löytää
- virtaus
- Keskittää
- seurata
- jälkeen
- varten
- alkaen
- täysin
- portti
- saada
- Antaa
- Go
- hyvä
- Ryhmä
- Ryhmän
- ohjaus
- Tarvikkeet
- Olla
- he
- terveys
- tätä
- korkean tason
- historia
- isäntä
- isännöi
- isännät
- Kuitenkin
- HTML
- http
- HTTPS
- IAM
- ID
- tunnistaa
- Identiteetti
- if
- havainnollistaa
- toteutukset
- tärkeä
- in
- luoksepääsemätön
- sisältää
- mukana
- tiedot
- Infrastruktuuri
- ensimmäinen
- asentaa
- asennus
- esimerkki
- tapauksia
- sen sijaan
- ohjeet
- sisäinen
- Internet
- tulee
- esittely
- IP
- IP-osoite
- IP-osoitteita
- IT
- SEN
- jpg
- Kafka
- Pitää
- avain
- myöhemmin
- uusin
- käynnistää
- OPPIA
- kirjastot
- pitää
- rajoitus
- linja
- linjat
- linux
- Lista
- kuormitus
- paikallinen
- sijainti
- log
- kone
- tehdä
- onnistui
- johtaja
- Päättäjät
- hallinnoi
- toimitusjohtaja
- valmistus
- mestari
- ottelu
- Saattaa..
- mainitsi
- valikko
- viesti
- viestien
- menetelmät
- ehkä
- pöytäkirja
- monitori
- näytöt
- lisää
- liikkua
- moninkertainen
- MySQL
- nimi
- nimetty
- nimet
- Navigoida
- suunnistus
- Tarve
- tarpeet
- verkko
- Uusi
- hiljattain
- seuraava
- Nro
- huomata
- nyt
- of
- pois
- Tarjoukset
- on
- vain
- avata
- avoimen lähdekoodin
- optimaalinen
- Vaihtoehto
- Vaihtoehdot
- or
- Muut
- meidän
- tuloksiin
- yli
- Voittaa
- oma
- sivulla
- lasi
- parametri
- osa
- Salasana
- Ohi
- Merkit
- polku
- varten
- suoritettu
- Oikeudet
- Paikka
- Platon
- Platonin tietotieto
- PlatonData
- kytkeä
- pistettä
- Suosittu
- Kirje
- PostgreSQL
- teho
- harjoitusta.
- yksityinen
- yksityinen avain
- prosessi
- tuottaja
- Tuotteet
- tuotanto
- Profiili
- ominaisuudet
- protokolla
- toimittaa
- mikäli
- tarjoaa
- julkinen
- julkisesti
- pikemminkin
- päästäisiin
- valmis
- syistä
- vastaanottaa
- äskettäinen
- ennätys
- asiakirjat
- katso
- viite
- alue
- vapauta
- poistaa
- pyynnöt
- tarvitaan
- päätöslauselma
- ratkaiseminen
- resurssi
- Esittelymateriaalit
- ne
- johtua
- säilyttäminen
- Rooli
- Reitti
- reititys
- Sääntö
- ajaa
- juoksu
- sama
- Säästä
- asteikot
- salaisuus
- Osa
- osiot
- turvallisuus
- nähdä
- segmentti
- valittu
- lähettää
- vanhempi
- erillinen
- palvelin
- palvelimet
- palvelu
- Palvelut
- setti
- Setit
- asetus
- settings
- setup
- shouldnt
- näyttää
- Näytä
- samankaltainen
- Yksinkertainen
- paikka
- So
- ratkaisu
- Ratkaisumme
- lähde
- erikoistunut
- SQL
- vakaa
- pino
- Vaihe
- alkoi
- Osavaltio
- Tila
- Vaihe
- Askeleet
- Yhä
- Levytila
- verkkokaupasta
- varastot
- Strateginen
- streaming
- aliverkon
- aliverkkoon
- Onnistuneesti
- niin
- toimittaja
- tuki
- Tukee
- järjestelmä
- järjestelmät
- taulukko
- ottaa
- tehtävät
- sapluuna
- Testaus
- kuin
- että
- -
- Lähde
- UK
- heidän
- sitten
- Siellä.
- Nämä
- ne
- tätä
- kolmella
- suoritusteho
- aika
- että
- aihe
- Aiheet
- liikenne
- kauttakulku
- oppitunti
- kaksi
- tyyppi
- tyypillisesti
- Uk
- varten
- taustalla oleva
- Päivitykset
- päivitetty
- Päivitykset
- päälle
- URL
- käyttää
- käytetty
- käyttäjä
- käyttötarkoituksiin
- käyttämällä
- apuohjelmia
- arvo
- arvot
- eri
- versio
- Virtual
- odottaa
- läpikäynti
- haluta
- oli
- we
- verkko
- verkkopalvelut
- HYVIN
- olivat
- kun
- joka
- tulee
- with
- Referenssit
- toimii
- yaml
- te
- Sinun
- zephyrnet
- Postinumero
- alueet