Amazon MSK Connect είναι ένα χαρακτηριστικό του Amazon Managed Streaming για το Apache Kafka (Amazon MSK) που προσφέρει ένα πλήρως διαχειριζόμενο περιβάλλον Apache Kafka Connect στο AWS. Με το MSK Connect, μπορείτε να αναπτύξετε πλήρως διαχειριζόμενες συνδέσεις που έχουν δημιουργηθεί για το Kafka Connect, οι οποίες μεταφέρουν δεδομένα ή αντλούν δεδομένα από δημοφιλή καταστήματα δεδομένων, όπως το Amazon S3 και η υπηρεσία Amazon OpenSearch Service. Με την εισαγωγή του Ιδιωτική υποστήριξη DNS στο MSK Connect, οι εφαρμογές σύνδεσης είναι σε θέση να επιλύουν ονόματα τομέων ιδιωτικών πελατών, χρησιμοποιώντας τους διακομιστές DNS τους που έχουν διαμορφωθεί στο σύνολο Επιλογών VPC DHCP πελάτη. Αυτή η ανάρτηση παρουσιάζει μια λύση για την επίλυση ιδιωτικών ονομάτων κεντρικών υπολογιστών DNS που ορίζονται σε ένα VPC πελάτη για το MSK Connect.
Μπορεί να θέλετε να χρησιμοποιήσετε την υποστήριξη ιδιωτικού ονόματος κεντρικού υπολογιστή DNS για το MSK Connect για πολλούς λόγους. Πριν από τη δυνατότητα ιδιωτικής ανάλυσης DNS που περιλαμβάνεται στο MSK Connect, χρησιμοποιούσε την υπηρεσία ανάλυσης DNS VPC για ανάλυση DNS. Το MSK Connect δεν χρησιμοποίησε τους ιδιωτικούς διακομιστές DNS που ορίζονται στα σετ επιλογών VPC DHCP πελάτη για ανάλυση DNS. Οι εφαρμογές σύνδεσης μπορούσαν να αναφέρουν μόνο ονόματα κεντρικών υπολογιστών στη διαμόρφωση ή την προσθήκη σύνδεσης που μπορούν να επιλυθούν δημόσια και δεν μπορούσαν να επιλύσουν ιδιωτικά ονόματα κεντρικών υπολογιστών που ορίστηκαν είτε σε ιδιωτική φιλοξενούμενη ζώνη είτε να χρησιμοποιήσουν διακομιστές DNS σε άλλο δίκτυο πελατών.
Πολλοί πελάτες διασφαλίζουν ότι οι εσωτερικές τους εφαρμογές DNS δεν μπορούν να επιλυθούν δημόσια. Για παράδειγμα, μπορεί να έχετε μια βάση δεδομένων MySQL ή PostgreSQL και μπορεί να μην θέλετε το όνομα DNS για τη βάση δεδομένων σας να είναι δημόσια επίλυση ή πρόσβαση. Υπηρεσία σχεσιακής βάσης δεδομένων Amazon (Amazon RDS) ή Amazon-Aurora Οι διακομιστές έχουν ονόματα DNS που επιλύονται δημόσια αλλά δεν είναι προσβάσιμα. Μπορείτε να έχετε πολλές εσωτερικές εφαρμογές, όπως βάσεις δεδομένων, αποθήκες δεδομένων ή άλλα συστήματα όπου τα ονόματα DNS δεν επιλύονται δημόσια.
Με την πρόσφατη κυκλοφορία της υποστήριξης ιδιωτικού DNS του MSK Connect, μπορείτε να διαμορφώσετε τις συνδέσεις ώστε να αναφέρονται σε δημόσια ή ιδιωτικά ονόματα τομέα. Οι σύνδεσμοι χρησιμοποιούν τους διακομιστές DNS που έχουν ρυθμιστεί στην επιλογή DHCP του VPC για την επίλυση ονομάτων τομέα. Τώρα μπορείτε να χρησιμοποιήσετε το MSK Connect για ιδιωτική σύνδεση με βάσεις δεδομένων, αποθήκες δεδομένων και άλλους πόρους στο VPC σας για να συμμορφωθείτε με τις ανάγκες ασφαλείας σας.
Εάν έχετε μια βάση δεδομένων MySQL ή PostgreSQL με ιδιωτικό DNS, μπορείτε να τη διαμορφώσετε σε έναν προσαρμοσμένο διακομιστή DNS και να ρυθμίσετε τις παραμέτρους της επιλογής DHCP για το VPC ώστε να κάνει την ανάλυση DNS χρησιμοποιώντας τον προσαρμοσμένο διακομιστή DNS τοπικό στο VPC αντί να χρησιμοποιείτε την υπηρεσία DNS ανάλυση.
Επισκόπηση λύσεων
Ένας πελάτης μπορεί να έχει διαφορετικές επιλογές αρχιτεκτονικής για να ρυθμίσει το MSK Connect. Για παράδειγμα, μπορούν να έχουν το Amazon MSK και το MSK Connect είναι στο ίδιο VPC ή σύστημα πηγής στο VPC1 και το Amazon MSK και το MSK Connect είναι στο VPC2 ή το σύστημα πηγής, το Amazon MSK και το MSK Connect είναι όλα σε διαφορετικά VPC.
Η ακόλουθη εγκατάσταση χρησιμοποιεί δύο διαφορετικά VPC, όπου το MySQL VPC φιλοξενεί τη βάση δεδομένων MySQL και το MSK VPC φιλοξενεί το Amazon MSK, το MSK Connect, τον διακομιστή DNS και διάφορα άλλα στοιχεία. Μπορείτε να επεκτείνετε αυτήν την αρχιτεκτονική για να υποστηρίξετε άλλες τοπολογίες ανάπτυξης χρησιμοποιώντας την κατάλληλη Διαχείριση ταυτότητας και πρόσβασης AWS Άδειες (IAM) και επιλογές συνδεσιμότητας.
Αυτή η ανάρτηση παρέχει οδηγίες βήμα προς βήμα για τη ρύθμιση του MSK Connect όπου θα λαμβάνει δεδομένα από μια βάση δεδομένων πηγής MySQL με ιδιωτικό όνομα κεντρικού υπολογιστή DNS στο MySQL VPC και θα στέλνει δεδομένα στο Amazon MSK χρησιμοποιώντας το MSK Connect σε άλλο VPC. Το παρακάτω διάγραμμα απεικονίζει την αρχιτεκτονική υψηλού επιπέδου.
Οι οδηγίες εγκατάστασης περιλαμβάνουν τα ακόλουθα βασικά βήματα:
- Ρυθμίστε τα VPC, τα υποδίκτυα και άλλα στοιχεία βασικής υποδομής.
- Εγκαταστήστε και διαμορφώστε τον διακομιστή DNS.
- Ανεβάστε τα δεδομένα στη βάση δεδομένων MySQL.
- Αναπτύξτε τα Amazon MSK και MSK Connect και καταναλώστε τις εγγραφές καταγραφής δεδομένων αλλαγής (CDC).
Προϋποθέσεις
Για να ακολουθήσετε το σεμινάριο σε αυτήν την ανάρτηση, χρειάζεστε τα εξής:
Δημιουργήστε την απαιτούμενη υποδομή χρησιμοποιώντας το AWS CloudFormation
Πριν διαμορφώσουμε το MSK Connect, πρέπει να ρυθμίσουμε τα VPC, τα υποδίκτυα και άλλα στοιχεία βασικής υποδομής. Για να ρυθμίσετε πόρους στον λογαριασμό σας AWS, ολοκληρώστε τα παρακάτω βήματα:
- Επιλέξτε Εκκίνηση στοίβας για την εκκίνηση της στοίβας σε μια περιοχή που υποστηρίζει το Amazon MSK και το MSK Connect.
- Καθορίστε το ιδιωτικό κλειδί που χρησιμοποιείτε για τη σύνδεση με τις παρουσίες EC2.
- Ενημερώστε τη θέση SSH με την τοπική σας διεύθυνση IP και διατηρήστε τις άλλες τιμές ως προεπιλογές.
- Επιλέξτε Επόμενο.
- Ελέγξτε τις λεπτομέρειες στην τελική σελίδα και επιλέξτε Αναγνωρίζω ότι το AWS CloudFormation μπορεί να δημιουργήσει πόρους IAM.
- Επιλέξτε Δημιουργία στοίβας και περιμένετε να δημιουργηθούν οι απαιτούμενοι πόροι.
Το πρότυπο CloudFormation δημιουργεί τους ακόλουθους βασικούς πόρους στο λογαριασμό σας:
- VPC:
- MSK VPC
- MySQL VPC
- Υποδίκτυα στο MSK VPC:
- Τρία ιδιωτικά υποδίκτυα για το Amazon MSK
- Ιδιωτικό υποδίκτυο για διακομιστή DNS
- Ιδιωτικό υποδίκτυο για MSKClient
- Δημόσιο υποδίκτυο για τον κεντρικό υπολογιστή προμαχώνων
- Υποδίκτυα στο MySQL VPC:
- Ιδιωτικό υποδίκτυο για τη βάση δεδομένων MySQL
- Δημόσιο υποδίκτυο για τον κεντρικό υπολογιστή προμαχώνων
- Πύλη Διαδικτύου συνδεδεμένη με το MySQL VPC και το MSK VPC
- Πύλες NAT συνδεδεμένες στο δημόσιο υποδίκτυο MySQL και στο δημόσιο υποδίκτυο MSK
- Πίνακες δρομολογήσεων για την υποστήριξη της ροής κίνησης μεταξύ διαφορετικών υποδικτύων σε ένα VPC και μεταξύ των VPC
- Ομοτίμηση σύνδεση μεταξύ του MySQL VPC και του MSK VPC
- Βάση δεδομένων MySQL και διαμορφώσεις
- Διακομιστή DNS
- πελάτης MSK με αντίστοιχες βιβλιοθήκες
Λάβετε υπόψη σας, εάν χρησιμοποιείτε peering VPC ή AWS Transit Gateway Με το MSK Connect, μην διαμορφώνετε την υποδοχή σύνδεσης ώστε να προσεγγίζει τους ομότιμους πόρους VPC με IP στις περιοχές CIDR. Για περισσότερες πληροφορίες, ανατρέξτε στο Σύνδεση από συνδέσμους.
Ρυθμίστε τις παραμέτρους του διακομιστή DNS
Ολοκληρώστε τα παρακάτω βήματα για να ρυθμίσετε τις παραμέτρους του διακομιστή DNS:
- Συνδεθείτε στον διακομιστή DNS. Υπάρχουν τρία αρχεία διαμόρφωσης διαθέσιμα στον διακομιστή DNS κάτω από το
/home/ec2-user
φάκελο:named.conf
mysql.internal.zone
kafka.us-east-1.amazonaws.com.zone
- Εκτελέστε τις ακόλουθες εντολές για να εγκαταστήσετε και να ρυθμίσετε τον διακομιστή DNS σας:
- Ενημέρωση
/etc/named.conf
.
Για το χαρακτηριστικό allow-transfer, ενημερώστε την εσωτερική διεύθυνση IP του διακομιστή DNS σε allow-transfer
{ localhost; <DNS Server internal IP address>; };.
Μπορείτε να βρείτε τη διεύθυνση IP του διακομιστή DNS στο πρότυπο CloudFormation Έξοδοι Tab.
Note ότι το σύμπλεγμα MSK δεν έχει ακόμη ρυθμιστεί σε αυτό το στάδιο. Πρέπει να ενημερώσουμε τα ονόματα DNS του μεσίτη Kafka και τις αντίστοιχες εσωτερικές τους διευθύνσεις IP στο /var/named/kafka.region.amazonaws.com
αρχείο ρυθμίσεων μετά τη ρύθμιση του συμπλέγματος MSK αργότερα σε αυτήν την ανάρτηση. Για οδηγίες, ανατρέξτε εδώ.
Σημειώστε επίσης ότι αυτές οι ρυθμίσεις διαμορφώνουν τον διακομιστή DNS για αυτήν την ανάρτηση. Στο δικό σας περιβάλλον, μπορείτε να διαμορφώσετε τον διακομιστή DNS σύμφωνα με τις ανάγκες σας.
- Επανεκκινήστε την υπηρεσία DNS:
Θα πρέπει να δείτε το ακόλουθο μήνυμα:
Ανεβάστε τα δεδομένα στη βάση δεδομένων MySQL
Συνήθως, μπορούμε να χρησιμοποιήσουμε ένα Amazon RDS για MySQL βάση δεδομένων, αλλά για αυτήν την ανάρτηση, χρησιμοποιούμε προσαρμοσμένους διακομιστές βάσης δεδομένων MySQL. Το Amazon RDS DNS είναι δημόσια προσβάσιμο και το MSK Connect το υποστηρίζει, αλλά δεν ήταν σε θέση να υποστηρίξει βάσεις δεδομένων ή εφαρμογές με ιδιωτικό DNS στο παρελθόν. Με το πιο πρόσφατο ιδιωτικά ονόματα κεντρικών υπολογιστών DNS εκκίνηση χαρακτηριστικών, μπορεί να υποστηρίξει και το ιδιωτικό DNS εφαρμογών, επομένως χρησιμοποιούμε μια βάση δεδομένων MySQL στην περίπτωση EC2.
Αυτή η εγκατάσταση παρέχει πληροφορίες σχετικά με τη ρύθμιση της βάσης δεδομένων MySQL σε μια παρουσία EC2 ενός κόμβου. Αυτό δεν πρέπει να χρησιμοποιείται για τη ρύθμιση της παραγωγής σας. Θα πρέπει να ακολουθήσετε τις κατάλληλες οδηγίες για τη ρύθμιση και τη διαμόρφωση της MySQL στον λογαριασμό σας.
Η βάση δεδομένων MySQL έχει ήδη ρυθμιστεί χρησιμοποιώντας το πρότυπο CloudFormation και είναι έτοιμη για χρήση τώρα. Για να ανεβάσετε τα δεδομένα, ολοκληρώστε τα παρακάτω βήματα:
- SSH στην παρουσία MySQL EC2. Για οδηγίες, ανατρέξτε στο Συνδεθείτε στην παρουσία Linux. Το αρχείο δεδομένων
salesdb.sql
είναι ήδη κατεβασμένο και διαθέσιμο κάτω από το/home/ec2-user
Κατάλογο. - Συνδεθείτε στο mysqldb με το κύριο όνομα χρήστη.
- Για πρόσβαση στον κωδικό πρόσβασης, μεταβείτε στο Διευθυντής συστημάτων AWS και Κατάστημα παραμέτρων αυτί. Επιλέγω /Βάση δεδομένων/Διαπιστευτήρια/κύριος και κάντε κλικ στο Λεπτομέρειες και αντιγράψτε την τιμή για το κλειδί.
- Συνδεθείτε στη MySQL χρησιμοποιώντας την ακόλουθη εντολή:
- Εκτελέστε τις παρακάτω εντολές για να δημιουργήσετε το
salesdb
βάση δεδομένων και φορτώστε τα δεδομένα στον πίνακα:
Αυτό θα εισαγάγει τις εγγραφές σε διάφορους διαφορετικούς πίνακες στο salesdb
βάση δεδομένων.
- Εκτελέστε τους πίνακες εμφάνισης για να δείτε τους παρακάτω πίνακες στο
salesdb
:
Δημιουργήστε ένα σύνολο επιλογών DHCP
Τα σύνολα επιλογών DHCP σάς δίνουν τον έλεγχο των ακόλουθων πτυχών της δρομολόγησης στο εικονικό σας δίκτυο:
- Μπορείτε να ελέγξετε τους διακομιστές DNS, τα ονόματα τομέα ή τους διακομιστές πρωτοκόλλου ώρας δικτύου (NTP) που χρησιμοποιούνται από τις συσκευές στο VPC σας.
- Μπορείτε να απενεργοποιήσετε πλήρως την ανάλυση DNS στο VPC σας.
Για να υποστηρίξετε ιδιωτικό DNS, μπορείτε να χρησιμοποιήσετε ένα Η διαδρομή του Αμαζονίου 53 ιδιωτική ζώνη ή τον δικό σας προσαρμοσμένο διακομιστή DNS. Εάν χρησιμοποιείτε ιδιωτική ζώνη Route 53, η ρύθμιση θα λειτουργήσει αυτόματα και δεν χρειάζεται να κάνετε αλλαγές στην προεπιλεγμένη επιλογή DHCP για το MSK VPC. Για έναν προσαρμοσμένο διακομιστή DNS, ολοκληρώστε τα παρακάτω βήματα για να ρυθμίσετε μια προσαρμοσμένη διαμόρφωση DHCP χρησιμοποιώντας Εικονικό ιδιωτικό σύννεφο Amazon (Amazon VPC) και συνδέστε το στο MSK VPC.
Θα υπάρχει μια προεπιλεγμένη επιλογή DHCP που έχει οριστεί στο VPC σας συνδεδεμένη με τον διακομιστή DNS που παρέχεται από την Amazon. Σε αυτό το στάδιο, τα αιτήματα θα μεταφερθούν στον παρεχόμενο διακομιστή DNS της Amazon για επίλυση. Ωστόσο, δημιουργούμε ένα νέο σύνολο επιλογών DHCP επειδή χρησιμοποιούμε έναν προσαρμοσμένο διακομιστή DNS.
- Στην κονσόλα VPC του Amazon, επιλέξτε Σύνολο επιλογών DHCP στο παράθυρο πλοήγησης.
- Επιλέξτε Δημιουργία συνόλου επιλογών DHCP.
- Για Όνομα συνόλου επιλογών DHCP, εισαγω
MSKConnect_Private_DHCP_OptionSet
. - Για Ονομα τομέα, εισαγω
mysql.internal
. - Για Διακομιστής ονομάτων τομέα, εισαγάγετε τη διεύθυνση IP του διακομιστή DNS.
- Επιλέξτε Δημιουργία συνόλου επιλογών DHCP.
- Πλοηγηθείτε με το MSK VPC και για το Δράσεις μενού, επιλέξτε Επεξεργαστείτε τις ρυθμίσεις VPC.
- Επιλέξτε το σύνολο επιλογών DHCP που δημιουργήθηκε πρόσφατα και αποθηκεύστε το.
Το παρακάτω στιγμιότυπο οθόνης δείχνει τα παραδείγματα διαμορφώσεων. - Στην κονσόλα Amazon EC2, μεταβείτε στο
privateDNS_bastion_host
. - Επιλέξτε Κατάσταση παραδείγματος και Περίπτωση επανεκκίνησης.
- Περιμένετε λίγα λεπτά και μετά τρέξτε
nslookup
από τον προμαχώνα υποδοχής? θα πρέπει να μπορεί να το επιλύσει χρησιμοποιώντας τον τοπικό σας διακομιστή DNS αντί για τη Διαδρομή 53:
Τώρα η εγκατάσταση της βασικής υποδομής μας είναι έτοιμη να προχωρήσει στο επόμενο στάδιο. Ως μέρος της βασικής μας υποδομής, έχουμε ρυθμίσει με επιτυχία τα ακόλουθα βασικά στοιχεία:
- MSK και MySQL VPC
- Υποδίκτυα
- Περιπτώσεις EC2
- Ομοτίμηση VPC
- Πίνακες διαδρομών
- NAT gateways και internet gateways
- Διακομιστής DNS και διαμόρφωση
- Κατάλληλες ομάδες ασφαλείας και NACL
- Βάση δεδομένων MySQL με τα απαιτούμενα δεδομένα
Σε αυτό το στάδιο, το όνομα MySQL DB DNS μπορεί να επιλυθεί χρησιμοποιώντας έναν προσαρμοσμένο διακομιστή DNS αντί για τη διαδρομή 53.
Ρυθμίστε το σύμπλεγμα MSK και το MSK Connect
Το επόμενο βήμα είναι να αναπτύξετε το σύμπλεγμα MSK και το MSK Connect, το οποίο θα ανακτήσει εγγραφές από το salesdb
και στείλτε το σε ένα Απλή υπηρεσία αποθήκευσης Amazon (Amazon S3) κάδος. Σε αυτήν την ενότητα, παρέχουμε μια αναλυτική περιγραφή της αναπαραγωγής της βάσης δεδομένων MySQL (salesdb
) στο Amazon MSK χρησιμοποιώντας Debezium, μια σύνδεση ανοιχτού κώδικα. Η εφαρμογή σύνδεσης θα παρακολουθεί τυχόν αλλαγές στη βάση δεδομένων και θα καταγράφει τυχόν αλλαγές στους πίνακες.
Με το MSK Connect, μπορείτε να εκτελέσετε πλήρως διαχειριζόμενους φόρτους εργασίας Apache Kafka Connect στο AWS. Το MSK Connect παρέχει τους απαιτούμενους πόρους και δημιουργεί το σύμπλεγμα. Παρακολουθεί συνεχώς την υγεία και την κατάσταση παράδοσης των υποδοχών σύνδεσης, διορθώνει και διαχειρίζεται το υποκείμενο υλικό και κλιμακώνει αυτόματα τις υποδοχές για να ταιριάζει με τις αλλαγές στην απόδοση. Ως αποτέλεσμα, μπορείτε να εστιάσετε τους πόρους σας στη δημιουργία εφαρμογών αντί στη διαχείριση της υποδομής.
Το MSK Connect θα κάνει χρήση του προσαρμοσμένου διακομιστή DNS στο VPC και δεν θα εξαρτάται από τη Διαδρομή 53.
Δημιουργήστε μια διαμόρφωση συμπλέγματος MSK
Ολοκληρώστε τα παρακάτω βήματα για να δημιουργήσετε ένα σύμπλεγμα MSK:
- Στην κονσόλα Amazon MSK, επιλέξτε Διαμορφώσεις συμπλέγματος υπό Συστάδες MSK στο παράθυρο πλοήγησης.
- Επιλέξτε Δημιουργία διαμόρφωσης.
- Ονομάστε τη διαμόρφωση
mskc-tutorial-cluster-configuration
. - Κάτω από Ιδιότητες διαμόρφωσης, αφαιρέστε τα πάντα και προσθέστε τη γραμμή
auto.create.topics.enable=true
. - Επιλέξτε Δημιουργία.
Δημιουργήστε ένα σύμπλεγμα MSK και επισυνάψτε τη διαμόρφωση
Στο επόμενο βήμα, επισυνάπτουμε αυτήν τη διαμόρφωση σε ένα σύμπλεγμα. Ολοκληρώστε τα παρακάτω βήματα:
- Στην κονσόλα Amazon MSK, επιλέξτε Συστοιχίες υπό Συστάδες MSK στο παράθυρο πλοήγησης.
- Επιλέξτε Δημιουργήστε συμπλέγματα και Προσαρμοσμένη δημιουργία.
- Για το όνομα του συμπλέγματος, πληκτρολογήστε
mkc-tutorial-cluster
. - Κάτω από Γενικές ιδιότητες συμπλέγματος, επιλέξτε Προβλέπεται για τον τύπο συμπλέγματος και χρησιμοποιήστε την προεπιλεγμένη έκδοση 2.8.1 του Apache Kafka.
- Χρησιμοποιήστε όλες τις προεπιλεγμένες επιλογές για το Χρηματιστές και Αποθηκευτικός χώρος ενότητες.
- Κάτω από διαμορφώσεις, επιλέξτε Προσαρμοσμένη διαμόρφωση.
- Αγορά
mskc-tutorial-cluster-configuration
με την κατάλληλη αναθεώρηση και επιλέξτε Επόμενο. - Κάτω από Δικτύωση, επιλέξτε το MSK VPC.
- Επιλέξτε τις Ζώνες Διαθεσιμότητας ανάλογα με την Περιοχή σας, όπως π.χ
us-east1a
,us-east1b
, ναus-east1c
και τα αντίστοιχα ιδιωτικά υποδίκτυαMSK-Private-1
,MSK-Private-2
, ναMSK-Private-3
αν είστε στοus-east-1
Περιοχή. Η δημόσια πρόσβαση σε αυτούς τους μεσίτες θα πρέπει να είναι απενεργοποιημένη. - Αντιγράψτε το αναγνωριστικό ομάδας ασφαλείας από Επιλεγμένες ομάδες ασφαλείας.
- Επιλέξτε Επόμενο.
- Κάτω από Μέθοδοι ελέγχου πρόσβασης, επιλέξτε Έλεγχος ταυτότητας βάσει ρόλων IAM.
- Στο κρυπτογράφηση ενότητα, κάτω από Μεταξύ πελατών και μεσιτών, Κρυπτογράφηση TLS θα επιλεγεί από προεπιλογή.
- Για Μελάνιδεδομένα ypt σε κατάσταση ηρεμίας, Επιλέξτε Χρησιμοποιήστε το διαχειριζόμενο κλειδί AWS.
- Χρησιμοποιήστε τις προεπιλεγμένες επιλογές για παρακολούθηση και επιλέξτε Βασική παρακολούθηση.
- Αγορά Παράδοση στο Amazon CloudWatch Logs.
- Κάτω από Ομάδα καταγραφής, επιλέξτε επισκεφθείτε την κονσόλα Amazon CloudWatch Logs.
- Επιλέξτε Δημιουργία ομάδας καταγραφής.
- Εισαγάγετε ένα όνομα ομάδας καταγραφής και επιλέξτε Δημιουργία.
- Επιστροφή στο Παρακολούθηση και ετικέτες σελίδα και κάτω Ομάδες καταγραφής, επιλέξτε Επιλέξτε ομάδα καταγραφής
- Επιλέξτε Επόμενο.
- Ελέγξτε τις διαμορφώσεις και επιλέξτε Δημιουργία συμπλέγματος. Ανακατευθυνθείτε στη σελίδα λεπτομερειών του συμπλέγματος.
- Κάτω από Εφαρμόστηκαν ομάδες ασφαλείας, σημειώστε το αναγνωριστικό ομάδας ασφαλείας για χρήση σε επόμενο βήμα.
Η δημιουργία συμπλέγματος μπορεί συνήθως να διαρκέσει 25–30 λεπτά. Η κατάστασή του αλλάζει σε Ενεργό όταν δημιουργηθεί με επιτυχία.
Ενημερώστε το αρχείο ζώνης /var/named/kafka.region.amazonaws.com
Πριν δημιουργήσετε τη σύνδεση MSK, ενημερώστε τις διαμορφώσεις διακομιστή DNS με τις λεπτομέρειες του συμπλέγματος MSK.
- Για να λάβετε τη λίστα των DNS διακομιστή εκκίνησης και τις αντίστοιχες διευθύνσεις IP, μεταβείτε στο σύμπλεγμα και επιλέξτε Προβολή πληροφοριών πελάτη.
- Αντιγράψτε τις πληροφορίες διακομιστή εκκίνησης με τύπο ελέγχου ταυτότητας IAM.
- Μπορείτε να αναγνωρίσετε τις διευθύνσεις IP του μεσίτη χρησιμοποιώντας
nslookup
από το τοπικό σας μηχάνημα και θα σας δώσει την τοπική διεύθυνση IP του μεσίτη. Επί του παρόντος, το VPC σας οδηγεί στο πιο πρόσφατο σύνολο επιλογών DHCP και ο διακομιστής DNS σας δεν θα μπορεί να επιλύσει αυτά τα ονόματα DNS από το VPC σας.
Τώρα μπορείτε να συνδεθείτε στον διακομιστή DNS και να ενημερώσετε τις εγγραφές για διαφορετικούς μεσίτες και τις αντίστοιχες διευθύνσεις IP στο /var/named/kafka.region.amazonaws.com
αρχείο.
- Ανεβάστε το
msk-access.pem
αρχείο στοBastionHostInstance
από το τοπικό σας μηχάνημα: - Συνδεθείτε στον διακομιστή DNS και ανοίξτε το
/var/named/kafka.region.amazonaws.com
αρχείο και ενημερώστε τις ακόλουθες γραμμές με τα σωστά ονόματα DNS μεσίτη MSK και τις αντίστοιχες διευθύνσεις IP:
Σημειώστε ότι πρέπει να παρέχετε το DNS του μεσίτη όπως αναφέρθηκε προηγουμένως. Αφαιρώ .kafka.<region id>.amazonaws.com
από το όνομα του μεσίτη DNS.
- Επανεκκινήστε την υπηρεσία DNS:
Θα πρέπει να δείτε το ακόλουθο μήνυμα:
Ο προσαρμοσμένος διακομιστής DNS σας είναι έτοιμος και λειτουργεί τώρα και θα πρέπει να μπορείτε να το επιλύσετε χρησιμοποιώντας ονόματα μεσίτη DNS χρησιμοποιώντας τον εσωτερικό διακομιστή DNS.
Ενημερώστε την ομάδα ασφαλείας για συνδεσιμότητα μεταξύ της βάσης δεδομένων MySQL και του MSK Connect
Είναι σημαντικό να υπάρχει η κατάλληλη συνδεσιμότητα μεταξύ του MSK Connect και της βάσης δεδομένων MySQL. Ολοκληρώστε τα παρακάτω βήματα:
- Στην κονσόλα Amazon MSK, μεταβείτε στο σύμπλεγμα MSK και κάτω Ρυθμίσεις δικτύου, αντιγράψτε την ομάδα ασφαλείας.
- Στην κονσόλα Amazon EC2, επιλέξτε Ομάδες ασφαλείας στο παράθυρο πλοήγησης.
- Επεξεργαστείτε την ομάδα ασφαλείας
MySQL_SG
Και επιλέξτε Προσθήκη κανόνα. - Προσθέστε έναν κανόνα με MySQL/Aurora ως τύπο και την ομάδα ασφαλείας MSK ως εισερχόμενο πόρο για την πηγή του.
- Επιλέξτε Αποθήκευση κανόνων.
Δημιουργήστε την υποδοχή MSK
Για να δημιουργήσετε τον σύνδεσμο MSK, ολοκληρώστε τα παρακάτω βήματα:
- Στην κονσόλα Amazon MSK, επιλέξτε Συνδετήρες καλωδίων υπό MSK Connect στο παράθυρο πλοήγησης.
- Επιλέξτε Δημιουργία σύνδεσης.
- Αγορά Δημιουργία προσαρμοσμένης προσθήκης.
- Κάντε λήψη της προσθήκης σύνδεσης MySQL για την πιο πρόσφατη σταθερή έκδοση από το Debezium τοποθεσία ή λήψη Debezium.zip.
- Ανεβάστε το αρχείο zip της εφαρμογής σύνδεσης MySQL στον κάδο S3.
- Αντιγράψτε τη διεύθυνση URL για το αρχείο, όπως π.χ
s3://<bucket name>/Debezium.zip
. - Επιστροφή στο Επιλέξτε προσαρμοσμένη προσθήκη σελίδα και εισάγετε τη διαδρομή αρχείου S3 για S3 URI.
- Για Προσαρμοσμένο όνομα προσθήκης, εισαγω
mysql-plugin
. - Επιλέξτε Επόμενο.
- Για Όνομα, εισαγω
mysql-connector
. - Για Περιγραφή, εισαγάγετε μια περιγραφή του συνδέσμου.
- Για Τύπος συμπλέγματος, επιλέξτε MSK Cluster.
- Επιλέξτε το υπάρχον σύμπλεγμα από τη λίστα (για αυτήν την ανάρτηση,
mkc-tutorial-cluster
). - Καθορίστε τον τύπο ελέγχου ταυτότητας ως IAM.
- Χρησιμοποιήστε τις παρακάτω τιμές για Διαμόρφωση σύνδεσης:
- Ενημερώστε την ακόλουθη διαμόρφωση σύνδεσης:
- Για Τύπος χωρητικότητας, επιλέξτε Προβλέπεται.
- Για Αριθμός MCU ανά εργαζόμενο, εισαγάγετε 1.
- Για Αριθμός εργαζομένων, εισαγάγετε 1.
- Αγορά Χρησιμοποιήστε την προεπιλεγμένη διαμόρφωση MSK.
- Στο Δικαιώματα πρόσβασης τμήμα, στο Επιλέξτε ρόλο υπηρεσίας μενού, επιλέξτε
MSK-Connect-PrivateDNS-MySQLConnector*
, κατόπιν επιλέξτε Επόμενο. - Στο Ασφάλεια ενότητα, διατηρήστε τις προεπιλεγμένες ρυθμίσεις.
- Στο Logs , επιλέξτε Παράδοση στα αρχεία καταγραφής του Amazon CloudWatch.
- Επιλέξτε επισκεφθείτε την κονσόλα Amazon CloudWatch Logs.
- Κάτω από Logs στο παράθυρο πλοήγησης, επιλέξτε Ομάδα καταγραφής.
- Επιλέξτε Δημιουργία ομάδας καταγραφής.
- Εισαγάγετε το όνομα της ομάδας καταγραφής, τις ρυθμίσεις διατήρησης και τις ετικέτες και, στη συνέχεια, επιλέξτε Δημιουργία.
- Επιστρέψτε στη σελίδα δημιουργίας εφαρμογής σύνδεσης και επιλέξτε Περιήγηση στην ομάδα καταγραφής.
- Επιλέξτε
AmazonMSKConnect
ομάδα καταγραφής και μετά επιλέξτε Επόμενο. - Ελέγξτε τις διαμορφώσεις και επιλέξτε Δημιουργία σύνδεσης.
Περιμένετε να ολοκληρωθεί η διαδικασία δημιουργίας σύνδεσης (περίπου 10–15 λεπτά).
Η υποδοχή MSK Connect είναι τώρα σε λειτουργία. Μπορείτε να συνδεθείτε στη βάση δεδομένων MySQL χρησιμοποιώντας το αναγνωριστικό χρήστη και να κάνετε μερικές αλλαγές στην εγγραφή στην εγγραφή του πίνακα πελατών. Το MSK Connect θα μπορεί να λαμβάνει εγγραφές CDC και οι ενημερώσεις στη βάση δεδομένων θα είναι διαθέσιμες στο MSK θέμα.
Καταναλώστε μηνύματα από το θέμα MSK
Για να καταναλώσετε μηνύματα από το θέμα MSK, εκτελέστε τον καταναλωτή Kafka στο MSK_Client
Η παρουσία EC2 είναι διαθέσιμη στο MSK VPC.
- SSH στο
MSK_Client
Περίπτωση EC2. οMSK_Client
το παράδειγμα έχει τις απαιτούμενες βιβλιοθήκες πελατών Kafka, αρχείο Amazon MSK IAM JAR,client.properties
αρχείο και ένα προφίλ παρουσίας συνδεδεμένο σε αυτό, μαζί με τον κατάλληλο ρόλο IAM χρησιμοποιώντας το πρότυπο CloudFormation. - Προσθέστε το
MSKClientSG
ομάδα ασφαλείας ως πηγή για την ομάδα ασφαλείας MSK με τις ακόλουθες ιδιότητες:- Για Χαρακτηριστικά, επιλέξτε Όλη η κυκλοφορία.
- Για Πηγή, επιλέξτε Custom και MSK Security Group.
Τώρα είστε έτοιμοι να καταναλώσετε δεδομένα.
- Για να παραθέσετε τα θέματα, εκτελέστε την ακόλουθη εντολή:
- Για την κατανάλωση δεδομένων από το
salesdb-server.salesdb.CUSTOMER
θέμα, χρησιμοποιήστε την ακόλουθη εντολή:
Εκτελέστε τον καταναλωτή Kafka στον υπολογιστή σας EC2 και θα μπορείτε να καταγράψετε μηνύματα παρόμοια με τα ακόλουθα:
Κατά τη δοκιμή της εφαρμογής, οι εγγραφές με CUST_ID 1998, 1999 και 2000 ενημερώθηκαν και αυτές οι εγγραφές είναι διαθέσιμες στα αρχεία καταγραφής.
εκκαθάριση
Είναι πάντα καλή πρακτική να καθαρίζετε όλους τους πόρους που δημιουργήθηκαν ως μέρος αυτής της ανάρτησης για να αποφύγετε οποιοδήποτε πρόσθετο κόστος. Για να καθαρίσετε τους πόρους σας, διαγράψτε το MSK Cluster, τη σύνδεση MSK Connect, τις παρουσίες EC2, τον διακομιστή DNS, τον κεντρικό υπολογιστή προμαχώνων, τον κάδο S3, το VPC, τα υποδίκτυα και τα αρχεία καταγραφής CloudWatch.
Επιπλέον, καθαρίστε όλους τους άλλους πόρους AWS που δημιουργήσατε χρησιμοποιώντας το AWS CloudFormation. Μπορείτε να διαγράψετε αυτούς τους πόρους στην κονσόλα AWS CloudFormation διαγράφοντας τη στοίβα.
Συμπέρασμα
Σε αυτήν την ανάρτηση, συζητήσαμε τη διαδικασία ρύθμισης του MSK Connect χρησιμοποιώντας ένα ιδιωτικό DNS. Αυτή η δυνατότητα σάς επιτρέπει να διαμορφώνετε τις συνδέσεις για να αναφέρονται σε δημόσια ή ιδιωτικά ονόματα τομέα.
Μπορούμε να λάβουμε την αρχική φόρτωση και τις εγγραφές CDC από μια βάση δεδομένων MySQL που φιλοξενείται σε ξεχωριστό VPC και το DNS της δεν είναι προσβάσιμο ή επιλύσιμο εξωτερικά. Το MSK Connect μπόρεσε να συνδεθεί στη βάση δεδομένων MySQL και να καταναλώσει τις εγγραφές χρησιμοποιώντας τη δυνατότητα ιδιωτικού DNS του MSK Connect. Το προσαρμοσμένο σύνολο επιλογών DHCP προσαρτήθηκε στο VPC, το οποίο διασφάλιζε ότι η ανάλυση DNS εκτελούνταν χρησιμοποιώντας τον τοπικό διακομιστή DNS αντί για τη διαδρομή 53.
Με τη δυνατότητα υποστήριξης ιδιωτικού DNS MSK Connect, μπορείτε να κάνετε τις βάσεις δεδομένων, τις αποθήκες δεδομένων και τα συστήματα, όπως μυστικούς διαχειριστές που λειτουργούν με το δικό σας VPC, μη προσβάσιμα στο Διαδίκτυο και να μπορείτε να ξεπεράσετε αυτόν τον περιορισμό και να συμμορφωθείτε με τη στάση της εταιρικής σας ασφάλειας.
Για να μάθετε περισσότερα και να ξεκινήσετε, ανατρέξτε στο ιδιωτικό DNS για σύνδεση MSK.
Σχετικά με τον Συγγραφέα
Ο Amar είναι Ανώτερος Αρχιτέκτονας Λύσεων στο Amazon AWS στο Ηνωμένο Βασίλειο. Εργάζεται σε πελάτες ηλεκτρικής ενέργειας, κοινής ωφελείας, κατασκευής και αυτοκινητοβιομηχανίας σε στρατηγικές υλοποιήσεις, με εξειδίκευση στη χρήση AWS Streaming και προηγμένων λύσεων ανάλυσης δεδομένων, για την επίτευξη βέλτιστων επιχειρηματικών αποτελεσμάτων.
- SEO Powered Content & PR Distribution. Ενισχύστε σήμερα.
- PlatoData.Network Vertical Generative Ai. Ενδυναμώστε τον εαυτό σας. Πρόσβαση εδώ.
- PlatoAiStream. Web3 Intelligence. Ενισχύθηκε η γνώση. Πρόσβαση εδώ.
- PlatoESG. Ανθρακας, Cleantech, Ενέργεια, Περιβάλλον, Ηλιακός, Διαχείριση των αποβλήτων. Πρόσβαση εδώ.
- PlatoHealth. Ευφυΐα βιοτεχνολογίας και κλινικών δοκιμών. Πρόσβαση εδώ.
- πηγή: https://aws.amazon.com/blogs/big-data/resolve-private-dns-hostnames-for-amazon-msk-connect/
- :έχει
- :είναι
- :δεν
- :που
- $UP
- 1
- 14
- 160
- 1998
- 1999
- 2000
- 53
- 7
- 73
- 8
- 9
- a
- Ικανός
- Σχετικα
- πρόσβαση
- προσιτός
- Λογαριασμός
- αναγνωρίζω
- απέναντι
- ενεργός
- προσθέτω
- Πρόσθετος
- διεύθυνση
- διευθύνσεις
- προηγμένες
- Μετά το
- Όλα
- επιτρέπει
- κατά μήκος
- ήδη
- πάντοτε
- Amazon
- Amazon EC2
- Amazon RDS
- Amazon υπηρεσίες Web
- an
- analytics
- και
- Άλλος
- κάθε
- Apache
- Apache Kafka
- Εφαρμογή
- εφαρμογές
- κατάλληλος
- αρχιτεκτονική
- ΕΙΝΑΙ
- AS
- πτυχές
- At
- αποδίδουν
- Auth
- Πιστοποίηση
- αυτόματη
- αυτομάτως
- αυτοκινήτων
- διαθεσιμότητα
- διαθέσιμος
- αποφύγετε
- AWS
- AWS CloudFormation
- βάση
- BE
- επειδή
- πριν
- μεταξύ
- δεσμεύουν
- Bootstrap
- μεσίτης
- μεσίτες
- Κτίριο
- χτισμένο
- επιχείρηση
- αλλά
- by
- CAN
- ικανότητα
- πιάνω
- CDC
- αλλαγή
- Αλλαγές
- Επιλέξτε
- κλικ
- πελάτης
- πελάτες
- συστάδα
- COM
- πλήρης
- εντελώς
- συμμορφώνονται
- εξαρτήματα
- διαμόρφωση
- έχει ρυθμιστεί
- Connect
- σύνδεση
- Συνδεσιμότητα
- πρόξενος
- καταναλώνουν
- καταναλωτής
- συνεχώς
- έλεγχος
- πυρήνας
- Εταιρικές εκδηλώσεις
- διορθώσει
- Κόστος
- Ζευγάρι
- δημιουργία
- δημιουργήθηκε
- δημιουργεί
- δημιουργία
- Τη στιγμή
- έθιμο
- πελάτης
- Πελάτες
- ημερομηνία
- Δεδομένα Analytics
- αποθήκες δεδομένων
- βάση δεδομένων
- βάσεις δεδομένων
- Προεπιλογή
- ορίζεται
- διανομή
- καταδεικνύει
- εξαρτώμενος
- Σε συνάρτηση
- παρατάσσω
- ανάπτυξη
- περιγραφή
- καθέκαστα
- Συσκευές
- διαφορετικές
- συζήτηση
- dns
- do
- τομέα
- ΟΝΟΜΑΤΑ ΤΟΜΕΩΝ
- Μην
- κατεβάσετε
- αυτοκίνητο
- Νωρίτερα
- είτε
- εξασφαλίζω
- εξασφαλίζεται
- εισάγετε
- Περιβάλλον
- Αιθέρας (ΕΤΗ)
- πάντα
- παράδειγμα
- υφιστάμενα
- επεκτείνουν
- εξωτερικά
- Χαρακτηριστικό
- λίγοι
- Αρχεία
- Αρχεία
- τελικός
- Εύρεση
- ροή
- Συγκέντρωση
- ακολουθήστε
- Εξής
- Για
- από
- πλήρως
- πύλη
- παίρνω
- Δώστε
- Go
- καλός
- Group
- Ομάδα
- καθοδήγηση
- υλικού
- Έχω
- he
- Υγεία
- εδώ
- υψηλού επιπέδου
- ιστορία
- οικοδεσπότης
- φιλοξενείται
- οικοδεσπότες
- Ωστόσο
- HTML
- http
- HTTPS
- IAM
- ID
- προσδιορίσει
- Ταυτότητα
- if
- απεικονίζει
- υλοποιήσεις
- σημαντικό
- in
- απρόσιτος
- περιλαμβάνουν
- περιλαμβάνονται
- πληροφορίες
- Υποδομή
- αρχικός
- εγκαθιστώ
- εγκατάσταση
- παράδειγμα
- περιπτώσεις
- αντί
- οδηγίες
- εσωτερικός
- Internet
- σε
- Εισαγωγή
- IP
- Διεύθυνση IP
- Διευθύνσεις IP
- IT
- ΤΟΥ
- jpg
- Kafka
- Διατήρηση
- Κλειδί
- αργότερα
- αργότερο
- ξεκινήσει
- ΜΑΘΑΊΝΩ
- βιβλιοθήκες
- Μου αρέσει
- περιορισμός
- γραμμή
- γραμμές
- linux
- Λιστα
- φορτίο
- τοπικός
- τοποθεσία
- κούτσουρο
- μηχανή
- κάνω
- διαχειρίζεται
- διευθυντής
- Διευθυντές
- διαχειρίζεται
- διαχείριση
- κατασκευής
- κύριος
- Ταίριασμα
- Ενδέχεται..
- που αναφέρθηκαν
- Μενού
- μήνυμα
- μηνύματα
- μέθοδοι
- ενδέχεται να
- πρακτικά
- Παρακολούθηση
- οθόνες
- περισσότερο
- μετακινήσετε
- πολλαπλούς
- MySQL
- όνομα
- Ονομάστηκε
- ονόματα
- Πλοηγηθείτε
- Πλοήγηση
- Ανάγκη
- ανάγκες
- δίκτυο
- Νέα
- πρόσφατα
- επόμενη
- Όχι.
- σημείωση
- τώρα
- of
- off
- προσφορές
- on
- αποκλειστικά
- ανοίξτε
- ανοικτού κώδικα
- βέλτιστη
- Επιλογή
- Επιλογές
- or
- ΑΛΛΑ
- δικός μας
- αποτελέσματα
- επί
- Ξεπεράστε
- δική
- σελίδα
- παράθυρο
- παράμετρος
- μέρος
- Κωδικός Πρόσβασης
- Το παρελθόν
- Patches
- μονοπάτι
- για
- εκτελούνται
- δικαιώματα
- Μέρος
- Πλάτων
- Πληροφορία δεδομένων Plato
- Πλάτωνα δεδομένα
- συνδέω
- σημεία
- Δημοφιλής
- Θέση
- postgresql
- δύναμη
- πρακτική
- ιδιωτικός
- ιδιωτικού κλειδιού
- διαδικασια μας
- παραγωγός
- Προϊόν
- παραγωγή
- Προφίλ ⬇️
- ιδιότητες
- πρωτόκολλο
- παρέχουν
- παρέχεται
- παρέχει
- δημόσιο
- δημοσίως
- μάλλον
- φθάνοντας
- έτοιμος
- λόγους
- λαμβάνω
- πρόσφατος
- ρεκόρ
- αρχεία
- παραπέμπω
- αναφορά
- περιοχή
- απελευθερώνουν
- αφαιρέστε
- αιτήματα
- απαιτείται
- Ανάλυση
- επίλυση
- πόρος
- Υποστηρικτικό υλικό
- εκείνοι
- αποτέλεσμα
- κράτηση
- Ρόλος
- Διαδρομή
- δρομολόγηση
- Άρθρο
- τρέξιμο
- τρέξιμο
- ίδιο
- Αποθήκευση
- Ζυγός
- Μυστικό
- Τμήμα
- τμήματα
- ασφάλεια
- δείτε
- τμήμα
- επιλέγονται
- στείλετε
- αρχαιότερος
- ξεχωριστό
- διακομιστής
- διακομιστές
- υπηρεσία
- Υπηρεσίες
- σειρά
- Σέτς
- τον καθορισμό
- ρυθμίσεις
- setup
- θα πρέπει να
- δείχνουν
- Δείχνει
- παρόμοιες
- Απλούς
- ιστοσελίδα
- So
- λύση
- Λύσεις
- Πηγή
- ειδικευμένη
- SQL
- σταθερός
- σωρός
- Στάδιο
- ξεκίνησε
- Κατάσταση
- Κατάσταση
- Βήμα
- Βήματα
- Ακόμη
- χώρος στο δίσκο
- κατάστημα
- καταστήματα
- Στρατηγική
- ροής
- υποδίκτυο
- υποδίκτυα
- Επιτυχώς
- τέτοιος
- προμηθευτής
- υποστήριξη
- Υποστηρίζει
- σύστημα
- συστήματα
- τραπέζι
- Πάρτε
- εργασίες
- πρότυπο
- Δοκιμές
- από
- ότι
- Η
- Η Πηγη
- το Ηνωμένο Βασίλειο
- τους
- τότε
- Εκεί.
- Αυτοί
- αυτοί
- αυτό
- τρία
- διακίνηση
- ώρα
- προς την
- τοπικός
- Θέματα
- ΚΙΝΗΣΗ στους ΔΡΟΜΟΥΣ
- διαμετακόμιση
- φροντιστήριο
- δύο
- τύπος
- συνήθως
- Uk
- υπό
- υποκείμενες
- Ενημέρωση
- ενημερώθηκε
- ενημερώσεις
- επάνω σε
- URL
- χρήση
- μεταχειρισμένος
- Χρήστες
- χρησιμοποιεί
- χρησιμοποιώντας
- επιχειρήσεις κοινής ωφέλειας
- αξία
- Αξίες
- διάφορα
- εκδοχή
- Πραγματικός
- περιμένετε
- περιδιάβαση
- θέλω
- ήταν
- we
- ιστός
- διαδικτυακές υπηρεσίες
- ΛΟΙΠΌΝ
- ήταν
- πότε
- Ποιό
- θα
- με
- Εργασία
- λειτουργεί
- γιαμ
- εσείς
- Σας
- zephyrnet
- Zip
- ζώνες