Η αξία των δεδομένων είναι ευαίσθητη στο χρόνο. Η επεξεργασία σε πραγματικό χρόνο καθιστά τις αποφάσεις που βασίζονται σε δεδομένα ακριβείς και εφαρμόσιμες σε δευτερόλεπτα ή λεπτά αντί για ώρες ή ημέρες. Η σύλληψη δεδομένων αλλαγής (CDC) αναφέρεται στη διαδικασία αναγνώρισης και καταγραφής αλλαγών που έγιναν σε δεδομένα σε μια βάση δεδομένων και στη συνέχεια παράδοσης αυτών των αλλαγών σε πραγματικό χρόνο σε ένα σύστημα κατάντη. Η καταγραφή κάθε αλλαγής από τις συναλλαγές σε μια βάση δεδομένων πηγής και η μετακίνησή τους στον στόχο σε πραγματικό χρόνο διατηρεί τα συστήματα συγχρονισμένα και βοηθά με περιπτώσεις χρήσης αναλυτικών στοιχείων σε πραγματικό χρόνο και μηδενικές μετεγκαταστάσεις βάσης δεδομένων. Τα ακόλουθα είναι μερικά οφέλη του CDC:
- Εξαλείφει την ανάγκη ενημέρωσης μαζικού φορτίου και άβολα παράθυρα παρτίδας, επιτρέποντας τη σταδιακή φόρτωση ή τη ροή δεδομένων σε πραγματικό χρόνο στο αποθετήριο-στόχο σας.
- Διασφαλίζει ότι τα δεδομένα σε πολλά συστήματα παραμένουν συγχρονισμένα. Αυτό είναι ιδιαίτερα σημαντικό εάν λαμβάνετε αποφάσεις ευαίσθητες στον χρόνο σε περιβάλλον δεδομένων υψηλής ταχύτητας.
Kafka Connect είναι ένα στοιχείο ανοιχτού κώδικα του Apache Kafka που λειτουργεί ως κεντρικός κόμβος δεδομένων για απλή ενοποίηση δεδομένων μεταξύ βάσεων δεδομένων, καταστημάτων κλειδιών-τιμών, ευρετηρίων αναζήτησης και συστημάτων αρχείων. ο Μητρώο σχήματος κόλλας AWS σας επιτρέπει να ανακαλύπτετε, να ελέγχετε και να εξελίσσετε κεντρικά σχήματα ροής δεδομένων. Το Kafka Connect και το Schema Registry ενσωματώνονται για να καταγράφουν πληροφορίες σχήματος από εφαρμογές σύνδεσης. Το Kafka Connect παρέχει έναν μηχανισμό για τη μετατροπή δεδομένων από τους εσωτερικούς τύπους δεδομένων που χρησιμοποιούνται από το Kafka Connect σε τύπους δεδομένων που αντιπροσωπεύονται ως Avro, Protobuf ή JSON Schema. Τα AvroConverter, ProtobufConverter και JsonSchemaConverter καταχωρούν αυτόματα σχήματα που δημιουργούνται από συνδέσεις Kafka (πηγή) που παράγουν δεδομένα στον Kafka. Οι σύνδεσμοι (νεροχύτης) που καταναλώνουν δεδομένα από τον Κάφκα λαμβάνουν πληροφορίες σχήματος επιπλέον των δεδομένων για κάθε μήνυμα. Αυτό επιτρέπει στους συνδέσμους νεροχύτη να γνωρίζουν τη δομή των δεδομένων για να παρέχουν δυνατότητες όπως η διατήρηση ενός σχήματος πίνακα βάσης δεδομένων σε έναν κατάλογο δεδομένων.
Η ανάρτηση δείχνει πώς να δημιουργήσετε ένα CDC από άκρο σε άκρο χρησιμοποιώντας Amazon MSK Connect, μια διαχειριζόμενη υπηρεσία AWS για την ανάπτυξη και την εκτέλεση εφαρμογών Kafka Connect και AWS Glue Schema Registry, το οποίο σας επιτρέπει να ανακαλύπτετε κεντρικά, να ελέγχετε και να αναπτύσσετε σχήματα ροής δεδομένων.
Επισκόπηση λύσεων
Από την πλευρά του παραγωγού, για αυτό το παράδειγμα επιλέγουμε ένα συμβατό με MySQL Amazon-Aurora βάση δεδομένων ως πηγή δεδομένων, και έχουμε α Debezium Υποδοχή MySQL για εκτέλεση CDC. Η σύνδεση Debezium παρακολουθεί συνεχώς τις βάσεις δεδομένων και προωθεί αλλαγές σε επίπεδο σειράς σε ένα θέμα Kafka. Ο σύνδεσμος ανακτά το σχήμα από τη βάση δεδομένων για να σειριοποιήσει τις εγγραφές σε δυαδική μορφή. Εάν το σχήμα δεν υπάρχει ήδη στο μητρώο, το σχήμα θα καταχωρηθεί. Εάν το σχήμα υπάρχει αλλά ο σειριοποιητής χρησιμοποιεί μια νέα έκδοση, το μητρώο σχήματος ελέγχει το λειτουργία συμβατότητας του σχήματος πριν από την ενημέρωση του σχήματος. Σε αυτή τη λύση, χρησιμοποιούμε λειτουργία συμβατότητας προς τα πίσω. Το μητρώο σχήματος επιστρέφει ένα σφάλμα εάν μια νέα έκδοση του σχήματος δεν είναι συμβατή προς τα πίσω και μπορούμε να διαμορφώσουμε το Kafka Connect ώστε να στέλνει μη συμβατά μηνύματα στην ουρά των νεκρών γραμμάτων.
Από την πλευρά του καταναλωτή, χρησιμοποιούμε ένα Απλή υπηρεσία αποθήκευσης Amazon Υποδοχή νεροχύτη (Amazon S3) για την αφαίρεση της εγγραφής και την αποθήκευση αλλαγών στο Amazon S3. Κατασκευάζουμε και αναπτύσσουμε την υποδοχή Debezium και τον νεροχύτη Amazon S3 χρησιμοποιώντας το MSK Connect.
Παράδειγμα σχήματος
Για αυτήν την ανάρτηση, χρησιμοποιούμε το ακόλουθο σχήμα ως την πρώτη έκδοση του πίνακα:
Προϋποθέσεις
Πριν διαμορφώσουμε τις συνδέσεις παραγωγού και καταναλωτή MSK, πρέπει πρώτα να ρυθμίσουμε μια πηγή δεδομένων, ένα σύμπλεγμα MSK και ένα νέο μητρώο σχήματος. Παρέχουμε ένα AWS CloudFormation πρότυπο για τη δημιουργία των υποστηρικτικών πόρων που απαιτούνται για τη λύση:
- Μια βάση δεδομένων Aurora συμβατή με MySQL ως πηγή δεδομένων. Για να εκτελέσουμε CDC, ενεργοποιούμε τη δυαδική καταγραφή στο Ομάδα παραμέτρων συμπλέγματος DB.
- Ένα σύμπλεγμα MSK. Για να απλοποιήσουμε τη σύνδεση δικτύου, χρησιμοποιούμε το ίδιο VPC για τη βάση δεδομένων Aurora και το σύμπλεγμα MSK.
- Δύο μητρώα σχήματος για τη διαχείριση σχημάτων για κλειδί μηνύματος και τιμή μηνύματος.
- Ένας κάδος S3 ως αποθήκη δεδομένων.
- Απαιτούνται πρόσθετα MSK Connect και διαμόρφωση εργαζόμενου για αυτήν την επίδειξη.
- Ένας Amazon Elastic Compute Cloud (Amazon EC2) για την εκτέλεση εντολών βάσης δεδομένων.
Για να ρυθμίσετε πόρους στον λογαριασμό σας AWS, ολοκληρώστε τα ακόλουθα βήματα σε μια περιοχή AWS που υποστηρίζει το Amazon MSK, το MSK Connect και το Μητρώο AWS Glue Schema:
- Επιλέξτε Εκκίνηση στοίβας:
- Επιλέξτε Επόμενο.
- Για Όνομα στοίβας, εισαγάγετε το κατάλληλο όνομα.
- Για Κωδικός Βάσης Δεδομένων, εισαγάγετε τον κωδικό πρόσβασης που θέλετε για τον χρήστη της βάσης δεδομένων.
- Διατηρήστε άλλες τιμές ως προεπιλογή.
- Επιλέξτε Επόμενο.
- Στην επόμενη σελίδα, επιλέξτε Επόμενο.
- Ελέγξτε τις λεπτομέρειες στην τελική σελίδα και επιλέξτε Αναγνωρίζω ότι το AWS CloudFormation μπορεί να δημιουργήσει πόρους IAM.
- Επιλέξτε Δημιουργία στοίβας.
Προσαρμοσμένη προσθήκη για την υποδοχή προέλευσης και προορισμού
Ένα προσαρμοσμένο πρόσθετο είναι ένα σύνολο αρχείων JAR που περιέχουν την υλοποίηση ενός ή περισσότερων συνδέσεων, μετασχηματισμών ή μετατροπέων. Το Amazon MSK θα εγκαταστήσει την προσθήκη στους εργαζόμενους του συμπλέγματος MSK Connect όπου εκτελείται η εφαρμογή σύνδεσης. Ως μέρος αυτής της επίδειξης, για την πηγή σύνδεσης χρησιμοποιούμε ανοιχτό κώδικα JAR συνδετήρες Debezium MySQL, και για την εφαρμογή σύνδεσης προορισμού χρησιμοποιούμε την κοινότητα Confluent με άδεια χρήσης Βύσματα νεροχύτη Amazon S3 JAR. Και τα δύο πρόσθετα προστίθενται επίσης με βιβλιοθήκες για Avro Serializers και Deserializers του μητρώου AWS Glue Schema Registry. Αυτές οι προσαρμοσμένες προσθήκες έχουν ήδη δημιουργηθεί ως μέρος του προτύπου CloudFormation που αναπτύχθηκε στο προηγούμενο βήμα.
Χρησιμοποιήστε το μητρώο AWS Glue Schema με την υποδοχή Debezium στο MSK Connect ως παραγωγό MSK
Αρχικά αναπτύσσουμε τη σύνδεση πηγής χρησιμοποιώντας την προσθήκη Debezium MySQL για ροή δεδομένων από ένα Amazon Aurora MySQL-Compatible Edition βάση δεδομένων στο Amazon MSK. Ολοκληρώστε τα παρακάτω βήματα:
- Στην κονσόλα Amazon MSK, στο παράθυρο πλοήγησης, κάτω MSK Connect, επιλέξτε Συνδετήρες καλωδίων.
- Επιλέξτε Δημιουργία σύνδεσης.
- Επιλέξτε Χρησιμοποιήστε την υπάρχουσα προσαρμοσμένη προσθήκη και, στη συνέχεια, επιλέξτε την προσαρμοσμένη προσθήκη με το όνομα που ξεκινά
msk-blog-debezium-source-plugin
. - Επιλέξτε Επόμενο.
- Εισαγάγετε ένα κατάλληλο όνομα όπως
debezium-mysql-connector
και μια προαιρετική περιγραφή. - Για Συστάδα Απάτσι Κάφκα, επιλέξτε Σύμπλεγμα MSK και επιλέξτε το σύμπλεγμα που δημιουργήθηκε από το πρότυπο CloudFormation.
- In Διαμόρφωση σύνδεσης, διαγράψτε τις προεπιλεγμένες τιμές και χρησιμοποιήστε τα ακόλουθα ζεύγη κλειδιών-τιμών διαμόρφωσης και με τις κατάλληλες τιμές:
- όνομα – Το όνομα που χρησιμοποιείται για τη σύνδεση.
- database.hostsname – Η έξοδος CloudFormation για Τελικό σημείο βάσης δεδομένων.
- database.user και database.password – Οι παράμετροι που μεταβιβάστηκαν στο πρότυπο CloudFormation.
- database.history.kafka.bootstrap.servers – Η έξοδος CloudFormation για Kafka Bootstrap.
- key.converter.region και value.converter.region – Η Περιφέρειά σας.
Ορισμένες από αυτές τις ρυθμίσεις είναι γενικές και θα πρέπει να καθορίζονται για οποιαδήποτε σύνδεση. Για παράδειγμα:
- Το connector.class είναι η κλάση Java της εφαρμογής σύνδεσης
- Το tasks.max είναι ο μέγιστος αριθμός εργασιών που πρέπει να δημιουργηθούν για αυτήν την εφαρμογή σύνδεσης
Μερικές ρυθμίσεις (database.*
, transforms.*
) είναι συγκεκριμένα για την υποδοχή Debezium MySQL. Αναφέρομαι σε Ιδιότητες ρύθμισης παραμέτρων σύνδεσης πηγής Debezium MySQL Για περισσότερες πληροφορίες.
Μερικές ρυθμίσεις (key.converter.*
και value.converter.*
) είναι συγκεκριμένα για το Μητρώο Σχήματος. Χρησιμοποιούμε το AWSKafkaAvroConverter
από το Βιβλιοθήκη μητρώου AWS Glue Schema ως μετατροπέας μορφής. Για διαμόρφωση AWSKafkaAvroConverter
, χρησιμοποιούμε την τιμή των ιδιοτήτων της σταθεράς συμβολοσειράς στο AWSSchemaRegistryConstants τάξη:
key.converter
καιvalue.converter
ελέγξτε τη μορφή των δεδομένων που θα εγγραφούν στον Kafka για συνδέσεις πηγής ή θα διαβάσετε από τον Kafka για συνδέσμους νεροχύτη. ΧρησιμοποιούμεAWSKafkaAvroConverter
για τη μορφή Avro.key.converter.registry.name
καιvalue.converter.registry.name
ορίστε ποιο μητρώο σχήματος θα χρησιμοποιήσετε.key.converter.compatibility
καιvalue.converter.compatibility
ορίστε το μοντέλο συμβατότητας.
Αναφέρομαι σε Χρήση του Kafka Connect with AWS Glue Schema Registry Για περισσότερες πληροφορίες.
- Στη συνέχεια, διαμορφώνουμε Χωρητικότητα συνδετήρα. Μπορούμε να επιλέξουμε Προβλέπεται και αφήστε άλλες ιδιότητες ως προεπιλογή
- Για Διαμόρφωση εργάτη, επιλέξτε τη διαμόρφωση προσαρμοσμένου εργαζόμενου με το όνομα να ξεκινά
msk-gsr-blog
που δημιουργήθηκε ως μέρος του προτύπου CloudFormation. - Για Δικαιώματα πρόσβασης, Χρησιμοποιήστε το Διαχείριση ταυτότητας και πρόσβασης AWS ρόλος (IAM) που δημιουργείται από το πρότυπο CloudFormation
MSKConnectRole
. - Επιλέξτε Επόμενο.
- Για Ασφάλεια, επιλέξτε τις προεπιλογές.
- Επιλέξτε Επόμενο.
- Για Παράδοση ημερολογίου, Επιλέξτε Παράδοση στο Amazon CloudWatch Logs και αναζητήστε την ομάδα καταγραφής που δημιουργήθηκε από το πρότυπο CloudFormation (
msk-connector-logs
). - Επιλέξτε Επόμενο.
- Ελέγξτε τις ρυθμίσεις και επιλέξτε Δημιουργία σύνδεσης.
Μετά από λίγα λεπτά, ο σύνδεσμος αλλάζει σε κατάσταση λειτουργίας.
Χρησιμοποιήστε το AWS Glue Schema Registry με την υποδοχή νεροχύτη Confluent S3 που εκτελείται στο MSK Connect ως καταναλωτής MSK
Αναπτύσσουμε την υποδοχή νεροχύτη χρησιμοποιώντας την προσθήκη Confluent S3 sink για τη ροή δεδομένων από το Amazon MSK στο Amazon S3. Ολοκληρώστε τα παρακάτω βήματα:
-
- Στην κονσόλα Amazon MSK, στο παράθυρο πλοήγησης, κάτω MSK Connect, επιλέξτε Συνδετήρες καλωδίων.
- Επιλέξτε Δημιουργία σύνδεσης.
- Επιλέξτε Χρησιμοποιήστε την υπάρχουσα προσαρμοσμένη προσθήκη και επιλέξτε την προσαρμοσμένη προσθήκη με το όνομα που ξεκινά
msk-blog-S3sink-plugin
. - Επιλέξτε Επόμενο.
- Εισαγάγετε ένα κατάλληλο όνομα όπως
s3-sink-connector
και μια προαιρετική περιγραφή. - Για Συστάδα Απάτσι Κάφκα, επιλέξτε Σύμπλεγμα MSK και επιλέξτε το σύμπλεγμα που δημιουργήθηκε από το πρότυπο CloudFormation.
- In Διαμόρφωση σύνδεσης, διαγράψτε τις προεπιλεγμένες τιμές που παρέχονται και χρησιμοποιήστε τα ακόλουθα ζεύγη κλειδιών-τιμών διαμόρφωσης με τις κατάλληλες τιμές:
-
- όνομα – Το ίδιο όνομα που χρησιμοποιείται για τον σύνδεσμο.
- s3.bucket.name – Η έξοδος CloudFormation για Όνομα κάδου.
- s3.region, key.converter.region και value.converter.region – Η Περιφέρειά σας.
-
- Στη συνέχεια, διαμορφώνουμε Χωρητικότητα συνδετήρα. Μπορούμε να επιλέξουμε Προβλέπεται και αφήστε άλλες ιδιότητες ως προεπιλογή
- Για Διαμόρφωση εργάτη, επιλέξτε τη διαμόρφωση προσαρμοσμένου εργαζόμενου με το όνομα να ξεκινά
msk-gsr-blog
που δημιουργήθηκε ως μέρος του προτύπου CloudFormation. - Για Δικαιώματα πρόσβασης, χρησιμοποιήστε τον ρόλο IAM που δημιουργείται από το πρότυπο CloudFormation
MSKConnectRole
. - Επιλέξτε Επόμενο.
- Για Ασφάλεια, επιλέξτε τις προεπιλογές.
- Επιλέξτε Επόμενο.
- Για Παράδοση ημερολογίου, Επιλέξτε Παράδοση στο Amazon CloudWatch Logs και αναζητήστε την ομάδα καταγραφής που δημιουργήθηκε από το πρότυπο CloudFormation
msk-connector-logs
. - Επιλέξτε Επόμενο.
- Ελέγξτε τις ρυθμίσεις και επιλέξτε Δημιουργία σύνδεσης.
Μετά από λίγα λεπτά, ο σύνδεσμος λειτουργεί.
Δοκιμάστε τη ροή καταγραφής CDC από άκρο σε άκρο
Τώρα που και οι δύο υποδοχές νεροχύτη Debezium και S3 είναι σε λειτουργία και λειτουργούν, ολοκληρώστε τα παρακάτω βήματα για να ελέγξετε το CDC από άκρο σε άκρο:
- Στην κονσόλα Amazon EC2, μεταβείτε στο Ομάδες ασφαλείας .
- Επιλέξτε την ομάδα ασφαλείας
ClientInstanceSecurityGroup
Και επιλέξτε Επεξεργασία εισερχόμενων κανόνων. - Προσθέστε έναν εισερχόμενο κανόνα που επιτρέπει τη σύνδεση SSH από το τοπικό σας δίκτυο.
- Στις Περιπτώσεις σελίδα, επιλέξτε την περίπτωση
ClientInstance
Και επιλέξτε Connect. - Στις EC2 Instance Σύνδεση καρτέλα, επιλέξτε Connect.
- Βεβαιωθείτε ότι ο τρέχων κατάλογος εργασίας σας είναι
/home/ec2-user
και έχει τα αρχείαcreate_table.sql
,alter_table.sql
,initial_insert.sql
, ναinsert_data_with_new_column.sql
. - Δημιουργήστε έναν πίνακα στη βάση δεδομένων MySQL εκτελώντας την ακόλουθη εντολή (δώστε το όνομα κεντρικού υπολογιστή βάσης δεδομένων από τις εξόδους προτύπου CloudFormation):
- Όταν σας ζητηθεί κωδικός πρόσβασης, εισαγάγετε τον κωδικό πρόσβασης από τις παραμέτρους προτύπου CloudFormation.
- Εισαγάγετε μερικά δείγματα δεδομένων στον πίνακα με την ακόλουθη εντολή:
- Όταν σας ζητηθεί κωδικός πρόσβασης, εισαγάγετε τον κωδικό πρόσβασης από τις παραμέτρους προτύπου CloudFormation.
- Στην κονσόλα κόλλας AWS, επιλέξτε Μητρώα σχημάτων στο παράθυρο πλοήγησης και, στη συνέχεια, επιλέξτε Σχήματα.
- Πλοηγηθείτε στο
db1.sampledatabase.movies
έκδοση 1 για να ελέγξετε το νέο σχήμα που δημιουργήθηκε για τον πίνακα ταινιών:
Ένας ξεχωριστός φάκελος S3 δημιουργείται για κάθε διαμέρισμα του θέματος Kafka και τα δεδομένα για το θέμα εγγράφονται σε αυτόν τον φάκελο.
- Στην κονσόλα Amazon S3, ελέγξτε για δεδομένα γραμμένα σε μορφή Parquet στο φάκελο για το θέμα Kafka.
Εξέλιξη σχήματος
Αφού οριστεί το αρχικό σχήμα, οι εφαρμογές μπορεί να χρειαστεί να το εξελίξουν με την πάροδο του χρόνου. Όταν συμβεί αυτό, είναι σημαντικό για τους μεταγενέστερους καταναλωτές να μπορούν να χειρίζονται δεδομένα που κωδικοποιούνται τόσο με το παλιό όσο και με το νέο σχήμα χωρίς προβλήματα. Οι λειτουργίες συμβατότητας σάς επιτρέπουν να ελέγχετε πώς τα σχήματα μπορούν ή δεν μπορούν να εξελιχθούν με την πάροδο του χρόνου. Αυτοί οι τρόποι αποτελούν τη σύμβαση μεταξύ των εφαρμογών που παράγουν και καταναλώνουν δεδομένα. Για λεπτομερείς πληροφορίες σχετικά με διαφορετικές λειτουργίες συμβατότητας που είναι διαθέσιμες στο Μητρώο Σχήματος Κόλλας AWS, ανατρέξτε στο Μητρώο σχήματος κόλλας AWS. Στο παράδειγμά μας, χρησιμοποιούμε τη δυνατότητα ανταπόκρισης προς τα πίσω για να διασφαλίσουμε ότι οι καταναλωτές μπορούν να διαβάσουν τόσο την τρέχουσα όσο και την προηγούμενη έκδοση σχήματος. Ολοκληρώστε τα παρακάτω βήματα:
- Προσθέστε μια νέα στήλη στον πίνακα εκτελώντας την ακόλουθη εντολή:
- Εισαγάγετε νέα δεδομένα στον πίνακα εκτελώντας την ακόλουθη εντολή:
- Στην κονσόλα κόλλας AWS, επιλέξτε Μητρώα σχημάτων στο παράθυρο πλοήγησης και, στη συνέχεια, επιλέξτε Σχήματα.
- Πλοηγηθείτε στο σχήμα
db1.sampledatabase.movies
έκδοση 2 για να ελέγξετε τη νέα έκδοση του σχήματος που δημιουργήθηκε για τις ταινίες του πίνακα ταινιών, συμπεριλαμβανομένης της στήλης χώρας που προσθέσατε:
- Στην κονσόλα Amazon S3, ελέγξτε για δεδομένα γραμμένα σε μορφή Parquet στο φάκελο για το θέμα Kafka.
εκκαθάριση
Για να αποτρέψετε ανεπιθύμητες χρεώσεις στον λογαριασμό σας AWS, διαγράψτε τους πόρους AWS που χρησιμοποιήσατε σε αυτήν την ανάρτηση:
- Στην κονσόλα Amazon S3, μεταβείτε στον κάδο S3 που δημιουργήθηκε από το πρότυπο CloudFormation.
- Επιλέξτε όλα τα αρχεία και τους φακέλους και επιλέξτε Διαγραφή.
- Εισαγάγετε την οριστική διαγραφή σύμφωνα με τις οδηγίες και επιλέξτε Διαγραφή αντικειμένων.
- Στην κονσόλα AWS CloudFormation, διαγράψτε τη στοίβα που δημιουργήσατε.
- Περιμένετε να αλλάξει η κατάσταση στοίβας σε DELETE_COMPLETE.
Συμπέρασμα
Αυτή η ανάρτηση έδειξε πώς να χρησιμοποιείτε το Amazon MSK, το MSK Connect και το Μητρώο Σχήματος Κόλλας AWS για τη δημιουργία μιας ροής καταγραφής CDC και την εξέλιξη σχημάτων για ροές δεδομένων καθώς αλλάζουν οι ανάγκες της επιχείρησης. Μπορείτε να εφαρμόσετε αυτό το μοτίβο αρχιτεκτονικής σε άλλες πηγές δεδομένων με διαφορετικές συνδέσεις Kafka. Για περισσότερες πληροφορίες, ανατρέξτε στο Παραδείγματα MSK Connect.
Σχετικά με το Συγγραφέας
Kalyan Janaki είναι Ανώτερος Ειδικός Big Data & Analytics με τις Υπηρεσίες Ιστού της Amazon. Βοηθά τους πελάτες να αρχιτεκτονήσουν και να δημιουργήσουν εξαιρετικά επεκτάσιμες, αποδοτικές και ασφαλείς λύσεις που βασίζονται σε cloud στο AWS.
- SEO Powered Content & PR Distribution. Ενισχύστε σήμερα.
- Platoblockchain. Web3 Metaverse Intelligence. Ενισχύθηκε η γνώση. Πρόσβαση εδώ.
- πηγή: https://aws.amazon.com/blogs/big-data/build-an-end-to-end-change-data-capture-with-amazon-msk-connect-and-aws-glue-schema-registry/
- :είναι
- $UP
- 1
- 10
- 11
- 7
- 8
- a
- Ικανός
- Σχετικά
- πρόσβαση
- Λογαριασμός
- ακριβής
- αναγνωρίζω
- προστιθέμενη
- Επιπλέον
- Όλα
- Επιτρέποντας
- επιτρέπει
- ήδη
- Amazon
- Amazon EC2
- Amazon υπηρεσίες Web
- analytics
- και
- Apache
- Apache Kafka
- εφαρμογές
- Εφαρμογή
- κατάλληλος
- αρχιτεκτονική
- ΕΙΝΑΙ
- AS
- αυγή
- αυτομάτως
- διαθέσιμος
- AWS
- AWS CloudFormation
- Κόλλα AWS
- BE
- πριν
- οφέλη
- μεταξύ
- Μεγάλος
- Big Data
- Bootstrap
- χτίζω
- επιχείρηση
- by
- CAN
- δυνατότητες
- πιάνω
- Καταγραφή
- περιπτώσεις
- κατάλογος
- CDC
- κεντρική
- αλλαγή
- Αλλαγές
- φορτία
- έλεγχος
- έλεγχοι
- Επιλέξτε
- τάξη
- συστάδα
- Στήλη
- κοινότητα
- συμβατότητα
- σύμφωνος
- πλήρης
- συστατικό
- Υπολογίστε
- διαμόρφωση
- Διασταύρωση
- Connect
- σύνδεση
- πρόξενος
- σταθερός
- καταναλώνουν
- καταναλωτής
- Καταναλωτές
- συνεχώς
- σύμβαση
- έλεγχος
- χώρα
- δημιουργία
- δημιουργήθηκε
- κρίσιμης
- Ρεύμα
- έθιμο
- Πελάτες
- ημερομηνία
- ολοκλήρωση δεδομένων
- βασίζονται σε δεδομένα
- βάση δεδομένων
- βάσεις δεδομένων
- Ημ.
- αποφάσεις
- Προεπιλογή
- προεπιλογές
- ορίζεται
- παράδοση
- Διαδήλωση
- κατέδειξε
- καταδεικνύει
- παρατάσσω
- αναπτυχθεί
- περιγραφή
- προορισμός
- λεπτομερής
- καθέκαστα
- διαφορετικές
- ανακαλύπτουν
- Όχι
- Πτώση
- κάθε
- εξαλείφει
- ενεργοποίηση
- από άκρη σε άκρη
- εξασφαλίζω
- εξασφαλίζει
- εισάγετε
- Περιβάλλον
- σφάλμα
- ειδικά
- Αιθέρας (ΕΤΗ)
- Κάθε
- εξελίσσονται
- παράδειγμα
- υφιστάμενα
- υπάρχει
- λίγοι
- Πεδία
- Αρχεία
- Αρχεία
- τελικός
- Όνομα
- Εξής
- Για
- μορφή
- μορφή
- από
- παράγουν
- παράγεται
- Group
- Ομάδα
- λαβή
- Χειρισμός
- συμβαίνει
- Έχω
- βοήθεια
- βοηθά
- υψηλά
- ιστορία
- οικοδεσπότης
- ΩΡΕΣ
- Πως
- Πώς να
- HTML
- http
- HTTPS
- Hub
- IAM
- προσδιορισμό
- Ταυτότητα
- εκτέλεση
- σημαντικό
- in
- Συμπεριλαμβανομένου
- δείκτες
- πληροφορίες
- αρχικός
- εγκαθιστώ
- παράδειγμα
- αντί
- ενσωματώσει
- ολοκλήρωση
- εσωτερικός
- IT
- Java
- jpg
- json
- Kafka
- Κλειδί
- Ξέρω
- Άδεια
- βιβλιοθήκες
- Άδεια
- Μου αρέσει
- φορτίο
- φόρτωση
- τοπικός
- Μακριά
- που
- ΚΑΝΕΙ
- Κατασκευή
- διαχειρίζεται
- κύριος
- max
- ανώτατο όριο
- μηχανισμός
- μήνυμα
- μηνύματα
- ενδέχεται να
- πρακτικά
- μοντέλο
- τρόπων
- οθόνες
- περισσότερο
- Κινηματογράφος
- κίνηση
- πολλαπλούς
- MySQL
- όνομα
- Πλοηγηθείτε
- Πλοήγηση
- Ανάγκη
- που απαιτούνται
- ανάγκες
- δίκτυο
- Νέα
- επόμενη
- αριθμός
- of
- Παλιά
- on
- ONE
- ανοικτού κώδικα
- ΑΛΛΑ
- παραγωγή
- σελίδα
- ζεύγη
- παράθυρο
- παράμετρος
- παράμετροι
- μέρος
- πέρασε
- Κωδικός Πρόσβασης
- πρότυπο
- εκτελέσει
- μόνιμα
- επιλέξτε
- Πλάτων
- Πληροφορία δεδομένων Plato
- Πλάτωνα δεδομένα
- συνδέω
- Plugins
- Θέση
- πρόληψη
- προηγούμενος
- διαδικασια μας
- μεταποίηση
- παράγει
- παραγωγός
- ιδιότητες
- παρέχουν
- παρέχεται
- παρέχει
- Διάβασε
- πραγματικός
- σε πραγματικό χρόνο
- λαμβάνω
- ρεκόρ
- αρχεία
- αναφέρεται
- περιοχή
- κάντε ΕΓΓΡΑΦΗ
- καταχωρηθεί
- μητρώου
- Αποθήκη
- εκπροσωπούνται
- Υποστηρικτικό υλικό
- Επιστροφές
- Ρόλος
- Άρθρο
- τρέξιμο
- τρέξιμο
- ίδιο
- επεκτάσιμη
- άψογα
- Αναζήτηση
- δευτερόλεπτα
- προστατευμένο περιβάλλον
- ασφάλεια
- αρχαιότερος
- ευαίσθητος
- ξεχωριστό
- υπηρεσία
- Υπηρεσίες
- σειρά
- ρυθμίσεις
- θα πρέπει να
- Απλούς
- απλοποίηση
- λύση
- Λύσεις
- μερικοί
- Πηγή
- Πηγές
- ειδικός
- συγκεκριμένες
- καθορίζεται
- σωρός
- Ξεκινήστε
- Κατάσταση
- Βήμα
- Βήματα
- χώρος στο δίσκο
- κατάστημα
- καταστήματα
- μετάδοση
- ροής
- ροές
- δομή
- κατάλληλος
- Στήριξη
- Υποστηρίζει
- συγχρονισμός
- σύστημα
- συστήματα
- τραπέζι
- στόχος
- εργασίες
- πρότυπο
- δοκιμή
- ότι
- Η
- Η Πηγη
- Τους
- Αυτοί
- ώρα
- ευαίσθητο στο χρόνο
- Τίτλος
- προς την
- τοπικός
- Συναλλαγές
- ΣΤΡΟΦΗ
- τύποι
- υπό
- ανεπιθύμητος
- ενημέρωση
- χρήση
- Χρήστες
- αξία
- Αξίες
- εκδοχή
- ιστός
- διαδικτυακές υπηρεσίες
- Ποιό
- θα
- παράθυρα
- με
- εργάτης
- εργαζομένων
- εργαζόμενος
- λειτουργεί
- γραπτή
- Σας
- zephyrnet