Ζούμε στην εποχή των δεδομένων και των πληροφοριών σε πραγματικό χρόνο, που οδηγούνται από εφαρμογές ροής δεδομένων χαμηλής καθυστέρησης. Σήμερα, όλοι αναμένουν μια εξατομικευμένη εμπειρία σε οποιαδήποτε εφαρμογή, και οι οργανισμοί συνεχώς καινοτομούν για να αυξήσουν την ταχύτητα λειτουργίας της επιχείρησης και λήψης αποφάσεων. Ο όγκος των δεδομένων που παράγονται ευαίσθητα στον χρόνο αυξάνεται ραγδαία, με διαφορετικές μορφές δεδομένων που εισάγονται σε νέες επιχειρήσεις και περιπτώσεις χρήσης πελατών. Ως εκ τούτου, είναι σημαντικό για τους οργανισμούς να υιοθετήσουν μια υποδομή ροής δεδομένων χαμηλής καθυστέρησης, επεκτάσιμη και αξιόπιστη για την παροχή επιχειρηματικών εφαρμογών σε πραγματικό χρόνο και καλύτερες εμπειρίες πελατών.
Αυτή είναι η πρώτη ανάρτηση σε μια σειρά ιστολογίων που προσφέρει κοινά αρχιτεκτονικά μοτίβα για την κατασκευή υποδομών ροής δεδομένων σε πραγματικό χρόνο χρησιμοποιώντας τα Kinesis Data Streams για ένα ευρύ φάσμα περιπτώσεων χρήσης. Στόχος του είναι να παρέχει ένα πλαίσιο για τη δημιουργία εφαρμογών ροής χαμηλής καθυστέρησης στο AWS Cloud χρησιμοποιώντας Ροές δεδομένων Amazon Kinesis και Υπηρεσίες ανάλυσης δεδομένων που έχουν δημιουργηθεί ειδικά για το AWS.
Σε αυτήν την ανάρτηση, θα εξετάσουμε τα κοινά αρχιτεκτονικά μοτίβα δύο περιπτώσεων χρήσης: Ανάλυση δεδομένων χρονοσειρών και μικροϋπηρεσίες με γνώμονα τα συμβάντα. Στην επόμενη ανάρτηση της σειράς μας, θα εξερευνήσουμε τα αρχιτεκτονικά μοτίβα στην κατασκευή αγωγών ροής για πίνακες εργαλείων BI σε πραγματικό χρόνο, αντιπρόσωπο κέντρου επικοινωνίας, δεδομένα καθολικού, εξατομικευμένες προτάσεις σε πραγματικό χρόνο, αναλυτικά στοιχεία καταγραφής, δεδομένα IoT, Αλλαγή λήψης δεδομένων και πραγματικές -χρονικά δεδομένα μάρκετινγκ. Όλα αυτά τα μοτίβα αρχιτεκτονικής είναι ενσωματωμένα με τα Amazon Kinesis Data Streams.
Ροή σε πραγματικό χρόνο με Kinesis Data Streams
Το Amazon Kinesis Data Streams είναι μια εγγενής στο cloud, υπηρεσία ροής δεδομένων χωρίς διακομιστή που καθιστά εύκολη τη λήψη, επεξεργασία και αποθήκευση δεδομένων σε πραγματικό χρόνο σε οποιαδήποτε κλίμακα. Με το Kinesis Data Streams, μπορείτε να συλλέγετε και να επεξεργάζεστε εκατοντάδες gigabyte δεδομένων ανά δευτερόλεπτο από εκατοντάδες χιλιάδες πηγές, επιτρέποντάς σας να γράφετε εύκολα εφαρμογές που επεξεργάζονται πληροφορίες σε πραγματικό χρόνο. Τα δεδομένα που συλλέγονται είναι διαθέσιμα σε χιλιοστά του δευτερολέπτου για να επιτρέπουν περιπτώσεις χρήσης αναλυτικών στοιχείων σε πραγματικό χρόνο, όπως πίνακες εργαλείων σε πραγματικό χρόνο, ανίχνευση ανωμαλιών σε πραγματικό χρόνο και δυναμική τιμολόγηση. Από προεπιλογή, τα δεδομένα στο Kinesis Data Stream αποθηκεύονται για 24 ώρες με δυνατότητα αύξησης της διατήρησης δεδομένων σε 365 ημέρες. Εάν οι πελάτες θέλουν να επεξεργάζονται τα ίδια δεδομένα σε πραγματικό χρόνο με πολλές εφαρμογές, τότε μπορούν να χρησιμοποιήσουν τη δυνατότητα Enhanced Fan-Out (EFO). Πριν από αυτήν τη δυνατότητα, κάθε εφαρμογή που καταναλώνει δεδομένα από τη ροή μοιραζόταν την έξοδο 2MB/δευτερόλεπτο/shard. Ρυθμίζοντας τους καταναλωτές ροής ώστε να χρησιμοποιούν βελτιωμένο ανεμιστήρα, κάθε καταναλωτής δεδομένων λαμβάνει αποκλειστικό σωλήνα 2MB/δευτερόλεπτο απόδοσης ανάγνωσης ανά θραύσμα για περαιτέρω μείωση της καθυστέρησης στην ανάκτηση δεδομένων.
Για υψηλή διαθεσιμότητα και ανθεκτικότητα, το Kinesis Data Streams επιτυγχάνει υψηλή ανθεκτικότητα με τη σύγχρονη αναπαραγωγή των δεδομένων ροής σε τρεις Ζώνες Διαθεσιμότητας σε μια Περιοχή AWS και σας δίνει την επιλογή να διατηρείτε δεδομένα έως και 365 ημέρες. Για ασφάλεια, τα Kinesis Data Streams παρέχουν κρυπτογράφηση από την πλευρά του διακομιστή, ώστε να μπορείτε να πληροίτε αυστηρές απαιτήσεις διαχείρισης δεδομένων κρυπτογραφώντας τα δεδομένα σας σε κατάσταση ηρεμίας και τα τελικά σημεία διεπαφής Amazon Virtual Private Cloud (VPC) για να διατηρείτε την επισκεψιμότητα μεταξύ του Amazon VPC και του Kinesis Data Streams ιδιωτική.
Το Kinesis Data Streams έχει εγγενείς ενσωματώσεις με άλλες υπηρεσίες AWS όπως π.χ Κόλλα AWS και Amazon EventBridge για τη δημιουργία εφαρμογών ροής σε πραγματικό χρόνο στο AWS. Ανατρέξτε στις ενσωματώσεις Amazon Kinesis Data Streams για πρόσθετες λεπτομέρειες.
Σύγχρονη αρχιτεκτονική ροής δεδομένων με Kinesis Data Streams
Μια σύγχρονη αρχιτεκτονική ροής δεδομένων με Kinesis Data Streams μπορεί να σχεδιαστεί ως μια στοίβα πέντε λογικών επιπέδων. κάθε επίπεδο αποτελείται από πολλαπλά κατασκευασμένα στοιχεία που καλύπτουν συγκεκριμένες απαιτήσεις, όπως φαίνεται στο ακόλουθο διάγραμμα:
Η αρχιτεκτονική αποτελείται από τα ακόλουθα βασικά στοιχεία:
- Πηγές ροής – Η πηγή δεδομένων ροής περιλαμβάνει πηγές δεδομένων όπως δεδομένα ροής κλικ, αισθητήρες, μέσα κοινωνικής δικτύωσης, συσκευές Internet of Things (IoT), αρχεία καταγραφής που δημιουργούνται με τη χρήση των εφαρμογών ιστού και για κινητές συσκευές και κινητές συσκευές που δημιουργούν ημιδομημένα και αδόμητα δεδομένα ως συνεχείς ροές σε υψηλή ταχύτητα.
- Κατάποση ροής – Το επίπεδο απορρόφησης ροής είναι υπεύθυνο για την απορρόφηση δεδομένων στο επίπεδο αποθήκευσης ροής. Παρέχει τη δυνατότητα συλλογής δεδομένων από δεκάδες χιλιάδες πηγές δεδομένων και απορρόφησης σε πραγματικό χρόνο. Μπορείτε να χρησιμοποιήσετε το Kinesis SDK για την απορρόφηση δεδομένων ροής μέσω API, το Kinesis Producer Library για τη δημιουργία παραγωγών ροής υψηλής απόδοσης και μακράς διάρκειας, ή α παράγοντας Kinesis για τη συλλογή ενός συνόλου αρχείων και την απορρόφησή τους στο Kinesis Data Streams. Επιπλέον, μπορείτε να χρησιμοποιήσετε πολλές ενσωματώσεις προκατασκευής όπως π.χ Υπηρεσία μετεγκατάστασης βάσεων δεδομένων AWS (AWS DMS), Amazon DynamoDB, να AWS Core IoT για την απορρόφηση δεδομένων με τρόπο χωρίς κώδικα. Μπορείτε επίσης να απορροφήσετε δεδομένα από πλατφόρμες τρίτων όπως το Apache Spark και το Apache Kafka Connect
- Αποθήκευση ροής – Τα Kinesis Data Streams προσφέρουν δύο τρόπους για την υποστήριξη της διεκπεραίωσης δεδομένων: On-Demand και Provisioned. Η λειτουργία κατ' απαίτηση, τώρα η προεπιλεγμένη επιλογή, μπορεί να κλιμακωθεί ελαστικά για να απορροφήσει μεταβλητές εντολές, έτσι ώστε οι πελάτες να μην χρειάζεται να ανησυχούν για τη διαχείριση χωρητικότητας και να πληρώνουν βάσει της ροής δεδομένων. Η λειτουργία κατ' απαίτηση κλιμακώνει αυτόματα 2 φορές τη χωρητικότητα ροής σε σχέση με την ιστορική μέγιστη απορρόφηση δεδομένων για να παρέχει επαρκή χωρητικότητα για απροσδόκητες αιχμές στην απορρόφηση δεδομένων. Εναλλακτικά, οι πελάτες που θέλουν λεπτομερή έλεγχο των πόρων ροής μπορούν να χρησιμοποιήσουν τη λειτουργία Παροχής και προληπτικά να αυξήσουν και να μειώσουν τον αριθμό των Shards για να ανταποκριθούν στις απαιτήσεις διακίνησης. Επιπλέον, το Kinesis Data Streams μπορεί να αποθηκεύσει δεδομένα ροής έως και 24 ώρες από προεπιλογή, αλλά μπορεί να επεκταθεί σε 7 ημέρες ή 365 ημέρες ανάλογα με τις περιπτώσεις χρήσης. Πολλαπλές εφαρμογές μπορούν να καταναλώσουν την ίδια ροή.
- Επεξεργασία ροής – Το επίπεδο επεξεργασίας ροής είναι υπεύθυνο για τη μετατροπή των δεδομένων σε αναλώσιμη κατάσταση μέσω επικύρωσης δεδομένων, εκκαθάρισης, κανονικοποίησης, μετασχηματισμού και εμπλουτισμού. Οι εγγραφές ροής διαβάζονται με τη σειρά που παράγονται, επιτρέποντας αναλύσεις σε πραγματικό χρόνο, δημιουργία εφαρμογών που βασίζονται σε συμβάντα ή ροή ETL (εξαγωγή, μετασχηματισμός και φόρτωση). Μπορείς να χρησιμοποιήσεις Διαχειριζόμενη υπηρεσία Amazon για Apache Flink για σύνθετη επεξεργασία δεδομένων ροής, AWS Lambda για επεξεργασία δεδομένων ροής χωρίς ιθαγένεια και Κόλλα AWS & EMR Αμαζονίου για υπολογισμούς σχεδόν σε πραγματικό χρόνο. Μπορείτε επίσης να δημιουργήσετε προσαρμοσμένες εφαρμογές καταναλωτών με Kinesis Consumer Library, που θα αναλάβει πολλές σύνθετες εργασίες που σχετίζονται με κατανεμημένους υπολογιστές.
- Προορισμός - Το επίπεδο προορισμού είναι σαν ένας προορισμός που έχει δημιουργηθεί ειδικά ανάλογα με την περίπτωση χρήσης σας. Μπορείτε να κάνετε ροή δεδομένων απευθείας στο Amazon RedShift για την αποθήκευση δεδομένων και το Amazon EventBridge για τη δημιουργία εφαρμογών που βασίζονται σε εκδηλώσεις. Μπορείτε επίσης να χρησιμοποιήσετε Firehose δεδομένων Amazon Kinesis για ενσωμάτωση ροής, όπου μπορείτε να φωτίσετε την επεξεργασία ροής με το AWS Lambda και στη συνέχεια να παραδώσετε επεξεργασμένη ροή σε προορισμούς όπως Amazon S3 data lake, OpenSearch Service για λειτουργικές αναλύσεις, αποθήκη δεδομένων Redshift, βάσεις δεδομένων No-SQL όπως το Amazon DynamoDB και σχεσιακές βάσεις δεδομένων όπως Amazon RDS να καταναλώνουν ροές σε πραγματικό χρόνο σε επιχειρηματικές εφαρμογές. Ο προορισμός μπορεί να είναι μια εφαρμογή που βασίζεται σε συμβάντα για πίνακες εργαλείων σε πραγματικό χρόνο, αυτόματες αποφάσεις που βασίζονται σε επεξεργασμένα δεδομένα ροής, αλλαγές σε πραγματικό χρόνο και πολλά άλλα.
Αρχιτεκτονική ανάλυσης σε πραγματικό χρόνο για χρονικές σειρές
Τα δεδομένα χρονοσειρών είναι μια ακολουθία σημείων δεδομένων που καταγράφονται σε ένα χρονικό διάστημα για τη μέτρηση γεγονότων που αλλάζουν με την πάροδο του χρόνου. Παραδείγματα είναι οι τιμές των μετοχών με την πάροδο του χρόνου, οι ροές κλικ ιστοσελίδων και τα αρχεία καταγραφής συσκευών με την πάροδο του χρόνου. Οι πελάτες μπορούν να χρησιμοποιούν δεδομένα χρονοσειρών για να παρακολουθούν τις αλλαγές με την πάροδο του χρόνου, ώστε να μπορούν να ανιχνεύουν ανωμαλίες, να αναγνωρίζουν μοτίβα και να αναλύουν τον τρόπο με τον οποίο επηρεάζονται ορισμένες μεταβλητές με την πάροδο του χρόνου. Τα δεδομένα χρονοσειρών παράγονται συνήθως από πολλαπλές πηγές σε μεγάλους όγκους και πρέπει να συλλέγονται οικονομικά σε πραγματικό χρόνο.
Συνήθως, υπάρχουν τρεις κύριοι στόχοι που θέλουν να επιτύχουν οι πελάτες κατά την επεξεργασία δεδομένων χρονοσειρών:
- Αποκτήστε πληροφορίες σε πραγματικό χρόνο για την απόδοση του συστήματος και εντοπίστε ανωμαλίες
- Κατανοήστε τη συμπεριφορά του τελικού χρήστη για να παρακολουθείτε τις τάσεις και να υποβάλετε ερωτήματα/δημιουργήστε οπτικοποιήσεις από αυτές τις πληροφορίες
- Έχετε μια ανθεκτική λύση αποθήκευσης για την απορρόφηση και αποθήκευση τόσο αρχειοθετημένων όσο και δεδομένων με συχνή πρόσβαση.
Με το Kinesis Data Streams, οι πελάτες μπορούν να καταγράφουν συνεχώς terabyte δεδομένων χρονοσειρών από χιλιάδες πηγές για καθαρισμό, εμπλουτισμό, αποθήκευση, ανάλυση και οπτικοποίηση.
Το ακόλουθο μοτίβο αρχιτεκτονικής δείχνει πώς μπορούν να επιτευχθούν αναλυτικά στοιχεία σε πραγματικό χρόνο για δεδομένα σειρών χρόνου με ροές δεδομένων Kinesis:
Τα βήματα της ροής εργασιών είναι τα εξής:
- Απορρόφηση και αποθήκευση δεδομένων – Τα Kinesis Data Streams μπορούν να συλλαμβάνουν και να αποθηκεύουν συνεχώς terabyte δεδομένων από χιλιάδες πηγές.
- Επεξεργασία ροής – Μια εφαρμογή που δημιουργήθηκε με Διαχειριζόμενη υπηρεσία Amazon για Apache Flink μπορεί να διαβάσει τις εγγραφές από τη ροή δεδομένων για να εντοπίσει και να καθαρίσει τυχόν σφάλματα στα δεδομένα χρονοσειρών και να εμπλουτίσει τα δεδομένα με συγκεκριμένα μεταδεδομένα για τη βελτιστοποίηση των λειτουργικών αναλυτικών στοιχείων. Η χρήση μιας ροής δεδομένων στη μέση παρέχει το πλεονέκτημα της χρήσης των δεδομένων χρονοσειράς σε άλλες διαδικασίες και λύσεις ταυτόχρονα. Στη συνέχεια, καλείται μια συνάρτηση Lambda με αυτά τα συμβάντα και μπορεί να εκτελέσει υπολογισμούς χρονοσειρών στη μνήμη.
- Προορισμοι – Μετά τον καθαρισμό και τον εμπλουτισμό, τα επεξεργασμένα δεδομένα χρονοσειρών μπορούν να μεταδοθούν σε ροή Χρονική ροή Amazon βάση δεδομένων για ταμπλό και ανάλυση σε πραγματικό χρόνο ή αποθηκεύονται σε βάσεις δεδομένων όπως το DynamoDB για ερωτήματα τελικού χρήστη. Τα ακατέργαστα δεδομένα μπορούν να μεταδοθούν σε ροή στο Amazon S3 για αρχειοθέτηση.
- Οπτικοποίηση και απόκτηση πληροφοριών – Οι πελάτες μπορούν να ρωτήσουν, να οπτικοποιήσουν και να δημιουργήσουν ειδοποιήσεις χρησιμοποιώντας Διαχειριζόμενη υπηρεσία Amazon για Grafana. Το Grafana υποστηρίζει πηγές δεδομένων που αποτελούν backend αποθήκευσης δεδομένων χρονοσειρών. Για να αποκτήσετε πρόσβαση στα δεδομένα σας από το Timestream, πρέπει να εγκαταστήσετε την προσθήκη Timestream για το Grafana. Οι τελικοί χρήστες μπορούν να αναζητήσουν δεδομένα από τον πίνακα DynamoDB με Amazon API Gateway ενεργώντας ως πληρεξούσιος.
Αναφέρομαι σε Επεξεργασία σχεδόν σε πραγματικό χρόνο με το Amazon Kinesis, το Amazon Timestream και το Grafana παρουσιάζοντας έναν αγωγό ροής χωρίς διακομιστή για την επεξεργασία και αποθήκευση δεδομένων τηλεμετρίας συσκευών IoT σε ένα βελτιστοποιημένο χώρο αποθήκευσης δεδομένων χρονοσειράς όπως το Amazon Timestream.
Εμπλουτισμός και επανάληψη δεδομένων σε πραγματικό χρόνο για μικροϋπηρεσίες προέλευσης συμβάντων
Οι μικροϋπηρεσίες είναι μια αρχιτεκτονική και οργανωτική προσέγγιση στην ανάπτυξη λογισμικού όπου το λογισμικό αποτελείται από μικρές ανεξάρτητες υπηρεσίες που επικοινωνούν μέσω καλά καθορισμένων API. Κατά τη δημιουργία μικροϋπηρεσιών που βασίζονται σε συμβάντα, οι πελάτες θέλουν να επιτύχουν 1. υψηλή επεκτασιμότητα για τη διαχείριση του όγκου των εισερχόμενων συμβάντων και 2. αξιοπιστία της επεξεργασίας συμβάντων και διατήρηση της λειτουργικότητας του συστήματος σε περίπτωση αστοχιών.
Οι πελάτες χρησιμοποιούν μοτίβα αρχιτεκτονικής μικροϋπηρεσιών για να επιταχύνουν την καινοτομία και τον χρόνο διάθεσης στην αγορά για νέες δυνατότητες, επειδή διευκολύνει την κλίμακα και την ανάπτυξη των εφαρμογών πιο γρήγορα. Ωστόσο, είναι δύσκολο να εμπλουτίσετε και να αναπαράγετε ξανά τα δεδομένα σε μια κλήση δικτύου σε άλλη μικρουπηρεσία, επειδή μπορεί να επηρεάσει την αξιοπιστία της εφαρμογής και να δυσκολέψει τον εντοπισμό σφαλμάτων και τον εντοπισμό σφαλμάτων. Για την επίλυση αυτού του προβλήματος, η προέλευση συμβάντων είναι ένα αποτελεσματικό μοτίβο σχεδίασης που συγκεντρώνει τα ιστορικά αρχεία όλων των αλλαγών κατάστασης για εμπλουτισμό και επανάληψη και αποσυνδέει την ανάγνωση από τους φόρτους εργασίας εγγραφής. Οι πελάτες μπορούν να χρησιμοποιήσουν το Kinesis Data Streams ως το κεντρικό κατάστημα συμβάντων για μικροϋπηρεσίες προέλευσης συμβάντων, επειδή το KDS μπορεί να χειριστεί 1/ gigabyte ροής δεδομένων ανά δευτερόλεπτο ανά ροή και να μεταδώσει τα δεδομένα σε χιλιοστά του δευτερολέπτου, για να καλύψει την απαίτηση για υψηλή επεκτασιμότητα και σχεδόν σε πραγματικό χρόνο λανθάνουσα κατάσταση, 2/ ενσωμάτωση με το Flink και το S3 για εμπλουτισμό και επίτευξη δεδομένων, ενώ αποσυνδέεται πλήρως από τις μικροϋπηρεσίες και 3/ επιτρέπει την επανάληψη και την ασύγχρονη ανάγνωση σε μεταγενέστερο χρόνο, επειδή το KDS διατηρεί την εγγραφή δεδομένων για προεπιλογή 24 ωρών και προαιρετικά έως 365 ημέρες.
Το ακόλουθο αρχιτεκτονικό μοτίβο είναι μια γενική απεικόνιση του τρόπου με τον οποίο μπορούν να χρησιμοποιηθούν οι ροές δεδομένων Kinesis για Microservices με προέλευση συμβάντων:
Τα βήματα στη ροή εργασιών είναι τα εξής:
- Απορρόφηση και αποθήκευση δεδομένων – Μπορείτε να συγκεντρώσετε τα δεδομένα εισόδου από τις μικροϋπηρεσίες σας στις ροές δεδομένων Kinesis για αποθήκευση.
- Ροή επεξεργασίας - Apache Flink Stateful Functions απλοποιεί τη δημιουργία κατανεμημένων εφαρμογών που βασίζονται σε συμβάντα. Μπορεί να λάβει τα συμβάντα από μια ροή δεδομένων εισόδου Kinesis και να δρομολογήσει τη ροή που προκύπτει σε μια ροή δεδομένων εξόδου. Μπορείτε να δημιουργήσετε ένα σύμπλεγμα συναρτήσεων κατάστασης με το Apache Flink με βάση την επιχειρηματική λογική της εφαρμογής σας.
- Στιγμιότυπο κατάστασης στο Amazon S3 – Μπορείτε να αποθηκεύσετε το στιγμιότυπο κατάστασης στο Amazon S3 για παρακολούθηση.
- Ροές εξόδου – Οι ροές εξόδου μπορούν να καταναλωθούν μέσω των απομακρυσμένων λειτουργιών Lambda μέσω του πρωτοκόλλου HTTP/gRPC μέσω της πύλης API.
- Λειτουργίες τηλεχειρισμού λάμδα – Οι λειτουργίες Lambda μπορούν να λειτουργήσουν ως μικροϋπηρεσίες για διάφορες εφαρμογές και επιχειρηματική λογική για την εξυπηρέτηση επιχειρηματικών εφαρμογών και εφαρμογών για κινητά.
Για να μάθετε πώς άλλοι πελάτες δημιούργησαν τις μικρουπηρεσίες τους που βασίζονται σε εκδηλώσεις με το Kinesis Data Streams, ανατρέξτε στα ακόλουθα:
Βασικές εκτιμήσεις και βέλτιστες πρακτικές
Ακολουθούν σκέψεις και βέλτιστες πρακτικές που πρέπει να έχετε υπόψη:
- Η ανακάλυψη δεδομένων πρέπει να είναι το πρώτο σας βήμα στη δημιουργία σύγχρονων εφαρμογών ροής δεδομένων. Πρέπει να καθορίσετε την αξία της επιχείρησης και, στη συνέχεια, να προσδιορίσετε τις πηγές δεδομένων ροής και τα πρόσωπα των χρηστών για να επιτύχετε τα επιθυμητά επιχειρηματικά αποτελέσματα.
- Επιλέξτε το εργαλείο απορρόφησης δεδομένων ροής με βάση την πηγή δεδομένων steaming. Για παράδειγμα, μπορείτε να χρησιμοποιήσετε το Kinesis SDK για την απορρόφηση δεδομένων ροής μέσω API, το Kinesis Producer Library για τη δημιουργία παραγωγών ροής υψηλής απόδοσης και μακράς διάρκειας, α παράγοντας Kinesis για τη συλλογή ενός συνόλου αρχείων και την απορρόφησή τους σε Kinesis Data Streams, AWS DMS για περιπτώσεις χρήσης ροής CDC και AWS Core IoT για την απορρόφηση δεδομένων συσκευών IoT σε ροές δεδομένων Kinesis. Μπορείτε να απορροφήσετε δεδομένα ροής απευθείας στο Amazon Redshift για να δημιουργήσετε εφαρμογές ροής χαμηλής καθυστέρησης. Μπορείτε επίσης να χρησιμοποιήσετε βιβλιοθήκες τρίτων, όπως το Apache Spark και το Apache Kafka, για να απορροφήσετε δεδομένα ροής στις ροές δεδομένων Kinesis.
- Πρέπει να επιλέξετε τις υπηρεσίες επεξεργασίας δεδομένων ροής με βάση τη συγκεκριμένη περίπτωση χρήσης και τις επιχειρηματικές σας απαιτήσεις. Για παράδειγμα, μπορείτε να χρησιμοποιήσετε την υπηρεσία διαχείρισης Amazon Kinesis για το Apache Flink για περιπτώσεις χρήσης προηγμένης ροής με πολλαπλούς προορισμούς ροής και περίπλοκη επεξεργασία ροής σε κατάσταση κατάστασης ή εάν θέλετε να παρακολουθείτε μετρήσεις επιχειρήσεων σε πραγματικό χρόνο (όπως κάθε ώρα). Το Lambda είναι καλό για επεξεργασία βάσει συμβάντων και χωρίς ιθαγένεια. Μπορείς να χρησιμοποιήσεις EMR Αμαζονίου για επεξεργασία δεδομένων ροής για να χρησιμοποιήσετε τα αγαπημένα σας πλαίσια μεγάλων δεδομένων ανοιχτού κώδικα. Το AWS Glue είναι καλό για επεξεργασία δεδομένων ροής σχεδόν σε πραγματικό χρόνο για περιπτώσεις χρήσης όπως η ροή ETL.
- Το Kinesis Data Streams χρεώνει τη λειτουργία κατ' απαίτηση κατά τη χρήση και αυξάνει αυτόματα τη χωρητικότητα των πόρων, επομένως είναι καλό για έντονο φόρτο εργασίας ροής και συντήρηση hands-free. Η λειτουργία παροχής χρεώνεται ανά χωρητικότητα και απαιτεί προληπτική διαχείριση χωρητικότητας, επομένως είναι καλό για προβλέψιμους φόρτους εργασίας ροής.
- Μπορείτε να χρησιμοποιήσετε το Kinesis Shared Calculator για τον υπολογισμό του αριθμού των θραυσμάτων που απαιτούνται για την προβλεπόμενη λειτουργία. Δεν χρειάζεται να ανησυχείτε για θραύσματα με λειτουργία κατ' απαίτηση.
- Κατά τη χορήγηση αδειών, αποφασίζετε ποιος θα λάβει ποιες άδειες σε ποιους πόρους Kinesis Data Streams. Ενεργοποιείτε συγκεκριμένες ενέργειες που θέλετε να επιτρέψετε σε αυτούς τους πόρους. Επομένως, θα πρέπει να εκχωρήσετε μόνο τα δικαιώματα που απαιτούνται για την εκτέλεση μιας εργασίας. Μπορείτε επίσης να κρυπτογραφήσετε τα δεδομένα σε κατάσταση ηρεμίας χρησιμοποιώντας ένα κλειδί διαχείρισης πελατών KMS (CMK).
- Μπορείς να ενημέρωση της περιόδου διατήρησης μέσω της κονσόλας Kinesis Data Streams ή χρησιμοποιώντας το IncreaseStreamRetentionPeriod και την DecreaseStreamRetentionPeriod λειτουργίες που βασίζονται στις συγκεκριμένες περιπτώσεις χρήσης σας.
- Υποστηρίζει το Kinesis Data Streams αναπαλαίωση. Το προτεινόμενο API για αυτή τη λειτουργία είναι UpdateShardCount, που σας επιτρέπει να τροποποιήσετε τον αριθμό των θραυσμάτων στη ροή σας για να προσαρμοστείτε στις αλλαγές στον ρυθμό ροής δεδομένων μέσω της ροής. Τα API αναπροσαρμογής (Split and Merge) χρησιμοποιούνται συνήθως για το χειρισμό hot shards.
Συμπέρασμα
Αυτή η ανάρτηση παρουσίασε διάφορα αρχιτεκτονικά μοτίβα για τη δημιουργία εφαρμογών ροής χαμηλής καθυστέρησης με τα Kinesis Data Streams. Μπορείτε να δημιουργήσετε τις δικές σας εφαρμογές steaming χαμηλής καθυστέρησης με το Kinesis Data Streams χρησιμοποιώντας τις πληροφορίες σε αυτήν την ανάρτηση.
Για λεπτομερή αρχιτεκτονικά μοτίβα, ανατρέξτε στους ακόλουθους πόρους:
Εάν θέλετε να δημιουργήσετε ένα όραμα και μια στρατηγική δεδομένων, ρίξτε μια ματιά στο Τα πάντα βάσει δεδομένων AWS (D2E) πρόγραμμα.
Σχετικά με τους Συγγραφείς
Raghavarao Sodabathina είναι κύριος αρχιτέκτονας λύσεων στο AWS, με επίκεντρο την ανάλυση δεδομένων, το AI/ML και την ασφάλεια στο cloud. Συνεργάζεται με τους πελάτες για να δημιουργήσει καινοτόμες λύσεις που αντιμετωπίζουν επιχειρηματικά προβλήματα πελατών και για να επιταχύνει την υιοθέτηση των υπηρεσιών AWS. Στον ελεύθερο χρόνο του, ο Raghavarao απολαμβάνει να περνά χρόνο με την οικογένειά του, να διαβάζει βιβλία και να βλέπει ταινίες.
Hang Zuo είναι Ανώτερος Διευθυντής Προϊόντων στην ομάδα Amazon Kinesis Data Streams στο Amazon Web Services. Είναι παθιασμένος με την ανάπτυξη διαισθητικών εμπειριών προϊόντων που λύνουν σύνθετα προβλήματα πελατών και επιτρέπουν στους πελάτες να επιτύχουν τους επιχειρηματικούς τους στόχους.
Shwetha Radhakrishnan είναι ένας αρχιτέκτονας λύσεων για το AWS με εστίαση στο Data Analytics. Κατασκευάζει λύσεις που οδηγούν στην υιοθέτηση του cloud και βοηθούν τους οργανισμούς να λαμβάνουν αποφάσεις βάσει δεδομένων στον δημόσιο τομέα. Εκτός δουλειάς, της αρέσει ο χορός, να περνά χρόνο με τους φίλους και την οικογένεια και τα ταξίδια.
Brittany Ly είναι αρχιτέκτονας λύσεων στην AWS. Επικεντρώνεται στο να βοηθά εταιρικούς πελάτες με το ταξίδι υιοθέτησης και εκσυγχρονισμού του cloud και ενδιαφέρεται για τον τομέα της ασφάλειας και των αναλυτικών στοιχείων. Εκτός δουλειάς, της αρέσει να περνά χρόνο με τον σκύλο της και να παίζει pickleball.
- SEO Powered Content & PR Distribution. Ενισχύστε σήμερα.
- PlatoData.Network Vertical Generative Ai. Ενδυναμώστε τον εαυτό σας. Πρόσβαση εδώ.
- PlatoAiStream. Web3 Intelligence. Ενισχύθηκε η γνώση. Πρόσβαση εδώ.
- PlatoESG. Ανθρακας, Cleantech, Ενέργεια, Περιβάλλον, Ηλιακός, Διαχείριση των αποβλήτων. Πρόσβαση εδώ.
- PlatoHealth. Ευφυΐα βιοτεχνολογίας και κλινικών δοκιμών. Πρόσβαση εδώ.
- πηγή: https://aws.amazon.com/blogs/big-data/architectural-patterns-for-real-time-analytics-using-amazon-kinesis-data-streams-part-1/
- :έχει
- :είναι
- :δεν
- :που
- $UP
- 1
- 100
- 24
- 7
- a
- ικανότητα
- Σχετικα
- επιταχύνουν
- πρόσβαση
- πρόσβαση
- Κατορθώνω
- επιτευχθεί
- Επιτυγχάνει
- την επίτευξη
- απέναντι
- Πράξη
- ηθοποιία
- ενεργειών
- προσαρμόσει
- Επιπλέον
- Πρόσθετος
- Επιπλέον
- διεύθυνση
- Υιοθεσία
- προηγμένες
- Πλεονέκτημα
- Μετά το
- την ηλικία του
- Πράκτορας
- σύνολο
- AI / ML
- στόχοι
- ειδοποιήσεις
- Όλα
- επιτρέπουν
- Επιτρέποντας
- επιτρέπει
- Επίσης
- Amazon
- Amazon Kinesis
- Χρονική ροή Amazon
- Amazon υπηρεσίες Web
- an
- ανάλυση
- analytics
- αναλύσει
- και
- ανίχνευση ανωμαλιών
- Άλλος
- κάθε
- Apache
- Apache Kafka
- Apache Spark
- api
- APIs
- Εφαρμογή
- εφαρμογές
- πλησιάζω
- εφαρμογές
- αρχιτεκτονική
- αρχιτεκτονική
- ΕΙΝΑΙ
- AS
- συσχετισμένη
- At
- Αυτόματο
- αυτομάτως
- διαθεσιμότητα
- διαθέσιμος
- AWS
- Κόλλα AWS
- AWS Lambda
- βασίζονται
- BE
- επειδή
- ήταν
- συμπεριφορά
- είναι
- ΚΑΛΎΤΕΡΟΣ
- βέλτιστες πρακτικές
- Καλύτερα
- μεταξύ
- Μεγάλος
- Big Data
- Μπλοκ
- Βιβλία
- και οι δύο
- χτίζω
- Κτίριο
- χτισμένο
- επιχείρηση
- Επιχειρηματικές εφαρμογές
- επιχειρήσεις
- αλλά
- by
- υπολογίσει
- κλήση
- CAN
- Χωρητικότητα
- πιάνω
- ο οποίος
- περίπτωση
- περιπτώσεις
- CDC
- Κέντρο
- κεντρική
- ορισμένες
- πρόκληση
- αλλαγή
- Αλλαγές
- φορτία
- έλεγχος
- επιλογή
- Επιλέξτε
- καθαρός
- Καθάρισμα
- Backup
- υιοθέτηση νέφους
- Ασφάλεια Cloud
- συστάδα
- συλλέγουν
- Συλλέγοντας
- Κοινός
- επικοινωνούν
- εντελώς
- συγκρότημα
- εξαρτήματα
- συγκείμενο
- Υπολογίστε
- χρήση υπολογιστή
- ενδιαφερόμενος
- Διαμόρφωση
- θεωρήσεις
- αποτελείται
- πρόξενος
- συνεχώς
- καταναλώνουν
- καταναλώνεται
- καταναλωτής
- Καταναλωτές
- επικοινωνήστε μαζί μας
- κέντρο επαφών
- συνεχής
- συνεχώς
- έλεγχος
- δημιουργία
- δημιουργήθηκε
- κρίσιμης
- πελάτης
- Πελάτες
- προσαρμοσμένη
- Χορός
- dashboards
- ημερομηνία
- ανάλυση δεδομένων
- Δεδομένα Analytics
- εμπλουτισμός δεδομένων
- Λίμνη δεδομένων
- διαχείριση δεδομένων
- σημεία δεδομένων
- επεξεργασία δεδομένων
- αποθήκη δεδομένων
- βασίζονται σε δεδομένα
- βάση δεδομένων
- βάσεις δεδομένων
- Ημ.
- αποφασίζει
- απόφαση
- Λήψη Αποφάσεων
- αποφάσεις
- αποσυνδεδεμένο
- αφιερωμένο
- Προεπιλογή
- ορίζεται
- παραδώσει
- κατέδειξε
- Σε συνάρτηση
- Υπηρεσίες
- σχεδιασμένα
- επιθυμητή
- προορισμός
- προορισμοί
- λεπτομερής
- καθέκαστα
- ανίχνευση
- Ανίχνευση
- ανάπτυξη
- ανάπτυξη
- Ανάπτυξη
- συσκευή
- Συσκευές
- διαφορετικές
- δύσκολος
- κατευθείαν
- ανακάλυψη
- διανέμονται
- κατανεμημένων υπολογιστών
- do
- Σκύλος
- Μην
- κάτω
- αυτοκίνητο
- οδηγείται
- αντοχή
- δυναμικός
- κάθε
- ευκολότερη
- εύκολα
- εύκολος
- Αποτελεσματικός
- αγκαλιάζω
- ενεργοποιήσετε
- κρυπτογράφηση
- τελικά σημεία
- δεσμεύεται
- ενισχυμένη
- εμπλουτίζω
- Εταιρεία
- επιχειρηματικούς πελάτες
- λάθη
- Αιθέρας (ΕΤΗ)
- Συμβάν
- εκδηλώσεις
- Κάθε
- όλοι
- παράδειγμα
- παραδείγματα
- αναμένει
- εμπειρία
- Δραστηριοτητες
- διερευνήσει
- επεκτείνουν
- εκχύλισμα
- Πρόσωπο
- αποτυχίες
- οικογένεια
- Μόδα
- γρηγορότερα
- Αγαπημένα
- Χαρακτηριστικό
- Χαρακτηριστικά
- πεδίο
- Αρχεία
- Όνομα
- πέντε
- ροή
- Συγκέντρωση
- επικεντρώθηκε
- εστιάζοντας
- Εξής
- εξής
- Για
- Πλαίσιο
- πλαισίων
- συχνά
- φίλους
- από
- λειτουργία
- λειτουργικότητα
- λειτουργίες
- περαιτέρω
- Κέρδος
- πύλη
- παράγουν
- παράγεται
- να πάρει
- GitHub
- δίνει
- Στόχοι
- καλός
- χορηγεί
- χορήγηση
- λαβή
- Κρεμώ
- he
- βοήθεια
- βοήθεια
- αυτήν
- Ψηλά
- υψηλή απόδοση
- του
- ιστορικό
- ΚΑΥΤΌ
- ώρα
- ΩΡΕΣ
- Πως
- Ωστόσο
- HTML
- http
- HTTPS
- Εκατοντάδες
- προσδιορίσει
- if
- απεικονίζει
- Επίπτωση
- in
- Σε άλλες
- περιλαμβάνει
- Εισερχόμενος
- Αυξάνουν
- αύξηση
- ανεξάρτητος
- επηρεάζονται
- πληροφορίες
- Υποδομή
- υποδομή
- καινοτόμος
- Καινοτομία
- καινοτόμες
- εισαγωγή
- ιδέες
- εγκαθιστώ
- ενσωματώσει
- ενσωματωθεί
- ολοκλήρωση
- ολοκληρώσεις
- τόκος
- περιβάλλον λειτουργίας
- Internet
- Ίντερνετ των πραγμάτων
- σε
- εισήγαγε
- διαισθητική
- επικαλείται
- IoT
- Συσκευή IoT
- IT
- ΤΟΥ
- ταξίδι
- jpg
- Kafka
- Διατήρηση
- Κλειδί
- Ροές δεδομένων Kinesis
- λίμνη
- Αφάνεια
- αργότερα
- στρώμα
- στρώματα
- ΜΑΘΑΊΝΩ
- Καθολικό
- βιβλιοθήκες
- Βιβλιοθήκη
- φως
- Μου αρέσει
- ζουν
- φορτίο
- κούτσουρο
- λογική
- λογικός
- αγαπά
- διατηρήσουν
- συντήρηση
- κάνω
- ΚΑΝΕΙ
- Κατασκευή
- διαχειρίζεται
- διαχείριση
- διευθυντής
- πολοί
- Μάρκετινγκ
- ανώτατο όριο
- μέτρησης
- Εικόνες / Βίντεο
- Γνωρίστε
- Μνήμη
- πηγαίνω
- Μεταδεδομένα
- Metrics
- μικροεπιχειρήσεις
- Μέσο
- μετανάστευση
- χιλιοστά του δευτερολέπτου
- νου
- Κινητό
- Mobile Applications
- κινητές συσκευές
- mobile-εφαρμογές
- Τρόπος
- ΜΟΝΤΕΡΝΑ
- εκσυγχρονισμός
- τρόπων
- τροποποιήσει
- Παρακολούθηση
- περισσότερο
- Κινηματογράφος
- πολλαπλούς
- πρέπει
- ντόπιος
- Κοντά
- Ανάγκη
- που απαιτούνται
- ανάγκες
- δίκτυο
- Νέα
- Νέες δυνατότητες
- τώρα
- αριθμός
- of
- προσφορά
- προσφορές
- on
- Κατα παραγγελια
- αποκλειστικά
- ανοίξτε
- ανοικτού κώδικα
- λειτουργία
- επιχειρήσεων
- λειτουργίες
- Βελτιστοποίηση
- βελτιστοποιημένη
- Επιλογή
- or
- τάξη
- οργανωτικός
- οργανώσεις
- ΑΛΛΑ
- δικός μας
- έξω
- αποτελέσματα
- παραγωγή
- εκτός
- επί
- δική
- μέρος
- παθιασμένος
- πρότυπο
- πρότυπα
- Πληρωμή
- για
- εκτελέσει
- επίδοση
- δικαιώματα
- Εξατομικευμένη
- σωλήνας
- αγωγού
- Πλατφόρμες
- Πλάτων
- Πληροφορία δεδομένων Plato
- Πλάτωνα δεδομένα
- Δοκιμάστε να παίξετε
- συνδέω
- σημεία
- Θέση
- πρακτικές
- Αναμενόμενος
- Τιμές
- τιμολόγηση
- πρωταρχικός
- Κύριος
- Πριν
- ιδιωτικός
- Προληπτική
- Πρόβλημα
- προβλήματα
- διαδικασια μας
- επεξεργασία
- Διεργασίες
- μεταποίηση
- Παράγεται
- παραγωγός
- Παραγωγούς
- Προϊόν
- υπεύθυνος προϊόντων
- Πρόγραμμα
- πρωτόκολλο
- παρέχουν
- παρέχει
- πληρεξούσιο
- δημόσιο
- σειρά
- ταχέως
- Τιμή
- Ακατέργαστος
- ακατέργαστα δεδομένα
- Διάβασε
- Ανάγνωση
- πραγματικός
- σε πραγματικό χρόνο
- δεδομένα σε πραγματικό χρόνο
- λαμβάνω
- λαμβάνει
- Σύσταση
- συνιστάται
- ρεκόρ
- καταγράφονται
- αρχεία
- μείωση
- παραπέμπω
- περιοχή
- αξιοπιστία
- αξιόπιστος
- μακρινός
- απαιτείται
- απαίτηση
- απαιτήσεις
- Απαιτεί
- πόρος
- Υποστηρικτικό υλικό
- υπεύθυνος
- ΠΕΡΙΦΕΡΕΙΑ
- με αποτέλεσμα
- διατηρώ
- διατηρεί
- κράτηση
- ανασκόπηση
- Διαδρομή
- ίδιο
- Απεριόριστες δυνατότητες
- επεκτάσιμη
- Κλίμακα
- Ζυγός
- Δεύτερος
- τομέας
- ασφάλεια
- αρχαιότερος
- αισθητήρες
- Ακολουθία
- Σειρές
- εξυπηρετούν
- Χωρίς διακομιστή
- υπηρεσία
- Υπηρεσίες
- σειρά
- Shared
- αυτή
- θα πρέπει να
- ανάδειξη
- απλοποιεί
- small
- Στιγμιότυπο
- So
- Μ.Κ.Δ
- social media
- λογισμικό
- ανάπτυξη λογισμικού
- λύση
- Λύσεις
- SOLVE
- Πηγή
- Πηγές
- Σπινθήρας
- συγκεκριμένες
- ταχύτητα
- δαπανήσει
- Δαπάνες
- αιχμές
- διαίρεση
- σωρός
- Κατάσταση
- Βήμα
- Βήματα
- στοκ
- χώρος στο δίσκο
- κατάστημα
- αποθηκεύονται
- Στρατηγική
- μετάδοση
- ροή
- ροής
- ροές
- αυστηρός
- μεταγενέστερος
- τέτοιος
- επαρκής
- υποστήριξη
- Υποστηρίζει
- σύστημα
- τραπέζι
- Πάρτε
- Έργο
- εργασίες
- δεκάδες
- ότι
- Η
- οι πληροφορίες
- Το κράτος
- τους
- Τους
- τότε
- Εκεί.
- επομένως
- Αυτοί
- αυτοί
- πράγματα
- τρίτους
- αυτό
- εκείνοι
- χιλιάδες
- τρία
- Μέσω
- διακίνηση
- ώρα
- Χρονική σειρά
- ευαίσθητο στο χρόνο
- προς την
- σήμερα
- εργαλείο
- ίχνος
- τροχιά
- Παρακολούθηση
- ΚΙΝΗΣΗ στους ΔΡΟΜΟΥΣ
- Μεταμορφώστε
- Μεταμόρφωση
- μετασχηματίζοντας
- Ταξίδια
- Τάσεις
- δύο
- συνήθως
- Απροσδόκητος
- επάνω σε
- Χρήση
- χρήση
- περίπτωση χρήσης
- μεταχειρισμένος
- Χρήστες
- χρησιμοποιώντας
- χρησιμοποιώ
- επικύρωση
- αξία
- μεταβλητή
- διάφορα
- Ταχύτητα
- μέσω
- Πραγματικός
- όραμα
- οραματισμός
- φαντάζομαι
- τόμος
- όγκους
- θέλω
- Αποθήκη
- Αποθήκευση
- παρακολουθείτε
- we
- ιστός
- διαδικτυακές υπηρεσίες
- καλά καθορισμένη
- Τι
- πότε
- Ποιό
- ενώ
- Ο ΟΠΟΊΟΣ
- ευρύς
- Ευρύ φάσμα
- θα
- με
- εντός
- Εργασία
- ροής εργασίας
- ανησυχία
- γράφω
- εσείς
- Σας
- zephyrnet
- ζώνες