EMR Αμαζονίου είναι μια υπηρεσία μεγάλων δεδομένων που προσφέρεται από την AWS για την εκτέλεση του Apache Spark και άλλων εφαρμογών ανοιχτού κώδικα στο AWS για τη δημιουργία κλιμακωτών αγωγών δεδομένων με οικονομικά αποδοτικό τρόπο. Η παρακολούθηση των αρχείων καταγραφής που δημιουργούνται από τις εργασίες που αναπτύσσονται σε συμπλέγματα EMR είναι απαραίτητη για να βοηθήσει στην ανίχνευση κρίσιμων ζητημάτων σε πραγματικό χρόνο και στον γρήγορο εντοπισμό των βασικών αιτιών.
Ωθώντας αυτά τα αρχεία καταγραφής amazoncloudwatch σάς δίνει τη δυνατότητα να συγκεντρώνετε και να οδηγείτε ευφυΐα από τα αρχεία καταγραφής σας για την αντιμετώπιση λειτουργικών ζητημάτων χωρίς να χρειάζεται να παρέχετε διακομιστές ή να διαχειρίζεστε λογισμικό. Μπορείτε να αρχίσετε αμέσως να γράφετε ερωτήματα με συναθροίσεις, φίλτρα και κανονικές εκφράσεις. Επιπλέον, μπορείτε να οπτικοποιήσετε δεδομένα χρονοσειρών, να αναλύσετε μεμονωμένα συμβάντα καταγραφής και να εξάγετε αποτελέσματα ερωτημάτων σε πίνακες εργαλείων CloudWatch.
Για την κατάποση αρχείων καταγραφής που παραμένουν στο Amazon Elastic Compute Cloud (Amazon EC2) περιπτώσεις ενός συμπλέγματος EMR στο CloudWatch, μπορείτε να χρησιμοποιήσετε το Πράκτορας CloudWatch. Αυτό παρέχει έναν απλό τρόπο για να προωθήσετε τα αρχεία καταγραφής από μια παρουσία EC2 στο CloudWatch.
Ο πράκτορας CloudWatch είναι ένα πακέτο λογισμικού που εκτελείται αυτόνομα και συνεχώς στους διακομιστές σας. Μπορείτε να εγκαταστήσετε και να διαμορφώσετε τον παράγοντα CloudWatch ώστε να συλλέγει αρχεία καταγραφής συστήματος και εφαρμογών από παρουσίες EC2, κεντρικούς υπολογιστές εσωτερικής εγκατάστασης και εφαρμογές με κοντέινερ. Το CloudWatch επεξεργάζεται και αποθηκεύει τα αρχεία καταγραφής που συλλέγονται από τον πράκτορα CloudWatch, κάτι που βοηθά περαιτέρω στην παρακολούθηση απόδοσης και υγείας της υποδομής και των εφαρμογών σας.
Σε αυτήν την ανάρτηση, δημιουργούμε ένα σύμπλεγμα EMR και συγκεντρώνουμε τα αρχεία καταγραφής βημάτων EMR των εργασιών στο CloudWatch. Αυτό θα σας διευκολύνει να διαχειριστείτε το σύμπλεγμα EMR, να αντιμετωπίσετε προβλήματα και να παρακολουθήσετε την απόδοση. Αυτή η λύση είναι ιδιαίτερα χρήσιμη εάν θέλετε να χρησιμοποιήσετε το CloudWatch για τη συλλογή και οπτικοποίηση αρχείων καταγραφής, μετρήσεων και δεδομένων συμβάντων σε πραγματικό χρόνο, βελτιστοποιώντας την υποδομή και τη συντήρηση της εφαρμογής σας.
Επισκόπηση της λύσης
Η λύση που παρουσιάζεται σε αυτήν την ανάρτηση βασίζεται σε μια συγκεκριμένη διαμόρφωση όπου το επίπεδο ταυτόχρονης βαθμίδας EMR έχει οριστεί σε 1. Αυτό σημαίνει ότι μόνο ένα βήμα εκτελείται κάθε φορά στο σύμπλεγμα. Είναι σημαντικό να σημειωθεί ότι εάν το επίπεδο ταυτόχρονης βήματος EMR οριστεί σε τιμή μεγαλύτερη από 1, η λύση ενδέχεται να μην λειτουργεί όπως αναμένεται. Συνιστούμε ανεπιφύλακτα να επαληθεύσετε Συγχρονισμός βημάτων EMR ρύθμιση παραμέτρων πριν από την εφαρμογή της λύσης που παρουσιάζεται σε αυτήν την ανάρτηση.
Το παρακάτω διάγραμμα απεικονίζει την αρχιτεκτονική λύσεων.
Η ροή εργασίας περιλαμβάνει τα ακόλουθα βήματα:
- Οι χρήστες ξεκινούν μια εργασία Apache Spark EMR, δημιουργώντας ένα βήμα στο σύμπλεγμα EMR. Χρησιμοποιώντας το Apache Spark, ο φόρτος εργασίας κατανέμεται στους διαφορετικούς κόμβους του συμπλέγματος EMR.
- Σε κάθε κόμβο (στιγμιότυπο EC2) του συμπλέγματος, ένας πράκτορας CloudWatch παρακολουθεί διαφορετικούς καταλόγους αρχείων καταγραφής, καταγράφοντας νέες εγγραφές στα αρχεία καταγραφής και ωθώντας τις στο CloudWatch.
- Οι χρήστες μπορούν να δουν τα αρχεία καταγραφής βημάτων που έχουν πρόσβαση στις διαφορετικές ομάδες καταγραφής από την κονσόλα CloudWatch. Τα αρχεία καταγραφής βημάτων που γράφτηκαν από το Amazon EMR είναι τα εξής:
- ελεγκτής — Πληροφορίες σχετικά με την επεξεργασία του βήματος. Εάν το βήμα σας αποτύχει κατά τη φόρτωση, μπορείτε να βρείτε το ίχνος στοίβας σε αυτό το αρχείο καταγραφής.
- stderr — Το τυπικό κανάλι σφάλματος του Spark ενώ επεξεργάζεται το βήμα.
- stdout — Το τυπικό κανάλι εξόδου του Spark ενώ επεξεργάζεται το βήμα.
Παρέχουμε ένα AWS CloudFormation πρότυπο σε αυτήν την ανάρτηση ως γενικό οδηγό. Το πρότυπο δείχνει πώς να διαμορφώσετε έναν πράκτορα CloudWatch στο Amazon EMR για να ωθήσει τα αρχεία καταγραφής Spark στο CloudWatch. Μπορείτε να το ελέγξετε και να το προσαρμόσετε όπως απαιτείται για να συμπεριλάβετε τις διαμορφώσεις ασφαλείας του Amazon EMR. Ως βέλτιστη πρακτική, συνιστούμε να συμπεριλάβετε τις διαμορφώσεις ασφαλείας του Amazon EMR στο πρότυπο για κρυπτογράφηση δεδομένων κατά τη μεταφορά.
Θα πρέπει επίσης να γνωρίζετε ότι ορισμένοι από τους πόρους που αναπτύσσονται από αυτήν τη στοίβα συνεπάγονται κόστος όταν παραμένουν σε χρήση.
Στις επόμενες ενότητες, ακολουθούμε τα ακόλουθα βήματα:
- Δημιουργήστε και ανεβάστε το σενάριο bootstrap σε ένα Απλή υπηρεσία αποθήκευσης Amazon (Amazon S3) κάδος.
- Χρησιμοποιήστε το πρότυπο CloudFormation για να δημιουργήσετε τους ακόλουθους πόρους:
- Παρακολουθήστε τα αρχεία καταγραφής Spark στην κονσόλα CloudWatch.
Προϋποθέσεις
Αυτή η ανάρτηση προϋποθέτει ότι έχετε τα εξής:
Δημιουργήστε και ανεβάστε το σενάριο bootstrap σε έναν κάδο S3
Για περισσότερες πληροφορίες, δείτε Μεταφόρτωση αντικειμένων και Εγκατάσταση και εκτέλεση του παράγοντα CloudWatch στους διακομιστές σας.
Για να δημιουργήσετε και να ανεβάσετε το σενάριο bootstrap, ολοκληρώστε τα παρακάτω βήματα:
- Δημιουργήστε ένα τοπικό αρχείο με όνομα
bootstrap_cloudwatch_agent.sh
με το ακόλουθο περιεχόμενο: - Στην κονσόλα Amazon S3, επιλέξτε τον κάδο S3.
- Στις Αντικείμενα καρτέλα, επιλέξτε Μεταφόρτωση.
- Επιλέξτε Προσθήκη αρχείων, στη συνέχεια επιλέξτε το σενάριο εκκίνησης.
- Επιλέξτε Μεταφόρτωση, μετά επιλέξτε το όνομα αρχείου:
bootstrap_cloudwatch_agent.sh
. - Επιλέξτε Αντιγραφή S3 URI. Χρησιμοποιούμε αυτήν την τιμή σε επόμενο βήμα.
Παροχή πόρων με το πρότυπο CloudFormation
Επιλέξτε Εκκίνηση στοίβας για να εκκινήσετε μια στοίβα CloudFormation στον λογαριασμό σας και να αναπτύξετε το πρότυπο:
Αυτό το πρότυπο δημιουργεί έναν ρόλο IAM, ένα προφίλ παρουσίας IAM, μια παράμετρο Systems Manager και ένα σύμπλεγμα EMR. Το σύμπλεγμα ξεκινά το Παράδειγμα εφαρμογής εκτίμησης Spark PI. Θα χρεωθείτε για τους πόρους AWS που χρησιμοποιούνται εάν δημιουργήσετε μια στοίβα από αυτό το πρότυπο.
Ο οδηγός CloudFormation θα σας ζητήσει να τροποποιήσετε ή να παρέχετε αυτές τις παραμέτρους:
- Τύπος Instance - Η τύπος περίπτωσης για όλες τις ομάδες παραδείγματος. Η προεπιλογή είναι m4.xlarge.
- InstanceCountCore – Ο αριθμός των περιπτώσεων στην ομάδα βασικών περιπτώσεων. Η προεπιλογή είναι 2.
- EMRReleaseLabel - Η Ετικέτα κυκλοφορίας Amazon EMR θέλετε να χρησιμοποιήσετε. Η προεπιλογή είναι emr-6.9.0.
- BootstrapScriptPath – Η διαδρομή S3 του σεναρίου εκκίνησης εγκατάστασης του πράκτορα CloudWatch που αντιγράψατε νωρίτερα.
- Υποδίκτυο – Το υποδίκτυο EC2 όπου ξεκινά το σύμπλεγμα. Πρέπει να παρέχετε αυτήν την παράμετρο.
- EC2KeyPairName – Ένα προαιρετικό ζεύγος κλειδιών EC2 για σύνδεση με κόμβους συμπλέγματος, ως εναλλακτική του Session Manager.
Παρακολουθήστε τις ροές καταγραφής
Μετά την επιτυχή ανάπτυξη της στοίβας CloudFormation, στην κονσόλα CloudWatch, επιλέξτε Ομάδες καταγραφής στο παράθυρο πλοήγησης. Στη συνέχεια, φιλτράρετε τις ομάδες καταγραφής με το πρόθεμα /aws/emr/master
.
Το αναγνωριστικό στην ομάδα καταγραφής αντιστοιχεί στο αναγνωριστικό παρουσίας EC2 του πρωτεύοντος κόμβου EMR. Εάν έχετε πολλά συμπλέγματα EMR, μπορείτε να χρησιμοποιήσετε αυτό το αναγνωριστικό για να προσδιορίσετε ένα συγκεκριμένο σύμπλεγμα EMR, με βάση το αναγνωριστικό πρωτεύοντος κόμβου.
Στην ομάδα καταγραφής, θα βρείτε τις τρεις διαφορετικές ροές καταγραφής.
Οι ροές καταγραφής περιέχουν τις ακόλουθες πληροφορίες:
- step-stdout – Το τυπικό κανάλι εξόδου του Spark ενώ επεξεργάζεται το βήμα.
- step-stderr – Το τυπικό κανάλι σφάλματος του Spark ενώ επεξεργάζεται το βήμα.
- βηματικός ελεγκτής – Πληροφορίες για την επεξεργασία του βήματος. Εάν το βήμα σας αποτύχει κατά τη φόρτωση, μπορείτε να βρείτε το ίχνος στοίβας σε αυτό το αρχείο καταγραφής.
εκκαθάριση
Για να αποφύγετε μελλοντικές χρεώσεις στον λογαριασμό σας, διαγράψτε τους πόρους που δημιουργήσατε σε αυτήν την αναλυτική περιγραφή. Το σύμπλεγμα EMR θα έχει χρεώσεις για όσο διάστημα το σύμπλεγμα είναι ενεργό, οπότε σταματήστε το όταν τελειώσετε.
- Στην κονσόλα CloudFormation, στο παράθυρο πλοήγησης, επιλέξτε Στοίβες.
- Επιλέξτε τη στοίβα που ξεκινήσατε (
EMR-CloudWatch-Demo
), Στη συνέχεια, επιλέξτε Διαγραφή. - Αδειάστε τον κάδο S3 δημιουργήσατε.
- Διαγράψτε τον κάδο S3 δημιουργήσατε.
Συμπέρασμα
Τώρα που ολοκληρώσατε τα βήματα σε αυτήν την αναλυτική περιγραφή, έχετε τον πράκτορα CloudWatch να εκτελείται στους κεντρικούς υπολογιστές συμπλέγματος και να έχει ρυθμιστεί ώστε να ωθεί τα αρχεία καταγραφής βημάτων EMR στο CloudWatch. Με αυτήν τη δυνατότητα, μπορείτε να παρακολουθείτε αποτελεσματικά την υγεία και την απόδοση των εργασιών Spark που εκτελούνται στο Amazon EMR, εντοπίζοντας κρίσιμα ζητήματα σε πραγματικό χρόνο και εντοπίζοντας γρήγορα τις βασικές αιτίες.
Μπορείτε να συσκευάσετε και να αναπτύξετε αυτήν τη λύση μέσω ενός προτύπου CloudFormation όπως αυτό το παράδειγμα προτύπου, το οποίο δημιουργεί τον ρόλο προφίλ παρουσίας IAM, την παράμετρο Διαχείριση Συστημάτων και το σύμπλεγμα EMR.
Για να το προχωρήσετε περαιτέρω, σκεφτείτε να χρησιμοποιήσετε αυτά τα αρχεία καταγραφής στους συναγερμούς CloudWatch για ειδοποιήσεις σε α φίλτρο ομάδας καταγραφής μετρήσεων. Θα μπορούσατε να τα συλλέξετε με άλλους συναγερμούς σε α σύνθετος συναγερμός ή να διαμορφώσετε ενέργειες συναγερμού, όπως η αποστολή Υπηρεσία απλών ειδοποιήσεων Amazon (Amazon SNS) ειδοποιήσεις για την ενεργοποίηση διεργασιών που βασίζονται σε συμβάντα, όπως π.χ AWS Lambda λειτουργίες.
Σχετικά με το Συγγραφέας
Ένιο Παστόρε είναι Senior Data Architect στην ομάδα του AWS Data Lab. Είναι ενθουσιώδης με οτιδήποτε σχετίζεται με τις νέες τεχνολογίες που έχουν θετικό αντίκτυπο στις επιχειρήσεις και γενικότερα τα προς το ζην. Η Ennio έχει πάνω από 10 χρόνια εμπειρίας στην ανάλυση δεδομένων. Βοηθά τις εταιρείες να καθορίσουν και να εφαρμόσουν πλατφόρμες δεδομένων σε όλους τους κλάδους, όπως οι τηλεπικοινωνίες, οι τράπεζες, τα τυχερά παιχνίδια, το λιανικό εμπόριο και οι ασφάλειες.
- SEO Powered Content & PR Distribution. Ενισχύστε σήμερα.
- Platoblockchain. Web3 Metaverse Intelligence. Ενισχύθηκε η γνώση. Πρόσβαση εδώ.
- πηγή: https://aws.amazon.com/blogs/big-data/push-amazon-emr-step-logs-from-amazon-ec2-instances-to-amazon-cloudwatch-logs/
- :είναι
- 1
- 10
- 100
- 9
- a
- Σχετικά
- πρόσβαση
- Λογαριασμός
- απέναντι
- ενεργειών
- ενεργός
- Επιπλέον
- διεύθυνση
- Πράκτορας
- τρομάζω
- ειδοποιήσεις
- Όλα
- εναλλακτική λύση
- Amazon
- Amazon EC2
- EMR Αμαζονίου
- analytics
- και
- Apache
- Apache Spark
- Εφαρμογή
- εφαρμογές
- αρχιτεκτονική
- ΕΙΝΑΙ
- AS
- At
- αυτόνομα
- AWS
- Τράπεζες
- βασίζονται
- BE
- πριν
- αρχίζουν
- ΚΑΛΎΤΕΡΟΣ
- Μεγάλος
- Big Data
- Bootstrap
- χτίζω
- επιχειρήσεις
- by
- CAN
- Καταγραφή
- αίτια
- Κανάλι
- φορτία
- Επιλέξτε
- συστάδα
- συλλέγουν
- Εταιρείες
- πλήρης
- Ολοκληρώθηκε το
- Υπολογίστε
- διαμόρφωση
- Συνδετικός
- Εξετάστε
- πρόξενος
- περιεχόμενο
- συνεχώς
- πυρήνας
- αντιστοιχεί
- αποδοτική
- Δικαστικά έξοδα
- θα μπορούσε να
- δημιουργία
- δημιουργήθηκε
- δημιουργεί
- δημιουργία
- κρίσιμης
- προσαρμόσετε
- ημερομηνία
- Δεδομένα Analytics
- Προεπιλογή
- καταδεικνύει
- παρατάσσω
- αναπτυχθεί
- αναπτύσσεται
- διαφορετικές
- Κατάλογοι
- διανέμονται
- κάτω
- αυτοκίνητο
- κάθε
- Νωρίτερα
- ευκολότερη
- ηχώ
- αποτελεσματικά
- δίνει τη δυνατότητα
- θιασώτης
- σφάλμα
- ουσιώδης
- Αιθέρας (ΕΤΗ)
- Συμβάν
- εκδηλώσεις
- πάντα
- παράδειγμα
- αναμένεται
- εμπειρία
- εξαγωγή
- εκφράσεις
- αποτυγχάνει
- Χαρακτηριστικό
- Αρχεία
- Αρχεία
- φιλτράρισμα
- Φίλτρα
- Εύρεση
- Εξής
- εξής
- Για
- από
- λειτουργίες
- περαιτέρω
- μελλοντικός
- τυχερών παιχνιδιών
- General
- παράγεται
- Go
- μεγαλύτερη
- Group
- Ομάδα
- καθοδηγήσει
- Έχω
- Υγεία
- βοήθεια
- χρήσιμο
- βοηθά
- υψηλά
- οικοδεσπότες
- Πως
- Πώς να
- HTML
- http
- HTTPS
- IAM
- ID
- προσδιορίσει
- προσδιορισμό
- Επίπτωση
- εφαρμογή
- εκτελεστικών
- σημαντικό
- in
- περιλαμβάνουν
- περιλαμβάνει
- Συμπεριλαμβανομένου
- ατομικές
- βιομηχανίες
- πληροφορίες
- Υποδομή
- εγκαθιστώ
- εγκατάσταση
- παράδειγμα
- ασφάλιση
- Νοημοσύνη
- θέματα
- IT
- Δουλειά
- Θέσεις εργασίας
- jpg
- json
- εργαστήριο
- ξεκινήσει
- ξεκίνησε
- ξεκινάει
- Επίπεδο
- Μου αρέσει
- φόρτωση
- τοπικός
- Μακριά
- συντήρηση
- κάνω
- διαχείριση
- διευθυντής
- τρόπος
- μέσα
- Metrics
- τροποποιήσει
- Παρακολούθηση
- παρακολούθηση
- περισσότερο
- πολλαπλούς
- όνομα
- Ονομάστηκε
- Πλοήγηση
- που απαιτούνται
- χρειάζονται
- Νέα
- Νέες τεχνολογίες
- επόμενη
- κόμβος
- κόμβων
- κοινοποίηση
- κοινοποιήσεις
- αριθμός
- of
- προσφέρονται
- on
- ONE
- ανοικτού κώδικα
- επιχειρήσεων
- ΑΛΛΑ
- παραγωγή
- πακέτο
- παράθυρο
- παράμετρος
- παράμετροι
- Ειδικότερα
- ιδιαίτερα
- μονοπάτι
- επίδοση
- Πλατφόρμες
- Πλάτων
- Πληροφορία δεδομένων Plato
- Πλάτωνα δεδομένα
- θετικός
- Θέση
- πρακτική
- παρουσιάζονται
- πρωταρχικός
- Διεργασίες
- μεταποίηση
- Προφίλ ⬇️
- παρέχουν
- παρέχει
- πρόβλεψη
- Σπρώξτε
- Δραστήριος
- γρήγορα
- πραγματικός
- σε πραγματικό χρόνο
- συνιστώ
- τακτικός
- σχετίζεται με
- απελευθερώνουν
- παραμένουν
- Υποστηρικτικό υλικό
- Αποτελέσματα
- λιανική πώληση
- ανασκόπηση
- Ρόλος
- ρίζα
- τρέξιμο
- τρέξιμο
- επεκτάσιμη
- τμήματα
- ασφάλεια
- αποστολή
- αρχαιότερος
- Σειρές
- υπηρεσία
- Συνεδρίαση
- σειρά
- θα πρέπει να
- Απλούς
- So
- λογισμικό
- λύση
- μερικοί
- Σπινθήρας
- συγκεκριμένες
- σωρός
- πρότυπο
- Εκκίνηση
- Ξεκινήστε
- ξεκινά
- Βήμα
- Βήματα
- στάση
- χώρος στο δίσκο
- καταστήματα
- εξορθολογισμός
- ροές
- υποδίκτυο
- Επιτυχώς
- τέτοιος
- Sudo
- σύστημα
- συστήματα
- Πάρτε
- Τεχνολογίες
- τηλεπικοινωνιών
- πρότυπο
- ότι
- Η
- Τους
- Αυτοί
- τρία
- Μέσω
- ώρα
- Χρονική σειρά
- προς την
- ίχνος
- ενεργοποιούν
- χρήση
- αξία
- επαληθεύοντας
- Δες
- περιδιάβαση
- ρολόγια
- Τρόπος..
- Ποιό
- ενώ
- θα
- με
- χωρίς
- Εργασία
- ροής εργασίας
- γραφή
- γραπτή
- γιαμ
- χρόνια
- Σας
- zephyrnet