In 2022, σας είπαμε για τις νέες βελτιώσεις που κάναμε Amazon EMR Managed Scaling, το οποίο βοήθησε στη βελτίωση της χρήσης των συμπλεγμάτων καθώς και στη μείωση του κόστους του συμπλέγματος. Το 2023, είμαστε στην ευχάριστη θέση να αναφέρουμε ότι η ομάδα του Amazon EMR εργάστηκε σκληρά. Εργαστήκαμε αντίστροφα από τις απαιτήσεις των πελατών και λανσάραμε πολλές νέες δυνατότητες για να βελτιώσουμε το Amazon EMR σας στη διαχείριση χωρητικότητας και την εμπειρία κλιμάκωσης των συμπλεγμάτων EC2.
EMR Αμαζονίου είναι η λύση cloud big data για επεξεργασία δεδομένων σε κλίμακα petabyte, διαδραστικά αναλυτικά στοιχεία και μηχανική μάθηση (ML) χρησιμοποιώντας πλαίσια ανοιχτού κώδικα όπως Apache Spark, Κυψέλη Apache, να Presto. Οι πελάτες μας ζήτησαν λειτουργίες που θα βελτιώσουν περαιτέρω τη διαχείριση χωρητικότητας και την εμπειρία κλιμάκωσης του EMR τους σε συστάδες EC2, συμπεριλαμβανομένων των μεγάλων, μακροχρόνιων συστάδων τους. Δουλέψαμε σκληρά για να καλύψουμε αυτές τις ανάγκες. Τα ακόλουθα είναι μερικές από τις βασικές βελτιώσεις:
- Βελτιωμένη διαφάνεια και ευελιξία πελατών με χρονικό όριο παροχής για Spot Instances
- Βελτιστοποιημένοι κόμβοι εργασιών κλιμάκωση για το Amazon EMR σε συμπλέγματα EC2 που κυκλοφόρησαν με ομάδες παρουσιών
- Βελτιωμένη ανθεκτικότητα εργασίας με βελτιωμένη προστασία για Spark Drivers
Ας βουτήξουμε βαθύτερα και ας συζητήσουμε λεπτομερώς το νέο Amazon EMR στις λειτουργίες EC2.
Βελτιωμένη διαφάνεια και ευελιξία πελατών με χρονικό όριο παροχής για Spot Instances
Πολλοί πελάτες του Amazon EMR χρησιμοποιούν EC2 Spot Στιγμιότυπα για το EMR τους σε συστάδες EC2 για μείωση του κόστους. Τα Spot Instances είναι εφεδρικά Amazon Elastic Compute Cloud (Amazon EC2) υπολογιστική χωρητικότητα που προσφέρεται με εκπτώσεις έως και 90% σε σύγκριση με τις τιμές κατ' απαίτηση. Το Amazon EMR σάς προσφέρει τη δυνατότητα να κλιμακώσετε το σύμπλεγμα σας είτε χειροκίνητα είτε χρησιμοποιώντας Αυτόματη κλιμάκωση. Μπορείτε επίσης να χρησιμοποιήσετε το Amazon EMR Managed Scaling δυνατότητα αυτόματης αλλαγής μεγέθους του συμπλέγματός σας με βάση τον φόρτο εργασίας και τη χρήση.
Για να βελτιώσετε την εμπειρία του πελάτη κατά την κλιμάκωση με χρήση Spot Instances, για EMR σε συμπλέγματα EC2 που κυκλοφόρησαν χρησιμοποιώντας στόλους παρουσιών, μπορείτε τώρα να καθορίσετε ένα χρονικό όριο παροχής για Spot Instances. Ένα χρονικό όριο παροχής θα πει στο Amazon EMR να σταματήσει να παρέχει χωρητικότητα Spot Instance, εάν το σύμπλεγμα υπερβεί ένα καθορισμένο χρονικό όριο κατά τη διάρκεια λειτουργιών κλιμάκωσης συμπλέγματος. Μπορείτε να διαμορφώσετε το χρονικό όριο παροχής στιγμιότυπου σημείου για τα συμπλέγματα που αλλάζουν μέγεθος με μη αυτόματο τρόπο ή χρησιμοποιώντας τη διαχειριζόμενη κλίμακα και την αυτόματη κλιμάκωση Amazon EMR.
Επιπλέον, για καλύτερη διαφάνεια, όταν λήξει η περίοδος χρονικού ορίου, το Amazon EMR θα στείλει επίσης αυτόματα συμβάντα σε Εκδηλώσεις Amazon CloudWatch ρεύμα. Με αυτά τα συμβάντα CloudWatch, μπορείτε να δημιουργήσετε κανόνες που ταιριάζουν με συμβάντα σύμφωνα με ένα καθορισμένο μοτίβο και, στη συνέχεια, να δρομολογήσετε τα συμβάντα σε στόχους για να αναλάβετε δράση. Για να μάθετε περισσότερα, ανατρέξτε στο Προσαρμόστε μια περίοδο λήξης χρονικού ορίου παροχής για αλλαγή μεγέθους συμπλέγματος στο Amazon EMR.
Βρείτε συνοπτικά παρακάτω την εμπειρία για διαφορετικά σενάρια όταν διαμορφώνετε μια περίοδο λήξης χρονικού ορίου παροχής κατά την αλλαγή μεγέθους για το Amazon EMR στο σύμπλεγμα EC2
σενάριο | Εμπειρία |
Το Amazon EMR είναι σε θέση να παρέχει την επιθυμητή χωρητικότητα Spot πριν από τη λήξη του χρονικού ορίου παροχής | Το Amazon EMR κλιμακώνει αυτόματα το σύμπλεγμα στην επιθυμητή χωρητικότητα και δεν απαιτείται καμία ενέργεια από τον πελάτη |
Το Amazon EMR δεν είναι σε θέση να παρέχει καμία χωρητικότητα Spot ή μπορεί να παρέχει μόνο μερική χωρητικότητα Spot και το χρονικό όριο παροχής έχει λήξει | Εάν το Amazon EMR δεν μπορεί να παρέχει την απαιτούμενη χωρητικότητα Spot και το χρονικό όριο παροχής έχει λήξει, το Amazon EMR θα ακυρώσει το αίτημα αλλαγής μεγέθους και θα σταματήσει τις προσπάθειες παροχής πρόσθετης χωρητικότητας Spot. Το Amazon EMR θα δημοσιεύει επίσης συμβάντα σε μια ροή Εκδηλώσεων Amazon CloudWatch. Οι πελάτες μπορούν να χρησιμοποιήσουν αυτά τα συμβάντα για να δημιουργήσουν κανόνες και να προβούν στις κατάλληλες ενέργειες |
Εάν οι εμφανίσεις Spot στο Amazon EMR σε συμπλέγματα EC2 διακοπούν καθώς το Amazon EC2 τις χρειάζεται πίσω | Το Amazon EMR θα ενεργοποιήσει αυτόματα ένα νέο αίτημα αλλαγής μεγέθους για την εξισορρόπηση των συμπλεγμάτων σας, αντικαθιστώντας τις εμφανίσεις με οποιονδήποτε από τους διαθέσιμους τύπους στο σύμπλεγμα σας. Το Amazon EMR θα χρησιμοποιήσει επίσης το ίδιο χρονικό όριο αλλαγής μεγέθους παροχής που διαμορφώθηκε στο σύμπλεγμα. Δεν απαιτείται καμία ενέργεια από τον πελάτη. |
Θα πρέπει να λάβετε υπόψη την κρισιμότητα της διαθεσιμότητας χωρητικότητας όταν προσδιορίζετε την τιμή χρονικού ορίου παροχής:
- Όταν η διαθεσιμότητα χωρητικότητας του φόρτου εργασίας σας είναι κρίσιμη - Για να διασφαλίσετε ότι η επιθυμητή χωρητικότητα είναι διαθέσιμη, συνιστούμε να διαμορφώσετε το χρονικό όριο παροχής αλλαγής μεγέθους με βάση το χρόνο που απαιτείται για την εκτέλεση της εφαρμογής και των SLA της εφαρμογής. Για παράδειγμα, εάν η εφαρμογή SLA είναι 60 λεπτά και χρειάζονται 30 λεπτά για να ολοκληρωθεί η εφαρμογή, θα πρέπει να ορίσετε το χρονικό όριο παροχής αλλαγής μεγέθους σε 30 λεπτά ή λιγότερο. Το Amazon EMR θα προσπαθήσει να εξασφαλίσει τη χωρητικότητα Spot έως ότου λήξει το χρονικό όριο (30 λεπτά ή λιγότερο) και να δημοσιεύσει ένα συμβάν CloudWatch, ώστε να μπορείτε να προβείτε στις κατάλληλες ενέργειες.
- Όταν ο φόρτος εργασίας σας είναι χρονικά ευέλικτος και η διαθεσιμότητα χωρητικότητας δεν αποτελεί παράγοντα - Εάν ο φόρτος εργασίας είναι χρονικά ευέλικτος και η διαθεσιμότητα χωρητικότητας δεν αποτελεί παράγοντα, για να διασφαλίσετε την υψηλότερη πιθανότητα απόκτησης της επιθυμητής χωρητικότητας Spot, μπορείτε να διαμορφώσετε μια υψηλότερη τιμή χρονικού ορίου για το χρονικό όριο παροχής αλλαγής μεγέθους.
Βελτιστοποιημένοι κόμβοι εργασιών κλιμάκωση για το Amazon EMR σε συμπλέγματα EC2 που κυκλοφόρησαν με ομάδες Instance
Οι ομάδες παρουσίας προσφέρουν μια απλούστερη ρύθμιση για την εκκίνηση του EMR σε συμπλέγματα EC2. Κάθε σύμπλεγμα που εκκινείται με χρήση ομάδων παρουσιών μπορεί να περιλαμβάνει έως και 50 ομάδες παρουσιών: μία κύρια ομάδα παρουσίας που περιέχει μία παρουσία EC2, μια ομάδα βασικών παρουσιών που περιέχει μία ή περισσότερες παρουσίες EC2 και έως και 48 ομάδες προαιρετικών παρουσιών εργασιών. Μπορείτε να κλιμακώσετε κάθε ομάδα παρουσιών προσθέτοντας και αφαιρώντας παρουσίες EC2 με μη αυτόματο τρόπο ή μπορείτε να ρυθμίσετε την αυτόματη κλιμάκωση. Μπορείτε επίσης να χρησιμοποιήσετε τη δυνατότητα διαχειριζόμενης κλίμακας EMR του Amazon για να αλλάξετε αυτόματα το μέγεθος του συμπλέγματός σας με βάση τον φόρτο εργασίας και τη χρήση.
Για να βελτιώσουμε την εμπειρία πελατών, για παράδειγμα, ομάδες σε ομάδες EMR σε συμπλέγματα EC2 κατά την κλιμάκωση κόμβων εργασιών χρησιμοποιώντας τη διαχειριζόμενη κλίμακα EMR της Amazon, βελτιώσαμε τον αλγόριθμο διαχειριζόμενης κλίμακας για να επιλέξουμε τις ομάδες παρουσιών εργασιών που έχουν τη μεγαλύτερη πιθανότητα απόκτησης χωρητικότητας. Επιπλέον, όταν η διαχειριζόμενη κλιμάκωση δεν είναι σε θέση να αποκτήσει χωρητικότητα με μία ομάδα παρουσίας εργασιών, για να μειώσει τυχόν καθυστερήσεις κλιμάκωσης, το Amazon EMR θα μεταβεί αυτόματα σε άλλη ομάδα εργασιών και θα εκπληρώσει τη χωρητικότητα χρησιμοποιώντας πολλαπλές ομάδες παρουσιών εργασιών. Συνεπώς, όσο πιο ευέλικτοι είστε σχετικά με τους τύπους παρουσιών σας, τόσο μεγαλύτερες είναι οι πιθανότητες παροχής χωρητικότητας. Για να μάθετε περισσότερα, ανατρέξτε στο Οι βέλτιστες πρακτικές για παράδειγμα και η ευελιξία της ζώνης διαθεσιμότητας.
Βελτιωμένη ανθεκτικότητα εργασίας με βελτιωμένη προστασία για Spark Drivers
In 2022, για να βελτιώσουμε την ανθεκτικότητα της εργασίας κατά τη χρήση του Amazon EMR Managed Scaling, βελτιώσαμε τη διαχειριζόμενη κλιμάκωση ώστε να είναι ενήμερη η τυχαία αναπαραγωγή Spark, η οποία αποτρέπει τη μείωση της κλίμακας περιπτώσεων που αποθηκεύουν δεδομένα ενδιάμεσης τυχαίας αναπαραγωγής για το Apache Spark. Αυτό βοηθά στην αποφυγή επαναπροσπαθειών εργασίας και επανυπολογισμών, γεγονός που οδηγεί σε καλύτερη απόδοση και χαμηλότερο κόστος.
Για να βελτιώσουμε περαιτέρω την ανθεκτικότητα στην εργασία κατά τη χρήση της διαχειριζόμενης κλίμακας Amazon EMR, έχουμε βελτιώσει περαιτέρω τη διαχειριζόμενη κλιμάκωση για να γνωρίζουμε το Spark Driver, το οποίο διασφαλίζει ότι κατά τη μείωση της κλίμακας συμπλέγματος, η διαχειριζόμενη κλίμακα Amazon EMR δίνει προτεραιότητα στη μείωση της κλίμακας των κόμβων που δεν έχουν ενεργό Spark Driver που τρέχει πάνω τους. Αυτό βοηθά στην ελαχιστοποίηση των αποτυχιών εργασίας και των επαναλήψεων εργασιών, συμβάλλοντας περαιτέρω στη βελτίωση της απόδοσης και στη μείωση του κόστους. Αυτή η βελτίωση είναι ενεργοποιημένη από προεπιλογή για συμπλέγματα EMR που χρησιμοποιούν Amazon EMR εκδόσεις 5.34.0 και νεότερες, και Amazon EMR εκδόσεις 6.4.0 και νεότερες.
Για να επιβεβαιώσετε ποιοι κόμβοι στο σύμπλεγμα σας εκτελούν το Spark Driver, μπορείτε να επισκεφτείτε τον διακομιστή Spark History και να φιλτράρετε για το πρόγραμμα οδήγησης στο Εκτελεστές καρτέλα του αναγνωριστικού της εφαρμογής Spark.
Συμπέρασμα
Σε αυτήν την ανάρτηση, επισημάναμε τις βελτιώσεις που κάναμε στη διαχείριση χωρητικότητας και τη διαχειριζόμενη κλίμακα EMR της Amazon για EMR σε συμπλέγματα EC2. Εστιάσαμε στη βελτίωση της εργασιακής ανθεκτικότητας, στη βελτιωμένη ευελιξία και διαφάνεια κατά την παροχή Spot Instances και στη βελτιστοποίηση της εμπειρίας κλιμάκωσης κατά τη χρήση διαχειριζόμενης κλίμακας με ομάδες παρουσιών στο Amazon EMR σε συμπλέγματα EC2. Παρόλο που έχουμε κυκλοφορήσει πολλές λειτουργίες μέχρι στιγμής το 2023 και ο ρυθμός της καινοτομίας συνεχίζει να επιταχύνεται, παραμένει η πρώτη μέρα και ανυπομονούμε να ακούσουμε από εσάς πώς αυτές οι λειτουργίες σας βοηθούν να ξεκλειδώσετε περισσότερη αξία για τους οργανισμούς σας. Σας προσκαλούμε να δοκιμάσετε αυτές τις νέες δυνατότητες και να έρθετε σε επαφή μαζί μας μέσω της ομάδας του λογαριασμού σας AWS εάν έχετε περαιτέρω σχόλια.
Σχετικά με τους συγγραφείς
Sushant Majithia είναι κύριος διευθυντής προϊόντων για EMR στην AWS.
Ankur Goyal είναι μια ομάδα SDM με την Amazon EMR Big Data Platform. Κατασκευάζει μεγάλης κλίμακας κατανεμημένες εφαρμογές και αλγόριθμους βελτιστοποίησης συστάδων. Η Ankur ενδιαφέρεται για θέματα Analytics, Machine Learning και Forecasting.
Μάθιου Λίεμ είναι Ανώτερος Διευθυντής Αρχιτεκτονικής Λύσεων στην AWS.
Ταρούν Τσανάνα είναι μια ομάδα SDM με την Amazon EMR Big Data Platform.
- SEO Powered Content & PR Distribution. Ενισχύστε σήμερα.
- PlatoData.Network Vertical Generative Ai. Ενδυναμώστε τον εαυτό σας. Πρόσβαση εδώ.
- PlatoAiStream. Web3 Intelligence. Ενισχύθηκε η γνώση. Πρόσβαση εδώ.
- PlatoESG. Αυτοκίνητο / EVs, Ανθρακας, Cleantech, Ενέργεια, Περιβάλλον, Ηλιακός, Διαχείριση των αποβλήτων. Πρόσβαση εδώ.
- PlatoHealth. Ευφυΐα βιοτεχνολογίας και κλινικών δοκιμών. Πρόσβαση εδώ.
- ChartPrime. Ανεβάστε το Trading Game σας με το ChartPrime. Πρόσβαση εδώ.
- BlockOffsets. Εκσυγχρονισμός της περιβαλλοντικής αντιστάθμισης ιδιοκτησίας. Πρόσβαση εδώ.
- πηγή: https://aws.amazon.com/blogs/big-data/capacity-management-and-amazon-emr-managed-scaling-improvements-for-amazon-emr-on-ec2-clusters/
- :έχει
- :είναι
- :δεν
- $UP
- 1
- 100
- 11
- 2023
- 30
- 50
- 60
- 7
- 9
- a
- Ικανός
- Σχετικα
- επιταχύνουν
- Σύμφωνα με
- Λογαριασμός
- αποκτούν
- απόκτηση
- Ενέργειες
- ενεργειών
- ενεργός
- προσθήκη
- Πρόσθετος
- αλγόριθμος
- αλγόριθμοι
- Επίσης
- Αν και
- Amazon
- Amazon EC2
- EMR Αμαζονίου
- Amazon υπηρεσίες Web
- an
- analytics
- και
- Άλλος
- κάθε
- Apache
- Apache Spark
- Εφαρμογή
- εφαρμογές
- κατάλληλος
- αρχιτεκτονική
- ΕΙΝΑΙ
- AS
- At
- Προσπάθειες
- αυτόματη
- Αυτόματο
- αυτομάτως
- διαθεσιμότητα
- διαθέσιμος
- επίγνωση
- AWS
- βασίζονται
- BE
- ήταν
- πριν
- παρακάτω
- Καλύτερα
- Μεγάλος
- Big Data
- Χτίζει
- by
- CAN
- ικανότητα
- Χωρητικότητα
- πιθανότητα
- Επιλέξτε
- Backup
- cloud big data
- συστάδα
- σχόλια
- σύγκριση
- πλήρης
- Υπολογίστε
- έχει ρυθμιστεί
- Επιβεβαιώνω
- συνεπώς
- Εξετάστε
- Περιέχει
- συνεχίζεται
- πυρήνας
- Κόστος
- Δικαστικά έξοδα
- δημιουργία
- κρισιμότητα
- πελάτης
- εμπειρία του πελάτη
- Πελάτες
- ημερομηνία
- Πλατφόρμα δεδομένων
- επεξεργασία δεδομένων
- ημέρα
- βαθύτερη
- Προεπιλογή
- καθυστερήσεις
- επιθυμητή
- λεπτομέρεια
- διαφορετικές
- εκπτώσεις
- συζητήσουν
- διανέμονται
- κατάδυση
- Μην
- οδηγός
- κατά την διάρκεια
- κάθε
- είτε
- ενεργοποιημένη
- ενίσχυση
- ενισχυμένη
- Βελτιστοποίηση
- βελτιώσεις
- εξασφαλίζω
- εξασφαλίζει
- Αιθέρας (ΕΤΗ)
- Συμβάν
- εκδηλώσεις
- παράδειγμα
- υπερβαίνει
- εμπειρία
- λήξη
- παράγοντας
- μακριά
- Χαρακτηριστικό
- Χαρακτηριστικά
- φιλτράρισμα
- Εύρεση
- Ευελιξία
- εύκαμπτος
- επικεντρώθηκε
- Εξής
- Για
- Προς τα εμπρός
- πλαισίων
- από
- Εκπληρώ
- περαιτέρω
- Επί πλέον
- παίρνω
- να πάρει
- Group
- Ομάδα
- ευτυχισμένος
- Σκληρά
- Έχω
- he
- ακοή
- βοήθεια
- βοήθησε
- βοήθεια
- βοηθά
- υψηλότερο
- υψηλότερο
- Τόνισε
- ιστορία
- Πως
- HTML
- http
- HTTPS
- ID
- if
- βελτίωση
- βελτιώσεις
- βελτίωση
- in
- περιλαμβάνουν
- Συμπεριλαμβανομένου
- Καινοτομία
- παράδειγμα
- διαδραστικό
- ενδιαφερόμενος
- Ενδιάμεσος
- διακόπτεται
- προσκαλούν
- IT
- Δουλειά
- Κλειδί
- large
- αργότερα
- ξεκινήσει
- ξεκίνησε
- Οδηγεί
- ΜΑΘΑΊΝΩ
- μάθηση
- μείον
- πιθανότητα
- ματιά
- χαμηλότερα
- μηχανή
- μάθηση μηχανής
- που
- διαχειρίζεται
- διαχείριση
- διευθυντής
- χειροκίνητα
- Ταίριασμα
- Γνωρίστε
- πρακτικά
- ML
- περισσότερο
- πολλαπλούς
- που απαιτούνται
- ανάγκες
- Νέα
- Νέες δυνατότητες
- Όχι.
- κόμβων
- τώρα
- of
- προσφορά
- προσφέρονται
- προσφορές
- on
- Κατα παραγγελια
- ONE
- αποκλειστικά
- ανοικτού κώδικα
- λειτουργίες
- βελτιστοποίηση
- βελτιστοποίηση
- or
- οργανώσεις
- Ειρήνη
- πρότυπο
- επίδοση
- περίοδος
- πλατφόρμες
- Πλάτων
- Πληροφορία δεδομένων Plato
- Πλάτωνα δεδομένα
- σας παρακαλούμε
- Θέση
- πρακτικές
- αποτρέπει
- τιμολόγηση
- πρωταρχικός
- Κύριος
- μεταποίηση
- Προϊόν
- υπεύθυνος προϊόντων
- προστασία
- παρέχουν
- πρόβλεψη
- δημοσιεύει
- εξισορρόπηση
- συνιστώ
- μείωση
- Μειωμένος
- παραπέμπω
- λείψανα
- αφαίρεση
- αναφέρουν
- ζητήσει
- απαιτείται
- απαιτήσεις
- Διαδρομή
- κανόνες
- τρέξιμο
- τρέξιμο
- ίδιο
- Κλίμακα
- κλιμακωθούν
- απολέπιση
- SDM
- στείλετε
- αρχαιότερος
- Υπηρεσίες
- σειρά
- setup
- θα πρέπει να
- Shuffle
- ενιαίας
- So
- μέχρι τώρα
- λύση
- μερικοί
- Σπινθήρας
- καθορίζεται
- Spot
- στάση
- Διακόπτει
- κατάστημα
- μετάδοση
- τέτοιος
- διακόπτης
- Πάρτε
- παίρνει
- στόχους
- Έργο
- πει
- ότι
- Η
- τους
- Τους
- τότε
- Αυτοί
- αυτό
- εκείνοι
- κατώφλι
- Μέσω
- ώρα
- προς την
- Θέματα
- αφή
- Διαφάνεια
- ενεργοποιούν
- προσπαθώ
- τύποι
- ξεκλειδώσετε
- μέχρι
- us
- χρήση
- χρησιμοποιώντας
- αξία
- Επίσκεψη
- ήταν
- we
- ιστός
- διαδικτυακές υπηρεσίες
- ΛΟΙΠΌΝ
- πότε
- Ποιό
- θα
- με
- Εργασία
- εργάστηκαν
- θα
- εσείς
- Σας
- zephyrnet