Παρουσιάζοντας την Hybrid Machine Learning

Αναδημοσίευση από τον Πλάτωνα

Ακολουθούν: 0

Gartner προβλέπει ότι μέχρι το τέλος του 2024, το 75% των επιχειρήσεων θα στραφεί από την πιλοτική εφαρμογή στην επιχειρησιακή τεχνητή νοημοσύνη (AI) και η συντριπτική πλειονότητα του φόρτου εργασίας θα καταλήξει στο cloud μακροπρόθεσμα. Για ορισμένες επιχειρήσεις που σχεδιάζουν να μεταναστεύσουν στο cloud, η πολυπλοκότητα, το μέγεθος και η διάρκεια των μεταναστεύσεων μπορεί να είναι τρομακτικά. Η ταχύτητα των διαφορετικών ομάδων και οι ορέξεις τους για νέα εργαλεία μπορεί να διαφέρουν δραματικά. Η ομάδα επιστήμης δεδομένων μιας επιχείρησης μπορεί να διψά να υιοθετήσει την πιο πρόσφατη τεχνολογία cloud, ενώ η ομάδα ανάπτυξης εφαρμογών επικεντρώνεται στην εκτέλεση των εφαρμογών Ιστού της σε εγκαταστάσεις. Ακόμη και με ένα πολυετές σχέδιο μετεγκατάστασης cloud, ορισμένες από τις εκδόσεις προϊόντων πρέπει να δημιουργηθούν στο cloud προκειμένου να ανταποκρίνονται στα επιχειρηματικά αποτελέσματα της επιχείρησης.

Για αυτούς τους πελάτες, προτείνουμε μοτίβα υβριδικής μηχανικής εκμάθησης (ML) ως ενδιάμεσο βήμα στο ταξίδι σας στο cloud. Τα υβριδικά μοτίβα ML είναι εκείνα που περιλαμβάνουν τουλάχιστον δύο υπολογιστικά περιβάλλοντα, συνήθως τοπικούς υπολογιστικούς πόρους όπως προσωπικούς φορητούς υπολογιστές ή εταιρικά κέντρα δεδομένων και το cloud. Με τα μοτίβα υβριδικής αρχιτεκτονικής ML που περιγράφονται σε αυτήν την ανάρτηση, οι επιχειρήσεις μπορούν να επιτύχουν τους επιθυμητούς επιχειρηματικούς στόχους τους χωρίς να χρειάζεται να περιμένουν την ολοκλήρωση της μετεγκατάστασης στο cloud. Στο τέλος της ημέρας, θέλουμε να υποστηρίξουμε την επιτυχία των πελατών σε όλα τα σχήματα και μορφές.

Δημοσιεύσαμε μια νέα λευκή βίβλο, Hybrid Machine Learning, για να σας βοηθήσει να ενσωματώσετε το cloud με την υπάρχουσα εσωτερική υποδομή ML. Για περισσότερες λευκές βίβλους από το AWS, βλ Λευκές βίβλοι και οδηγοί AWS.

Υβριδικά μοτίβα αρχιτεκτονικής ML

Η λευκή βίβλος σάς παρέχει μια επισκόπηση των διαφόρων υβριδικών μοτίβων ML σε ολόκληρο τον κύκλο ζωής της ML, συμπεριλαμβανομένης της ανάπτυξης μοντέλων ML, της προετοιμασίας δεδομένων, της εκπαίδευσης, της ανάπτυξης και της συνεχούς διαχείρισης. Ο παρακάτω πίνακας συνοψίζει τα οκτώ διαφορετικά υβριδικά αρχιτεκτονικά μοτίβα ML που συζητάμε στη λευκή βίβλο. Για κάθε μοτίβο, παρέχουμε μια προκαταρκτική αρχιτεκτονική αναφοράς εκτός από τα πλεονεκτήματα και τα μειονεκτήματα. Προσδιορίζουμε επίσης ένα κριτήριο «πότε να μετακινηθείτε» για να σας βοηθήσουμε να λάβετε αποφάσεις—για παράδειγμα, όταν το επίπεδο προσπάθειας διατήρησης και κλιμάκωσης ενός δεδομένου μοτίβου έχει υπερβεί την τιμή που παρέχει.

Ανάπτυξη	Εκπαίδευση	Ανάπτυξη
Ανάπτυξη σε προσωπικούς υπολογιστές, εκπαίδευση και φιλοξενία στο cloud	Εκπαιδευτείτε τοπικά, αναπτύξτε το στο cloud	Προβολή μοντέλων ML στο cloud σε εφαρμογές που φιλοξενούνται σε εγκαταστάσεις
Ανάπτυξη σε τοπικούς διακομιστές, εκπαίδευση και φιλοξενία στο cloud	Αποθηκεύστε δεδομένα τοπικά, εκπαιδεύστε και αναπτύξτε στο cloud	Φιλοξενήστε μοντέλα ML με Lambda@Edge σε εφαρμογές στις εγκαταστάσεις
	Αναπτύξτε στο cloud ενώ συνδέεστε σε δεδομένα που φιλοξενούνται σε εγκαταστάσεις	Εκπαιδευτείτε με έναν τρίτο πάροχο SaaS για φιλοξενία στο cloud
	Εκπαιδευτείτε στο cloud, αναπτύξτε μοντέλα ML στις εγκαταστάσεις	Ενορχηστρώστε υβριδικούς φόρτους εργασίας ML με το Kubeflow και το Amazon EKS Anywhere

Σε αυτήν την ανάρτηση, βουτάμε βαθιά στο μοτίβο της υβριδικής αρχιτεκτονικής για ανάπτυξη με έμφαση στην εξυπηρέτηση μοντέλων που φιλοξενούνται στο cloud σε εφαρμογές που φιλοξενούνται σε εγκαταστάσεις.

Επισκόπηση αρχιτεκτονικής

Η πιο συνηθισμένη περίπτωση χρήσης αυτού του υβριδικού μοτίβου είναι οι εταιρικές μετεγκαταστάσεις. Η ομάδα επιστήμης δεδομένων σας μπορεί να είναι έτοιμη να αναπτυχθεί στο cloud, αλλά η ομάδα εφαρμογών σας εξακολουθεί να αναδιαμορφώνει τον κώδικά της για να φιλοξενήσει σε εγγενείς υπηρεσίες cloud. Αυτή η προσέγγιση δίνει τη δυνατότητα στους επιστήμονες δεδομένων να φέρουν τα νεότερα μοντέλα τους στην αγορά, ενώ η ομάδα εφαρμογών εξετάζει χωριστά πότε, πού και πώς να μετακινήσει την υπόλοιπη εφαρμογή στο cloud.

Το παρακάτω διάγραμμα δείχνει την αρχιτεκτονική για τη φιλοξενία ενός μοντέλου ML μέσω Amazon Sage Maker σε μια περιοχή AWS, που εξυπηρετεί απαντήσεις σε αιτήματα από εφαρμογές που φιλοξενούνται σε εγκαταστάσεις.

Τεχνική βαθιά κατάδυση

Σε αυτήν την ενότητα, βουτάμε βαθιά στην τεχνική αρχιτεκτονική και επικεντρωνόμαστε στα διάφορα στοιχεία που περιλαμβάνουν ρητά τον υβριδικό φόρτο εργασίας και αναφερόμαστε σε πόρους αλλού, όπως απαιτείται.

Ας πάρουμε μια πραγματική περίπτωση χρήσης μιας εταιρείας λιανικής, της οποίας η ομάδα ανάπτυξης εφαρμογών έχει φιλοξενήσει την εφαρμογή Ιστού ηλεκτρονικού εμπορίου της σε εγκαταστάσεις. Η εταιρεία θέλει να βελτιώσει την αφοσίωση στην επωνυμία, να αυξήσει τις πωλήσεις και τα έσοδα και να αυξήσει την αποτελεσματικότητα χρησιμοποιώντας δεδομένα για να δημιουργήσει πιο εξελιγμένες και μοναδικές εμπειρίες πελατών. Σκοπεύουν να αυξήσουν την αφοσίωση των πελατών κατά 50% προσθέτοντας ένα γραφικό στοιχείο "προτείνεται για εσάς" στην αρχική τους οθόνη. Ωστόσο, δυσκολεύονται να προσφέρουν εξατομικευμένες εμπειρίες λόγω των περιορισμών των στατικών συστημάτων, των συστημάτων που βασίζονται σε κανόνες, της πολυπλοκότητας και του κόστους και της τριβής με την ενσωμάτωση πλατφόρμας λόγω της τρέχουσας αρχιτεκτονικής εσωτερικής κληρονομιάς τους.

Η ομάδα εφαρμογών έχει μια στρατηγική μετεγκατάστασης για επιχειρήσεις 5 ετών για να αναδιαμορφώσει την εφαρμογή Ιστού χρησιμοποιώντας την εγγενή αρχιτεκτονική του cloud για να μετακινηθεί στο cloud, ενώ οι ομάδες επιστήμης δεδομένων είναι έτοιμες να ξεκινήσουν την εφαρμογή στο cloud. Με το μοτίβο υβριδικής αρχιτεκτονικής που περιγράφεται σε αυτήν την ανάρτηση, η εταιρεία μπορεί να επιτύχει γρήγορα το επιθυμητό επιχειρηματικό αποτέλεσμα χωρίς να χρειάζεται να περιμένει την ολοκλήρωση της 5ετούς εταιρικής μετεγκατάστασης.

Οι επιστήμονες δεδομένων αναπτύσσουν το μοντέλο ML, εκτελούν εκπαίδευση και αναπτύσσουν το εκπαιδευμένο μοντέλο στο cloud. Η εφαρμογή Ιστού ηλεκτρονικού εμπορίου που φιλοξενείται σε εγκαταστάσεις καταναλώνει το μοντέλο ML μέσω των εκτεθειμένων τελικών σημείων. Ας το δούμε αναλυτικά.

Στη φάση ανάπτυξης του μοντέλου, οι επιστήμονες δεδομένων μπορούν να χρησιμοποιήσουν τοπικά περιβάλλοντα ανάπτυξης, όπως εγκαταστάσεις PyCharm ή Jupyter στον προσωπικό τους υπολογιστή και στη συνέχεια να συνδεθούν στο cloud μέσω Διαχείριση ταυτότητας και πρόσβασης AWS (IAM) δικαιώματα και διασύνδεση με API υπηρεσίας AWS μέσω του Διεπαφή γραμμής εντολών AWS (AWS CLI) ή ένα AWS SDK (όπως το Boto3). Έχουν επίσης την ευελιξία στη χρήση Στούντιο Amazon SageMaker, μια ενιαία οπτική διεπαφή βασισμένη στον ιστό που συνοδεύεται από κοινά πακέτα επιστήμης δεδομένων και πυρήνες προεγκατεστημένα για ανάπτυξη μοντέλων.

Οι επιστήμονες δεδομένων μπορούν να επωφεληθούν από τις δυνατότητες εκπαίδευσης του SageMaker, συμπεριλαμβανομένης της πρόσβασης σε παρουσίες CPU και GPU κατ' απαίτηση, αυτόματο συντονισμό μοντέλων, διαχειριζόμενες περιπτώσεις Spot, σημεία ελέγχου για αποθήκευση της κατάστασης των μοντέλων, διαχειριζόμενη κατανεμημένη εκπαίδευση και πολλά άλλα, χρησιμοποιώντας το εκπαιδευτικό SDK SageMaker και API. Για μια επισκόπηση των μοντέλων εκπαίδευσης με το SageMaker, βλ Εκπαιδεύστε ένα μοντέλο με το Amazon SageMaker.

Μετά την εκπαίδευση του μοντέλου, οι επιστήμονες δεδομένων μπορούν να αναπτύξουν τα μοντέλα χρησιμοποιώντας τις δυνατότητες φιλοξενίας του SageMaker και να εκθέσουν ένα τελικό σημείο REST HTTP(α) που εξυπηρετούν προβλέψεις σε τελικές εφαρμογές που φιλοξενούνται σε εγκαταστάσεις. Οι ομάδες ανάπτυξης εφαρμογών μπορούν να ενσωματώσουν τις εφαρμογές εσωτερικής εγκατάστασης για να αλληλεπιδράσουν με το μοντέλο ML μέσω τελικών σημείων που φιλοξενούνται στο SageMaker για να λάβουν τα αποτελέσματα συμπερασμάτων. Οι προγραμματιστές εφαρμογών μπορούν να έχουν πρόσβαση στα αναπτυγμένα μοντέλα μέσω αιτημάτων διεπαφής προγραμματισμού εφαρμογών (API) με χρόνους απόκρισης τόσο χαμηλούς όσο μερικά χιλιοστά του δευτερολέπτου. Αυτό υποστηρίζει περιπτώσεις χρήσης που απαιτούν απαντήσεις σε πραγματικό χρόνο, όπως εξατομικευμένες προτάσεις προϊόντων.

Η εφαρμογή πελάτη στις εγκαταστάσεις συνδέεται με το μοντέλο ML που φιλοξενείται στο τελικό σημείο που φιλοξενείται στο SageMaker στο AWS μέσω ενός ιδιωτικού δικτύου χρησιμοποιώντας σύνδεση VPN ή Direct Connect, για να παρέχει αποτελέσματα συμπερασμάτων στους τελικούς χρήστες του. Η εφαρμογή πελάτη μπορεί να χρησιμοποιήσει οποιαδήποτε βιβλιοθήκη πελάτη για να καλέσει το τελικό σημείο χρησιμοποιώντας ένα αίτημα HTTP Post μαζί με τα απαραίτητα διαπιστευτήρια ελέγχου ταυτότητας που έχουν διαμορφωθεί μέσω προγραμματισμού και το αναμενόμενο ωφέλιμο φορτίο. Το SageMaker διαθέτει επίσης εντολές και βιβλιοθήκες που αφαιρούν ορισμένες από τις λεπτομέρειες χαμηλού επιπέδου, όπως ο έλεγχος ταυτότητας χρησιμοποιώντας τα διαπιστευτήρια AWS που είναι αποθηκευμένα στο περιβάλλον εφαρμογής πελάτη μας, όπως το SageMaker επίκληση-τελικό σημείο εντολή χρόνου εκτέλεσης από το AWS CLI, πρόγραμμα-πελάτη χρόνου εκτέλεσης SageMaker από Boto3 (AWS SDK για Python) και την κλάση Predictor από το SageMaker Python SDK.

Για να κάνουμε το τελικό σημείο προσβάσιμο μέσω του Διαδικτύου, μπορούμε να χρησιμοποιήσουμε Amazon API Gateway. Παρόλο που μπορείτε να αποκτήσετε απευθείας πρόσβαση στα τελικά σημεία που φιλοξενούνται στο SageMaker από το API Gateway, ένα κοινό μοτίβο που μπορείτε να χρησιμοποιήσετε είναι η προσθήκη ενός AWS Lambda λειτουργία ενδιάμεσα. Μπορείτε να χρησιμοποιήσετε τη συνάρτηση Lambda για οποιαδήποτε προεπεξεργασία, η οποία μπορεί να χρειαστεί για την αποστολή του αιτήματος στη μορφή που αναμένεται από το τελικό σημείο ή για μεταεπεξεργασία για τη μετατροπή της απόκρισης στη μορφή που απαιτείται από την εφαρμογή πελάτη. Για περισσότερες πληροφορίες, βλ Καλέστε ένα τελικό σημείο μοντέλου Amazon SageMaker χρησιμοποιώντας το Amazon API Gateway και το AWS Lambda.

Η εφαρμογή πελάτη στις εγκαταστάσεις συνδέεται με μοντέλα ML που φιλοξενούνται στο SageMaker σε AWS μέσω ενός ιδιωτικού δικτύου χρησιμοποιώντας σύνδεση VPN ή Direct Connect, για να παρέχει αποτελέσματα συμπερασμάτων στους τελικούς χρήστες της.

Το παρακάτω διάγραμμα δείχνει πώς η ομάδα επιστήμης δεδομένων αναπτύσσει το μοντέλο ML, εκτελεί εκπαίδευση και αναπτύσσει το εκπαιδευμένο μοντέλο στο cloud, ενώ η ομάδα ανάπτυξης εφαρμογών αναπτύσσει και αναπτύσσει την εφαρμογή Ιστού ηλεκτρονικού εμπορίου σε εγκαταστάσεις.

Αρχιτεκτονική Deep Dive

Αφού το μοντέλο αναπτυχθεί στο περιβάλλον παραγωγής, οι επιστήμονες δεδομένων σας μπορούν να χρησιμοποιήσουν Παρακολούθηση μοντέλου Amazon SageMaker να παρακολουθεί συνεχώς την ποιότητα των μοντέλων ML σε πραγματικό χρόνο. Μπορούν επίσης να δημιουργήσουν ένα αυτοματοποιημένο σύστημα ενεργοποίησης ειδοποίησης όταν συμβαίνουν αποκλίσεις στην ποιότητα του μοντέλου, όπως μετατόπιση δεδομένων και ανωμαλίες. Αρχεία καταγραφής CloudWatch του Amazon συλλέγει αρχεία καταγραφής παρακολουθώντας την κατάσταση του μοντέλου και σας ειδοποιεί όταν η ποιότητα του μοντέλου φτάσει σε συγκεκριμένα όρια. Αυτό δίνει τη δυνατότητα στους επιστήμονες δεδομένων σας να προβούν σε διορθωτικές ενέργειες, όπως επανεκπαίδευση μοντέλων, έλεγχος ανοδικών συστημάτων ή επιδιόρθωση προβλημάτων ποιότητας χωρίς να χρειάζεται να παρακολουθούν τα μοντέλα με μη αυτόματο τρόπο. Με τις διαχειριζόμενες υπηρεσίες AWS, η ομάδα επιστήμης δεδομένων σας μπορεί να αποφύγει το μειονέκτημα της εφαρμογής λύσεων παρακολούθησης από την αρχή.

Οι επιστήμονες δεδομένων σας μπορούν να μειώσουν το συνολικό χρόνο που απαιτείται για την ανάπτυξη των μοντέλων τους ML στην παραγωγή αυτοματοποιώντας τη δοκιμή φόρτωσης και τον συντονισμό μοντέλων σε παρουσίες SageMaker ML χρησιμοποιώντας Amazon SageMaker Inference Recommender. Βοηθά τους επιστήμονες δεδομένων σας να επιλέξουν τον καλύτερο τύπο και διαμόρφωση παρουσίας (όπως πλήθος παρουσιών, παραμέτρους κοντέινερ και βελτιστοποιήσεις μοντέλων) για τα μοντέλα ML τους.

Τέλος, είναι πάντα η καλύτερη πρακτική να αποσυνδέσετε τη φιλοξενία του μοντέλου ML από τη φιλοξενία της εφαρμογής σας. Σε αυτήν την προσέγγιση, οι επιστήμονες δεδομένων χρησιμοποιούν αποκλειστικούς πόρους για να φιλοξενήσουν το μοντέλο ML τους, ειδικά αυτούς που διαχωρίζονται από την εφαρμογή, γεγονός που απλοποιεί σημαντικά τη διαδικασία για να προωθήσει καλύτερα μοντέλα. Αυτό είναι ένα βασικό βήμα στον σφόνδυλο καινοτομίας. Αυτό αποτρέπει επίσης οποιαδήποτε μορφή στενής σύζευξης μεταξύ του φιλοξενούμενου μοντέλου ML και της εφαρμογής, επιτρέποντας έτσι στο μοντέλο να έχει υψηλή απόδοση.

Εκτός από τη βελτίωση της απόδοσης του μοντέλου με τις ενημερωμένες τάσεις της έρευνας, αυτή η προσέγγιση παρέχει τη δυνατότητα αναδιάταξης ενός μοντέλου με ενημερωμένα δεδομένα. Η παγκόσμια πανδημία COVID-19 έχει αποδείξει την πραγματικότητα ότι οι αγορές αλλάζουν συνεχώς και το μοντέλο ML πρέπει να παραμένει ενημερωμένο με τις τελευταίες τάσεις. Ο μόνος τρόπος με τον οποίο μπορείτε να ανταποκριθείτε σε αυτήν την απαίτηση είναι να είστε σε θέση να εκπαιδεύσετε και να ανανεώσετε το μοντέλο σας με ενημερωμένα δεδομένα.

Συμπέρασμα

Ρίξτε μια ματιά στη λευκή βίβλο Hybrid Machine Learning, στο οποίο εξετάζουμε πρόσθετα μοτίβα για τη φιλοξενία μοντέλων ML μέσω Lambda@Edge, Φύλακες AWS, Τοπικές ζώνες AWS, να Μήκος κύματος AWS. Εξερευνούμε υβριδικά μοτίβα ML σε ολόκληρο τον κύκλο ζωής του ML. Εξετάζουμε την ανάπτυξη τοπικά, ενώ εκπαιδεύουμε και αναπτύσσουμε στο cloud. Συζητάμε μοτίβα εκπαίδευσης τοπικά για ανάπτυξη στο cloud, ακόμη και για φιλοξενία μοντέλων ML στο cloud για την εξυπηρέτηση εφαρμογών σε εγκαταστάσεις.

Πώς ενσωματώνετε το cloud με την υπάρχουσα υποδομή ML εντός των εγκαταστάσεων; Μοιραστείτε τα σχόλιά σας σχετικά με το υβριδικό ML στα σχόλια, ώστε να μπορούμε να συνεχίσουμε να βελτιώνουμε τα προϊόντα, τις δυνατότητες και την τεκμηρίωσή μας. Εάν θέλετε να προσελκύσετε τους συντάκτες αυτού του εγγράφου για συμβουλές σχετικά με τη μετεγκατάστασή σας στο cloud, επικοινωνήστε μαζί μας στο hybrid-ml-support@amazon.com.

Σχετικά με τους Συγγραφείς

Alak Eswaradass είναι αρχιτέκτονας λύσεων στην AWS, με έδρα το Σικάγο του Ιλινόις. Είναι παθιασμένη να βοηθά τους πελάτες να σχεδιάζουν αρχιτεκτονικές cloud χρησιμοποιώντας υπηρεσίες AWS για την επίλυση επιχειρηματικών προκλήσεων. Κάνει παρέα με τις κόρες της και εξερευνά την ύπαιθρο στον ελεύθερο χρόνο της.

Έμιλι Webber εντάχθηκε στο AWS αμέσως μετά την κυκλοφορία του SageMaker και από τότε προσπαθεί να το πει στον κόσμο! Εκτός από τη δημιουργία νέων εμπειριών ML για τους πελάτες, η Emily απολαμβάνει τον διαλογισμό και τη μελέτη του Θιβετιανού Βουδισμού.

Roop Bains είναι αρχιτέκτονας λύσεων στο AWS με επίκεντρο την AI/ML. Είναι παθιασμένος με τη μηχανική μάθηση και να βοηθά τους πελάτες να επιτύχουν τους επιχειρηματικούς τους στόχους. Στον ελεύθερο χρόνο του, του αρέσει το διάβασμα και η πεζοπορία.