Τα μοντέλα μηχανικής μάθησης είναι ισχυρά εργαλεία που θα μπορούσαν να βοηθήσουν τις επιχειρήσεις να λάβουν πιο ενημερωμένες αποφάσεις και να βελτιστοποιήσουν τις λειτουργίες τους. Ωστόσο, καθώς αυτά τα μοντέλα αναπτύσσονται και εκτελούνται στην παραγωγή, υπόκεινται σε ένα φαινόμενο που είναι γνωστό ως model drift.
Η μετατόπιση μοντέλου συμβαίνει όταν η απόδοση ενός μοντέλου μηχανικής εκμάθησης υποβαθμίζεται με την πάροδο του χρόνου λόγω αλλαγών στα υποκείμενα δεδομένα, οδηγώντας σε ανακριβείς προβλέψεις και δυνητικά σημαντικές συνέπειες για μια επιχείρηση. Για να αντιμετωπίσουν αυτήν την πρόκληση, οι οργανισμοί στρέφονται στα MLOps, ένα σύνολο πρακτικών και εργαλείων που βοηθούν στη διαχείριση του κύκλου ζωής της μηχανικής μάθησης παραγωγής.
In this article, we’ll explore model drift, the different types of it, how to detect it, and most importantly, how to handle it in production using MLOps. By understanding and managing model drift, businesses can ensure that their machine learning models remain accurate and effective over time, delivering the insights and outcomes that they need to thrive.
Φωτογραφία Νικολά Παϊρόλ on Unsplash
Η μετατόπιση μοντέλου, γνωστή και ως αποσύνθεση μοντέλων, είναι ένα φαινόμενο στη μηχανική μάθηση στο οποίο η απόδοση του μοντέλου μειώνεται με την πάροδο του χρόνου. Αυτό σημαίνει ότι το μοντέλο θα αρχίσει σταδιακά να δίνει κακές προβλέψεις που θα μειώσουν την ακρίβεια με την πάροδο του χρόνου.
Υπάρχουν διάφοροι λόγοι για τη μετατόπιση του μοντέλου, όπως οι αλλαγές στη συλλογή δεδομένων ή οι υποκείμενες σχέσεις μεταξύ των μεταβλητών. Επομένως, το μοντέλο θα αποτύχει να πιάσει αυτές τις αλλαγές και η απόδοση θα μειωθεί όσο αυξάνονται οι αλλαγές.
Ο εντοπισμός και η αντιμετώπιση της μετατόπισης του μοντέλου είναι μία από τις βασικές εργασίες που επιλύουν τα MLO. Τεχνικές όπως η παρακολούθηση μοντέλου χρησιμοποιούνται για την ανίχνευση της παρουσίας μετατόπισης του μοντέλου και η επανεκπαίδευση του μοντέλου είναι μία από τις κύριες τεχνικές που χρησιμοποιούνται για την αντιμετώπιση της μετατόπισης του μοντέλου.
Η κατανόηση του τύπου μετατόπισης μοντέλου είναι απαραίτητη για την ενημέρωση του μοντέλου με βάση τις αλλαγές που συνέβησαν στα δεδομένα. Υπάρχουν τρεις κύριοι τύποι drift:
Έννοια Drift
Η μετατόπιση εννοιών συμβαίνει όταν αλλάζει η σχέση μεταξύ του στόχου και της εισόδου. Επομένως, ο αλγόριθμος μηχανικής μάθησης δεν θα παρέχει ακριβή πρόβλεψη. Υπάρχουν τέσσερις κύριοι τύποι μετατόπισης εννοιών:
- Ξαφνική ολίσθηση: Μια ξαφνική μετατόπιση εννοιών προκύπτει εάν η σχέση μεταξύ της ανεξάρτητης και της εξαρτημένης μεταβλητής συμβεί ξαφνικά. Ένα πολύ γνωστό παράδειγμα είναι η ξαφνική εμφάνιση της πανδημίας του covid 19. Η εμφάνιση της πανδημίας άλλαξε ξαφνικά τη σχέση μεταξύ της μεταβλητής στόχου και των χαρακτηριστικών σε διαφορετικά πεδία, επομένως ένα μοντέλο πρόβλεψης εκπαιδευμένο σε προεκπαιδευμένα δεδομένα δεν θα είναι σε θέση να προβλέψει με ακρίβεια κατά τη διάρκεια της πανδημίας.
- Σταδιακή Μετατόπιση: In a gradual concept drift, the relation between the input and the target may change slowly and subtly. This can result in a slow decline in the performance of a machine learning model, as the model becomes less accurate over time. An example of the gradual concept drift is fraudulent behavior. Fraudsters tend to understand how the fraud detection system works and change their behavior over time to escape the system. Therefore a machine learning model trained on historical fraudulent transaction data will not accurately predict the gradual changes in the fraudster’s behavior. For example, consider a machine learning model used for predicting stock prices in which the model is trained on data from the past five years and its performance is evaluated on new data from the current year. However, as time goes by, the market dynamics may change, and the relationship between the variables that influence stock prices may evolve gradually. This can result in incremental drift, where the model’s accuracy gradually deteriorates over time as it becomes less effective at capturing the changing relationship between the variables.
- Αυξητική μετατόπιση: Η αυξητική μετατόπιση συμβαίνει όταν η σχέση μεταξύ της μεταβλητής στόχου και της εισόδου αλλάζει σταδιακά με την πάροδο του χρόνου, κάτι που συμβαίνει συνήθως λόγω αλλαγών στη διαδικασία δημιουργίας δεδομένων.
- Επαναλαμβανόμενο Drift: Αυτό είναι γνωστό και ως εποχικότητα. Χαρακτηριστικό παράδειγμα η αύξηση των πωλήσεων κατά τη διάρκεια των Χριστουγέννων ή της Black Friday. Ένα μοντέλο μηχανικής εκμάθησης που δεν θα λαμβάνει υπόψη αυτές τις εποχιακές αλλαγές θα καταλήξει να παρέχει ανακριβείς προβλέψεις για αυτές τις εποχιακές αλλαγές.
Αυτοί οι τέσσερις τύποι εννοιολογικής μετατόπισης φαίνονται στο παρακάτω σχήμα.
Τύποι μετατόπισης εννοιών | Εικόνα από Εκμάθηση στο Concept Drift: A Review.
Μετατόπιση δεδομένων
Η μετατόπιση δεδομένων συμβαίνει όταν αλλάζουν οι στατιστικές ιδιότητες των δεδομένων εισόδου. Ένα παράδειγμα αυτού είναι η αλλαγή στην ηλικιακή κατανομή του χρήστη μιας συγκεκριμένης εφαρμογής με την πάροδο του χρόνου, επομένως ένα μοντέλο εκπαιδευμένο σε μια συγκεκριμένη κατανομή ηλικίας που χρησιμοποιείται για στρατηγικές μάρκετινγκ θα πρέπει να αλλάξει καθώς η αλλαγή στην ηλικία θα επηρεάσει την στρατηγικές μάρκετινγκ.
Ανοδικές αλλαγές δεδομένων
Ο τρίτος τύπος μετατόπισης είναι οι αλλαγές δεδομένων ανάντη. Αυτό αναφέρεται στις αλλαγές λειτουργικών δεδομένων στη γραμμή δεδομένων. Ένα τυπικό παράδειγμα αυτού είναι όταν ένα συγκεκριμένο χαρακτηριστικό δεν δημιουργείται πλέον με αποτέλεσμα να λείπει μια τιμή. Ένα άλλο παράδειγμα είναι μια αλλαγή στη μονάδα μέτρησης, για παράδειγμα, εάν ένας συγκεκριμένος αισθητήρας μετρήσει την ποσότητα σε βαθμούς Κελσίου και μετά αλλάξει σε Φαρενάιτ.
Η ανίχνευση της μετατόπισης του μοντέλου δεν είναι απλή και δεν υπάρχει καθολική μέθοδος ανίχνευσης. Ωστόσο, θα συζητήσουμε μερικές από τις δημοφιλείς μεθόδους ανίχνευσης:
- Η δοκιμή Kolmogorov-Smirnov (δοκιμή K-S): Η δοκιμή K-S είναι μια μη παραμετρική δοκιμή για την ανίχνευση της αλλαγής στην κατανομή δεδομένων. Χρησιμοποιείται για τη σύγκριση των δεδομένων εκπαίδευσης και των δεδομένων μετά την εκπαίδευση και για την εύρεση των αλλαγών κατανομής μεταξύ τους. Η μηδενική υπόθεση για αυτό το σύνολο δοκιμών δηλώνει ότι η κατανομή από τα δύο σύνολα δεδομένων είναι η ίδια, επομένως εάν η μηδενική υπόθεση απορριφθεί, θα υπάρξει μια μετατόπιση μοντέλου.
- Ο Δείκτης Σταθερότητας Πληθυσμού (PSI): Το PSI είναι ένα στατιστικό μέτρο που χρησιμοποιείται για τη μέτρηση της ομοιότητας στην κατανομή των κατηγορικών μεταβλητών σε δύο διαφορετικά σύνολα δεδομένων. Επομένως, μπορεί να χρησιμοποιηθεί για τη μέτρηση των αλλαγών στα χαρακτηριστικά των κατηγορικών μεταβλητών στο σύνολο δεδομένων εκπαίδευσης και μετά την εκπαίδευση.
- Μέθοδος Page-Hinkley: Το Page-Hinkely είναι επίσης μια στατιστική μέθοδος που χρησιμοποιείται για την παρατήρηση αλλαγών στο μέσο όρο των δεδομένων με την πάροδο του χρόνου. Συνήθως χρησιμοποιείται για την ανίχνευση μικρών αλλαγών στη μέση τιμή που δεν είναι εμφανής κατά την εξέταση των δεδομένων.
- Παρακολούθηση των επιδόσεων: Μία από τις πιο σημαντικές μεθόδους για την ανίχνευση της αλλαγής έννοιας είναι η παρακολούθηση της απόδοσης του μοντέλου μηχανικής μάθησης στην παραγωγή και η παρατήρηση της αλλαγής του και εάν ξεπεράσει ένα συγκεκριμένο όριο, μπορούμε να ενεργοποιήσουμε μια συγκεκριμένη ενέργεια για τη διόρθωση αυτής της αλλαγής έννοιας.
Handling Drift in Production | Εικόνα από ijeab στο Freepik.
Finally, let’s see how to handle the detected model drift in production. There is a wide spectrum of strategies used to handle the model drift depending on the type of drift, the data we are working on, and the project in production. Here is a summary of the popular methods that are used to handle model drift in production:
- Ηλεκτρονική μάθηση: Δεδομένου ότι οι περισσότερες από τις εφαρμογές του πραγματικού κόσμου εκτελούνται σε ροή δεδομένων, η διαδικτυακή εκμάθηση είναι μία από τις κοινές μεθόδους που χρησιμοποιούνται για τον χειρισμό του drift. Στη διαδικτυακή εκμάθηση το μοντέλο ενημερώνεται αμέσως καθώς το μοντέλο ασχολείται με ένα δείγμα τη φορά.
- Περιοδική επανεκπαίδευση μοντέλου: Μόλις η απόδοση του μοντέλου πέσει κάτω από ένα συγκεκριμένο όριο ή παρατηρηθεί μια μετατόπιση δεδομένων, μπορεί να ρυθμιστεί η ενεργοποίηση για την επανεκπαίδευση του μοντέλου με πρόσφατα δεδομένα.
- Περιοδικά επανεκπαιδεύστε σε αντιπροσωπευτικό υποδείγμα: Ένας πιο αποτελεσματικός τρόπος χειρισμού της εννοιολογικής μετατόπισης είναι η επιλογή ενός αντιπροσωπευτικού υποδείγματος του πληθυσμού και η επισήμανσή τους χρησιμοποιώντας ειδικούς ανθρώπους και η επανεκπαίδευση του μοντέλου σε αυτούς.
- Απόρριψη χαρακτηριστικών: Αυτή είναι μια απλή αλλά αποτελεσματική μέθοδος που μπορεί να χρησιμοποιηθεί για τον χειρισμό της ολίσθησης της έννοιας. Χρησιμοποιώντας αυτήν τη μέθοδο θα εκπαιδεύσουμε πολλά μοντέλα το καθένα χρησιμοποιώντας ένα χαρακτηριστικό και για κάθε μοντέλο, η απόκριση AUC-ROC παρακολουθείται στη συνέχεια και εάν η τιμή του AUC-ROC υπερέβη ένα ορισμένο όριο χρησιμοποιώντας ένα συγκεκριμένο χαρακτηριστικό, τότε μπορούμε να το αποθέσουμε ως αυτό μπορεί να συμμετάσχει στη μετακίνηση.
αναφορές
Σε αυτό το άρθρο, συζητήσαμε το μοντέλο drift, το οποίο είναι το φαινόμενο στη μηχανική εκμάθηση όπου η απόδοση ενός μοντέλου επιδεινώνεται με την πάροδο του χρόνου λόγω αλλαγών στα υποκείμενα δεδομένα. Οι επιχειρήσεις στρέφονται στα MLOps, ένα σύνολο πρακτικών και εργαλείων που διαχειρίζονται τον κύκλο ζωής των μοντέλων μηχανικής μάθησης στην παραγωγή, για να ξεπεράσουν αυτές τις προκλήσεις.
Περιγράψαμε τους διαφορετικούς τύπους μετατόπισης που μπορεί να προκύψουν, συμπεριλαμβανομένης της μετατόπισης εννοιών, της μετατόπισης δεδομένων και των αλλαγών δεδομένων ανάντη, καθώς και τον τρόπο ανίχνευσης της μετατόπισης του μοντέλου χρησιμοποιώντας μεθόδους όπως η δοκιμή Kolmogorov-Smirnov, ο δείκτης σταθερότητας πληθυσμού και η μέθοδος Page-Hinkley. Τέλος, συζητήσαμε τις δημοφιλείς τεχνικές για τον χειρισμό της μετατόπισης μοντέλων στην παραγωγή, συμπεριλαμβανομένης της διαδικτυακής εκμάθησης, της περιοδικής επανεκπαίδευσης μοντέλων, της περιοδικής επανεκπαίδευσης σε ένα αντιπροσωπευτικό υποδείγμα και της απόρριψης χαρακτηριστικών.
Γιουσέφ Ραφαάτ είναι ερευνητής όρασης υπολογιστών και επιστήμονας δεδομένων. Η έρευνά του επικεντρώνεται στην ανάπτυξη αλγορίθμων υπολογιστικής όρασης σε πραγματικό χρόνο για εφαρμογές υγειονομικής περίθαλψης. Εργάστηκε επίσης ως επιστήμονας δεδομένων για περισσότερα από 3 χρόνια στον τομέα του μάρκετινγκ, των οικονομικών και της υγειονομικής περίθαλψης.
- SEO Powered Content & PR Distribution. Ενισχύστε σήμερα.
- PlatoAiStream. Web3 Data Intelligence. Ενισχύθηκε η γνώση. Πρόσβαση εδώ.
- Minting the Future με την Adryenn Ashley. Πρόσβαση εδώ.
- Αγορά και πώληση μετοχών σε εταιρείες PRE-IPO με το PREIPO®. Πρόσβαση εδώ.
- πηγή: https://www.kdnuggets.com/2023/05/managing-model-drift-production-mlops.html?utm_source=rss&utm_medium=rss&utm_campaign=managing-model-drift-in-production-with-mlops
- :έχει
- :είναι
- :δεν
- :που
- $UP
- a
- Ικανός
- Λογαριασμός
- ακρίβεια
- ακριβής
- με ακρίβεια
- Ενέργειες
- διεύθυνση
- διευθυνσιοδότηση
- επηρεάζουν
- την ηλικία του
- αλγόριθμος
- αλγόριθμοι
- Επίσης
- an
- και
- Άλλος
- εμφανής
- Εφαρμογή
- εφαρμογές
- ΕΙΝΑΙ
- άρθρο
- AS
- At
- Κακός
- βασίζονται
- BE
- γίνεται
- παρακάτω
- μεταξύ
- Πέρα
- Μαύρη
- μαύρη Παρασκευή
- επιχείρηση
- επιχειρήσεις
- αλλά
- by
- CAN
- Καταγραφή
- πάλη
- Κελσίου
- ορισμένες
- πρόκληση
- προκλήσεις
- αλλαγή
- άλλαξε
- Αλλαγές
- αλλαγή
- χαρακτηριστικά
- Χριστούγεννα
- συλλογή
- Κοινός
- συγκρίνουν
- υπολογιστή
- Computer Vision
- έννοια
- Συνέπειες
- Εξετάστε
- διορθώσει
- θα μπορούσε να
- Covidien
- Ρεύμα
- ημερομηνία
- επιστήμονας δεδομένων
- σύνολα δεδομένων
- συμφωνία
- αποφάσεις
- Απόρριψη
- μείωση
- παράδοση
- εξαρτώμενος
- Σε συνάρτηση
- αναπτυχθεί
- εντοπιστεί
- Ανίχνευση
- ανάπτυξη
- διαφορετικές
- συζητήσουν
- συζήτηση
- διανομή
- τομέα
- Πτώση
- Ρίψη
- δυο
- κατά την διάρκεια
- δυναμική
- κάθε
- Αποτελεσματικός
- τέλος
- εξασφαλίζω
- διαφυγή
- ουσιώδης
- Αιθέρας (ΕΤΗ)
- αξιολόγηση
- εξελίσσονται
- παράδειγμα
- εμπειρογνώμονες
- διερευνήσει
- ΑΠΟΤΥΓΧΑΝΩ
- Falls
- πασίγνωστη και
- Χαρακτηριστικό
- Χαρακτηριστικά
- Πεδία
- Εικόνα
- Τελικά
- χρηματοδότηση
- Εύρεση
- εστιάζει
- Για
- τέσσερα
- απάτη
- ανίχνευση απάτης
- απατεώνες
- απατηλός
- Παρασκευή
- από
- παράγεται
- παραγωγής
- Δώστε
- πηγαίνει
- σταδιακή
- σταδιακά
- λαβή
- Έχω
- he
- υγειονομική περίθαλψη
- βοήθεια
- εδώ
- του
- ιστορικών
- Πως
- Πώς να
- Ωστόσο
- HTTPS
- ανθρώπινος
- if
- εικόνα
- σημαντικό
- in
- ανακριβής
- Συμπεριλαμβανομένου
- Αυξάνουν
- ανεξάρτητος
- ευρετήριο
- επιρροή
- ενημερώνεται
- εισαγωγή
- ιδέες
- σε
- IT
- ΤΟΥ
- jpg
- KDnuggets
- γνωστός
- τιτλοφόρηση
- που οδηγεί
- μάθηση
- μείον
- κύκλος ζωής
- ll
- πλέον
- κοιτάζοντας
- μηχανή
- μάθηση μηχανής
- Κυρίως
- κάνω
- διαχείριση
- διαχείριση
- αγορά
- Μάρκετινγκ
- Στρατηγικές μάρκετινγκ
- Ενδέχεται..
- εννοώ
- μέσα
- μέτρο
- μέτρηση
- μέθοδος
- μέθοδοι
- ενδέχεται να
- Λείπει
- MLOps
- μοντέλο
- μοντέλα
- παρακολούθηση
- παρακολούθηση
- περισσότερο
- πλέον
- πολλαπλούς
- Ανάγκη
- Νέα
- Nicolas
- Όχι.
- παρατηρούμε
- συνέβη
- of
- on
- μια φορά
- ONE
- διαδικτυακά (online)
- Ηλεκτρονική μάθηση
- επιχειρήσεων
- λειτουργίες
- Βελτιστοποίηση
- or
- οργανώσεις
- αποτελέσματα
- σκιαγραφείται
- επί
- Ξεπεράστε
- πανδημία
- συμμετέχω
- Ειδικότερα
- Το παρελθόν
- επίδοση
- περιοδικός
- φαινόμενο
- αγωγού
- Πλάτων
- Πληροφορία δεδομένων Plato
- Πλάτωνα δεδομένα
- Δημοφιλής
- πληθυσμός
- ενδεχομένως
- ισχυρός
- πρακτικές
- προβλέψει
- προβλέποντας
- πρόβλεψη
- Προβλέψεις
- παρουσία
- Τιμές
- διαδικασια μας
- παραγωγή
- σχέδιο
- ιδιότητες
- παρέχουν
- χορήγηση
- ποσότητα
- πραγματικό κόσμο
- σε πραγματικό χρόνο
- λόγους
- πρόσφατος
- αναφέρεται
- σχέση
- σχέση
- Σχέσεις
- παραμένουν
- εκπρόσωπος
- έρευνα
- ερευνητής
- απάντησης
- αποτέλεσμα
- με αποτέλεσμα
- επανεκπαίδευση
- τρέξιμο
- s
- εμπορικός
- ίδιο
- Επιστήμονας
- εποχιακός
- δείτε
- επιλογή
- σειρά
- αλλαγή
- ΜΕΤΑΤΟΠΙΣΗ
- παρουσιάζεται
- σημαντικός
- Απλούς
- αφού
- επιβραδύνουν
- Αργά
- small
- So
- SOLVE
- μερικοί
- συγκεκριμένες
- Φάσμα
- σταθερότητα
- Εκκίνηση
- Μελών
- στατιστικός
- στοκ
- ειλικρινής
- στρατηγικές
- ροής
- θέμα
- τέτοιος
- αιφνίδιος
- ΠΕΡΙΛΗΨΗ
- σύστημα
- στόχος
- εργασίες
- τεχνικές
- δοκιμή
- από
- ότι
- Η
- τους
- Τους
- τότε
- Εκεί.
- επομένως
- Αυτοί
- αυτοί
- Τρίτος
- αυτό
- τρία
- κατώφλι
- Ευδοκιμούν
- ώρα
- προς την
- εργαλεία
- Τρένο
- εκπαιδευμένο
- Εκπαίδευση
- συναλλαγή
- ενεργοποιούν
- Στροφή
- δύο
- τύπος
- τύποι
- τυπικός
- υπό
- υποκείμενες
- καταλαβαίνω
- κατανόηση
- μονάδα
- Παγκόσμιος
- Ενημέρωση
- ενημερώθηκε
- Δεδομένα ανάντη
- μεταχειρισμένος
- Χρήστες
- χρησιμοποιώντας
- συνήθως
- αξία
- πολύ
- όραμα
- Τρόπος..
- we
- πότε
- Ποιό
- ευρύς
- θα
- με
- εργάστηκαν
- εργαζόμενος
- λειτουργεί
- έτος
- χρόνια
- zephyrnet