Η κατανόηση φυσικής γλώσσας εφαρμόζεται σε ένα ευρύ φάσμα περιπτώσεων χρήσης, από chatbot και εικονικούς βοηθούς, έως μηχανική μετάφραση και σύνοψη κειμένου. Για να διασφαλιστεί ότι αυτές οι εφαρμογές εκτελούνται σε αναμενόμενο επίπεδο απόδοσης, είναι σημαντικό τα δεδομένα στα περιβάλλοντα εκπαίδευσης και παραγωγής να προέρχονται από την ίδια διανομή. Όταν τα δεδομένα που χρησιμοποιούνται για την εξαγωγή συμπερασμάτων (δεδομένα παραγωγής) διαφέρουν από τα δεδομένα που χρησιμοποιούνται κατά την εκπαίδευση του μοντέλου, αντιμετωπίζουμε ένα φαινόμενο γνωστό ως μετατόπιση δεδομένων. Όταν συμβαίνει μετατόπιση δεδομένων, το μοντέλο δεν είναι πλέον σχετικό με τα δεδομένα στην παραγωγή και πιθανώς έχει χειρότερη απόδοση από το αναμενόμενο. Είναι σημαντικό να παρακολουθείτε συνεχώς τα δεδομένα συμπερασμάτων και να τα συγκρίνετε με τα δεδομένα που χρησιμοποιούνται κατά τη διάρκεια της εκπαίδευσης.
Μπορείς να χρησιμοποιήσεις Amazon Sage Maker για γρήγορη κατασκευή, εκπαίδευση και ανάπτυξη μοντέλων μηχανικής μάθησης (ML) σε οποιαδήποτε κλίμακα. Ως προληπτικό μέτρο κατά της υποβάθμισης του μοντέλου, μπορείτε να χρησιμοποιήσετε Παρακολούθηση μοντέλου Amazon SageMaker για να παρακολουθείτε συνεχώς την ποιότητα των μοντέλων σας ML σε πραγματικό χρόνο. Με την Οθόνη Μοντέλου, μπορείτε επίσης να διαμορφώσετε τις ειδοποιήσεις ώστε να ειδοποιούν και να ενεργοποιούν ενέργειες εάν παρατηρηθεί κάποια απόκλιση στην απόδοση του μοντέλου. Η έγκαιρη και προληπτική ανίχνευση αυτών των αποκλίσεων σάς δίνει τη δυνατότητα να προβείτε σε διορθωτικές ενέργειες, όπως συλλογή νέων δεδομένων επίγειας εκπαίδευσης αλήθειας, επανεκπαίδευση μοντέλων και έλεγχος ανοδικών συστημάτων, χωρίς να χρειάζεται να παρακολουθείτε χειροκίνητα μοντέλα ή να δημιουργήσετε πρόσθετα εργαλεία.
Το Model Monitor προσφέρει τέσσερις διαφορετικούς τύπους δυνατοτήτων παρακολούθησης για τον εντοπισμό και τον μετριασμό της μετατόπισης μοντέλου σε πραγματικό χρόνο:
- Η ποιότητα των δεδομένων – Βοηθά στην ανίχνευση αλλαγών στα σχήματα δεδομένων και στις στατιστικές ιδιότητες ανεξάρτητων μεταβλητών και ειδοποιήσεις όταν ανιχνεύεται μετατόπιση.
- Ποιότητα μοντέλου – Για την παρακολούθηση των χαρακτηριστικών απόδοσης του μοντέλου, όπως η ακρίβεια ή η ακρίβεια σε πραγματικό χρόνο, το Model Monitor σάς επιτρέπει να λαμβάνετε τις ετικέτες βασικής αλήθειας που συλλέγονται από τις εφαρμογές σας. Το μοντέλο παρακολούθησης συγχωνεύει αυτόματα τις πληροφορίες βασικής αλήθειας με δεδομένα πρόβλεψης για να υπολογίσει τις μετρήσεις απόδοσης του μοντέλου.
- Μεροληψία μοντέλου – Η οθόνη μοντέλου είναι ενσωματωμένη με Amazon SageMaker Clerify για τη βελτίωση της ορατότητας σε πιθανή προκατάληψη. Αν και τα αρχικά δεδομένα ή το μοντέλο σας μπορεί να μην είναι προκατειλημμένα, οι αλλαγές στον κόσμο μπορεί να προκαλέσουν την ανάπτυξη μεροληψίας με την πάροδο του χρόνου σε ένα μοντέλο που έχει ήδη εκπαιδευτεί.
- Επεξήγηση μοντέλου – Η ανίχνευση ολίσθησης σάς ειδοποιεί όταν συμβαίνει μια αλλαγή στη σχετική σημασία των αποδόσεων χαρακτηριστικών.
Σε αυτήν την ανάρτηση, συζητάμε τους τύπους μετατόπισης ποιότητας δεδομένων που ισχύουν για δεδομένα κειμένου. Παρουσιάζουμε επίσης μια προσέγγιση για την ανίχνευση της μετατόπισης δεδομένων σε δεδομένα κειμένου χρησιμοποιώντας την Παρακολούθηση Μοντέλου.
Μετατόπιση δεδομένων στο NLP
Η μετατόπιση δεδομένων μπορεί να ταξινομηθεί σε τρεις κατηγορίες ανάλογα με το αν η μετατόπιση κατανομής συμβαίνει στην πλευρά εισόδου ή εξόδου ή εάν η σχέση μεταξύ της εισόδου και της εξόδου έχει αλλάξει.
Συμμεταβλητή μετατόπιση
Σε μεταβλητή μετατόπιση, η κατανομή των εισροών αλλάζει με την πάροδο του χρόνου, αλλά η κατανομή υπό όρους P(y|x) δεν αλλάζει. Αυτός ο τύπος μετατόπισης ονομάζεται μετατόπιση συμμεταβλητών επειδή το πρόβλημα προκύπτει λόγω μιας μετατόπισης στην κατανομή των συμμεταβλητών (χαρακτηριστικών). Για παράδειγμα, σε ένα μοντέλο ταξινόμησης ανεπιθύμητων μηνυμάτων ηλεκτρονικού ταχυδρομείου, η κατανομή των δεδομένων εκπαίδευσης (corpora email) μπορεί να αποκλίνει από τη διανομή των δεδομένων κατά τη βαθμολόγηση.
Μετατόπιση ετικέτας
Ενώ η μετατόπιση συμμεταβλητών εστιάζει στις αλλαγές στην κατανομή των χαρακτηριστικών, μετατόπιση ετικέτας επικεντρώνεται στις αλλαγές στην κατανομή της μεταβλητής κλάσης. Αυτός ο τύπος μετατόπισης είναι ουσιαστικά το αντίστροφο της μετατόπισης συμμεταβλητής. Ένας διαισθητικός τρόπος για να το σκεφτείτε μπορεί να είναι να εξετάσετε ένα μη ισορροπημένο σύνολο δεδομένων. Εάν η αναλογία ανεπιθύμητων και μη ανεπιθύμητων μηνυμάτων ηλεκτρονικού ταχυδρομείου στο εκπαιδευτικό μας σύνολο είναι 50%, αλλά στην πραγματικότητα το 10% των μηνυμάτων ηλεκτρονικού ταχυδρομείου μας δεν είναι ανεπιθύμητα, τότε η διανομή ετικέτας στόχου έχει αλλάξει.
Μετατόπιση εννοιών
Μετατόπιση εννοιών διαφέρει από τη μεταβλητή και τη μετατόπιση ετικέτας στο ότι δεν σχετίζεται με την κατανομή δεδομένων ή την κατανομή κλάσης, αλλά αντίθετα σχετίζεται με τη σχέση μεταξύ των δύο μεταβλητών. Για παράδειγμα, οι αποστολείς ανεπιθύμητης αλληλογραφίας συχνά χρησιμοποιούν διάφορες έννοιες για να περάσουν τα μοντέλα φίλτρων ανεπιθύμητης αλληλογραφίας και η έννοια των μηνυμάτων ηλεκτρονικού ταχυδρομείου που χρησιμοποιούνται κατά τη διάρκεια της εκπαίδευσης μπορεί να αλλάξει όσο περνάει ο καιρός.
Τώρα που καταλαβαίνουμε τους διαφορετικούς τύπους μετατόπισης δεδομένων, ας δούμε πώς μπορούμε να χρησιμοποιήσουμε την Παρακολούθηση Μοντέλου για να ανιχνεύσουμε τη μετατόπιση συμμεταβλητών στα δεδομένα κειμένου.
Επισκόπηση λύσεων
Σε αντίθεση με τα δεδομένα πίνακα, τα οποία είναι δομημένα και οριοθετημένα, τα δεδομένα κειμένου είναι πολύπλοκα, υψηλών διαστάσεων και ελεύθερης μορφής. Για να ανιχνεύσουμε αποτελεσματικά τη μετατόπιση στο NLP, εργαζόμαστε με ενσωματώσεις, που είναι χαμηλών διαστάσεων αναπαραστάσεις του κειμένου. Μπορείτε να αποκτήσετε ενσωματώσεις χρησιμοποιώντας διάφορα μοντέλα γλώσσας όπως το Word2Vec και μοντέλα που βασίζονται σε μετασχηματιστές όπως ΜΠΕΡΤ. Αυτά τα μοντέλα προβάλλουν δεδομένα υψηλών διαστάσεων σε χώρους χαμηλών διαστάσεων διατηρώντας παράλληλα τις σημασιολογικές πληροφορίες του κειμένου. Τα αποτελέσματα είναι πυκνά και ουσιαστικά διανύσματα, τα οποία μπορούν να χρησιμοποιηθούν για διάφορες εργασίες κατάντη, συμπεριλαμβανομένης της παρακολούθησης για μετατόπιση δεδομένων.
Στη λύση μας, χρησιμοποιούμε ενσωματώσεις για να ανιχνεύσουμε τη συμμεταβλητή μετατόπιση των αγγλικών προτάσεων. Χρησιμοποιούμε το μοντέλο παρακολούθησης για να διευκολύνουμε τη συνεχή παρακολούθηση για έναν ταξινομητή κειμένου που αναπτύσσεται σε περιβάλλον παραγωγής. Η προσέγγισή μας αποτελείται από τα ακόλουθα βήματα:
- Βελτιστοποιήστε ένα μοντέλο BERT χρησιμοποιώντας το SageMaker.
- Αναπτύξτε έναν βελτιστοποιημένο ταξινομητή BERT ως τελικό σημείο σε πραγματικό χρόνο με συλλογή δεδομένων ενεργοποιημένη.
- Δημιουργήστε ένα σύνολο δεδομένων βάσης που αποτελείται από ένα δείγμα των προτάσεων που χρησιμοποιούνται για την εκπαίδευση του ταξινομητή BERT.
- Δημιουργία προσαρμοσμένη εργασία παρακολούθησης του SageMaker για τον υπολογισμό της ομοιότητας συνημιτόνου μεταξύ των δεδομένων που συλλέγονται στην παραγωγή και του βασικού συνόλου δεδομένων.
Το ακόλουθο διάγραμμα απεικονίζει τη ροή εργασίας επίλυσης:
Βελτιώστε ένα μοντέλο BERT
Σε αυτήν την ανάρτηση, χρησιμοποιούμε Σώμα γλωσσικής αποδοχής (CoLA), ένα σύνολο δεδομένων 10,657 αγγλικών προτάσεων που χαρακτηρίζονται ως γραμματικές ή μη γραμματικές από δημοσιευμένη γλωσσολογική βιβλιογραφία. Χρησιμοποιούμε την εκπαίδευση του SageMaker για να τελειοποιήσουμε ένα μοντέλο BERT χρησιμοποιώντας το σύνολο δεδομένων CoLa ορίζοντας μια κλάση εκτιμητή PyTorch. Για περισσότερες πληροφορίες σχετικά με τον τρόπο χρήσης αυτού του SDK με το PyTorch, βλ Χρησιμοποιήστε το PyTorch με το SageMaker Python SDK. Καλώντας το fit()
Η μέθοδος του εκτιμητή ξεκινά την εργασία κατάρτισης:
Αναπτύξτε το μοντέλο
Αφού εκπαιδεύσουμε το μοντέλο μας, το φιλοξενούμε σε ένα τελικό σημείο του SageMaker. Για να φορτώσει το τελικό σημείο το μοντέλο και να εξυπηρετήσει προβλέψεις, εφαρμόζουμε μερικές μεθόδους train_deploy.py:
- μοντέλο_fn () - Φορτώνει το αποθηκευμένο μοντέλο και επιστρέφει ένα αντικείμενο μοντέλου που μπορεί να χρησιμοποιηθεί για την προβολή του μοντέλου. Ο διακομιστής του μοντέλου SageMaker PyTorch φορτώνει το μοντέλο μας επικαλούμενος
model_fn
. - είσοδος_fn () - Αποστειροποιεί και προετοιμάζει την είσοδο πρόβλεψης. Σε αυτό το παράδειγμα, το σώμα αιτήσεών μας αρχικά σειριοποιείται στο JSON και μετά αποστέλλεται στο τελικό σημείο του μοντέλου. Επομένως, στο
input_fn()
, πρώτα αποστειρώσουμε το σώμα αιτήματος με μορφοποίηση JSON και επιστρέψουμε την είσοδο ωςtorch.tensor
, όπως απαιτείται για το BERT. - προβλέψτε_fn () – Εκτελεί την πρόβλεψη και επιστρέφει το αποτέλεσμα.
Ενεργοποιήστε τη λήψη δεδομένων οθόνης μοντέλου
Επιτρέπουμε Λήψη δεδομένων οθόνης μοντέλου για να καταγράψετε τα δεδομένα εισόδου στο Απλή υπηρεσία αποθήκευσης Amazon (Amazon S3) κάδος για να το αναφέρετε αργότερα:
Στη συνέχεια, δημιουργούμε ένα τελικό σημείο SageMaker σε πραγματικό χρόνο με το μοντέλο που δημιουργήθηκε στο προηγούμενο βήμα:
Συμπέρασμα
Εκτελούμε την πρόβλεψη χρησιμοποιώντας το αντικείμενο πρόβλεψης που δημιουργήσαμε στο προηγούμενο βήμα. Ορίσαμε το JSON serializer και deserializer, το οποίο χρησιμοποιείται από το τελικό σημείο συμπερασμάτων:
Το τελικό σημείο σε πραγματικό χρόνο έχει ρυθμιστεί για να συλλαμβάνει δεδομένα από το αίτημα και η απάντηση και τα δεδομένα αποθηκεύονται στο Amazon S3. Μπορείτε να προβάλετε τα δεδομένα που έχουν καταγραφεί στο προηγούμενο πρόγραμμα παρακολούθησης.
Δημιουργήστε μια γραμμή βάσης
Χρησιμοποιούμε ένα βελτιστοποιημένο μοντέλο BERT για να εξαγάγουμε χαρακτηριστικά ενσωμάτωσης προτάσεων από τα δεδομένα εκπαίδευσης. Χρησιμοποιούμε αυτά τα διανύσματα ως εισόδους χαρακτηριστικών υψηλής ποιότητας για τη σύγκριση της απόστασης συνημιτόνου επειδή το BERT παράγει δυναμική αναπαράσταση λέξεων με σημασιολογικό πλαίσιο. Ολοκληρώστε τα παρακάτω βήματα για να αποκτήσετε ενσωμάτωση πρότασης:
- Χρησιμοποιήστε ένα tokenizer BERT για να λάβετε αναγνωριστικά διακριτικών για κάθε διακριτικό (
input_id
) στην πρόταση εισόδου και μάσκα για να υποδείξετε ποια στοιχεία στην ακολουθία εισόδου είναι διακριτικά έναντι στοιχείων πλήρωσης (attention_mask_id
). Χρησιμοποιούμε το BERTtokenizer.encode_plus
συνάρτηση για να πάρει αυτές τις τιμές για κάθε πρόταση εισαγωγής:
input_ids
και attention_mask_ids
μεταβιβάζονται στο μοντέλο και ανακτούν τις κρυφές καταστάσεις του δικτύου. ο hidden_states
έχει τέσσερις διαστάσεις με την ακόλουθη σειρά:
- Αριθμός επιπέδου (το BERT έχει 12 επίπεδα)
- Αριθμός παρτίδας (1 πρόταση)
- Ευρετήρια διακριτικών λέξεων
- Κρυφές μονάδες (768 χαρακτηριστικά)
- Χρησιμοποιήστε τα δύο τελευταία κρυφά επίπεδα για να λάβετε ένα μόνο διάνυσμα (ενσωμάτωση πρότασης) υπολογίζοντας τον μέσο όρο όλων των διακριτικών εισόδου στην πρόταση:
- Μετατρέψτε την ενσωμάτωση πρότασης ως πίνακα NumPy και αποθηκεύστε την σε μια τοποθεσία Amazon S3 ως γραμμή βάσης που χρησιμοποιείται από το Model Monitor:
Σενάριο αξιολόγησης
Το Model Monitor παρέχει ένα προκατασκευασμένο κοντέινερ με τη δυνατότητα ανάλυσης των δεδομένων που συλλέγονται από τελικά σημεία για πίνακες δεδομένων. Εάν θέλετε να φέρετε το δικό σας κοντέινερ, το Model Monitor παρέχει σημεία επέκτασης που μπορείτε να χρησιμοποιήσετε. Όταν δημιουργείτε ένα MonitoringSchedule
, Το Model Monitor ξεκινά τελικά τις εργασίες επεξεργασίας. Επομένως, το δοχείο πρέπει να γνωρίζει τη σύμβαση εργασίας επεξεργασίας. Πρέπει να δημιουργήσουμε ένα σενάριο αξιολόγησης που να είναι συμβατό με το κοντέινερ εισροές συμβολαίου και εξόδους.
Το μοντέλο παρακολούθησης χρησιμοποιεί κωδικό αξιολόγησης σε όλα τα δείγματα που λαμβάνονται κατά τη διάρκεια του προγράμματος παρακολούθησης. Για κάθε σημείο δεδομένων συμπερασμάτων, υπολογίζουμε την ενσωμάτωση της πρότασης χρησιμοποιώντας την ίδια λογική που περιγράφηκε προηγουμένως. Η ομοιότητα συνημιτονίου χρησιμοποιείται ως μέτρηση απόστασης για τη μέτρηση της ομοιότητας ενός σημείου δεδομένων εξαγωγής και των ενσωματώσεων προτάσεων στη γραμμή βάσης. Μαθηματικά, μετρά τη γωνία συνημιτόνου μεταξύ δύο διανυσμάτων ενσωμάτωσης προτάσεων. Μια υψηλή βαθμολογία ομοιότητας συνημιτόνου υποδηλώνει παρόμοιες ενσωματώσεις προτάσεων. Μια χαμηλότερη βαθμολογία ομοιότητας συνημιτόνου υποδηλώνει μετατόπιση δεδομένων. Υπολογίζουμε έναν μέσο όρο όλων των βαθμολογιών ομοιότητας συνημιτονίου και αν είναι μικρότερος από το όριο, καταγράφεται στην αναφορά παραβίασης. Με βάση την περίπτωση χρήσης, μπορείτε να χρησιμοποιήσετε άλλες μετρήσεις απόστασης όπως π.χ manhattan
or euclidean
για τη μέτρηση της ομοιότητας των ενσωματώσεων προτάσεων.
Το παρακάτω διάγραμμα δείχνει πώς χρησιμοποιούμε το SageMaker Model Monitoring για να καθορίσουμε τη γραμμή βάσης και να ανιχνεύσουμε τη μετατόπιση δεδομένων χρησιμοποιώντας την ομοιότητα της απόστασης συνημιτόνου.
Ακολουθεί ο κωδικός για τον υπολογισμό των παραβάσεων. το πλήρες σενάριο αξιολόγησης είναι διαθέσιμο στο GitHub:
Μετρήστε τη μετατόπιση δεδομένων χρησιμοποιώντας την οθόνη μοντέλου
Σε αυτήν την ενότητα, εστιάζουμε στη μέτρηση της μετατόπισης δεδομένων χρησιμοποιώντας την οθόνη μοντέλου. Οι προκατασκευασμένες οθόνες Οθόνης Μοντέλου τροφοδοτούνται από Deequ, η οποία είναι μια βιβλιοθήκη χτισμένη πάνω από το Apache Spark για τον καθορισμό μονάδων δοκιμών για δεδομένα, που μετρούν την ποιότητα δεδομένων σε μεγάλα σύνολα δεδομένων. Δεν χρειάζεστε κωδικοποίηση για να χρησιμοποιήσετε αυτές τις προκατασκευασμένες δυνατότητες παρακολούθησης. Έχετε επίσης την ευελιξία να παρακολουθείτε μοντέλα με κωδικοποίηση για να παρέχετε προσαρμοσμένη ανάλυση. Μπορείτε να συλλέξετε και να ελέγξετε όλες τις μετρήσεις που εκπέμπονται από το Model Monitor Στούντιο Amazon SageMaker, ώστε να μπορείτε να αναλύσετε οπτικά την απόδοση του μοντέλου σας χωρίς να γράψετε πρόσθετο κώδικα.
Σε ορισμένα σενάρια, για παράδειγμα όταν τα δεδομένα δεν είναι πίνακες, η προεπιλεγμένη εργασία επεξεργασίας (τροφοδοτείται από Deequ) δεν αρκεί γιατί υποστηρίζει μόνο πίνακες δεδομένων. Οι προκατασκευασμένες οθόνες ενδέχεται να μην επαρκούν για τη δημιουργία εξελιγμένων μετρήσεων για την ανίχνευση παρασυρμάτων και μπορεί να απαιτούν τη λήψη των δικών σας μετρήσεων. Στις επόμενες ενότητες, περιγράφουμε τη ρύθμιση για να εισάγετε τις μετρήσεις σας δημιουργώντας ένα προσαρμοσμένο κοντέινερ.
Δημιουργήστε το προσαρμοσμένο κοντέινερ Μοντέλο Οθόνης
Χρησιμοποιούμε το σενάριο αξιολόγησης από την προηγούμενη ενότητα για να δημιουργήσετε ένα κοντέινερ Docker και να το σπρώξετε σε Μητρώο εμπορευματοκιβωτίων Amazon Elastic (Amazon ECR):
Όταν το κοντέινερ Docker πελάτη βρίσκεται στο Amazon ECR, μπορούμε να προγραμματίσουμε μια εργασία παρακολούθησης μοντέλου και να δημιουργήσουμε μια αναφορά παραβιάσεων, όπως φαίνεται στις επόμενες ενότητες.
Προγραμματίστε μια εργασία παρακολούθησης μοντέλου
Για να προγραμματίσουμε μια εργασία παρακολούθησης μοντέλου, δημιουργούμε μια παρουσία του μοντέλου παρακολούθησης και στο image_uri
, αναφερόμαστε στο κοντέινερ Docker που δημιουργήσαμε στην προηγούμενη ενότητα:
Προγραμματίζουμε την εργασία παρακολούθησης χρησιμοποιώντας το create_monitoring_schedule
API. Μπορείτε να προγραμματίσετε την εργασία παρακολούθησης σε ωριαία ή καθημερινή βάση. Μπορείτε να διαμορφώσετε την εργασία χρησιμοποιώντας το destination
παράμετρος, όπως φαίνεται στον παρακάτω κώδικα:
Για να περιγράψετε και να απαριθμήσετε το χρονοδιάγραμμα παρακολούθησης και τις εκτελέσεις του, μπορείτε να χρησιμοποιήσετε τις ακόλουθες εντολές:
Αναφορά παραβίασης μετατόπισης δεδομένων
Όταν ολοκληρωθεί η εργασία παρακολούθησης μοντέλου, μπορείτε να πλοηγηθείτε στη διαδρομή προορισμού S3 για πρόσβαση στις αναφορές παραβίασης. Αυτή η αναφορά περιέχει όλες τις εισροές των οποίων η μέση βαθμολογία συνημιτόνου (avg_cosine_score
) είναι κάτω από το όριο που έχει διαμορφωθεί ως μεταβλητή περιβάλλοντος THRESHOLD:0.5
στο ModelMonitor παράδειγμα. Αυτό αποτελεί ένδειξη ότι τα δεδομένα που παρατηρούνται κατά την εξαγωγή συμπερασμάτων κινούνται πέρα από την καθορισμένη βασική γραμμή.
Ο ακόλουθος κώδικας δείχνει την αναφορά παραβίασης που δημιουργήθηκε:
Τέλος, με βάση αυτή την παρατήρηση, μπορείτε να διαμορφώσετε το μοντέλο σας για επανεκπαίδευση. Μπορείτε επίσης να ενεργοποιήσετε Υπηρεσία απλών ειδοποιήσεων Amazon Ειδοποιήσεις (Amazon SNS) για αποστολή ειδοποιήσεων όταν συμβαίνουν παραβιάσεις.
Συμπέρασμα
Το Model Monitor σάς δίνει τη δυνατότητα να διατηρήσετε την υψηλή ποιότητα των μοντέλων σας στην παραγωγή. Σε αυτήν την ανάρτηση, επισημάναμε τις προκλήσεις σχετικά με την παρακολούθηση της μετατόπισης δεδομένων σε μη δομημένα δεδομένα, όπως το κείμενο, και παρείχαμε μια διαισθητική προσέγγιση για τον εντοπισμό της μετατόπισης δεδομένων χρησιμοποιώντας ένα προσαρμοσμένο σενάριο παρακολούθησης. Μπορείτε να βρείτε τον κωδικό που σχετίζεται με την ανάρτηση παρακάτω Αποθετήριο GitHub. Επιπλέον, μπορείτε να προσαρμόσετε τη λύση για να χρησιμοποιήσετε άλλες μετρήσεις απόστασης, όπως π.χ μέγιστη μέση απόκλιση (MMD), μια μη παραμετρική μέτρηση απόστασης για τον υπολογισμό της οριακής κατανομής μεταξύ της κατανομής πηγής και στόχου στον ενσωματωμένο χώρο.
Σχετικά με τους Συγγραφείς
Vikram Elango είναι Αρχιτέκτονας Ειδικών Λύσεων AI/ML στην Amazon Web Services, με έδρα τη Βιρτζίνια των ΗΠΑ. Η Vikram βοηθά τους πελάτες του χρηματοοικονομικού και ασφαλιστικού κλάδου με σχεδιασμό, ηγετική σκέψη να δημιουργήσουν και να αναπτύξουν εφαρμογές μηχανικής εκμάθησης σε κλίμακα. Επί του παρόντος επικεντρώνεται στην επεξεργασία φυσικής γλώσσας, την υπεύθυνη τεχνητή νοημοσύνη, τη βελτιστοποίηση συμπερασμάτων και την κλιμάκωση της ML σε όλη την επιχείρηση. Στον ελεύθερο χρόνο του, του αρέσει να ταξιδεύει, να κάνει πεζοπορία, να μαγειρεύει και να κατασκηνώνει με την οικογένειά του.
Raghu Ramesha είναι αρχιτέκτονας ML Solutions με την ομάδα του Amazon SageMaker Service. Επικεντρώνεται στο να βοηθά τους πελάτες να μεταφέρουν φόρτους εργασίας παραγωγής ML στο SageMaker σε κλίμακα. Ειδικεύεται σε τομείς μηχανικής μάθησης, τεχνητής νοημοσύνης και όρασης υπολογιστών και είναι κάτοχος μεταπτυχιακού τίτλου στην Επιστήμη Υπολογιστών από το UT Dallas. Στον ελεύθερο χρόνο του, του αρέσουν τα ταξίδια και η φωτογραφία.
Τόνι Τσεν είναι αρχιτέκτονας λύσεων μηχανικής μάθησης στο Amazon Web Services, βοηθώντας τους πελάτες να σχεδιάσουν επεκτάσιμες και ισχυρές δυνατότητες μηχανικής μάθησης στο cloud. Ως πρώην επιστήμονας δεδομένων και μηχανικός δεδομένων, αξιοποιεί την εμπειρία του για να βοηθήσει στην αντιμετώπιση μερικών από τα πιο δύσκολα προβλήματα που αντιμετωπίζουν οι οργανισμοί με τη λειτουργικότητα της μηχανικής μάθησης.
- '
- "
- 100
- 11
- 7
- Σχετικά
- πρόσβαση
- Λογαριασμός
- απέναντι
- ενεργειών
- Πρόσθετος
- AI
- Όλα
- ήδη
- Αν και
- Amazon
- Amazon Sage Maker
- Amazon υπηρεσίες Web
- ανάλυση
- Apache
- Apache Spark
- εφαρμόσιμος
- εφαρμογές
- διαθέσιμος
- μέσος
- AWS
- Baseline
- σώμα
- χτίζω
- Κτίριο
- κατασκήνωση
- περιπτώσεις
- Αιτία
- προκλήσεις
- αλλαγή
- chatbots
- ταξινόμηση
- Backup
- κωδικός
- Κωδικοποίηση
- Συλλέγοντας
- συγκρότημα
- Υπολογίστε
- Πληροφορική
- Computer Vision
- Δοχείο
- Περιέχει
- συνεχής
- σύμβαση
- μαγείρεμα
- δημιουργία
- Πελάτες
- Ντάλας
- ημερομηνία
- την ποιότητα των δεδομένων
- επιστήμονας δεδομένων
- Υπηρεσίες
- Ανίχνευση
- ανάπτυξη
- διαφορετικές
- συζητήσουν
- απόσταση
- Λιμενεργάτης
- Δοχείο Docker
- Όχι
- domains
- οδήγηση
- κατά την διάρκεια
- δυναμικός
- Νωρίς
- ΗΛΕΚΤΡΟΝΙΚΗ ΔΙΕΥΘΥΝΣΗ
- συνάντηση
- Τελικό σημείο
- μηχανικός
- Αγγλικά
- Εταιρεία
- Περιβάλλον
- εγκατεστημένος
- παράδειγμα
- εμπειρία
- Πρόσωπο
- οικογένεια
- Χαρακτηριστικό
- Χαρακτηριστικά
- οικονομικός
- Όνομα
- Ευελιξία
- Συγκέντρωση
- επικεντρώθηκε
- μορφή
- Προς τα εμπρός
- Δωρεάν
- λειτουργία
- παράγουν
- GitHub
- που έχει
- βοήθεια
- βοηθά
- Ψηλά
- Τόνισε
- πεζοπορία
- Αρχική
- Πως
- Πώς να
- HTTPS
- εικόνα
- εφαρμογή
- σημαντικό
- Συμπεριλαμβανομένου
- βιομηχανία
- πληροφορίες
- ασφάλιση
- ασφαλιστική βιομηχανία
- IT
- Δουλειά
- Θέσεις εργασίας
- Ετικέτες
- Γλώσσα
- large
- αργότερο
- ξεκινάει
- Ηγεσία
- μάθηση
- Επίπεδο
- μόχλευσης
- Βιβλιοθήκη
- γλωσσολογία
- Λίστα
- λογοτεχνία
- φορτίο
- τοποθεσία
- μάθηση μηχανής
- μηχανική μετάφραση
- μάσκα
- μέτρο
- Metrics
- ML
- μοντέλο
- μοντέλα
- παρακολούθηση
- περισσότερο
- Φυσική γλώσσα
- Επεξεργασία φυσικής γλώσσας
- δίκτυο
- nlp
- κοινοποίηση
- προσφορές
- τάξη
- οργανώσεις
- ΑΛΛΑ
- επίδοση
- φωτογραφία
- Ακρίβεια
- πρόβλεψη
- Προβλέψεις
- παρόν
- Πρόβλημα
- παραγωγή
- σχέδιο
- παρέχουν
- παρέχει
- Python
- pytorch
- ποιότητα
- σειρά
- σε πραγματικό χρόνο
- Πραγματικότητα
- ρεκόρ
- αναφέρουν
- Εκθέσεις
- απάντησης
- Αποτελέσματα
- επανεκπαίδευση
- Επιστροφές
- αντιστρέψει
- ανασκόπηση
- τρέξιμο
- τρέξιμο
- σοφός
- Κλίμακα
- απολέπιση
- Επιστήμη
- SDK
- Υπηρεσίες
- εξυπηρετούν
- σειρά
- αλλαγή
- παρόμοιες
- Απλούς
- So
- Λύσεις
- Χώρος
- χώρων
- το spam
- ειδικεύεται
- Μελών
- χώρος στο δίσκο
- κατάστημα
- Υποστηρίζει
- συστήματα
- στόχος
- δοκιμή
- Δοκιμές
- δοκιμές
- ο κόσμος
- σκέψη
- σκέψη ηγεσία
- ώρα
- ένδειξη
- κουπόνια
- κορυφή
- δάδα
- ΚΙΝΗΣΗ στους ΔΡΟΜΟΥΣ
- Εκπαίδευση
- Μετάφραση
- ΗΠΑ
- Δες
- Βιργινία
- Πραγματικός
- ορατότητα
- όραμα
- περιμένετε
- ιστός
- διαδικτυακές υπηρεσίες
- Wikipedia
- χωρίς
- Εργασία
- ροής εργασίας
- κόσμος
- γραφή