Εάν είστε επιχειρηματικός αναλυτής, η κατανόηση της συμπεριφοράς των πελατών είναι ίσως ένα από τα πιο σημαντικά πράγματα που σας ενδιαφέρουν. Η κατανόηση των λόγων και των μηχανισμών πίσω από τις αποφάσεις αγοράς των πελατών μπορεί να διευκολύνει την αύξηση των εσόδων. Ωστόσο, η απώλεια πελατών (κοινώς αναφέρεται ως πελάτης) ενέχει πάντα κίνδυνο. Η απόκτηση γνώσεων σχετικά με το γιατί φεύγουν οι πελάτες μπορεί να είναι εξίσου σημαντική για τη διατήρηση των κερδών και των εσόδων.
Παρόλο που η μηχανική μάθηση (ML) μπορεί να προσφέρει πολύτιμες πληροφορίες, χρειάζονταν ειδικοί ML για τη δημιουργία μοντέλων πρόβλεψης απόκλισης πελατών μέχρι την εισαγωγή του Καμβάς Amazon SageMaker.
Το SageMaker Canvas είναι μια υπηρεσία διαχείρισης χαμηλού κώδικα/χωρίς κώδικα που σας επιτρέπει να δημιουργείτε μοντέλα ML που μπορούν να λύσουν πολλά επιχειρηματικά προβλήματα χωρίς να γράψετε ούτε μια γραμμή κώδικα. Σας δίνει επίσης τη δυνατότητα να αξιολογείτε τα μοντέλα χρησιμοποιώντας προηγμένες μετρήσεις σαν να είστε επιστήμονας δεδομένων.
Σε αυτήν την ανάρτηση, δείχνουμε πώς ένας επιχειρησιακός αναλυτής μπορεί να αξιολογήσει και να κατανοήσει ένα μοντέλο ανατροπής ταξινόμησης που δημιουργήθηκε με το SageMaker Canvas χρησιμοποιώντας το Σύνθετες μετρήσεις αυτί. Εξηγούμε τις μετρήσεις και δείχνουμε τεχνικές για την αντιμετώπιση δεδομένων για καλύτερη απόδοση του μοντέλου.
Προϋποθέσεις
Εάν θέλετε να εφαρμόσετε όλες ή μερικές από τις εργασίες που περιγράφονται σε αυτήν την ανάρτηση, χρειάζεστε έναν λογαριασμό AWS με πρόσβαση στον καμβά SageMaker. Αναφέρομαι σε Προβλέψτε την ανατροπή πελατών με μηχανική εκμάθηση χωρίς κώδικα χρησιμοποιώντας το Amazon SageMaker Canvas για να καλύψει τα βασικά γύρω από τον καμβά SageMaker, το μοντέλο ανατροπής και το σύνολο δεδομένων.
Εισαγωγή στην αξιολόγηση της απόδοσης του μοντέλου
Ως γενική οδηγία, όταν χρειάζεται να αξιολογήσετε την απόδοση ενός μοντέλου, προσπαθείτε να μετρήσετε πόσο καλά το μοντέλο θα προβλέψει κάτι όταν δει νέα δεδομένα. Αυτή η πρόβλεψη ονομάζεται συμπέρασμα. Ξεκινάτε εκπαιδεύοντας το μοντέλο χρησιμοποιώντας υπάρχοντα δεδομένα και, στη συνέχεια, ζητάτε από το μοντέλο να προβλέψει το αποτέλεσμα σε δεδομένα που δεν έχει ήδη δει. Το πόσο σωστά το μοντέλο προβλέπει αυτό το αποτέλεσμα είναι αυτό που εξετάζετε για να κατανοήσετε την απόδοση του μοντέλου.
Εάν το μοντέλο δεν έχει δει τα νέα δεδομένα, πώς θα γνωρίζει κανείς εάν η πρόβλεψη είναι καλή ή κακή; Λοιπόν, η ιδέα είναι να χρησιμοποιήσουμε πραγματικά ιστορικά δεδομένα όπου τα αποτελέσματα είναι ήδη γνωστά και να συγκρίνουμε αυτές τις τιμές με τις προβλεπόμενες τιμές του μοντέλου. Αυτό ενεργοποιείται αφήνοντας στην άκρη ένα μέρος των ιστορικών δεδομένων εκπαίδευσης, ώστε να μπορεί να συγκριθεί με αυτό που προβλέπει το μοντέλο για αυτές τις τιμές.
Στο παράδειγμα της απόρριψης πελατών (που είναι ένα πρόβλημα κατηγορηματικής ταξινόμησης), ξεκινάτε με ένα ιστορικό σύνολο δεδομένων που περιγράφει πελάτες με πολλά χαρακτηριστικά (ένα σε κάθε εγγραφή). Ένα από τα χαρακτηριστικά, που ονομάζεται Churn, μπορεί να είναι True ή False, περιγράφοντας εάν ο πελάτης εγκατέλειψε την υπηρεσία ή όχι. Για να αξιολογήσουμε την ακρίβεια του μοντέλου, χωρίζουμε αυτό το σύνολο δεδομένων και εκπαιδεύουμε το μοντέλο χρησιμοποιώντας ένα μέρος (το σύνολο δεδομένων εκπαίδευσης) και ζητάμε από το μοντέλο να προβλέψει το αποτέλεσμα (ταξινομήστε τον πελάτη ως Churn ή όχι) με το άλλο μέρος (το σύνολο δεδομένων δοκιμής). Στη συνέχεια συγκρίνουμε την πρόβλεψη του μοντέλου με τη βασική αλήθεια που περιέχεται στο σύνολο δεδομένων δοκιμής.
Ερμηνεία προηγμένων μετρήσεων
Σε αυτήν την ενότητα, συζητάμε τις προηγμένες μετρήσεις στον καμβά SageMaker που μπορούν να σας βοηθήσουν να κατανοήσετε την απόδοση του μοντέλου.
Πίνακας σύγχυσης
Το SageMaker Canvas χρησιμοποιεί πίνακες σύγχυσης για να σας βοηθήσει να απεικονίσετε πότε ένα μοντέλο δημιουργεί σωστά προβλέψεις. Σε έναν πίνακα σύγχυσης, τα αποτελέσματά σας είναι διατεταγμένα ώστε να συγκρίνουν τις προβλεπόμενες τιμές με τις πραγματικές ιστορικές (γνωστές) τιμές. Το ακόλουθο παράδειγμα εξηγεί πώς λειτουργεί ένας πίνακας σύγχυσης για ένα μοντέλο πρόβλεψης δύο κατηγοριών που προβλέπει θετικές και αρνητικές ετικέτες:
- Αληθινό θετικό – Το μοντέλο προέβλεψε σωστά τη θετική όταν η πραγματική ετικέτα ήταν θετική
- Αληθινό αρνητικό – Το μοντέλο προέβλεψε σωστά το αρνητικό όταν η αληθινή ετικέτα ήταν αρνητική
- Λάθος θετική – Το μοντέλο προέβλεψε εσφαλμένα θετικό όταν η πραγματική ετικέτα ήταν αρνητική
- Εσφαλμένο αρνητικό – Το μοντέλο προέβλεψε εσφαλμένα αρνητικό όταν η πραγματική ετικέτα ήταν θετική
Η παρακάτω εικόνα είναι ένα παράδειγμα πίνακα σύγχυσης για δύο κατηγορίες. Στο μοντέλο μας, οι πραγματικές τιμές προέρχονται από το σύνολο δεδομένων δοκιμής και οι προβλεπόμενες τιμές προέρχονται από το ερώτημα του μοντέλου μας.
Ακρίβεια
Ακρίβεια είναι το ποσοστό των σωστών προβλέψεων από όλες τις σειρές ή δείγματα του συνόλου δοκιμής. Είναι τα αληθή δείγματα που προβλέφθηκαν ως True, συν τα ψευδή δείγματα που προβλέφθηκαν σωστά ως False, διαιρεμένα με τον συνολικό αριθμό των δειγμάτων στο σύνολο δεδομένων.
Είναι μια από τις πιο σημαντικές μετρήσεις που πρέπει να κατανοήσετε, επειδή θα σας πει σε ποιο ποσοστό το μοντέλο προέβλεψε σωστά, αλλά μπορεί να είναι παραπλανητικό σε ορισμένες περιπτώσεις. Για παράδειγμα:
- Ταξική ανισορροπία – Όταν οι κλάσεις στο σύνολο δεδομένων σας δεν είναι ομοιόμορφα κατανεμημένες (έχετε δυσανάλογο αριθμό δειγμάτων από μια κατηγορία και πολύ λίγα σε άλλες), η ακρίβεια μπορεί να είναι παραπλανητική. Σε τέτοιες περιπτώσεις, ακόμη και ένα μοντέλο που απλώς προβλέπει την πλειοψηφική τάξη για κάθε περίπτωση μπορεί να επιτύχει υψηλή ακρίβεια.
- Ταξινόμηση με ευαισθησία στο κόστος – Σε ορισμένες εφαρμογές, το κόστος της εσφαλμένης ταξινόμησης για διαφορετικές κατηγορίες μπορεί να είναι διαφορετικό. Για παράδειγμα, αν προβλέπαμε εάν ένα φάρμακο μπορεί να επιδεινώσει μια κατάσταση, ένα ψευδώς αρνητικό (για παράδειγμα, η πρόβλεψη του φαρμάκου μπορεί να μην επιδεινωθεί όταν πραγματικά συμβαίνει) μπορεί να είναι πιο δαπανηρό από ένα ψευδώς θετικό (για παράδειγμα, η πρόβλεψη του φαρμάκου μπορεί να επιδεινώσει όταν στην πραγματικότητα δεν το κάνει).
Ακρίβεια, ανάκληση και βαθμολογία F1
Η ακρίβεια είναι το κλάσμα των αληθινών θετικών (TP) από όλα τα προβλεπόμενα θετικά (TP + FP). Μετρά το ποσοστό των θετικών προβλέψεων που είναι πραγματικά σωστές.
Η ανάκληση είναι το κλάσμα των αληθινών θετικών (TP) από όλα τα πραγματικά θετικά (TP + FN). Μετρά την αναλογία των θετικών περιπτώσεων που είχαν σωστά προβλεφθεί ως θετικές από το μοντέλο.
Η βαθμολογία F1 συνδυάζει την ακρίβεια και την ανάκληση για να παρέχει μια ενιαία βαθμολογία που εξισορροπεί την ανταλλαγή μεταξύ τους. Ορίζεται ως το αρμονικό μέσο ακρίβειας και ανάκλησης:
Βαθμολογία F1 = 2 * (ακρίβεια * ανάκληση) / (ακρίβεια + ανάκληση)
Η βαθμολογία F1 κυμαίνεται από 0–1, με υψηλότερη βαθμολογία να υποδηλώνει καλύτερη απόδοση. Η τέλεια βαθμολογία F1 με 1 υποδηλώνει ότι το μοντέλο έχει επιτύχει τέλεια ακρίβεια και τέλεια ανάκληση και η βαθμολογία 0 δείχνει ότι οι προβλέψεις του μοντέλου είναι εντελώς λανθασμένες.
Η βαθμολογία F1 παρέχει μια ισορροπημένη αξιολόγηση της απόδοσης του μοντέλου. Λαμβάνει υπόψη την ακρίβεια και την ανάκληση, παρέχοντας μια πιο κατατοπιστική μέτρηση αξιολόγησης που αντανακλά την ικανότητα του μοντέλου να ταξινομεί σωστά τις θετικές περιπτώσεις και να αποφεύγει τα ψευδώς θετικά και τα ψευδώς αρνητικά.
Για παράδειγμα, στην ιατρική διάγνωση, τον εντοπισμό απάτης και την ανάλυση συναισθήματος, το F1 είναι ιδιαίτερα σημαντικό. Στην ιατρική διάγνωση, ο ακριβής προσδιορισμός της παρουσίας μιας συγκεκριμένης ασθένειας ή πάθησης είναι ζωτικής σημασίας και τα ψευδώς αρνητικά ή ψευδώς θετικά μπορεί να έχουν σημαντικές συνέπειες. Η βαθμολογία F1 λαμβάνει υπόψη τόσο την ακρίβεια (την ικανότητα σωστής αναγνώρισης θετικών περιπτώσεων) όσο και την ανάκληση (την ικανότητα εύρεσης όλων των θετικών περιπτώσεων), παρέχοντας μια ισορροπημένη αξιολόγηση της απόδοσης του μοντέλου στην ανίχνευση της νόσου. Ομοίως, στον εντοπισμό απάτης, όπου ο αριθμός των πραγματικών υποθέσεων απάτης είναι σχετικά χαμηλός σε σύγκριση με τις μη δόλιες υποθέσεις (ανισόρροπες κατηγορίες), η ακρίβεια από μόνη της μπορεί να είναι παραπλανητική λόγω του μεγάλου αριθμού αληθινών αρνητικών. Η βαθμολογία F1 παρέχει μια ολοκληρωμένη μέτρηση της ικανότητας του μοντέλου να εντοπίζει τόσο δόλιες όσο και μη δόλιες περιπτώσεις, λαμβάνοντας υπόψη τόσο την ακρίβεια όσο και την ανάκληση. Και στην ανάλυση συναισθήματος, εάν το σύνολο δεδομένων είναι ανισορροπημένο, η ακρίβεια μπορεί να μην αντικατοπτρίζει με ακρίβεια την απόδοση του μοντέλου στην ταξινόμηση περιπτώσεων της κατηγορίας θετικού συναισθήματος.
AUC (περιοχή κάτω από την καμπύλη)
Η μέτρηση AUC αξιολογεί την ικανότητα ενός μοντέλου δυαδικής ταξινόμησης να διακρίνει μεταξύ θετικών και αρνητικών κλάσεων σε όλα τα κατώφλια ταξινόμησης. ΕΝΑ κατώφλι είναι μια τιμή που χρησιμοποιείται από το μοντέλο για να λάβει μια απόφαση μεταξύ των δύο πιθανών κλάσεων, μετατρέποντας την πιθανότητα ένα δείγμα να είναι μέρος μιας κλάσης σε μια δυαδική απόφαση. Για τον υπολογισμό της AUC, ο πραγματικός θετικός ρυθμός (TPR) και ο ψευδής θετικός ρυθμός (FPR) απεικονίζονται σε διάφορες ρυθμίσεις κατωφλίου. Το TPR μετρά το ποσοστό των αληθινών θετικών από όλα τα πραγματικά θετικά, ενώ το FPR μετρά το ποσοστό των ψευδώς θετικών από όλα τα πραγματικά αρνητικά. Η προκύπτουσα καμπύλη, που ονομάζεται καμπύλη χαρακτηριστικής λειτουργίας δέκτη (ROC), παρέχει μια οπτική αναπαράσταση των TPR και FPR σε διαφορετικές ρυθμίσεις κατωφλίου. Η τιμή AUC, η οποία κυμαίνεται από 0–1, αντιπροσωπεύει την περιοχή κάτω από την καμπύλη ROC. Οι υψηλότερες τιμές AUC υποδεικνύουν καλύτερη απόδοση, με έναν τέλειο ταξινομητή να επιτυγχάνει AUC 1.
Η ακόλουθη γραφική παράσταση δείχνει την καμπύλη ROC, με το TPR ως άξονα Υ και το FPR ως τον άξονα Χ. Όσο πιο κοντά πλησιάζει η καμπύλη στην επάνω αριστερή γωνία της γραφικής παράστασης, τόσο καλύτερα το μοντέλο ταξινομεί τα δεδομένα σε κατηγορίες.
Για να διευκρινίσουμε, ας δούμε ένα παράδειγμα. Ας σκεφτούμε ένα μοντέλο ανίχνευσης απάτης. Συνήθως, αυτά τα μοντέλα εκπαιδεύονται από μη ισορροπημένα σύνολα δεδομένων. Αυτό οφείλεται στο γεγονός ότι, συνήθως, σχεδόν όλες οι συναλλαγές στο σύνολο δεδομένων δεν είναι δόλιες και μόνο μερικές χαρακτηρίζονται ως απάτες. Σε αυτήν την περίπτωση, η ακρίβεια από μόνη της μπορεί να μην αποτυπώνει επαρκώς την απόδοση του μοντέλου επειδή πιθανώς επηρεάζεται σε μεγάλο βαθμό από την πληθώρα των μη δόλιων υποθέσεων, οδηγώντας σε παραπλανητικά υψηλές βαθμολογίες ακρίβειας.
Σε αυτήν την περίπτωση, η AUC θα ήταν μια καλύτερη μέτρηση για την αξιολόγηση της απόδοσης του μοντέλου, επειδή παρέχει μια ολοκληρωμένη αξιολόγηση της ικανότητας ενός μοντέλου να διακρίνει μεταξύ δόλιων και μη δόλιων συναλλαγών. Προσφέρει μια πιο διαφοροποιημένη αξιολόγηση, λαμβάνοντας υπόψη την αντιστάθμιση μεταξύ αληθινού θετικού ποσοστού και ψευδώς θετικού ποσοστού σε διάφορα κατώφλια ταξινόμησης.
Ακριβώς όπως το σκορ F1, είναι ιδιαίτερα χρήσιμο όταν το σύνολο δεδομένων είναι ανισορροπημένο. Μετρά την αντιστάθμιση μεταξύ TPR και FPR και δείχνει πόσο καλά το μοντέλο μπορεί να διαφοροποιήσει τις δύο κατηγορίες ανεξάρτητα από την κατανομή τους. Αυτό σημαίνει ότι ακόμα κι αν η μία κατηγορία είναι σημαντικά μικρότερη από την άλλη, η καμπύλη ROC αξιολογεί την απόδοση του μοντέλου με ισορροπημένο τρόπο, λαμβάνοντας υπόψη και τις δύο κατηγορίες εξίσου.
Πρόσθετα βασικά θέματα
Οι προηγμένες μετρήσεις δεν είναι τα μόνα σημαντικά εργαλεία που έχετε στη διάθεσή σας για την αξιολόγηση και τη βελτίωση της απόδοσης του μοντέλου ML. Η προετοιμασία δεδομένων, η μηχανική χαρακτηριστικών και η ανάλυση επιπτώσεων χαρακτηριστικών είναι τεχνικές που είναι απαραίτητες για τη δημιουργία μοντέλων. Αυτές οι δραστηριότητες διαδραματίζουν κρίσιμο ρόλο στην εξαγωγή ουσιαστικών πληροφοριών από ακατέργαστα δεδομένα και στη βελτίωση της απόδοσης του μοντέλου, οδηγώντας σε πιο ισχυρά και διορατικά αποτελέσματα.
Προετοιμασία δεδομένων και μηχανική χαρακτηριστικών
Η μηχανική χαρακτηριστικών είναι η διαδικασία επιλογής, μετασχηματισμού και δημιουργίας νέων μεταβλητών (χαρακτηριστικών) από ακατέργαστα δεδομένα και παίζει βασικό ρόλο στη βελτίωση της απόδοσης ενός μοντέλου ML. Η επιλογή των πιο σχετικών μεταβλητών ή χαρακτηριστικών από τα διαθέσιμα δεδομένα περιλαμβάνει την αφαίρεση άσχετων ή περιττών χαρακτηριστικών που δεν συμβάλλουν στην προγνωστική ισχύ του μοντέλου. Η μετατροπή χαρακτηριστικών δεδομένων σε κατάλληλη μορφή περιλαμβάνει κλιμάκωση, κανονικοποίηση και χειρισμό τιμών που λείπουν. Και τέλος, η δημιουργία νέων χαρακτηριστικών από τα υπάρχοντα δεδομένα γίνεται μέσω μαθηματικών μετασχηματισμών, συνδυασμού ή αλληλεπίδρασης διαφορετικών χαρακτηριστικών ή δημιουργίας νέων χαρακτηριστικών από γνώσεις που αφορούν τον τομέα.
Ανάλυση σπουδαιότητας χαρακτηριστικών
Το SageMaker Canvas δημιουργεί μια ανάλυση σημασίας χαρακτηριστικών που εξηγεί τον αντίκτυπο που έχει κάθε στήλη στο σύνολο δεδομένων σας στο μοντέλο. Όταν δημιουργείτε προβλέψεις, μπορείτε να δείτε τον αντίκτυπο της στήλης που προσδιορίζει ποιες στήλες έχουν τη μεγαλύτερη επίδραση σε κάθε πρόβλεψη. Αυτό θα σας δώσει πληροφορίες σχετικά με το ποια χαρακτηριστικά αξίζουν να αποτελούν μέρος του τελικού μοντέλου σας και ποια πρέπει να απορριφθούν. Η επίδραση της στήλης είναι μια ποσοστιαία βαθμολογία που υποδεικνύει πόσο βάρος έχει μια στήλη για να κάνει προβλέψεις σε σχέση με τις άλλες στήλες. Για αντίκτυπο στήλης 25%, το Canvas ζυγίζει την πρόβλεψη ως 25% για τη στήλη και 75% για τις άλλες στήλες.
Προσεγγίσεις για τη βελτίωση της ακρίβειας του μοντέλου
Αν και υπάρχουν πολλές μέθοδοι για τη βελτίωση της ακρίβειας του μοντέλου, οι επιστήμονες δεδομένων και οι επαγγελματίες ML συνήθως ακολουθούν μία από τις δύο προσεγγίσεις που συζητούνται σε αυτήν την ενότητα, χρησιμοποιώντας τα εργαλεία και τις μετρήσεις που περιγράφηκαν προηγουμένως.
Μοντελοκεντρική προσέγγιση
Σε αυτήν την προσέγγιση, τα δεδομένα παραμένουν πάντα τα ίδια και χρησιμοποιούνται για την επαναληπτική βελτίωση του μοντέλου για την επίτευξη των επιθυμητών αποτελεσμάτων. Τα εργαλεία που χρησιμοποιούνται με αυτήν την προσέγγιση περιλαμβάνουν:
- Δοκιμάζοντας πολλαπλούς σχετικούς αλγόριθμους ML
- Συντονισμός και βελτιστοποίηση αλγορίθμων και υπερπαραμέτρων
- Διαφορετικές μέθοδοι συνόλου μοντέλων
- Χρησιμοποιώντας προεκπαιδευμένα μοντέλα (το SageMaker παρέχει διάφορα ενσωματωμένα ή προεκπαιδευμένα μοντέλα για να βοηθήσετε τους επαγγελματίες ML)
- AutoML, το οποίο κάνει το SageMaker Canvas στα παρασκήνια (χρησιμοποιώντας Αυτόματος πιλότος Amazon SageMaker), το οποίο περιλαμβάνει όλα τα παραπάνω
Δεδοκεντρική προσέγγιση
Σε αυτήν την προσέγγιση, η εστίαση είναι στην προετοιμασία δεδομένων, στη βελτίωση της ποιότητας των δεδομένων και στην επαναληπτική τροποποίηση των δεδομένων για τη βελτίωση της απόδοσης:
- Διερεύνηση στατιστικών στοιχείων του συνόλου δεδομένων που χρησιμοποιείται για την εκπαίδευση του μοντέλου, γνωστή και ως διερευνητική ανάλυση δεδομένων (EDA)
- Βελτίωση της ποιότητας δεδομένων (καθαρισμός δεδομένων, καταλογισμός τιμών που λείπουν, ανίχνευση και διαχείριση ακραίων τιμών)
- Επιλογή χαρακτηριστικών
- Μηχανική χαρακτηριστικών
- Αύξηση δεδομένων
Βελτίωση της απόδοσης του μοντέλου με το Canvas
Ξεκινάμε με την data-centric προσέγγιση. Χρησιμοποιούμε τη λειτουργία προεπισκόπησης μοντέλου για να εκτελέσουμε μια αρχική EDA. Αυτό μας παρέχει μια γραμμή βάσης που μπορούμε να χρησιμοποιήσουμε για να πραγματοποιήσουμε επαύξηση δεδομένων, να δημιουργήσουμε μια νέα γραμμή βάσης και τελικά να αποκτήσουμε το καλύτερο μοντέλο με μια προσέγγιση με επίκεντρο το μοντέλο χρησιμοποιώντας την τυπική λειτουργικότητα κατασκευής.
Χρησιμοποιούμε το συνθετικό σύνολο δεδομένων από τηλεπικοινωνιακό φορέα κινητής τηλεφωνίας. Αυτό το δείγμα δεδομένων περιέχει 5,000 εγγραφές, όπου κάθε εγγραφή χρησιμοποιεί 21 χαρακτηριστικά για να περιγράψει το προφίλ πελάτη. Αναφέρομαι σε Προβλέψτε την ανατροπή πελατών με μηχανική εκμάθηση χωρίς κώδικα χρησιμοποιώντας το Amazon SageMaker Canvas για πλήρη περιγραφή.
Προεπισκόπηση μοντέλου σε μια προσέγγιση με επίκεντρο τα δεδομένα
Ως πρώτο βήμα, ανοίγουμε το σύνολο δεδομένων, επιλέγουμε τη στήλη που θα προβλέψουμε ως Churn?, και δημιουργούμε ένα μοντέλο προεπισκόπησης επιλέγοντας Προεπισκόπηση μοντέλου.
Η Προεπισκόπηση μοντέλου Το παράθυρο θα δείχνει την πρόοδο μέχρι να είναι έτοιμο το μοντέλο προεπισκόπησης.
Όταν το μοντέλο είναι έτοιμο, το SageMaker Canvas δημιουργεί μια ανάλυση σημασίας χαρακτηριστικών.
Τέλος, όταν ολοκληρωθεί, το παράθυρο θα εμφανίσει μια λίστα στηλών με τον αντίκτυπό του στο μοντέλο. Αυτά είναι χρήσιμα για να κατανοήσουμε πόσο σχετικές είναι οι λειτουργίες με τις προβλέψεις μας. Η επίδραση της στήλης είναι μια ποσοστιαία βαθμολογία που υποδεικνύει πόσο βάρος έχει μια στήλη για να κάνει προβλέψεις σε σχέση με τις άλλες στήλες. Στο παρακάτω παράδειγμα, για τη στήλη Night Calls, το SageMaker Canvas σταθμίζει την πρόβλεψη ως 4.04% για τη στήλη και 95.9% για τις άλλες στήλες. Όσο μεγαλύτερη είναι η τιμή, τόσο μεγαλύτερη είναι η επίδραση.
Όπως μπορούμε να δούμε, το μοντέλο προεπισκόπησης έχει ακρίβεια 95.6%. Ας προσπαθήσουμε να βελτιώσουμε την απόδοση του μοντέλου χρησιμοποιώντας μια προσέγγιση με επίκεντρο τα δεδομένα. Εκτελούμε προετοιμασία δεδομένων και χρησιμοποιούμε τεχνικές μηχανικής χαρακτηριστικών για τη βελτίωση της απόδοσης.
Όπως φαίνεται στο παρακάτω στιγμιότυπο οθόνης, μπορούμε να παρατηρήσουμε ότι οι στήλες Τηλέφωνο και Κατάσταση έχουν πολύ μικρότερο αντίκτυπο στην πρόβλεψή μας. Επομένως, θα χρησιμοποιήσουμε αυτές τις πληροφορίες ως είσοδο για την επόμενη φάση μας, την προετοιμασία δεδομένων.
Το SageMaker Canvas παρέχει μετασχηματισμούς δεδομένων ML με τους οποίους μπορείτε να καθαρίσετε, να μετασχηματίσετε και να προετοιμάσετε τα δεδομένα σας για τη δημιουργία μοντέλων. Μπορείτε να χρησιμοποιήσετε αυτούς τους μετασχηματισμούς στα σύνολα δεδομένων σας χωρίς κώδικα και θα προστεθούν στη συνταγή του μοντέλου, η οποία είναι μια καταγραφή της προετοιμασίας δεδομένων που πραγματοποιήθηκε στα δεδομένα σας πριν από τη δημιουργία του μοντέλου.
Λάβετε υπόψη ότι τυχόν μετασχηματισμοί δεδομένων που χρησιμοποιείτε τροποποιούν μόνο τα δεδομένα εισόδου κατά τη δημιουργία ενός μοντέλου και δεν τροποποιούν το σύνολο δεδομένων σας ή την αρχική πηγή δεδομένων.
Οι παρακάτω μετασχηματισμοί είναι διαθέσιμοι στο SageMaker Canvas για να προετοιμάσετε τα δεδομένα σας για δημιουργία:
- Εξαγωγή ημερομηνίας
- Απόθεση στηλών
- Φιλτράρισμα σειρών
- Λειτουργίες και τελεστές
- Διαχείριση σειρών
- Μετονομασία στηλών
- Κατάργηση σειρών
- Αντικαταστήστε τις τιμές
- Επαναδειγματοληψία δεδομένων χρονοσειρών
Ας ξεκινήσουμε ρίχνοντας τις στήλες που βρήκαμε που έχουν μικρή επίδραση στην πρόβλεψή μας.
Για παράδειγμα, σε αυτό το σύνολο δεδομένων, ο αριθμός τηλεφώνου είναι απλώς το ισοδύναμο ενός αριθμού λογαριασμού—είναι άχρηστος ή ακόμη και επιζήμιος για την πρόβλεψη της πιθανότητας διακοπής άλλων λογαριασμών. Ομοίως, η κατάσταση του πελάτη δεν επηρεάζει πολύ το μοντέλο μας. Ας καταργήσουμε τις στήλες Τηλέφωνο και Κατάσταση αποεπιλέγοντας αυτές τις λειτουργίες κάτω από Όνομα στήλης.
Τώρα, ας εκτελέσουμε κάποιο πρόσθετο μετασχηματισμό δεδομένων και μηχανική χαρακτηριστικών.
Για παράδειγμα, παρατηρήσαμε στην προηγούμενη ανάλυσή μας ότι το ποσό που χρεώνεται στους πελάτες έχει άμεσο αντίκτυπο στην απόσυρση. Ας δημιουργήσουμε λοιπόν μια νέα στήλη που υπολογίζει τις συνολικές χρεώσεις στους πελάτες μας συνδυάζοντας Χρέωση, Λεπτά και Κλήσεις για Ημέρα, Παραμονή, Νύχτα και Διεθνές. Για να το κάνουμε αυτό, χρησιμοποιούμε τους προσαρμοσμένους τύπους στον καμβά SageMaker.
Ας ξεκινήσουμε επιλέγοντας Συναρτήσεις, στη συνέχεια προσθέτουμε στο πλαίσιο κειμένου του τύπου το ακόλουθο κείμενο:
(Ημερήσιες κλήσεις*Χρέωση ημέρας*Λεπτά ημέρας)+(Κλήσεις παραμονής*Χρέωση παραμονής*Λεπτά παραμονής)+(Νυχτερινές κλήσεις*Νυχτερινή χρέωση*Νυχτερινά λεπτά)+(Διεθνείς κλήσεις*Διεθνής χρέωση*Διεθνής χρέωση)
Δώστε στη νέα στήλη ένα όνομα (για παράδειγμα, Συνολικές χρεώσεις) και επιλέξτε Πρόσθεση μετά τη δημιουργία της προεπισκόπησης. Η συνταγή του μοντέλου θα πρέπει τώρα να φαίνεται όπως φαίνεται στο παρακάτω στιγμιότυπο οθόνης.
Όταν ολοκληρωθεί αυτή η προετοιμασία δεδομένων, εκπαιδεύουμε ένα νέο μοντέλο προεπισκόπησης για να δούμε αν το μοντέλο βελτιώθηκε. Επιλέγω Προεπισκόπηση μοντέλου ξανά και το κάτω δεξί παράθυρο θα δείξει την πρόοδο.
Όταν ολοκληρωθεί η εκπαίδευση, θα προχωρήσει στον επανυπολογισμό της προβλεπόμενης ακρίβειας και θα δημιουργήσει επίσης μια νέα ανάλυση αντίκτυπου στήλης.
Και τέλος, όταν ολοκληρωθεί η όλη διαδικασία, μπορούμε να δούμε το ίδιο παράθυρο που είδαμε νωρίτερα, αλλά με τη νέα ακρίβεια του μοντέλου προεπισκόπησης. Μπορείτε να παρατηρήσετε ότι η ακρίβεια του μοντέλου αυξήθηκε κατά 0.4% (από 95.6% σε 96%).
Οι αριθμοί στις προηγούμενες εικόνες μπορεί να διαφέρουν από τους δικούς σας, επειδή η ML εισάγει κάποια στοχαστικότητα στη διαδικασία των μοντέλων εκπαίδευσης, η οποία μπορεί να οδηγήσει σε διαφορετικά αποτελέσματα σε διαφορετικές κατασκευές.
Μοντελοκεντρική προσέγγιση για τη δημιουργία του μοντέλου
Το Canvas προσφέρει δύο επιλογές για την κατασκευή των μοντέλων σας:
- Τυπική κατασκευή – Δημιουργεί το καλύτερο μοντέλο από μια βελτιστοποιημένη διαδικασία όπου η ταχύτητα ανταλλάσσεται με καλύτερη ακρίβεια. Χρησιμοποιεί Auto-ML, το οποίο αυτοματοποιεί διάφορες εργασίες της ML, συμπεριλαμβανομένης της επιλογής μοντέλου, της δοκιμής διαφόρων αλγορίθμων που σχετίζονται με την περίπτωση χρήσης ML, του συντονισμού υπερπαραμέτρων και της δημιουργίας αναφορών επεξήγησης μοντέλων.
- Γρήγορη κατασκευή – Κατασκευάζει ένα απλό μοντέλο σε ένα κλάσμα του χρόνου σε σύγκριση με μια τυπική κατασκευή, αλλά η ακρίβεια ανταλλάσσεται με την ταχύτητα. Το γρήγορο μοντέλο είναι χρήσιμο κατά την επανάληψη για να κατανοήσετε πιο γρήγορα τον αντίκτυπο των αλλαγών δεδομένων στην ακρίβεια του μοντέλου σας.
Ας συνεχίσουμε να χρησιμοποιούμε μια τυπική προσέγγιση κατασκευής.
Τυπική κατασκευή
Όπως είδαμε προηγουμένως, η τυπική κατασκευή δημιουργεί το καλύτερο μοντέλο από μια βελτιστοποιημένη διαδικασία για μεγιστοποίηση της ακρίβειας.
Η διαδικασία κατασκευής για το μοντέλο μας διαρκεί περίπου 45 λεπτά. Κατά τη διάρκεια αυτής της περιόδου, το Canvas δοκιμάζει εκατοντάδες υποψήφιους αγωγούς, επιλέγοντας το καλύτερο μοντέλο. Στο παρακάτω στιγμιότυπο οθόνης, μπορούμε να δούμε τον αναμενόμενο χρόνο κατασκευής και την πρόοδο.
Με την τυπική διαδικασία κατασκευής, το μοντέλο ML έχει βελτιώσει την ακρίβεια του μοντέλου μας στο 96.903%, που αποτελεί σημαντική βελτίωση.
Εξερευνήστε προηγμένες μετρήσεις
Ας εξερευνήσουμε το μοντέλο χρησιμοποιώντας το Σύνθετες μετρήσεις αυτί. Στο Βαθμολόγηση καρτέλα, επιλέξτε Σύνθετες μετρήσεις.
Αυτή η σελίδα θα εμφανίσει τον ακόλουθο πίνακα σύγχυσης μαζί με τις προηγμένες μετρήσεις: βαθμολογία F1, ακρίβεια, ακρίβεια, ανάκληση, βαθμολογία F1 και AUC.
Δημιουργήστε προβλέψεις
Τώρα που οι μετρήσεις φαίνονται καλές, μπορούμε να εκτελέσουμε μια διαδραστική πρόβλεψη στο Προλέγω καρτέλα, είτε σε παρτίδα είτε μεμονωμένη (σε πραγματικό χρόνο) πρόβλεψη.
Έχουμε δύο επιλογές:
- Χρησιμοποιήστε αυτό το μοντέλο για να εκτελέσετε προβλέψεις δέσμης ή μεμονωμένων
- Στείλτε το μοντέλο στο Amazon Sagemaker Studio να μοιραστούν με επιστήμονες δεδομένων
εκκαθάριση
Για να αποφύγετε το μέλλον χρεώσεις συνεδρίας, αποσυνδεθείτε από το SageMaker Canvas.
Συμπέρασμα
Το SageMaker Canvas παρέχει ισχυρά εργαλεία που σας επιτρέπουν να δημιουργείτε και να αξιολογείτε την ακρίβεια των μοντέλων, βελτιώνοντας την απόδοσή τους χωρίς την ανάγκη κωδικοποίησης ή εξειδικευμένης επιστήμης δεδομένων και τεχνογνωσίας ML. Όπως είδαμε στο παράδειγμα μέσω της δημιουργίας ενός μοντέλου απόκλισης πελατών, συνδυάζοντας αυτά τα εργαλεία με μια προσέγγιση με επίκεντρο τα δεδομένα και με μια προσέγγιση με επίκεντρο το μοντέλο χρησιμοποιώντας προηγμένες μετρήσεις, οι επιχειρησιακοί αναλυτές μπορούν να δημιουργήσουν και να αξιολογήσουν μοντέλα πρόβλεψης. Με μια οπτική διεπαφή, έχετε επίσης τη δυνατότητα να δημιουργείτε ακριβείς προβλέψεις ML μόνοι σας. Σας ενθαρρύνουμε να διαβάσετε τις αναφορές και να δείτε πόσες από αυτές τις έννοιες μπορεί να ισχύουν σε άλλους τύπους προβλημάτων ML.
αναφορές
Σχετικά με τους Συγγραφείς
Μάρκος είναι αρχιτέκτονας λύσεων μηχανικής μάθησης της AWS Sr. με έδρα τη Φλόριντα των ΗΠΑ. Σε αυτόν τον ρόλο, είναι υπεύθυνος για την καθοδήγηση και την υποστήριξη των αμερικανικών νεοφυών οργανισμών στη στρατηγική τους απέναντι στο cloud, παρέχοντας καθοδήγηση σχετικά με τον τρόπο αντιμετώπισης προβλημάτων υψηλού κινδύνου και τη βελτιστοποίηση του φόρτου εργασίας μηχανικής εκμάθησης. Έχει περισσότερα από 25 χρόνια εμπειρίας στην τεχνολογία, συμπεριλαμβανομένης της ανάπτυξης λύσεων cloud, της μηχανικής μάθησης, της ανάπτυξης λογισμικού και της υποδομής κέντρων δεδομένων.
Ιντράιτ είναι αρχιτέκτονας λύσεων της AWS Enterprise Sr. Στο ρόλο του, βοηθά τους πελάτες να επιτύχουν τα επιχειρηματικά τους αποτελέσματα μέσω της υιοθέτησης του cloud. Σχεδιάζει σύγχρονες αρχιτεκτονικές εφαρμογών που βασίζονται σε μικροϋπηρεσίες, χωρίς διακομιστές, API και μοτίβα που βασίζονται σε συμβάντα. Συνεργάζεται με πελάτες για να πραγματοποιήσει τους στόχους τους για ανάλυση δεδομένων και μηχανική μάθηση μέσω της υιοθέτησης πρακτικών και λύσεων DataOps και MLOps. Ο Indrajit μιλά τακτικά σε δημόσιες εκδηλώσεις AWS, όπως συνόδους κορυφής και εργαστήρια ASEAN, έχει δημοσιεύσει αρκετές αναρτήσεις ιστολογίου AWS και έχει αναπτύξει τεχνικά εργαστήρια που απευθύνονται σε πελάτες που επικεντρώνονται στα δεδομένα και τη μηχανική εκμάθηση στο AWS.
- SEO Powered Content & PR Distribution. Ενισχύστε σήμερα.
- PlatoData.Network Vertical Generative Ai. Ενδυναμώστε τον εαυτό σας. Πρόσβαση εδώ.
- PlatoAiStream. Web3 Intelligence. Ενισχύθηκε η γνώση. Πρόσβαση εδώ.
- PlatoESG. Αυτοκίνητο / EVs, Ανθρακας, Cleantech, Ενέργεια, Περιβάλλον, Ηλιακός, Διαχείριση των αποβλήτων. Πρόσβαση εδώ.
- BlockOffsets. Εκσυγχρονισμός της περιβαλλοντικής αντιστάθμισης ιδιοκτησίας. Πρόσβαση εδώ.
- πηγή: https://aws.amazon.com/blogs/machine-learning/is-your-model-good-a-deep-dive-into-amazon-sagemaker-canvas-advanced-metrics/
- :έχει
- :είναι
- :δεν
- :που
- 000
- 1
- 100
- 1239
- 25
- 420
- a
- ικανότητα
- Σχετικα
- αφθονία
- πρόσβαση
- Λογαριασμός
- ακρίβεια
- ακριβής
- με ακρίβεια
- Κατορθώνω
- επιτευχθεί
- την επίτευξη
- απέναντι
- δραστηριοτήτων
- πραγματικός
- πραγματικά
- προσθέτω
- προστιθέμενη
- Πρόσθετος
- διεύθυνση
- επαρκώς
- Υιοθεσία
- προηγμένες
- Μετά το
- πάλι
- κατά
- αλγόριθμοι
- Όλα
- επιτρέπει
- alone
- ήδη
- Επίσης
- πάντοτε
- Amazon
- Amazon Sage Maker
- Καμβάς Amazon SageMaker
- Amazon υπηρεσίες Web
- ποσό
- an
- ανάλυση
- αναλυτής
- Αναλυτές
- analytics
- και
- κάθε
- APIs
- Εφαρμογή
- εφαρμογές
- Εφαρμογή
- πλησιάζω
- προσεγγίσεις
- ΕΙΝΑΙ
- ΠΕΡΙΟΧΗ
- γύρω
- διατεταγμένα
- AS
- Asean
- εκτιμώ
- εκτίμηση
- βοηθώντας
- At
- γνωρίσματα
- αυτοκίνητα
- διαθέσιμος
- αποφύγετε
- AWS
- Άξονας
- Κακός
- ισορροπίες
- βασίζονται
- Baseline
- Βασικά
- BE
- επειδή
- ήταν
- πριν
- αρχίζουν
- πίσω
- στα παρασκήνια
- είναι
- ΚΑΛΎΤΕΡΟΣ
- Καλύτερα
- μεταξύ
- Μπλοκ
- Μηνύματα Blog
- και οι δύο
- χτίζω
- Κτίριο
- Χτίζει
- επιχείρηση
- αλλά
- by
- υπολογίσει
- που ονομάζεται
- κλήσεις
- CAN
- υποψήφιος
- καμβάς
- πιάνω
- ο οποίος
- περίπτωση
- περιπτώσεις
- κατηγορίες
- Κέντρο
- Αλλαγές
- χαρακτηριστικός
- χρέωση
- φορτισμένα
- φορτία
- Επιλέξτε
- επιλέγοντας
- τάξη
- τάξεις
- ταξινόμηση
- Ταξινόμηση
- Καθάρισμα
- πιο κοντά
- Backup
- υιοθέτηση νέφους
- κωδικός
- Κωδικοποίηση
- Στήλη
- Στήλες
- συνδυάζει
- συνδυάζοντας
- Ελάτε
- συνήθως
- συγκρίνουν
- σύγκριση
- πλήρης
- εντελώς
- περιεκτικός
- έννοιες
- κατάσταση
- σύγχυση
- Συνέπειες
- θεωρώντας
- θεωρεί
- που περιέχονται
- Περιέχει
- ΣΥΝΕΧΕΙΑ
- συμβάλλει
- μετατροπή
- Γωνία
- διορθώσει
- Κόστος
- δαπανηρός
- κάλυμμα
- δημιουργία
- δημιουργήθηκε
- δημιουργία
- δημιουργία
- κρίσιμος
- καμπύλη
- έθιμο
- πελάτης
- συμπεριφορά πελατών
- Πελάτες
- ημερομηνία
- ανάλυση δεδομένων
- Δεδομένα Analytics
- Κέντρο δεδομένων
- Προετοιμασία δεδομένων
- την ποιότητα των δεδομένων
- επιστημονικά δεδομένα
- επιστήμονας δεδομένων
- σύνολα δεδομένων
- ημέρα
- συμφωνία
- απόφαση
- αποφάσεις
- βαθύς
- βαθιά κατάδυση
- ορίζεται
- περιγράφουν
- περιγράφεται
- περιγραφή
- αξίζω
- σχέδια
- επιθυμητή
- Ανίχνευση
- αναπτύχθηκε
- Ανάπτυξη
- διάγνωση
- διαφέρω
- διαφορετικές
- διαφοροποιούν
- κατευθύνει
- συζητήσουν
- συζήτηση
- Νόσος
- διακρίνω
- διανέμονται
- διανομή
- διαιρούμενο
- do
- κάνει
- Όχι
- γίνεται
- Ρίψη
- φάρμακο
- δυο
- κατά την διάρκεια
- κάθε
- Νωρίτερα
- είτε
- την εξουσία
- ενεργοποιήσετε
- ενεργοποιημένη
- δίνει τη δυνατότητα
- περιλαμβάνει
- ενθαρρύνει
- Μηχανική
- ενίσχυση
- Εταιρεία
- εξίσου
- Ισοδύναμος
- ειδικά
- ουσιώδης
- Αιθέρας (ΕΤΗ)
- αξιολογήσει
- αξιολογώντας
- εκτίμηση
- παραμονή
- Even
- εξίσου
- εκδηλώσεις
- Κάθε
- παράδειγμα
- ανταλλάσσονται
- υφιστάμενα
- αναμένεται
- εμπειρία
- εξειδίκευση
- εμπειρογνώμονες
- Εξηγήστε
- Επεξήγηση
- Εξηγεί
- Διερευνητική Ανάλυση Δεδομένων
- διερευνήσει
- f1
- διευκολύνω
- γεγονός
- ψευδής
- Χαρακτηριστικό
- Χαρακτηριστικά
- λίγοι
- τελικός
- Τελικά
- Εύρεση
- Όνομα
- Φλόριντα
- Συγκέντρωση
- επικεντρώθηκε
- ακολουθήστε
- Εξής
- Για
- μορφή
- τύπος
- Βρέθηκαν
- κλάσμα
- απάτη
- ανίχνευση απάτης
- απατηλός
- από
- πλήρη
- λειτουργικότητα
- μελλοντικός
- κερδίζει
- General
- παράγουν
- παράγεται
- δημιουργεί
- παραγωγής
- να πάρει
- Δώστε
- Go
- Στόχοι
- καλός
- Έδαφος
- Ανάπτυξη
- καθοδήγηση
- Χειρισμός
- Έχω
- he
- βαριά
- βοήθεια
- βοηθά
- Ψηλά
- υψηλού κινδύνου
- υψηλότερο
- του
- ιστορικών
- Πως
- Πώς να
- Ωστόσο
- HTML
- HTTPS
- Εκατοντάδες
- Ρύθμιση υπερπαραμέτρων
- ιδέα
- αναγνωρίζει
- προσδιορίσει
- προσδιορισμό
- if
- εικόνα
- εικόνες
- Επίπτωση
- εφαρμογή
- σπουδαιότητα
- σημαντικό
- βελτίωση
- βελτιωθεί
- βελτίωση
- βελτίωση
- in
- Σε άλλες
- περιλαμβάνουν
- περιλαμβάνει
- Συμπεριλαμβανομένου
- εσφαλμένα
- αυξημένη
- υποδεικνύω
- υποδηλώνει
- υποδεικνύοντας
- επηρεάζονται
- πληροφορίες
- πληροφοριακός
- Υποδομή
- αρχικός
- εισαγωγή
- διορατικός
- ιδέες
- παράδειγμα
- αλληλεπιδρώντας
- διαδραστικό
- περιβάλλον λειτουργίας
- σε
- Εισάγει
- Εισαγωγή
- θέματα
- IT
- ΤΟΥ
- jpg
- μόλις
- Κλειδί
- Ξέρω
- γνώση
- γνωστός
- επιγραφή
- Ετικέτες
- οδηγήσει
- που οδηγεί
- μάθηση
- Άδεια
- αριστερά
- μείον
- Μου αρέσει
- πιθανότητα
- γραμμή
- Λιστα
- λίγο
- κούτσουρο
- ματιά
- off
- Χαμηλός
- χαμηλότερα
- μηχανή
- μάθηση μηχανής
- Η πλειοψηφία
- κάνω
- Κατασκευή
- διαχειρίζεται
- διαχείριση
- τρόπος
- πολοί
- μαθηματικός
- Μήτρα
- Αυξάνω στον ανώτατο βαθμό
- Ενδέχεται..
- εννοώ
- νόημα
- μέσα
- μέτρο
- μέτρα
- μηχανισμούς
- ιατρικών
- Γνωρίστε
- μέθοδοι
- μετρικός
- Metrics
- μικροεπιχειρήσεις
- ενδέχεται να
- πρακτικά
- αποπλανητικός
- Λείπει
- ML
- MLOps
- Κινητό
- κινητό τηλέφωνο
- μοντέλο
- μοντέλα
- ΜΟΝΤΕΡΝΑ
- τροποποιήσει
- περισσότερο
- πλέον
- πολύ
- πολλαπλούς
- όνομα
- Ανάγκη
- που απαιτούνται
- αρνητικός
- αρνητικά
- Νέα
- Νέες δυνατότητες
- επόμενη
- βράδυ
- Ειδοποίηση..
- τώρα
- αριθμός
- αριθμοί
- παρατηρούμε
- αποκτήσει
- of
- προσφορές
- on
- ONE
- αυτά
- αποκλειστικά
- ανοίξτε
- λειτουργίας
- Βελτιστοποίηση
- βελτιστοποιημένη
- Επιλογές
- or
- οργανώσεις
- πρωτότυπο
- ΑΛΛΑ
- Άλλα
- δικός μας
- έξω
- Αποτέλεσμα
- αποτελέσματα
- επί
- δική
- σελίδα
- παράθυρο
- μέρος
- ιδιαίτερα
- πρότυπα
- ποσοστό
- τέλειος
- εκτελέσει
- επίδοση
- εκτελούνται
- φάση
- τηλέφωνο
- Πλάτων
- Πληροφορία δεδομένων Plato
- Πλάτωνα δεδομένα
- Δοκιμάστε να παίξετε
- παίζει
- συν
- θέτει
- θετικός
- δυνατός
- Θέση
- Δημοσιεύσεις
- δύναμη
- ισχυρός
- πρακτικές
- Ακρίβεια
- προβλέψει
- προβλεπόμενη
- προβλέποντας
- πρόβλεψη
- Προβλέψεις
- Προβλέπει
- προετοιμασία
- Προετοιμάστε
- παρουσία
- Προβολή
- προηγούμενος
- πιθανότητα
- πιθανώς
- Πρόβλημα
- προβλήματα
- διαδικασια μας
- Προφίλ ⬇️
- κέρδη
- Πρόοδος
- ποσοστό
- παρέχουν
- παρέχει
- χορήγηση
- δημόσιο
- δημοσιεύθηκε
- αγορά
- ποιότητα
- Γρήγορα
- γρήγορα
- Τιμή
- Ακατέργαστος
- ακατέργαστα δεδομένα
- έτοιμος
- σε πραγματικό χρόνο
- συνειδητοποιήσουν
- λόγους
- συνταγή
- ρεκόρ
- αρχεία
- αναφορές
- αναφέρεται
- αντανακλούν
- αντικατοπτρίζει
- Ανεξάρτητα
- τακτικά
- σχέση
- σχετικά
- λείψανα
- αφαιρέστε
- αφαίρεση
- Εκθέσεις
- αντιπροσώπευση
- αντιπροσωπεύει
- υπεύθυνος
- με αποτέλεσμα
- Αποτελέσματα
- έσοδα
- αύξηση των εσόδων
- δεξιά
- Κίνδυνος
- εύρωστος
- Ρόλος
- τρέξιμο
- σοφός
- ίδιο
- Δείγμα δεδομένων
- πριόνι
- απολέπιση
- Σκηνές
- Επιστήμη
- Επιστήμονας
- επιστήμονες
- σκορ
- αποτελέσματα
- Τμήμα
- δείτε
- δει
- βλέπει
- επιλογή
- επιλογή
- συναίσθημα
- Σειρές
- Χωρίς διακομιστή
- υπηρεσία
- Υπηρεσίες
- σειρά
- τον καθορισμό
- ρυθμίσεις
- διάφοροι
- Κοινοποίηση
- θα πρέπει να
- δείχνουν
- παρουσιάζεται
- Δείχνει
- σημαντικός
- σημαντικά
- Ομοίως
- Απλούς
- απλά
- ενιαίας
- μικρότερος
- So
- λογισμικό
- ανάπτυξη λογισμικού
- λύση
- Λύσεις
- SOLVE
- μερικοί
- κάτι
- Πηγή
- Μιλάει
- ειδικευμένος
- συγκεκριμένες
- ταχύτητα
- διαίρεση
- πρότυπο
- Εκκίνηση
- εκκίνηση
- Κατάσταση
- στατιστική
- Βήμα
- Στρατηγική
- τέτοιος
- κατάλληλος
- Σύνοδοι Κορυφής
- παίρνει
- λήψη
- εργασίες
- Τεχνικός
- τεχνικές
- Τεχνολογία
- τηλεπικοινωνιών
- πει
- δοκιμή
- δοκιμές
- από
- ότι
- Η
- Η περιοχή
- Τα Βασικά
- τους
- Τους
- τότε
- Εκεί.
- επομένως
- Αυτοί
- αυτοί
- πράγματα
- νομίζω
- αυτό
- εκείνοι
- κατώφλι
- Μέσω
- ώρα
- Χρονική σειρά
- προς την
- εργαλεία
- κορυφή
- Σύνολο
- προς
- tp
- TPR
- Τρένο
- εκπαιδευμένο
- Εκπαίδευση
- Συναλλαγές
- Μεταμορφώστε
- Μεταμόρφωση
- μετασχηματισμούς
- μετασχηματίζοντας
- μετασχηματισμών
- αληθής
- Αλήθεια
- προσπαθώ
- δύο
- τύποι
- υπό
- καταλαβαίνω
- κατανόηση
- μέχρι
- us
- χρήση
- περίπτωση χρήσης
- μεταχειρισμένος
- χρησιμοποιεί
- χρησιμοποιώντας
- συνήθως
- Πολύτιμος
- αξία
- Αξίες
- διάφορα
- πολύ
- ήταν
- we
- ιστός
- διαδικτυακές υπηρεσίες
- ζυγίζει
- βάρος
- ΛΟΙΠΌΝ
- ήταν
- Τι
- πότε
- Ποιό
- ενώ
- ολόκληρο
- WHY
- θα
- με
- χωρίς
- λειτουργεί
- Σεμινάρια
- θα
- γραφή
- Λανθασμένος
- X
- χρόνια
- εσείς
- Σας
- zephyrnet