Αυτή η ανάρτηση συντάχθηκε με τον Jayadeep Pabbisetty, Sr. Specialist Data Engineering στη Merck και τον Prabakaran Mathaiyan, Sr. ML Engineer στο Tiger Analytics.
Ο κύκλος ζωής ανάπτυξης μοντέλων μεγάλης μηχανικής μάθησης (ML) απαιτεί μια επεκτάσιμη διαδικασία έκδοσης μοντέλου παρόμοια με αυτή της ανάπτυξης λογισμικού. Οι προγραμματιστές μοντέλων συχνά συνεργάζονται για την ανάπτυξη μοντέλων ML και απαιτούν μια ισχυρή πλατφόρμα MLOps για να εργαστούν μέσα. Μια επεκτάσιμη πλατφόρμα MLOps πρέπει να περιλαμβάνει μια διαδικασία για το χειρισμό της ροής εργασιών του μητρώου μοντέλων ML, την έγκριση και την προώθηση στο επόμενο επίπεδο περιβάλλοντος (ανάπτυξη, δοκιμή , UAT ή παραγωγή).
Ένας προγραμματιστής μοντέλων συνήθως αρχίζει να εργάζεται σε ένα μεμονωμένο περιβάλλον ανάπτυξης ML εντός Amazon Sage Maker. Όταν ένα μοντέλο είναι εκπαιδευμένο και έτοιμο για χρήση, πρέπει να εγκριθεί αφού καταχωρηθεί στο Μητρώο μοντέλων Amazon SageMaker. Σε αυτήν την ανάρτηση, συζητάμε πώς η ομάδα AWS AI/ML συνεργάστηκε με την ομάδα IT MLOps της Merck Human Health για να δημιουργήσει μια λύση που χρησιμοποιεί μια αυτοματοποιημένη ροή εργασίας για έγκριση και προώθηση μοντέλων ML με ανθρώπινη παρέμβαση στη μέση.
Επισκόπηση της λύσης
Αυτή η ανάρτηση εστιάζει σε μια λύση ροής εργασίας που μπορεί να χρησιμοποιήσει ο κύκλος ζωής ανάπτυξης του μοντέλου ML μεταξύ του αγωγού εκπαίδευσης και του αγωγού εξαγωγής συμπερασμάτων. Η λύση παρέχει μια επεκτάσιμη ροή εργασιών για MLOps για την υποστήριξη της διαδικασίας έγκρισης και προώθησης μοντέλων ML με ανθρώπινη παρέμβαση. Ένα μοντέλο ML που έχει καταχωριστεί από έναν επιστήμονα δεδομένων χρειάζεται έναν εγκρίοντα για να το ελέγξει και να εγκρίνει προτού χρησιμοποιηθεί για έναν αγωγό συμπερασμάτων και στο επόμενο επίπεδο περιβάλλοντος (δοκιμή, UAT ή παραγωγή). Η λύση χρησιμοποιεί AWS Lambda, Amazon API Gateway, Amazon EventBridge, και το SageMaker για να αυτοματοποιήσει τη ροή εργασιών με την ανθρώπινη παρέμβαση έγκρισης στη μέση. Το παρακάτω διάγραμμα αρχιτεκτονικής δείχνει τον συνολικό σχεδιασμό του συστήματος, τις υπηρεσίες AWS που χρησιμοποιούνται και τη ροή εργασιών για την έγκριση και την προώθηση μοντέλων ML με ανθρώπινη παρέμβαση από την ανάπτυξη έως την παραγωγή.
Η ροή εργασίας περιλαμβάνει τα ακόλουθα βήματα:
- Ο αγωγός εκπαίδευσης αναπτύσσει και καταχωρεί ένα μοντέλο στο μητρώο μοντέλων SageMaker. Σε αυτό το σημείο, η κατάσταση του μοντέλου είναι
PendingManualApproval
. - Το EventBridge παρακολουθεί τα συμβάντα αλλαγής κατάστασης για να αναλαμβάνει αυτόματα ενέργειες με απλούς κανόνες.
- Ο κανόνας συμβάντος εγγραφής μοντέλου EventBridge καλεί μια συνάρτηση Lambda που δημιουργεί ένα μήνυμα ηλεκτρονικού ταχυδρομείου με έναν σύνδεσμο για την έγκριση ή την απόρριψη του καταχωρημένου μοντέλου.
- Ο υπεύθυνος έγκρισης λαμβάνει ένα μήνυμα ηλεκτρονικού ταχυδρομείου με τον σύνδεσμο για να ελέγξει και να εγκρίνει ή να απορρίψει το μοντέλο.
- Ο υπεύθυνος έγκρισης εγκρίνει το μοντέλο ακολουθώντας τον σύνδεσμο στο μήνυμα ηλεκτρονικού ταχυδρομείου σε ένα τελικό σημείο της πύλης API.
- Το API Gateway καλεί μια συνάρτηση Lambda για να ξεκινήσει ενημερώσεις μοντέλων.
- Το μητρώο μοντέλου ενημερώνεται για την κατάσταση του μοντέλου (
Approved
για το περιβάλλον dev, αλλάPendingManualApproval
για δοκιμή, UAT και παραγωγή). - Οι λεπτομέρειες του μοντέλου αποθηκεύονται σε Κατάστημα παραμέτρων AWS, μια ικανότητα του Διευθυντής συστημάτων AWS, συμπεριλαμβανομένης της έκδοσης μοντέλου, εγκεκριμένου περιβάλλοντος στόχου, πακέτου μοντέλου.
- Ο αγωγός συμπερασμάτων ανακτά το μοντέλο που έχει εγκριθεί για το περιβάλλον στόχο από το Parameter Store.
- Η συνάρτηση Lambda ειδοποίησης μετά το συμπέρασμα συλλέγει μετρήσεις συμπερασμάτων παρτίδας και στέλνει ένα μήνυμα ηλεκτρονικού ταχυδρομείου στον υπεύθυνο έγκρισης για να προωθήσει το μοντέλο στο επόμενο περιβάλλον.
Προϋποθέσεις
Η ροή εργασίας σε αυτήν την ανάρτηση προϋποθέτει ότι το περιβάλλον για τη γραμμή εκπαίδευσης έχει ρυθμιστεί στο SageMaker, μαζί με άλλους πόρους. Η είσοδος στον αγωγό εκπαίδευσης είναι το σύνολο δεδομένων χαρακτηριστικών. Οι λεπτομέρειες δημιουργίας δυνατοτήτων δεν περιλαμβάνονται σε αυτήν την ανάρτηση, αλλά επικεντρώνεται στην καταχώρηση, την έγκριση και την προώθηση των μοντέλων ML μετά την εκπαίδευσή τους. Το μοντέλο καταχωρείται στο μητρώο μοντέλων και διέπεται από ένα πλαίσιο παρακολούθησης στο Παρακολούθηση μοντέλου Amazon SageMaker για να εντοπίσει τυχόν μετατόπιση και να προχωρήσει σε επανεκπαίδευση σε περίπτωση μετατόπισης μοντέλου.
Λεπτομέρειες ροής εργασιών
Η ροή εργασιών έγκρισης ξεκινά με ένα μοντέλο που αναπτύχθηκε από μια γραμμή εκπαίδευσης. Όταν οι επιστήμονες δεδομένων αναπτύσσουν ένα μοντέλο, το καταχωρούν στο SageMaker Model Registry με την κατάσταση μοντέλου PendingManualApproval
. Το EventBridge παρακολουθεί το SageMaker για το συμβάν εγγραφής μοντέλου και ενεργοποιεί έναν κανόνα συμβάντος που καλεί μια συνάρτηση Lambda. Η συνάρτηση Lambda δημιουργεί δυναμικά ένα μήνυμα ηλεκτρονικού ταχυδρομείου για έγκριση του μοντέλου με έναν σύνδεσμο προς ένα τελικό σημείο της πύλης API σε μια άλλη συνάρτηση Lambda. Όταν ο υπεύθυνος έγκρισης ακολουθεί τον σύνδεσμο για να εγκρίνει το μοντέλο, το API Gateway προωθεί την ενέργεια έγκρισης στη συνάρτηση Lambda, η οποία ενημερώνει το μητρώο μοντέλων του SageMaker και τα χαρακτηριστικά του μοντέλου στο Parameter Store. Ο υπεύθυνος έγκρισης πρέπει να είναι πιστοποιημένος και να είναι μέρος της ομάδας εγκρίσεων που διαχειρίζεται η υπηρεσία καταλόγου Active Directory. Η αρχική έγκριση επισημαίνει το μοντέλο ως Approved
για dev αλλά PendingManualApproval
για δοκιμή, UAT και παραγωγή. Τα χαρακτηριστικά μοντέλου που αποθηκεύονται στο Parameter Store περιλαμβάνουν την έκδοση μοντέλου, το πακέτο μοντέλου και το εγκεκριμένο περιβάλλον προορισμού.
Όταν μια διοχέτευση συμπερασμάτων χρειάζεται να ανακτήσει ένα μοντέλο, ελέγχει το Parameter Store για την πιο πρόσφατη έκδοση μοντέλου που έχει εγκριθεί για το περιβάλλον προορισμού και λαμβάνει τις λεπτομέρειες συμπερασμάτων. Όταν ολοκληρωθεί η διοχέτευση συμπερασμάτων, αποστέλλεται ένα μήνυμα ηλεκτρονικού ταχυδρομείου ειδοποίησης μετά το συμπέρασμα σε έναν ενδιαφερόμενο που ζητά έγκριση για την προώθηση του μοντέλου στο επόμενο επίπεδο περιβάλλοντος. Το μήνυμα ηλεκτρονικού ταχυδρομείου περιέχει λεπτομέρειες σχετικά με το μοντέλο και τις μετρήσεις, καθώς και έναν σύνδεσμο έγκρισης σε ένα τελικό σημείο πύλης API για μια συνάρτηση Lambda που ενημερώνει τα χαρακτηριστικά του μοντέλου.
Ακολουθεί η ακολουθία συμβάντων και βημάτων υλοποίησης για τη ροή εργασιών έγκρισης/προώθησης μοντέλου ML από τη δημιουργία μοντέλου έως την παραγωγή. Το μοντέλο προωθείται από την ανάπτυξη σε περιβάλλοντα δοκιμής, UAT και παραγωγής με ρητή ανθρώπινη έγκριση σε κάθε βήμα.
Ξεκινάμε με τον αγωγό εκπαίδευσης, ο οποίος είναι έτοιμος για ανάπτυξη μοντέλου. Η έκδοση του μοντέλου ξεκινά ως 0 στο μητρώο μοντέλων του SageMaker.
- Το εκπαιδευτικό πρόγραμμα SageMaker αναπτύσσει και καταχωρεί ένα μοντέλο στο SageMaker Model Registry. Η έκδοση μοντέλου 1 έχει καταχωρηθεί και ξεκινά με Εκκρεμεί Εγχειρίδιο Έγκριση κατάστασης.Τα μεταδεδομένα Μητρώου Μοντέλων έχουν τέσσερα προσαρμοσμένα πεδία για τα περιβάλλοντα:
dev, test, uat
, ναprod
. - Το EventBridge παρακολουθεί το Μητρώο Μοντέλων του SageMaker για την αλλαγή κατάστασης ώστε να αναλαμβάνει αυτόματα δράση με απλούς κανόνες.
- Ο κανόνας συμβάντος εγγραφής μοντέλου καλεί μια συνάρτηση Lambda που δημιουργεί ένα μήνυμα ηλεκτρονικού ταχυδρομείου με το σύνδεσμο για την έγκριση ή την απόρριψη του καταχωρημένου μοντέλου.
- Ο υπεύθυνος έγκρισης λαμβάνει ένα μήνυμα ηλεκτρονικού ταχυδρομείου με τον σύνδεσμο για να ελέγξει και να εγκρίνει (ή να απορρίψει) το μοντέλο.
- Ο υπεύθυνος έγκρισης εγκρίνει το μοντέλο ακολουθώντας τον σύνδεσμο προς το τελικό σημείο της πύλης API στο μήνυμα ηλεκτρονικού ταχυδρομείου.
- Το API Gateway καλεί τη συνάρτηση Lambda για να ξεκινήσει ενημερώσεις μοντέλων.
- Το μητρώο μοντέλων SageMaker ενημερώνεται με την κατάσταση μοντέλου.
- Οι πληροφορίες λεπτομερειών μοντέλου αποθηκεύονται στο Parameter Store, συμπεριλαμβανομένης της έκδοσης μοντέλου, του εγκεκριμένου περιβάλλοντος στόχου και του πακέτου μοντέλου.
- Ο αγωγός συμπερασμάτων ανακτά το μοντέλο που έχει εγκριθεί για το περιβάλλον στόχο από το Parameter Store.
- Η συνάρτηση Lambda ειδοποίησης μετά το συμπέρασμα συλλέγει μετρήσεις συμπερασμάτων παρτίδας και στέλνει ένα μήνυμα ηλεκτρονικού ταχυδρομείου στον υπεύθυνο έγκρισης για να προωθήσει το μοντέλο στο επόμενο περιβάλλον.
- Ο υπεύθυνος έγκρισης εγκρίνει την προώθηση του μοντέλου στο επόμενο επίπεδο ακολουθώντας τον σύνδεσμο προς το τελικό σημείο της πύλης API, το οποίο ενεργοποιεί τη συνάρτηση Lambda για ενημέρωση του μητρώου μοντέλων και του χώρου αποθήκευσης παραμέτρων του SageMaker.
Το πλήρες ιστορικό της έκδοσης και έγκρισης του μοντέλου αποθηκεύεται για έλεγχο στο Parameter Store.
Συμπέρασμα
Ο κύκλος ζωής ανάπτυξης του μεγάλου μοντέλου ML απαιτεί μια επεκτάσιμη διαδικασία έγκρισης μοντέλου ML. Σε αυτήν την ανάρτηση, μοιραστήκαμε μια υλοποίηση ενός μητρώου, έγκρισης και ροής εργασιών προώθησης μοντέλου ML με ανθρώπινη παρέμβαση χρησιμοποιώντας το SageMaker Model Registry, το EventBridge, το API Gateway και το Lambda. Εάν σκέφτεστε μια επεκτάσιμη διαδικασία ανάπτυξης μοντέλου ML για την πλατφόρμα MLOps σας, μπορείτε να ακολουθήσετε τα βήματα σε αυτήν την ανάρτηση για να εφαρμόσετε μια παρόμοια ροή εργασίας.
Σχετικά με τους συγγραφείς
Τομ Κιμ είναι Senior Solution Architect στην AWS, όπου βοηθά τους πελάτες του να επιτύχουν τους επιχειρηματικούς τους στόχους αναπτύσσοντας λύσεις στο AWS. Έχει εκτεταμένη εμπειρία στην αρχιτεκτονική και τις λειτουργίες επιχειρηματικών συστημάτων σε διάφορους κλάδους – ιδιαίτερα στην Υγεία και την Επιστήμη της Ζωής. Ο Tom μαθαίνει πάντα νέες τεχνολογίες που οδηγούν στο επιθυμητό επιχειρηματικό αποτέλεσμα για τους πελάτες – π.χ. AI/ML, GenAI και Data Analytics. Του αρέσει επίσης να ταξιδεύει σε νέα μέρη και να παίζει νέα γήπεδα γκολφ όποτε μπορεί να βρει χρόνο.
Shamika Ariyawansa, που υπηρετεί ως Ανώτερος Αρχιτέκτονας Λύσεων AI/ML στο τμήμα Healthcare and Life Sciences στο Amazon Web Services (AWS), ειδικεύεται στη Generative AI, με εστίαση στην εκπαίδευση στο Large Language Model (LLM), στις βελτιστοποιήσεις συμπερασμάτων και στο MLOps (Machine Learning). Λειτουργίες). Καθοδηγεί τους πελάτες στην ενσωμάτωση προηγμένου Generative AI στα έργα τους, διασφαλίζοντας στιβαρές διαδικασίες εκπαίδευσης, αποτελεσματικούς μηχανισμούς συμπερασμάτων και βελτιστοποιημένες πρακτικές MLOps για αποτελεσματικές και επεκτάσιμες λύσεις AI. Πέρα από τις επαγγελματικές του υποχρεώσεις, ο Shamika ακολουθεί με πάθος τις περιπέτειες για σκι και εκτός δρόμου.
Jayadeep Pabbisetty είναι Senior ML/Data Engineer στη Merck, όπου σχεδιάζει και αναπτύσσει λύσεις ETL και MLOps για να ξεκλειδώσει την επιστήμη και την ανάλυση δεδομένων για την επιχείρηση. Είναι πάντα ενθουσιώδης με την εκμάθηση νέων τεχνολογιών, την εξερεύνηση νέων οδών και την απόκτηση των απαραίτητων δεξιοτήτων για να εξελιχθεί με τη συνεχώς μεταβαλλόμενη βιομηχανία πληροφορικής. Στον ελεύθερο χρόνο του, ακολουθεί το πάθος του για τον αθλητισμό και του αρέσει να ταξιδεύει και να εξερευνά νέα μέρη.
Prabakaran Mathaiyan είναι Ανώτερος Μηχανικός Μηχανικής Μάθησης στην Tiger Analytics LLC, όπου βοηθά τους πελάτες του να επιτύχουν τους επιχειρηματικούς τους στόχους παρέχοντας λύσεις για τη δημιουργία μοντέλων, την εκπαίδευση, την επικύρωση, την παρακολούθηση, το CICD και τη βελτίωση των λύσεων μηχανικής εκμάθησης στο AWS. Η Prabakaran μαθαίνει πάντα νέες τεχνολογίες που οδηγούν στο επιθυμητό επιχειρηματικό αποτέλεσμα για τους πελάτες – π.χ. AI/ML, GenAI, GPT και LLM. Του αρέσει επίσης να παίζει κρίκετ όποτε μπορεί να βρει χρόνο.
- SEO Powered Content & PR Distribution. Ενισχύστε σήμερα.
- PlatoData.Network Vertical Generative Ai. Ενδυναμώστε τον εαυτό σας. Πρόσβαση εδώ.
- PlatoAiStream. Web3 Intelligence. Ενισχύθηκε η γνώση. Πρόσβαση εδώ.
- PlatoESG. Ανθρακας, Cleantech, Ενέργεια, Περιβάλλον, Ηλιακός, Διαχείριση των αποβλήτων. Πρόσβαση εδώ.
- PlatoHealth. Ευφυΐα βιοτεχνολογίας και κλινικών δοκιμών. Πρόσβαση εδώ.
- πηγή: https://aws.amazon.com/blogs/machine-learning/build-an-amazon-sagemaker-model-registry-approval-and-promotion-workflow-with-human-intervention/
- :έχει
- :είναι
- :δεν
- :που
- $UP
- 1
- 100
- 110
- 116
- a
- Σχετικα
- Κατορθώνω
- απόκτηση
- απέναντι
- Ενέργειες
- ενεργειών
- ενεργός
- Active Directory
- προηγμένες
- περιπέτειες
- Μετά το
- AI
- AI / ML
- κατά μήκος
- Επίσης
- πάντοτε
- Amazon
- Amazon Sage Maker
- Amazon υπηρεσίες Web
- Amazon Web Services (AWS)
- an
- analytics
- και
- Άλλος
- κάθε
- api
- έγκριση
- εγκρίνω
- εγκεκριμένη
- αρχιτεκτονική
- ΕΙΝΑΙ
- AS
- υποθέτει
- At
- γνωρίσματα
- επικυρωμένο
- αυτοματοποίηση
- Αυτοματοποιημένη
- αυτομάτως
- λεωφόρους
- AWS
- BE
- πριν
- είναι
- μεταξύ
- Πέρα
- Κάτω μέρος
- χτίζω
- Κτίριο
- λεωφορείο
- επιχείρηση
- αλλά
- by
- CAN
- ικανότητα
- ο οποίος
- περίπτωση
- αλλαγή
- έλεγχοι
- κωδικός
- συνεργάστηκαν
- συλλέγει
- δεσμεύσεις
- πλήρης
- θεωρώντας
- μαθήματα
- δημιουργία
- κρίκετ
- έθιμο
- Πελάτες
- ημερομηνία
- Δεδομένα Analytics
- επιστημονικά δεδομένα
- επιστήμονας δεδομένων
- Υπηρεσίες
- σχέδια
- επιθυμητή
- λεπτομέρεια
- καθέκαστα
- ανίχνευση
- Dev
- ανάπτυξη
- αναπτύχθηκε
- Εργολάβος
- προγραμματιστές
- ανάπτυξη
- Ανάπτυξη
- αναπτύσσεται
- συζητήσουν
- διαίρεση
- δυναμικά
- e
- κάθε
- Αποτελεσματικός
- αποτελεσματικός
- ΗΛΕΚΤΡΟΝΙΚΗ ΔΙΕΥΘΥΝΣΗ
- ενσωμάτωση
- Τελικό σημείο
- μηχανικός
- Μηχανική
- εξασφαλίζοντας
- Εταιρεία
- ενθουσιώδης
- Περιβάλλον
- περιβάλλοντα
- Αιθέρας (ΕΤΗ)
- Συμβάν
- εκδηλώσεις
- συνεχώς μεταβαλλόμενο
- εξελίσσονται
- εμπειρία
- διερευνήσει
- Εξερευνώντας
- εκτενής
- Εκτεταμένη εμπειρία
- Χαρακτηριστικό
- Χαρακτηριστικά
- Πεδία
- Εύρεση
- Συγκέντρωση
- εστιάζει
- ακολουθήστε
- Εξής
- εξής
- Για
- τέσσερα
- Πλαίσιο
- από
- λειτουργία
- πύλη
- γενεά
- γενετική
- Παραγωγική τεχνητή νοημοσύνη
- γκολφ
- διέπεται
- Group
- Οδηγοί
- Χειρισμός
- he
- Υγεία
- Φροντίδα Υγείας
- υγειονομική περίθαλψη
- βοηθά
- του
- ιστορία
- Πως
- HTML
- HTTPS
- ανθρώπινος
- if
- εφαρμογή
- εκτέλεση
- βελτίωση
- in
- περιλαμβάνουν
- περιλαμβάνονται
- περιλαμβάνει
- Συμπεριλαμβανομένου
- ατομικές
- βιομηχανίες
- βιομηχανία
- πληροφορίες
- αρχικός
- κινήσει
- εισαγωγή
- ολοκλήρωση
- παρέμβαση
- σε
- επικαλείται
- IT
- Βιομηχανία πληροφορικής
- jpg
- Γλώσσα
- large
- αργότερο
- οδηγήσει
- μάθηση
- Επίπεδο
- ζωή
- Επιστήμη της ζωής
- Επιστήμες της Ζωής
- κύκλος ζωής
- συμπαθεί
- LINK
- LLC
- μηχανή
- μάθηση μηχανής
- διαχειρίζεται
- Ταχύτητες
- μηχανισμούς
- Η Merck
- Μεταδεδομένα
- Metrics
- Μέσο
- ML
- MLOps
- μοντέλο
- μοντέλα
- παρακολούθηση
- οθόνες
- πρέπει
- απαραίτητος
- ανάγκες
- Νέα
- Νέες τεχνολογίες
- επόμενη
- κοινοποίηση
- στόχοι
- of
- συχνά
- on
- λειτουργίες
- or
- ΑΛΛΑ
- Αποτέλεσμα
- φόρμες
- πακέτο
- παράμετρος
- μέρος
- ιδιαίτερα
- πάθος
- πρότυπο
- αγωγού
- Μέρη
- πλατφόρμες
- Πλάτων
- Πληροφορία δεδομένων Plato
- Πλάτωνα δεδομένα
- παιχνίδι
- Σημείο
- πορτρέτο
- Θέση
- πρακτικές
- προχωρήσει
- διαδικασια μας
- Διεργασίες
- παραγωγή
- επαγγελματίας
- έργα
- email marketing
- Προωθήθηκε
- την προώθηση της
- προαγωγή
- παρέχει
- χορήγηση
- Επιδιώκει
- έτοιμος
- κάντε ΕΓΓΡΑΦΗ
- καταχωρηθεί
- μητρώα
- Εγγραφή
- μητρώου
- απελευθερώνουν
- ζητώντας
- απαιτούν
- Απαιτεί
- Υποστηρικτικό υλικό
- επανεκπαίδευση
- ανασκόπηση
- εύρωστος
- Διαδρομή
- Άρθρο
- κανόνες
- s
- σοφός
- αποθηκεύονται
- επεκτάσιμη
- Επιστήμη
- ΕΠΙΣΤΗΜΕΣ
- Επιστήμονας
- επιστήμονες
- αποστέλλει
- αρχαιότερος
- αποστέλλονται
- Ακολουθία
- Υπηρεσίες
- εξυπηρετούν
- σειρά
- διάφοροι
- Shared
- Δείχνει
- παρόμοιες
- Απλούς
- δεξιότητες
- λογισμικό
- ανάπτυξη λογισμικού
- λύση
- Λύσεις
- ειδικός
- ειδικεύεται
- Αθλητισμός
- φορέα
- Εκκίνηση
- ξεκινά
- Κατάσταση
- Βήμα
- Βήματα
- κατάστημα
- αποθηκεύονται
- εξορθολογισμένη
- Στήριξη
- σύστημα
- συστήματα
- Πάρτε
- στόχος
- Τεχνολογίες
- δοκιμή
- ότι
- Η
- τους
- αυτοί
- αυτό
- Τίγρη
- ώρα
- προς την
- μαζι
- κάποιος
- εκπαιδευμένο
- Εκπαίδευση
- ταξίδι
- Ταξίδια
- συνήθως
- ξεκλειδώσετε
- Ενημέρωση
- ενημερώθηκε
- ενημερώσεις
- χρήση
- μεταχειρισμένος
- χρησιμοποιεί
- χρησιμοποιώντας
- επικύρωση
- εκδοχή
- we
- ιστός
- διαδικτυακές υπηρεσίες
- ΛΟΙΠΌΝ
- πότε
- οποτεδήποτε
- Ποιό
- με
- εντός
- Εργασία
- συνεργαστούν
- ροής εργασίας
- εσείς
- Σας
- zephyrnet