Τα θεμελιώδη μοντέλα στην άκρη – IBM Blog

Θεμελιώδη μοντέλα (FM) σηματοδοτούν την αρχή μιας νέας εποχής μηχανική εκμάθηση (ML) και τεχνητή νοημοσύνη (AI), το οποίο οδηγεί σε ταχύτερη ανάπτυξη της τεχνητής νοημοσύνης που μπορεί να προσαρμοστεί σε ένα ευρύ φάσμα εργασιών κατάντη και να προσαρμοστεί με ακρίβεια για μια σειρά εφαρμογών. 

Με την αυξανόμενη σημασία της επεξεργασίας δεδομένων όπου εκτελείται εργασία, η εξυπηρέτηση μοντέλων τεχνητής νοημοσύνης στην αιχμή της επιχείρησης επιτρέπει προβλέψεις σχεδόν σε πραγματικό χρόνο, ενώ τηρούνται οι απαιτήσεις κυριαρχίας δεδομένων και απορρήτου. Συνδυάζοντας το IBM watsonx δεδομένα και δυνατότητες πλατφόρμας τεχνητής νοημοσύνης για FM με υπολογιστές αιχμής, οι επιχειρήσεις μπορούν να εκτελούν φόρτους εργασίας τεχνητής νοημοσύνης για τελειοποίηση FM και εξαγωγή συμπερασμάτων στο λειτουργικό άκρο. Αυτό δίνει τη δυνατότητα στις επιχειρήσεις να κλιμακώσουν τις αναπτύξεις τεχνητής νοημοσύνης στο όριο, μειώνοντας το χρόνο και το κόστος ανάπτυξης με ταχύτερους χρόνους απόκρισης.

Βεβαιωθείτε ότι έχετε ελέγξει όλες τις δόσεις αυτής της σειράς αναρτήσεων ιστολογίου σχετικά με τον υπολογισμό αιχμής:

Ποια είναι τα θεμελιώδη μοντέλα;

Τα θεμελιώδη μοντέλα (FM), τα οποία εκπαιδεύονται σε ένα ευρύ σύνολο δεδομένων χωρίς ετικέτα σε κλίμακα, οδηγούν εφαρμογές τεχνητής νοημοσύνης (AI) τελευταίας τεχνολογίας. Μπορούν να προσαρμοστούν σε ένα ευρύ φάσμα εργασιών κατάντη και να ρυθμιστούν με ακρίβεια για μια σειρά εφαρμογών. Τα σύγχρονα μοντέλα AI, τα οποία εκτελούν συγκεκριμένες εργασίες σε έναν μόνο τομέα, δίνουν τη θέση τους στα FM επειδή μαθαίνουν γενικότερα και λειτουργούν σε τομείς και προβλήματα. Όπως υποδηλώνει το όνομα, ένα FM μπορεί να είναι το θεμέλιο για πολλές εφαρμογές του μοντέλου AI.

Τα FM αντιμετωπίζουν δύο βασικές προκλήσεις που εμπόδισαν τις επιχειρήσεις να κλιμακώσουν την υιοθέτηση της τεχνητής νοημοσύνης. Πρώτον, οι επιχειρήσεις παράγουν έναν τεράστιο όγκο δεδομένων χωρίς ετικέτα, μόνο ένα μέρος των οποίων φέρει ετικέτα για εκπαίδευση μοντέλων τεχνητής νοημοσύνης. Δεύτερον, αυτή η εργασία επισήμανσης και σχολιασμού είναι εξαιρετικά ανθρωποκεντρική, και συχνά απαιτεί αρκετές εκατοντάδες ώρες από τον χρόνο ενός ειδικού σε θέματα (SME). Αυτό καθιστά απαγορευτικό από πλευράς κόστους την κλιμάκωση σε όλες τις περιπτώσεις χρήσης, δεδομένου ότι θα απαιτούσε στρατούς ΜΜΕ και εμπειρογνώμονες δεδομένων. Καταναλώνοντας τεράστιες ποσότητες δεδομένων χωρίς ετικέτα και χρησιμοποιώντας αυτοεποπτευόμενες τεχνικές για εκπαίδευση μοντέλων, τα FM έχουν αφαιρέσει αυτά τα σημεία συμφόρησης και άνοιξαν τη λεωφόρο για ευρεία υιοθέτηση της τεχνητής νοημοσύνης σε όλη την επιχείρηση. Αυτές οι τεράστιες ποσότητες δεδομένων που υπάρχουν σε κάθε επιχείρηση περιμένουν να απελευθερωθούν για να οδηγήσουν σε πληροφορίες.

Τι είναι τα μεγάλα γλωσσικά μοντέλα;

Τα μεγάλα γλωσσικά μοντέλα (LLM) είναι μια κατηγορία θεμελιωδών μοντέλων (FM) που αποτελούνται από επίπεδα νευρωνικά δίκτυα που έχουν εκπαιδευτεί σε αυτές τις τεράστιες ποσότητες δεδομένων χωρίς ετικέτα. Χρησιμοποιούν αυτοεποπτευόμενους αλγόριθμους μάθησης για να εκτελέσουν μια ποικιλία από επεξεργασία φυσικής γλώσσας (NLP) εργασίες με τρόπους παρόμοιους με τον τρόπο που οι άνθρωποι χρησιμοποιούν τη γλώσσα (βλ. Εικόνα 1).

Κλιμακώστε και επιταχύνετε τον αντίκτυπο της τεχνητής νοημοσύνης

Υπάρχουν πολλά βήματα για τη δημιουργία και την ανάπτυξη ενός θεμελιώδους μοντέλου (FM). Αυτές περιλαμβάνουν την απορρόφηση δεδομένων, την επιλογή δεδομένων, την προεπεξεργασία δεδομένων, την προεκπαίδευση FM, τον συντονισμό μοντέλου σε μία ή περισσότερες μεταγενέστερες εργασίες, την εξυπηρέτηση συμπερασμάτων και τη διακυβέρνηση και τη διαχείριση του κύκλου ζωής μοντέλων δεδομένων και τεχνητής νοημοσύνης — όλα αυτά μπορούν να περιγραφούν ως FMOps.

Για να βοηθήσει με όλα αυτά, η IBM προσφέρει στις επιχειρήσεις τα απαραίτητα εργαλεία και δυνατότητες για να αξιοποιήσουν την ισχύ αυτών των FM μέσω IBM watsonx, μια πλατφόρμα τεχνητής νοημοσύνης και δεδομένων έτοιμη για επιχειρήσεις, σχεδιασμένη να πολλαπλασιάζει τον αντίκτυπο της τεχνητής νοημοσύνης σε μια επιχείρηση. Το IBM watsonx αποτελείται από τα ακόλουθα:

1. IBM watsonx.ai φέρνει νέα γενετική AI δυνατότητες—τροφοδοτούμενες από FM και παραδοσιακή μηχανική εκμάθηση (ML)—σε ένα ισχυρό στούντιο που καλύπτει τον κύκλο ζωής της AI.
2. IBM watsonx.data είναι ένας κατάλληλος χώρος αποθήκευσης δεδομένων χτισμένος σε μια ανοιχτή αρχιτεκτονική lakehouse για την κλιμάκωση του φόρτου εργασίας AI για όλα τα δεδομένα σας, οπουδήποτε.
3. IBM watsonx.διακυβέρνηση είναι ένα αυτοματοποιημένο κιτ εργαλείων διακυβέρνησης κύκλου ζωής τεχνητής νοημοσύνης από άκρο σε άκρο που έχει δημιουργηθεί για να επιτρέπει υπεύθυνες, διαφανείς και εξηγήσιμες ροές εργασίας τεχνητής νοημοσύνης.

Ένας άλλος βασικός φορέας είναι η αυξανόμενη σημασία των υπολογιστών στην αιχμή της επιχείρησης, όπως βιομηχανικές τοποθεσίες, ορόφους παραγωγής, καταστήματα λιανικής, τοποθεσίες αιχμής τηλεπικοινωνιών, κ.λπ. ανάλυση σχεδόν σε πραγματικό χρόνο. Το πλεονέκτημα της επιχείρησης είναι εκεί όπου δημιουργούνται τεράστιες ποσότητες επιχειρηματικών δεδομένων και όπου η τεχνητή νοημοσύνη μπορεί να παρέχει πολύτιμες, έγκαιρες και εφαρμόσιμες επιχειρηματικές πληροφορίες.

Η εξυπηρέτηση μοντέλων τεχνητής νοημοσύνης στην αιχμή επιτρέπει προβλέψεις σχεδόν σε πραγματικό χρόνο, ενώ τηρούνται οι απαιτήσεις κυριαρχίας δεδομένων και απορρήτου. Αυτό μειώνει σημαντικά τον λανθάνοντα χρόνο που σχετίζεται συχνά με την απόκτηση, τη μετάδοση, τον μετασχηματισμό και την επεξεργασία των δεδομένων επιθεώρησης. Η εργασία στην άκρη μας επιτρέπει να προστατεύουμε ευαίσθητα εταιρικά δεδομένα και να μειώνουμε το κόστος μεταφοράς δεδομένων με ταχύτερους χρόνους απόκρισης.

Η κλιμάκωση των αναπτύξεων τεχνητής νοημοσύνης στην άκρη, ωστόσο, δεν είναι εύκολη υπόθεση εν μέσω προκλήσεων που σχετίζονται με δεδομένα (ετερογένεια, όγκος και ρυθμιστικές ρυθμίσεις) και περιορισμένους πόρους (υπολογιστές, συνδεσιμότητα δικτύου, αποθήκευση και ακόμη και δεξιότητες πληροφορικής). Αυτά μπορούν να περιγραφούν γενικά σε δύο κατηγορίες:

• Χρόνος/κόστος ανάπτυξης: Κάθε ανάπτυξη αποτελείται από πολλά επίπεδα υλικού και λογισμικού που πρέπει να εγκατασταθούν, να ρυθμιστούν και να δοκιμαστούν πριν από την ανάπτυξη. Σήμερα, ένας επαγγελματίας σέρβις μπορεί να χρειαστεί έως και μία ή δύο εβδομάδες για την εγκατάσταση σε κάθε τοποθεσία, περιορίζοντας σοβαρά το πόσο γρήγορα και οικονομικά οι επιχειρήσεις μπορούν να κλιμακώσουν τις αναπτύξεις σε ολόκληρο τον οργανισμό τους.                                  
• Διαχείριση ημέρας 2: Ο τεράστιος αριθμός αναπτυγμένων άκρων και η γεωγραφική θέση κάθε ανάπτυξης μπορεί συχνά να καθιστούν απαγορευτικά δαπανηρή την παροχή τοπικής υποστήριξης IT σε κάθε τοποθεσία για την παρακολούθηση, τη διατήρηση και την ενημέρωση αυτών των αναπτύξεων.

Αναπτύξεις Edge AI

Η IBM ανέπτυξε μια αρχιτεκτονική αιχμής που αντιμετωπίζει αυτές τις προκλήσεις, φέρνοντας ένα ενσωματωμένο μοντέλο συσκευής υλικού/λογισμικού (HW/SW) σε αναπτύξεις τεχνητής νοημοσύνης αιχμής. Αποτελείται από πολλά βασικά παραδείγματα που βοηθούν την επεκτασιμότητα των αναπτύξεων τεχνητής νοημοσύνης:

• Παροχή πλήρους στοίβας λογισμικού με βάση την πολιτική.
• Συνεχής παρακολούθηση της υγείας του συστήματος αιχμής
• Δυνατότητες διαχείρισης και προώθησης ενημερώσεων λογισμικού/ασφάλειας/διαμόρφωσης σε πολλές ακραίες τοποθεσίες—όλα από μια κεντρική τοποθεσία που βασίζεται στο cloud για διαχείριση της ημέρας 2.

Μια κατανεμημένη αρχιτεκτονική hub-and-spoke μπορεί να χρησιμοποιηθεί για την κλίμακα αναπτύξεων τεχνητής νοημοσύνης στην άκρη, όπου ένα κεντρικό νέφος ή κέντρο δεδομένων επιχείρησης λειτουργεί ως διανομέας και η συσκευή edge-in-a-box ενεργεί ως ακτίνα σε μια θέση άκρης. Αυτό το μοντέλο διανομέα και ακτίνας, που εκτείνεται σε υβριδικά περιβάλλοντα νέφους και ακμών, απεικονίζει καλύτερα την ισορροπία που απαιτείται για τη βέλτιστη χρήση των πόρων που απαιτούνται για λειτουργίες FM (βλ. Εικόνα 2).

Η προεκπαίδευση αυτών των βασικών μοντέλων μεγάλων γλωσσών (LLM) και άλλων τύπων μοντέλων θεμελίωσης που χρησιμοποιούν αυτοεποπτευόμενες τεχνικές σε τεράστια σύνολα δεδομένων χωρίς ετικέτα συχνά χρειάζεται σημαντικούς υπολογιστικούς πόρους (GPU) και εκτελείται καλύτερα σε έναν κόμβο. Οι πρακτικά απεριόριστοι υπολογιστικοί πόροι και οι μεγάλοι σωροί δεδομένων που συχνά αποθηκεύονται στο cloud επιτρέπουν την προεκπαίδευση μοντέλων μεγάλων παραμέτρων και τη συνεχή βελτίωση της ακρίβειας αυτών των βασικών μοντέλων θεμελίωσης.

Από την άλλη πλευρά, ο συντονισμός αυτών των βασικών FM για εργασίες μεταγενέστερης ροής —οι οποίες απαιτούν μόνο μερικές δεκάδες ή εκατοντάδες δείγματα δεδομένων με ετικέτα και υπηρεσία εξαγωγής συμπερασμάτων— μπορεί να επιτευχθεί με λίγες μόνο GPU στην άκρη της επιχείρησης. Αυτό επιτρέπει στα ευαίσθητα δεδομένα με ετικέτα (ή εταιρικά δεδομένα κορώνας-κόσμημα) να παραμένουν με ασφάλεια στο επιχειρησιακό περιβάλλον της επιχείρησης, ενώ παράλληλα μειώνεται το κόστος μεταφοράς δεδομένων.

Χρησιμοποιώντας μια προσέγγιση πλήρους στοίβας για την ανάπτυξη εφαρμογών στο edge, ένας επιστήμονας δεδομένων μπορεί να πραγματοποιήσει τελειοποίηση, δοκιμή και ανάπτυξη των μοντέλων. Αυτό μπορεί να επιτευχθεί σε ένα μόνο περιβάλλον, ενώ συρρικνώνεται ο κύκλος ζωής ανάπτυξης για την εξυπηρέτηση νέων μοντέλων τεχνητής νοημοσύνης στους τελικούς χρήστες. Πλατφόρμες όπως το Red Hat OpenShift Data Science (RHODS) και το πρόσφατα ανακοινωμένο Red Hat OpenShift AI παρέχουν εργαλεία για την ταχεία ανάπτυξη και ανάπτυξη μοντέλων τεχνητής νοημοσύνης έτοιμα για παραγωγή σε κατανεμημένο σύννεφο και περιβάλλοντα άκρων.

Τέλος, η εξυπηρέτηση του βελτιστοποιημένου μοντέλου τεχνητής νοημοσύνης στο εταιρικό άκρο μειώνει σημαντικά τον λανθάνοντα χρόνο που συχνά σχετίζεται με την απόκτηση, τη μετάδοση, τον μετασχηματισμό και την επεξεργασία δεδομένων. Η αποσύνδεση της προεκπαίδευσης στο cloud από τη λεπτομέρεια και την εξαγωγή συμπερασμάτων στην άκρη μειώνει το συνολικό λειτουργικό κόστος μειώνοντας τον απαιτούμενο χρόνο και το κόστος μετακίνησης δεδομένων που σχετίζεται με οποιαδήποτε εργασία εξαγωγής συμπερασμάτων (βλ. Εικόνα 3).

Για να καταδειχθεί αυτή η πρόταση αξίας από άκρο σε άκρο, ένα υποδειγματικό μοντέλο θεμελίωσης βασισμένο σε μετασχηματιστή όρασης για μη στρατιωτική υποδομή (προεκπαιδευμένο με χρήση δημόσιων και προσαρμοσμένων συνόλων δεδομένων ειδικών για τη βιομηχανία) βελτιστοποιήθηκε και αναπτύχθηκε για συμπέρασμα σε μια άκρη τριών κόμβων (μίλησε) σύμπλεγμα. Η στοίβα λογισμικού περιελάμβανε το Red Hat OpenShift Container Platform και το Red Hat OpenShift Data Science. Αυτό το σύμπλεγμα ακμών συνδέθηκε επίσης με μια παρουσία του διανομέα Red Hat Advanced Cluster Management για Kubernetes (RHACM) που εκτελείται στο cloud.

Παροχή μηδενικής αφής

Η παροχή μηδενικής επαφής βάσει πολιτικής έγινε με το Red Hat Advanced Cluster Management for Kubernetes (RHACM) μέσω πολιτικών και ετικετών τοποθέτησης, οι οποίες συνδέουν συγκεκριμένα συμπλέγματα ακμών σε ένα σύνολο στοιχείων λογισμικού και διαμορφώσεων. Αυτά τα στοιχεία λογισμικού - που εκτείνονται σε ολόκληρη τη στοίβα και καλύπτουν υπολογισμούς, αποθήκευση, δίκτυο και φόρτο εργασίας AI - εγκαταστάθηκαν χρησιμοποιώντας διάφορους χειριστές OpenShift, παρέχοντας τις απαραίτητες υπηρεσίες εφαρμογής και S3 Bucket (αποθήκευση).

Το προεκπαιδευμένο θεμελιώδες μοντέλο (FM) για την πολιτική υποδομή βελτιστοποιήθηκε μέσω ενός σημειωματάριου Jupyter στο Red Hat OpenShift Data Science (RHODS) χρησιμοποιώντας δεδομένα με ετικέτα για την ταξινόμηση έξι τύπων ελαττωμάτων που βρέθηκαν σε τσιμεντένιες γέφυρες. Η παροχή συμπερασμάτων αυτού του βελτιστοποιημένου FM αποδείχθηκε επίσης χρησιμοποιώντας έναν διακομιστή Triton. Επιπλέον, η παρακολούθηση της υγείας αυτού του συστήματος άκρων κατέστη δυνατή με τη συγκέντρωση μετρήσεων παρατηρησιμότητας από τα στοιχεία υλικού και λογισμικού μέσω του Prometheus στον κεντρικό πίνακα εργαλείων RHACM στο cloud. Οι επιχειρήσεις πολιτικής υποδομής μπορούν να αναπτύξουν αυτά τα FM στις ακραίες τοποθεσίες τους και να χρησιμοποιήσουν εικόνες drone για να ανιχνεύσουν ελαττώματα σε σχεδόν πραγματικό χρόνο—επιταχύνοντας το χρόνο μέχρι την ενημέρωση και μειώνοντας το κόστος μεταφοράς μεγάλων όγκων δεδομένων υψηλής ευκρίνειας προς και από το Cloud.

Χαρακτηριστικά

Συνδυασμός IBM watsonx δεδομένα και δυνατότητες πλατφόρμας τεχνητής νοημοσύνης για μοντέλα θεμελίωσης (FM) με συσκευή edge-in-a-box επιτρέπει στις επιχειρήσεις να εκτελούν φόρτους εργασίας τεχνητής νοημοσύνης για λεπτομέρεια FM και εξαγωγή συμπερασμάτων στο λειτουργικό άκρο. Αυτή η συσκευή μπορεί να χειριστεί σύνθετες περιπτώσεις χρήσης από το κουτί και δημιουργεί το πλαίσιο hub-and-spoke για κεντρική διαχείριση, αυτοματισμό και αυτοεξυπηρέτηση. Οι αναπτύξεις Edge FM μπορούν να μειωθούν από εβδομάδες σε ώρες με επαναλαμβανόμενη επιτυχία, υψηλότερη ανθεκτικότητα και ασφάλεια.

Μάθετε περισσότερα για τα θεμελιώδη μοντέλα

Βεβαιωθείτε ότι έχετε ελέγξει όλες τις δόσεις αυτής της σειράς αναρτήσεων ιστολογίου σχετικά με τον υπολογισμό αιχμής: