Η Microsoft ενισχύει την απόδοση της τεχνητής νοημοσύνης με ένα «κουαρτέτο βαρέων μετάλλων» μεταγλωττιστών - Decrypt

Αναδημοσίευση από τον Πλάτωνα

Ακολουθούν: 0

Η Microsoft αποκάλυψε μια σουίτα τεσσάρων νέων μεταγλωττιστών τεχνητής νοημοσύνης που έχουν σχεδιαστεί για τη βελτιστοποίηση της απόδοσης διαφόρων μοντέλων τεχνητής νοημοσύνης. Το «κουαρτέτο βαρέων μετάλλων» των εργαλείων μεταγλώττισης αιχμής φέρει τα ονόματα Rammer, Roller, Welder και Grinder.

Τα εργαλεία αναπτύχθηκαν από τη Microsoft Research σε συνεργασία με διάφορα ακαδημαϊκά ιδρύματα. Παρέχουν προηγμένες λύσεις για τη μεταγλώττιση —βασικά τη μετατροπή από πηγαίο κώδικα (αναγνώσιμος από τον άνθρωπο) σε κώδικα μηχανής (μια δέσμη μονάδων και μηδενικά που κάνουν έναν υπολογιστή εκτελέσιμο)— βασικών μοντέλων τεχνητής νοημοσύνης και την αποτελεσματικότερη εκτέλεση τους σε επιταχυντές υλικού όπως οι GPU.

Σε μια έρευνα της Microsoft ανάρτηση highlighting their capabilities, the company says the compilers build on Microsoft’s extensive research and development in artificial intelligence.

«Οι μεταγλωττιστές τεχνητής νοημοσύνης που αναπτύξαμε έχουν επιδείξει σημαντική βελτίωση στην αποτελεσματικότητα της μεταγλώττισης τεχνητής νοημοσύνης, διευκολύνοντας έτσι την εκπαίδευση και την ανάπτυξη μοντέλων τεχνητής νοημοσύνης», έγραψε ο Jilong Xue, κύριος ερευνητής στο MSR Asia. «Στο μέλλον, αυτά τα μοντέλα μεγάλης κλίμακας μπορεί να βοηθήσουν εγγενώς στην επίτευξη βελτιστοποίησης και μεταγλώττισης».

Οι τέσσερις νέοι μεταγλωττιστές αντιμετωπίζουν ο καθένας ξεχωριστές προκλήσεις στη βελτιστοποίηση του φόρτου εργασίας της τεχνητής νοημοσύνης.

Κόπανος εστιάζει στη μεγιστοποίηση του παραλληλισμού υλικού - την ικανότητα του υλικού να κάνει διαφορετικά πράγματα ταυτόχρονα. Αυτός είναι ένας βασικός παράγοντας στην απόδοση και ο Rammer ελαχιστοποιεί τα έξοδα προγραμματισμού χρόνου εκτέλεσης μέσω βελτιωμένης χρήσης παράλληλων πόρων.

Κύλινδρος ακολουθεί μια διαφορετική προσέγγιση για να επιταχύνει τη μεταγλώττιση, χρησιμοποιώντας έναν αλγόριθμο γρήγορης κατασκευής για την εύρεση λύσεων, δημιουργώντας τελικά βελτιστοποιημένους πυρήνες σε δευτερόλεπτα και όχι σε ώρες. Με άλλα λόγια, το Roller βοηθά στη δημιουργία αποτελεσματικών προγραμμάτων υπολογιστών για τεχνητή νοημοσύνη γρηγορότερα απλοποιώντας τη διαδικασία σχεδιασμού.

Μεταλοκολλητής μειώνει την ακριβή κίνηση πρόσβασης στη μνήμη συνδέοντας χειριστές σε έναν συγκεντρωμένο αγωγό. Ενοποιεί τις βελτιστοποιήσεις μνήμης σε ένα ενιαίο πλαίσιο για μεγαλύτερη απόδοση.

Τέλος, Τραπεζίτης επιτρέπει την εκτέλεση ροής ελέγχου σε επιταχυντές ενσωματώνοντάς τον με τη ροή δεδομένων. Αυτό επιτρέπει τη βελτιστοποίηση πέρα από τα όρια ροής ελέγχου. Σκεφτείτε το σαν ένας ειδικός που καθοδηγεί τα βήματα ενός μαθητευόμενου, λέγοντάς του τι να κάνει για να γίνει η δουλειά πιο γρήγορα.

Ως ένας από τους κορυφαίους τεχνολογικούς γίγαντες, η Microsoft βρίσκεται στην πρώτη γραμμή της εξέλιξης της τεχνητής νοημοσύνης. Η εταιρεία έχει συνεργαστεί στενά με την ερευνητική εταιρεία τεχνητής νοημοσύνης OpenAI σε μεγάλα γλωσσικά μοντέλα όπως τα GPT-3.5 και GPT-4, τα οποία τροφοδοτούν το ChatGPT και το Bing Chat. Πιο πρόσφατα, η Microsoft συνεργάζεται με τον Meta για να ενσωματώσει το LLaMA-2 στη λύση υπολογιστικού νέφους του και εισήγαγε μια τεχνική που ονομάζεται το Αλγόριθμος Σκέψεων για να βελτιώσετε τη συλλογιστική σε μοντέλα όπως το ChatGPT.

Οι δοκιμές διαπίστωσαν ότι οι μεταγλωττιστές ξεπέρασαν σημαντικά τις υπάρχουσες λύσεις στα σημεία αναφοράς. Ο Rammer ξεπέρασε τους άλλους μεταγλωττιστές έως και 20 φορές στις GPU. Ο κύλινδρος ταίριαξε ή ξεπέρασε τις επιδόσεις αιχμής, ενώ μείωσε τον χρόνο μεταγλώττισης κατά τάξεις μεγέθους. Το Welder ξεπέρασε τα πλαίσια όπως το PyTorch έως και 21 φορές σε GPU. Μοντέλα με επιτάχυνση μύλου με ροή ελέγχου έως και 8x.

Το κουαρτέτο χέβι μέταλ καταδεικνύει τη συνεχή ηγετική θέση της Microsoft στο σχεδιασμό καινοτόμων συστημάτων AI —και στην εξεύρεση διασκεδαστικών ονομάτων για τα προϊόντα της. Ενώ μεγάλες συνεργασίες στον χώρο της τεχνητής νοημοσύνης όπως αυτή με το OpenAI τραβήξτε τίτλους, η εταιρεία αναπτύσσει επίσης ενεργά ζωτικής σημασίας υποδομή λογισμικού για να ενδυναμώσει την τεχνητή νοημοσύνη στα παρασκήνια.

Με σημαντικά κέρδη απόδοσης σε σχέση με τις υπάρχουσες λύσεις, τα Rammer, Roller, Welder και Grinder θα μπορούσαν να παρέχουν βασικά ανταγωνιστικά πλεονεκτήματα καθώς εμφανίζονται πιο περίπλοκοι φόρτοι εργασίας AI.