Meta για ανάπτυξη προσαρμοσμένων τσιπ AI παράλληλα με τις GPU AMD, Nvidia

Αναδημοσίευση από τον Πλάτωνα

Ακολουθούν: 0

Μετά από χρόνια ανάπτυξης, η Meta μπορεί επιτέλους να παρουσιάσει τους εγχώριους επιταχυντές τεχνητής νοημοσύνης της με ουσιαστικό τρόπο φέτος.

Η αυτοκρατορία του Facebook επιβεβαίωσε την επιθυμία της να συμπληρώσει τις αναπτύξεις των GPU της Nvidia H100 και της AMD MI300X με την οικογένεια τσιπ Meta Training Inference Accelerator (MTIA) αυτή την εβδομάδα. Συγκεκριμένα, η Meta θα αναπτύξει έναν επεξεργαστή βελτιστοποιημένο ως προς τα συμπεράσματα, φέρεται με την κωδική ονομασία Άρτεμις, βασισμένο στα μέρη πρώτης γενιάς του γίγαντα της Silicon Valley πειράζει πέρυσι.

«Είμαστε ενθουσιασμένοι για την πρόοδο που έχουμε σημειώσει στις εσωτερικές μας προσπάθειες πυριτίου με την MTIA και είμαστε σε καλό δρόμο να ξεκινήσουμε την ανάπτυξη της παραλλαγής συμπερασμάτων μας στην παραγωγή το 2024», δήλωσε εκπρόσωπος της Meta. Το μητρώο την Πέμπτη.

«Βλέπουμε τους εσωτερικά αναπτυγμένους επιταχυντές μας να είναι εξαιρετικά συμπληρωματικοί με τις εμπορικά διαθέσιμες GPU, παρέχοντας τον βέλτιστο συνδυασμό απόδοσης και αποδοτικότητας σε φόρτους εργασίας ειδικά για Meta», συνέχισε ο εκπρόσωπος. Λεπτομέριες? Οχι. Ο εκπρόσωπος μας είπε: «Ανυπομονούμε να μοιραστούμε περισσότερες ενημερώσεις σχετικά με τα μελλοντικά μας σχέδια MTIA αργότερα αυτό το έτος».

Θεωρούμε ότι αυτό σημαίνει ότι το τσιπ δεύτερης γενιάς που εστιάζεται σε συμπεράσματα κυκλοφορεί ευρέως, ακολουθώντας μια έκδοση μόνο εργαστηρίου πρώτης γενιάς για συμπέρασμα, και ενδέχεται να μάθουμε αργότερα για εξαρτήματα που προορίζονται κυρίως για εκπαίδευση ή εκπαίδευση και εξαγωγή συμπερασμάτων.

Η Meta έχει γίνει ένας από τους καλύτερους πελάτες της Nvidia και της AMD, καθώς η ανάπτυξη φόρτου εργασίας AI έχει αυξηθεί, αυξάνοντας την ανάγκη και τη χρήση εξειδικευμένου πυριτίου για να κάνει το λογισμικό μηχανικής εκμάθησης να λειτουργεί όσο το δυνατόν γρηγορότερα. Έτσι, η απόφαση του γίγαντα του Instagram να αναπτύξει τους δικούς του προσαρμοσμένους επεξεργαστές δεν προκαλεί έκπληξη.

Στην πραγματικότητα, η mega-corp, εκ πρώτης όψεως, είναι σχετικά καθυστερημένη στο προσαρμοσμένο πάρτι πυριτίου AI όσον αφορά την ανάπτυξη στον πραγματικό κόσμο. Η Amazon και η Google χρησιμοποιούν οικιακά εξαρτήματα για να επιταχύνουν εσωτερικά συστήματα μηχανικής μάθησης, όπως μοντέλα συστάσεων και κώδικα ML πελατών για μερικά χρόνια. Εν τω μεταξύ, η Microsoft αποκάλυψε τους εγχώριους επιταχυντές της πέρυσι.

Αλλά πέρα από το γεγονός ότι η Meta κυκλοφορεί ένα τσιπ συμπερασμάτων MTIA σε κλίμακα, το κοινωνικό δίκτυο δεν έχει αποκαλύψει την ακριβή αρχιτεκτονική του ούτε ποιους φόρτους εργασίας δεσμεύει για εσωτερικό πυρίτιο και ποιους εκφορτώνει στις GPU της AMD και της Nvidia.

Είναι πιθανό η Meta να εκτελεί καθιερωμένα μοντέλα στα προσαρμοσμένα ASIC της για να ελευθερώσει πόρους GPU για πιο δυναμικές ή εξελισσόμενες εφαρμογές. Έχουμε δει το Meta να ακολουθεί αυτή τη διαδρομή στο παρελθόν με προσαρμοσμένους επιταχυντές που έχουν σχεδιαστεί για να εκφορτώνουν δεδομένα και να υπολογίζουν έντονο φόρτο εργασίας βίντεο.

Όσον αφορά τον υποκείμενο σχεδιασμό, οι παρατηρητές της βιομηχανίας στη SemiAnalysis μας λένε ότι το νέο τσιπ βασίζεται στενά στην αρχιτεκτονική των εξαρτημάτων πρώτης γενιάς της Meta.

Σκαλοπατάκια

Ανακοινώθηκαν στις αρχές του 2023 μετά από τρία χρόνια ανάπτυξης, τα μέρη MTIA v1 της Meta, τα οποία οι φίλοι μας στο Η επόμενη πλατφόρμα κοίταξε την περασμένη άνοιξη, σχεδιάστηκαν ειδικά έχοντας κατά νου τα μοντέλα συστάσεων βαθιάς μάθησης.

Το τσιπ πρώτης γενιάς κατασκευάστηκε γύρω από ένα σύμπλεγμα CPU RISC-V και κατασκευάστηκε χρησιμοποιώντας τη διαδικασία 7nm της TSMC. Κάτω από την κουκούλα, το εξάρτημα χρησιμοποιούσε μια μήτρα οκτώ προς οκτώ στοιχείων επεξεργασίας το καθένα εξοπλισμένο με δύο πυρήνες CPU RV, ο ένας από τους οποίους είναι εξοπλισμένος με διανυσματικές μαθηματικές επεκτάσεις. Αυτοί οι πυρήνες τροφοδοτούνται από μια γενναιόδωρη 128 MB on-chip SRAM και έως 128 GB μνήμης LPDDR5.

Όπως ισχυρίστηκε η Meta πέρυσι, το τσιπ έτρεχε στα 800 MHz και ξεπέρασε με 102.4 τρισεκατομμύρια λειτουργίες ανά δευτερόλεπτο απόδοσης INT8 ή 51.2 teraFLOPS με μισή ακρίβεια (FP16). Συγκριτικά, το H100 της Nvidia είναι ικανό για σχεδόν τέσσερα petaFLOPS αραιής απόδοσης FP8. Αν και δεν είναι τόσο ισχυρό όσο οι GPU της Nvidia ή της AMD, το τσιπ είχε ένα σημαντικό πλεονέκτημα: κατανάλωση ενέργειας. Το ίδιο το τσιπ είχε θερμική ισχύ σχεδιασμού μόλις 25 watt.

Σύμφωνα με Ημι -ανάλυση, το πιο πρόσφατο τσιπ της Meta διαθέτει βελτιωμένους πυρήνες και ανταλλάσσει το LPDDR5 για μνήμη υψηλού εύρους ζώνης συσκευασμένη με χρήση της τεχνολογίας chip-on-wafer-on-substrate (CoWoS) της TSMC.

Μια άλλη αξιοσημείωτη διαφορά είναι ότι το τσιπ δεύτερης γενιάς της Meta θα έχει πραγματικά ευρεία ανάπτυξη σε όλη την υποδομή του κέντρου δεδομένων της. Σύμφωνα με τον τιτάνα του Facebook, ενώ το τμήμα πρώτης γενιάς χρησιμοποιήθηκε για την εκτέλεση διαφημιστικών μοντέλων παραγωγής, δεν έφυγε ποτέ από το εργαστήριο.

Κυνηγώντας την τεχνητή γενική νοημοσύνη

Εκτός από τα προσαρμοσμένα εξαρτήματα, ο γονέας του Facebook και του Instagram έχει απορρίψει δισεκατομμύρια δολάρια σε GPU τα τελευταία χρόνια για την επιτάχυνση όλων των τύπων εργασιών που είναι ακατάλληλες για τις συμβατικές πλατφόρμες CPU. Ωστόσο, η άνοδος μεγάλων μοντέλων γλώσσας, όπως το GPT-4 και το Llama 2 της Meta, άλλαξαν το τοπίο και οδήγησαν στην ανάπτυξη τεράστιων συμπλεγμάτων GPU.

Στην κλίμακα που λειτουργεί η Meta, αυτές οι τάσεις έχουν απαιτήσει δραστικές αλλαγές στην υποδομή της, συμπεριλαμβανομένων των επανασχεδιασμό πολλών κέντρων δεδομένων για την υποστήριξη των τεράστιων απαιτήσεων ισχύος και ψύξης που σχετίζονται με μεγάλες αναπτύξεις τεχνητής νοημοσύνης.

Και οι αναπτύξεις της Meta πρόκειται να γίνουν μεγαλύτερες μόνο τους επόμενους μήνες, καθώς η εταιρεία μετατοπίζει την εστίαση από το metaverse στο ανάπτυξη της τεχνητής γενικής νοημοσύνης. Υποτίθεται ότι η δουλειά που γίνεται στο AI θα βοηθήσει στη δημιουργία του μετασύμπαντος ή κάτι τέτοιο.

Σύμφωνα με τον CEO Mark Zuckerberg, η Meta σχεδιάζει να αναπτύξει έως και 350,000 Nvidia H100 μόνο φέτος.

Η biz ανακοίνωσε επίσης σχέδια για την ανάπτυξη νέων της AMD ξεκίνησε GPU MI300X στα κέντρα δεδομένων του. Ο Ζούκερμπεργκ ισχυρίστηκε ότι η εταιρεία του θα κλείσει το έτος με την ισοδύναμη υπολογιστική ισχύ 600,000 H100. Επομένως, είναι σαφές ότι τα τσιπ MTIA της Meta δεν θα αντικαταστήσουν τις GPU σύντομα. ®