Meta zur Bereitstellung benutzerdefinierter KI-Chips neben AMD- und Nvidia-GPUs

Meta zur Bereitstellung benutzerdefinierter KI-Chips neben AMD- und Nvidia-GPUs

Zeitstempel: 2. Februar 2024, 5:36 Uhr
Quellknoten: 3093660

Nach Jahren der Entwicklung könnte Meta in diesem Jahr endlich seine selbst entwickelten KI-Beschleuniger auf sinnvolle Weise einführen.

Das Facebook-Imperium bestätigte diese Woche seinen Wunsch, den Einsatz von Nvidia H100- und AMD MI300X-GPUs durch seine Meta Training Inference Accelerator (MTIA)-Chipfamilie zu ergänzen. Konkret wird Meta einen inferenzoptimierten Prozessor einsetzen, angeblich mit dem Codenamen Artemis, basierend auf den Teilen der ersten Generation des Silicon-Valley-Riesen gehänselt letztes Jahr.

„Wir freuen uns über die Fortschritte, die wir bei unseren internen Siliziumbemühungen mit MTIA gemacht haben, und sind auf dem besten Weg, im Jahr 2024 mit der Bereitstellung unserer Inferenzvariante in der Produktion zu beginnen“, sagte ein Meta-Sprecher Das Register am Donnerstag.

„Wir glauben, dass unsere intern entwickelten Beschleuniger die kommerziell erhältlichen GPUs hervorragend ergänzen, indem sie die optimale Mischung aus Leistung und Effizienz für Meta-spezifische Arbeitslasten liefern“, fuhr der Vertreter fort. Einzelheiten? Nein. Der Sprecher sagte uns: „Wir freuen uns darauf, später in diesem Jahr weitere Updates zu unseren zukünftigen MTIA-Plänen zu veröffentlichen.“

Wir gehen davon aus, dass der Chip der zweiten Generation, der sich auf Inferenzen konzentriert, weit verbreitet ist und auf eine reine Laborversion der ersten Generation für Inferenzen folgt. Möglicherweise erfahren wir später etwas über Teile, die hauptsächlich für Training oder Training und Inferenz gedacht sind.

Meta hat sich zu einem der besten Kunden von Nvidia und AMD entwickelt, da der Einsatz von KI-Workloads zugenommen hat und der Bedarf und Einsatz von Spezialchips gestiegen ist, um die Software für maschinelles Lernen so schnell wie möglich laufen zu lassen. Daher ist die Entscheidung des Instagram-Riesen, eigene kundenspezifische Prozessoren zu entwickeln, nicht allzu überraschend.

Tatsächlich ist der Megakonzern, was den Einsatz in der realen Welt betrifft, auf den ersten Blick relativ spät dran an der kundenspezifischen KI-Silizium-Partei. Amazon und Google verwenden seit einigen Jahren selbst entwickelte Komponenten, um interne maschinelle Lernsysteme wie Empfehlungsmodelle und Kunden-ML-Code zu beschleunigen. Unterdessen hat Microsoft letztes Jahr seine selbst entwickelten Beschleuniger vorgestellt.

Aber abgesehen von der Tatsache, dass Meta einen MTIA-Inferenzchip in großem Maßstab auf den Markt bringt, hat das soziale Netzwerk weder seine genaue Architektur bekannt gegeben noch welche Arbeitslasten es für hauseigene Chips reserviert und welche es auf die GPUs von AMD und Nvidia verlagert.

Es ist wahrscheinlich, dass Meta etablierte Modelle auf seinen benutzerdefinierten ASICs ausführen wird, um GPU-Ressourcen für dynamischere oder sich weiterentwickelnde Anwendungen freizugeben. Wir haben bereits gesehen, dass Meta diesen Weg mit benutzerdefinierten Beschleunigern eingeschlagen hat, die darauf ausgelegt sind, Daten auszulagern und intensive Video-Workloads zu berechnen.

Was das zugrunde liegende Design angeht, sagen uns die Branchenbeobachter von SemiAnalysis, dass der neue Chip eng an der Architektur der Meta-Teile der ersten Generation angelehnt ist.

Trittsteine

Nach drei Jahren Entwicklungszeit wurden Anfang 2023 Metas MTIA v1-Teile angekündigt, die unsere Freunde bei Die nächste Plattform sah im letzten Frühjahr wurden speziell für Deep-Learning-Empfehlungsmodelle entwickelt.

Der Chip der ersten Generation wurde um einen RISC-V-CPU-Cluster herum aufgebaut und im 7-nm-Prozess von TSMC hergestellt. Unter der Haube nutzte die Komponente eine Acht-mal-Acht-Matrix aus Verarbeitungselementen, die jeweils mit zwei RV-CPU-Kernen ausgestattet waren, von denen einer mit Vektor-Mathe-Erweiterungen ausgestattet ist. Diese Kerne werden von großzügigen 128 MB On-Chip-SRAM und bis zu 128 GB LPDDR5-Speicher gespeist.

Wie Meta letztes Jahr behauptete, lief der Chip mit 800 MHz und erreichte eine Höchstleistung von 102.4 Billionen Operationen pro Sekunde INT8-Leistung oder 51.2 TeraFLOPS bei halber Präzision (FP16). Im Vergleich dazu schafft Nvidias H100 fast vier PetaFLOPS bei spärlicher FP8-Leistung. Der Chip war zwar bei weitem nicht so leistungsstark wie die GPUs von Nvidia oder AMD, hatte aber einen großen Vorteil: Stromverbrauch. Der Chip selbst hatte eine thermische Designleistung von nur 25 Watt.

Laut SemiAnalyse, Metas neuester Chip verfügt über verbesserte Kerne und tauscht LPDDR5 gegen Speicher mit hoher Bandbreite ein, der mit der Chip-on-Wafer-on-Substrat (CoWoS)-Technologie von TSMC verpackt ist.

Ein weiterer bemerkenswerter Unterschied besteht darin, dass der Chip der zweiten Generation von Meta tatsächlich in der gesamten Rechenzentrumsinfrastruktur weit verbreitet eingesetzt wird. Laut dem Facebook-Titan wurde der Teil der ersten Generation zwar für den Betrieb von Produktionswerbemodellen verwendet, verließ aber nie das Labor.

Auf der Jagd nach künstlicher allgemeiner Intelligenz

Abgesehen von benutzerdefinierten Teilen hat die Facebook- und Instagram-Muttergesellschaft abgeladen Milliarden In den letzten Jahren wurde viel Geld in GPUs investiert, um alle Arten von Aufgaben zu beschleunigen, die für herkömmliche CPU-Plattformen ungeeignet sind. Allerdings hat der Aufstieg großer Sprachmodelle wie GPT-4 und Metas eigenes Llama 2 die Landschaft verändert und den Einsatz riesiger GPU-Cluster vorangetrieben.

In dem Umfang, in dem Meta tätig ist, haben diese Trends drastische Änderungen an seiner Infrastruktur erforderlich gemacht, einschließlich der Redesign von mehreren Rechenzentren, um den immensen Strom- und Kühlbedarf zu decken, der mit großen KI-Implementierungen verbunden ist.

Und die Bereitstellungen von Meta werden in den nächsten Monaten nur noch größer, da das Unternehmen seinen Fokus vom Metaversum auf das Metaversum verlagert Entwicklung der künstlichen allgemeinen Intelligenz. Angeblich wird die Arbeit an der KI dabei helfen, das Metaversum oder etwas Ähnliches zu bilden.

Laut CEO Mark Zuckerberg plant Meta allein in diesem Jahr den Einsatz von bis zu 350,000 Nvidia H100.

Das Unternehmen kündigte außerdem Pläne an, AMDs neu einzusetzen ins Leben gerufen MI300X-GPUs in seinen Rechenzentren. Zuckerberg behauptete, sein Unternehmen werde das Jahr mit der Rechenleistung von 600,000 H100 abschließen. Es ist also klar, dass die MTIA-Chips von Meta die GPUs in absehbarer Zeit nicht ersetzen werden. ®

Zeitstempel:

Mehr von Das Register