Meta för att distribuera anpassade AI-chips tillsammans med AMD, Nvidia GPU:er

Återutgiven av Platon

anhängare: 0

Efter år av utveckling kan Meta äntligen rulla ut sina hemmagjorda AI-acceleratorer på ett meningsfullt sätt i år.

Facebook-imperiet bekräftade sin önskan att komplettera distributionerna av Nvidia H100 och AMD MI300X GPU:er med sin Meta Training Inference Accelerator (MTIA) familj av chips denna vecka. Specifikt kommer Meta att distribuera en slutledningsoptimerad processor, enligt uppgift kodnamnet Artemis, baserad på Silicon Valley-jättens första generationens delar retad förra året.

"Vi är entusiastiska över de framsteg vi har gjort med våra interna kiselsatsningar med MTIA och är på väg att börja implementera vår slutledningsvariant i produktionen 2024," sa en talesperson för Meta. Registret på torsdag.

"Vi ser att våra internt utvecklade acceleratorer är mycket komplementära till kommersiellt tillgängliga GPU:er för att leverera den optimala blandningen av prestanda och effektivitet på Meta-specifika arbetsbelastningar," fortsatte representanten. Detaljer? Nej. Talesmannen sa till oss: "Vi ser fram emot att dela fler uppdateringar om våra framtida MTIA-planer senare i år."

Vi uppfattar det som att det andra generationens slutledningsfokuserade chipet rullar ut brett, efter en första generationens labbversion för slutledning, och vi kan senare få reda på delar som främst är avsedda för träning eller träning och slutledning.

Meta har blivit en av Nvidia och AMD:s bästa kunder i takt med att dess användning av AI-arbetsbelastningar har växt, vilket ökar dess behov och användning av specialiserat kisel för att få dess maskininlärningsprogram att köras så snabbt som möjligt. Därför är Instagram-jättens beslut att utveckla sina egna anpassade processorer inte så överraskande.

Faktum är att mega-företaget, på ytan, är relativt sent till den anpassade AI-kiselfesten när det gäller implementering i verkliga världen. Amazon och Google har använt egentillverkade komponenter för att accelerera interna maskininlärningssystem, såsom rekommendationsmodeller och kund ML-kod under några år. Samtidigt avslöjade Microsoft sina hemmagjorda acceleratorer förra året.

Men utöver det faktum att Meta rullar ut ett MTIA-inferenschip i stor skala, har det sociala nätverket inte avslöjat sin exakta arkitektur eller vilka arbetsbelastningar det reserverar för internt kisel och vilka det lastar av till AMD och Nvidias GPU:er.

Det är troligt att Meta kommer att köra etablerade modeller på sina anpassade ASIC:er för att frigöra GPU-resurser för mer dynamiska eller utvecklande applikationer. Vi har sett Meta gå den här vägen tidigare med anpassade acceleratorer utformade för att ladda ner data och beräkna intensiva videoarbetsbelastningar.

När det gäller den underliggande designen berättar industribevakarna på SemiAnalysis att det nya chippet är nära baserad på arkitekturen i Metas första generationsdelar.

Språngbrädor

Tillkännagav i början av 2023 efter tre års utveckling, Metas MTIA v1-delar, som våra vänner på Nästa plattform tittade på förra våren, designades specifikt med djupinlärningsrekommendationsmodeller i åtanke.

Den första generationens chip byggdes runt ett RISC-V CPU-kluster och tillverkades med TSMC:s 7nm-process. Under huven använde komponenten en åtta gånger åtta matris av bearbetningselement som var och en var utrustad med två RV CPU-kärnor, varav en är utrustad med vektormatematiktillägg. Dessa kärnor matas från generösa 128 MB on-chip SRAM och upp till 128 GB LPDDR5-minne.

Som Meta hävdade förra året körde chippet på 800 MHz och toppade med 102.4 biljoner operationer per sekund av INT8-prestanda eller 51.2 teraFLOPS med halv precision (FP16). Som jämförelse kan Nvidias H100 klara nästan fyra petaFLOPS glesa FP8-prestanda. Även om det inte var så kraftfullt som varken Nvidia eller AMD:s GPU:er, hade chippet en stor fördel: Strömförbrukning. Själva chippet hade en termisk designeffekt på bara 25 watt.

Enligt Semi -analys, Metas senaste chip har förbättrade kärnor och byter ut LPDDR5 mot minne med hög bandbredd som paketerats med TSMC:s chip-on-wafer-on-substrat (CoWoS)-teknik.

En annan anmärkningsvärd skillnad är att Metas andra generations chip faktiskt kommer att få en omfattande distribution över sin datacenterinfrastruktur. Enligt Facebook-titanen, medan den första generationens del användes för att köra produktionsreklammodeller, lämnade den aldrig labbet.

Jagar artificiell allmän intelligens

Anpassade delar åt sidan har Facebook- och Instagram-föräldern dumpat miljarder av dollar på GPU:er under de senaste åren för att påskynda alla möjliga uppgifter som är dåligt lämpade för konventionella CPU-plattformar. Framväxten av stora språkmodeller, som GPT-4 och Metas egen Llama 2, har dock förändrat landskapet och drivit utbyggnaden av massiva GPU-kluster.

I den skala Meta verkar har dessa trender krävt drastiska förändringar av dess infrastruktur, inklusive redesign av flera datacenter för att stödja de enorma kraft- och kylningskrav som är förknippade med stora AI-distributioner.

Och Metas implementeringar kommer bara att bli större under de närmaste månaderna när företaget flyttar fokus från metaversen till utveckling artificiell allmän intelligens. Antagligen kommer arbete på AI att hjälpa till att bilda metaversen eller något liknande.

Enligt vd Mark Zuckerberg planerar Meta att distribuera så många som 350,000 100 Nvidia HXNUMX bara i år.

The biz tillkännagav också planer på att distribuera AMD:s nya lanserades MI300X GPU:er i sina datacenter. Zuckerberg hävdade att hans företag skulle avsluta året med motsvarande beräkningskraft på 600,000 100 HXNUMX. Så uppenbarligen kommer Metas MTIA-chips inte att ersätta GPU:er snart. ®