Kinesiske nettgiganter går på $5B Nvidia AI Shopping Spree

Publisert av Platon

Følgere: 0

Kinas største nett- og skyleverandører står i kø for å kjøpe så mange Nvidia GPUer som de kan mens de fortsatt kan få tak i dem.

Akkurat da Det hvite hus annonserte nye restriksjoner på amerikanske teknologiinvesteringer i Midtriket, dukket det opp en rapport hevder at Alibaba, Baidu, ByteDance og Tencent samlet har bestilt 100,000 800 Nvidia A1 GPUer verdt omtrent XNUMX milliard dollar. EN nerfed versjon av Nvs nå tre år gamle A100, ble A800 utviklet for å omgå ytelsesgrenser for eksport av amerikanske AI-akseleratorer til Kina.

Rapporten siterer «folk som er kjent med saken» og legger til at de samme selskapene kjøpte ytterligere 4 milliarder dollar med GPUer for levering neste år. På dette tidspunktet er det imidlertid ikke klart hvilke kort de prøver å få. Hvis vi måtte gjette, Nvidias nyere Hopper GPUer, som Kina-spesifiserte H800 eller potensielt det amerikanske selskapets Ada Lovelace-generasjon av GPUer.

Uten disse brikkene, sa en Baidu-ansatt, ville nettgiganten ikke være i stand til å trene noen betydelige store språkmodeller. LLM-er, inkludert OpenAIs GPT-4, TIIs Falcon-40B og Metas Llama-serie, er livsnerven til generativ AI. Flere av kinesiske organisasjoner er i ferd med å utvikle sine egne LLM-er for å drive konkurrerende tjenester.

USAs eksportrestriksjoner implementert i fjor satte grenser for IO-båndbredden til ikke mer enn 600 GB/sek for AI-akseleratorer solgt til bekymringsland. Disse begrensningene var ment å hindre ytelsen til akseleratorer når de er koblet sammen i nettverk, og begrense deres nytte for parametertunge AI-arbeidsbelastninger.

Kjennelsen hindret kort Nvidia, AMD og Intel fra å selge sin siste generasjon GPUer og akseleratorer i Kina. Men i månedene etter, og med hype rundt generativ AI-vekst, har brikkeprodusenter jobbet med å ettermontere eksisterende kort for å overholde reglene. Nvidia var blant de første som gjorde det med den nevnte A800, som halverte minnet og kuttet sammenkoblingsbåndbredden til to tredjedeler.

Mer nylig, Intel annonsert en Kina-spesifikk versjon av Guadi2 AI-akseleratoren for salg i Kina, mens AMD under sin siste inntjeningssamtale, indikert den jobbet med en GPU som overholdt amerikanske eksportlover for det kinesiske markedet.

Amerikanske lovgivere er trykke for strengere restriksjoner på eksport av AI-akseleratorer til Kina, med noen som tyder på at ytelsesgrensene bør settes enda lavere.

Fullt hjemmelagde kinesiske brikker som er i stand til å erstatte amerikansk produsert eller utviklet silisium, er fortsatt unnvikende. Som vi rapportert tidligere denne uken er Kinas Loongson, et selskap som leder utviklingen av en hjemmelaget CPU, år bak Intel når det gjelder ytelse. Og Alibaba Cloud liker det snakk høyere dens 128-CPU-kjerne serverklasse Yitian 710-prosessor, men husk at kjernene var lisensiert fra Arm.

Mens GPU-er får mye oppmerksomhet for sin rolle i AI-trening, spiller CPUer fortsatt en rolle i slutninger så vel som trening.

Kinesisk GPU-utvikling har også blitt hemmet av restriksjoner på amerikansk åndsverk som brukes av store støperioperatører. Biren Technology, en fabelløs kinesisk brikkeprodusent som utvikler en TSMC-fabrikert datasenter GPU, var tvang å omstrukturere designet for å overholde de samme 600 GB/s sammenkoblingsrestriksjonene som amerikanske brikkeprodusenter, for eksempel.

Det er tegn på at Biden-administrasjonen ser etter ytterligere tiltak for ikke bare å dempe kinesisk tilgang til amerikanske chips, men også finansiering. I tillegg til et tiår forby om kinesisk utvikling for de som benytter seg av 39 milliarder dollar av amerikanske CHIPS-midler, president Joe Biden onsdag signert en executive order som begrenser amerikanske investeringer i kinesiske selskaper som utvikler visse teknologier som gir bekymring.

Ordren søker å unngå amerikanske investorer fra å støtte utviklingen av kinesiske kvantedatabehandlings-, nettverks- og AI-teknologier med militær og etterretningsinnhenting. ®