Kinesiske webgiganter går på $5B Nvidia AI Shopping Spree

Genudgivet af Platon

Abonnenter: 0

Kinas største web- og cloud-udbydere står i kø for at købe så mange Nvidia GPU'er, som de kan, mens de stadig kan få fingrene i dem.

Ligesom Det Hvide Hus annoncerede nye restriktioner for amerikanske teknologiinvesteringer i Mellemriget, dukkede en rapport op hævder at Alibaba, Baidu, ByteDance og Tencent tilsammen har bestilt 100,000 Nvidia A800 GPU'er til en værdi af omkring 1 milliard dollars. EN nerfed version af Nv's nu tre år gamle A100, blev A800 udviklet til at omgå ydeevnegrænser for eksport af amerikanske AI-acceleratorer til Kina.

Med henvisning til "folk, der er bekendt med sagen", tilføjer rapporten, at de samme virksomheder købte yderligere $4 milliarder GPU'er til levering næste år. På nuværende tidspunkt er det dog ikke klart, hvilke kort de forsøger at få. Hvis vi skulle gætte, Nvidias nyere Hopper GPU'er, som Kina-spec H800 eller potentielt det amerikanske selskabs Ada Lovelace generation af GPU'er.

Uden disse chips, sagde en Baidu-medarbejder, ville webgiganten ikke være i stand til at træne nogen væsentlige store sprogmodeller. LLM'er, inklusive OpenAI's GPT-4, TII's Falcon-40B og Metas Llama-serie, er livsnerven i generativ AI. Flere af kinesiske organisationer er i gang med udvikling deres egne LLM'er til at drive konkurrerende tjenester.

USA's eksportrestriktioner implementeret sidste år satte grænser for IO-båndbredden på højst 600 GB/sek. for AI-acceleratorer, der sælges til bekymringslande. Disse begrænsninger var beregnet til at hæmme acceleratorernes ydeevne, når de er forbundet i netværk, hvilket begrænser deres anvendelighed til parametertunge AI-arbejdsbelastninger.

Afgørelsen forhindrede kortvarigt Nvidia, AMD og Intel i at sælge deres seneste generation af GPU'er og acceleratorer i Kina. Men i månederne efter, og med hype omkring vækst af generativ AI, har chipproducenter arbejdet på at eftermontere eksisterende kort for at overholde reglerne. Nvidia var blandt de første til at gøre det med den førnævnte A800, som halverede hukommelsen og reducerede sammenkoblingsbåndbredden til to tredjedele.

For nylig, Intel annoncerede en Kina-specifik version af sin Guadi2 AI-accelerator til salg i Kina, mens AMD under sit seneste indtjeningsopkald, angivet det arbejdede på en GPU, der overholdt amerikanske eksportlove for det kinesiske marked.

Det er amerikanske lovgivere trykke for strengere begrænsninger på eksporten af AI-acceleratorer til Kina, hvor nogle tyder på, at ydeevnegrænserne bør sættes endnu lavere.

Fuldt hjemmedyrkede kinesiske chips, der er i stand til at erstatte amerikansk fremstillet eller udviklet silicium, forbliver uhåndgribelige. Som vi rapporteret tidligere på ugen er Kinas Loongson, et firma, der leder udviklingen af en hjemmelavet CPU, år bagefter Intel med hensyn til ydeevne. Og Alibaba Cloud kan godt lide det tale op dens 128-CPU-core server-klasse Yitian 710 processor, men husk at disse kerner var licenseret fra Arm.

Mens GPU'er får meget opmærksomhed for deres rolle i AI-træning, spiller CPU'er stadig en rolle i inferencing såvel som træning.

Kinesisk GPU-udvikling er også blevet hæmmet af restriktioner på amerikansk intellektuel ejendomsret, der bruges af store støberioperatører. Biren Technology, en fabelløs kinesisk chipproducent, der udvikler en TSMC-fabrikeret datacenter GPU, var tvunget at omstrukturere sit design til at overholde de samme 600 GB/s sammenkoblingsrestriktioner som amerikanske chipproducenter, for eksempel.

Der er tegn på, at Biden-administrationen leder efter yderligere foranstaltninger for ikke kun at begrænse kinesisk adgang til amerikanske chips, men også finansiering. Ud over en ti-årig forbyde om kinesisk udvikling for dem, der benytter sig af de 39 milliarder dollars i US CHIPS-finansiering, sagde præsident Joe Biden onsdag underskrevet en bekendtgørelse, der begrænser amerikanske investeringer i kinesiske virksomheder, der udvikler visse teknologier, der giver anledning til bekymring.

Ordren søger at undgå amerikanske investorer i at støtte udviklingen af kinesiske kvantecomputere, netværk og AI-teknologier med militær og efterretningsindsamlingsbrug. ®