Kinesiska webbjättar går på $5 miljarder Nvidia AI Shopping Spree

Återutgiven av Platon

anhängare: 0

Kinas största webb- och molnleverantörer står i kö för att köpa så många Nvidia GPU:er de kan medan de fortfarande kan lägga vantarna på dem.

Precis som Vita huset tillkännagav nya restriktioner för amerikanska teknikinvesteringar i Mellanriket, dök en rapport upp hävdar att Alibaba, Baidu, ByteDance och Tencent tillsammans har beställt 100,000 800 Nvidia A1 GPU:er värda ungefär XNUMX miljard dollar. A nerfed version av Nv:s nu tre år gamla A100, utvecklades A800 för att kringgå prestandagränser för export av amerikanska AI-acceleratorer till Kina.

Med hänvisning till "personer som är bekanta med saken", tillägger rapporten att samma företag köpte ytterligare 4 miljarder USD GPU:er för leverans nästa år. Men vid det här laget är det inte klart vilka kort de försöker få. Om vi var tvungna att gissa, Nvidias nyare Hopper GPU:er, som Kina-specifika H800 eller potentiellt det amerikanska företagets Ada Lovelace generation av GPU:er.

Utan dessa marker, sa en Baidu-anställd, skulle webbjätten inte kunna träna några betydande stora språkmodeller. LLM, inklusive OpenAI:s GPT-4, TII:s Falcon-40B och Metas Llama-serie, är livsnerven för generativ AI. Flera kinesiska organisationer håller på att utveckla sina egna LLM:er för att driva konkurrerande tjänster.

USA:s exportrestriktioner genomföras förra året satte gränser för IO-bandbredden till högst 600 GB/sek för AI-acceleratorer som säljs till länder som är oroande. Dessa begränsningar var avsedda att hindra acceleratorernas prestanda när de är sammankopplade i nätverk, vilket begränsar deras användbarhet för parametertunga AI-arbetsbelastningar.

Domen hindrade kort Nvidia, AMD och Intel från att sälja sin senaste generation av GPU:er och acceleratorer i Kina. Men under månaderna sedan, och med hajpen kring generativ AI-tillväxt, har chiptillverkare arbetat för att eftermontera befintliga kort för att följa reglerna. Nvidia var bland de första att göra det med ovannämnda A800, som halverade minnet och minskade sammankopplingsbandbredden till två tredjedelar.

På senare tid, Intel meddelade en Kina-specifik version av sin Guadi2 AI-accelerator till försäljning i Kina, medan AMD, under sitt senaste resultatsamtal, indikerade det arbetade på en GPU som överensstämde med USA:s exportlagar för den kinesiska marknaden.

Amerikanska lagstiftare är trycka för hårdare begränsningar av exporten av AI-acceleratorer till Kina, med vissa som tyder på att prestandatak bör sättas ännu lägre.

Helt hemmaodlade kinesiska chips som kan ersätta amerikanskt tillverkat eller utvecklat kisel förblir svårfångade. Som vi rapporterade tidigare i veckan ligger kinesiska Loongson, ett företag som leder utvecklingen av en egen processor, flera år efter Intel när det gäller prestanda. Och Alibaba Cloud gillar det prata upp dess 128-CPU-core serverklass Yitian 710-processor, men kom ihåg att dessa kärnor var licensierade från Arm.

Medan GPU:er får mycket uppmärksamhet för sin roll i AI-träning, spelar processorer fortfarande en roll i såväl slutledning som träning.

Kinesisk GPU-utveckling har också hämmats av restriktioner för amerikanska immateriella rättigheter som används av stora gjuterioperatörer. Biren Technology, en fabellös kinesisk chiptillverkare som utvecklar en TSMC-fabbad datacenter-GPU, var tvingas att omstrukturera sin design för att följa samma 600 GB/s sammankopplingsbegränsningar som till exempel amerikanska chiptillverkare.

Det finns tecken på att Biden-administrationen letar efter ytterligare åtgärder för att inte bara begränsa kinesisk tillgång till amerikanska chips, utan också finansiering. Förutom ett tioårigt förbjuda om kinesisk utveckling för dem som utnyttjar de 39 miljarder dollar av amerikanska CHIPS-finansiering, sade president Joe Biden onsdag signerad en exekutiv order som begränsar USA:s investeringar i kinesiska företag som utvecklar vissa teknologier av intresse.

Beställningen syftar till att undvika amerikanska investerare från att stödja utvecklingen av kinesiska kvantberäknings-, nätverks- och AI-tekniker med militär användning och underrättelseinsamling. ®