De rol van de CPU in duurzame AI/ML

Heruitgegeven door Plato

volgers: 0

Advertorial Naarmate AI zijn bereik uitbreidt naar zakelijke computeromgevingen, veroorzaakt de impact ervan een aantal onverwachte domino-effecten. IDC's nieuwste ToekomstScape Het rapport voorspelt bijvoorbeeld dat naarmate bedrijven zich haasten om AI-verbeterde producten/diensten te introduceren en hun klanten te helpen met AI-implementaties, de technologie een belangrijke motivator voor innovatie zal worden.

Een andere door AI aangestuurde verandering draait om de mate waarin datacenters CPU’s moeten balanceren met discrete AI Accelerators, zoals GPU’s of gespecialiseerde architecturen, om de krachtige rekenmogelijkheden te bieden waar AI-ontwikkelaars naar verlangen.

Het is een debat dat grote problemen met zich meebrengt voor eigenaren van datacenters, zowel in termen van extra CAPEX-investeringen als de waarschijnlijkheid dat (hoewel de meetmethoden onnauwkeurig zijn) typische GPU-aangedreven AI-operaties meer stroom verbruiken dan conventionele IT-workloads.

Het omgaan met de hogere energie-/koolstofoverhead van AI is een bijkomend pijnpunt voor datacenteractiviteiten, die er ook voor moeten zorgen dat geüpgradede computerarchitecturen die zijn geoptimaliseerd voor AI de toegenomen stroombehoefte kunnen beheren zonder het risico te lopen bestaande technologie of faciliteiten te overbelasten.

Dus nu uitgebreide regelgeving op het gebied van duurzaamheidsbeheer en CO2-beheer operaties ertoe aanzet het energieverbruik over het hele spectrum van IT-hardware en -software te verminderen, vertegenwoordigt AI zowel kansen als obstakels.

Vermindering van het AI-stroomverbruik

Alles bij elkaar vormen het toegenomen energieverbruik en de noodzakelijke architecturale herconfiguraties die nodig zijn om AI- en Machine Learning-workloads te accommoderen een onverbiddelijke uitdaging voor datacenters, legt Stephan Gillich, directeur van Artificial Intelligence GTM in Intel's AI Center of Excellence, uit.

“Het is vrij duidelijk in verticale sectoren en industrieën, waar AI/Machine Learning-applicaties en -diensten worden ontwikkeld, getraind en uitgevoerd, dat de capaciteiten van on-premise en in de cloud gehoste IT-faciliteiten upgrades zullen moeten ondergaan om met de grotere datavolumes om te gaan -intensieve werkdruk”, zegt Gillich. “Het is ook duidelijk dat deze upgrades meer zullen moeten omvatten dan alleen het vergroten van de computercapaciteit.”

Er kan veel worden gedaan om de duurzaamheid van AI-gerichte datacentra te verbeteren, meent Gillich, te beginnen met het opnieuw evalueren van enkele aannames rond het AI/Machine Learning-landschap. Verwerkingseenheden zijn een goed beginpunt, vooral als u besluit of CPU's of GPU's beter geschikt zijn voor de taak.

Want hoewel AI-specifieke rekenintensieve werklasten lijken toe te nemen (niemand weet precies in welk tempo), moet het grootste deel van het datacenterwerk (de niet-AI-werklasten) dag in dag uit blijven wegsjouwen – wat een stabiele toepassing oplevert. en inkomstenstromen uit diensten mogen niet worden verstoord.

De meeste hiervan worden momenteel afgehandeld door CPU's en het ombouwen van een standaard datacenter met duurdere GPU's zou voor heel veel faciliteiten overbodig zijn. Over het algemeen verbruikt een GPU meer wattage dan een CPU om een vergelijkbare taak uit te voeren. Afhankelijk van de stroomtoevoer naar een bepaalde rackconfiguratie vereist de integratie van GPU's in de datacenterinfrastructuur bijvoorbeeld upgrades van stroomdistributiesystemen, die extra kosten vooraf met zich meebrengen, naast hogere energierekeningen als ze eenmaal draaien.

Bovendien blijft de CPU-ontwikkeling van Intel innoveren. In meerdere gebruiksscenario's kan worden bewezen dat een CPU even goede (en soms betere) algemene prestaties levert als een GPU, betoogt Gillich. En hun prestaties kunnen worden verbeterd met baanbrekende technologie zoals de Intel® AMX (Advanced Matrix Extensions), een accelerator ingebouwd in de 4e generatie Intel Xeon CPU's.

“Intel Xeon-processors kunnen een datacenter in staat stellen zijn AI-adoptie op te schalen via ingebouwde AI-versnelling die de CPU-prestaties voor Machine Learning, training en gevolgtrekking verbetert”, legt Gillich uit. “Op deze manier kunnen ze discrete accelerators gebruiken om CAPEX te minimaliseren en de prestaties te maximaliseren, terwijl ze gebruik maken van bestaande Intel Xeon-verwerkingsomgevingen.”

Het is noodzakelijk om AI- en niet-AI-workloads te combineren

Intel AMX is een speciaal hardwareblok op de Intel Xeon Scalable-processorkern waarmee AI-workloads op de CPU kunnen worden uitgevoerd in plaats van ze over te dragen aan een discrete accelerator, wat een aanzienlijke prestatieverbetering oplevert. Het is geschikt voor AI-workloads zoals Machine Learning-aanbevelingssystemen, beeldherkenning en natuurlijke taalverwerking, die afhankelijk zijn van matrixwiskunde.

Een ander argument vóór augmented CPU's is dat ze datacenterexploitanten een kosteneffectieve route bieden om meer gebruik te maken van bestaande CPU-verplichtingen, hun assets toekomstbestendig te maken zodat ze gemengde werklasten aankunnen en ze in staat stellen om beter te presteren. controle over het totale energieverbruik.

Dit kan op zijn beurt aanbieders van datacenterdiensten (en hun klanten) helpen duurzaamheidsdoelstellingen te halen, en biedt een verkoopargument voor softwareontwikkelaars (onderneming of derde partij) die op zoek zijn naar een geoptimaliseerd platform om de energie-efficiëntie van hun codering te demonstreren. uitgangen.

“De realiteit is dat datacenterexploitanten, in plaats van zich te haasten met de kansen die AI-workloads kunnen bieden, zich realiseren dat ze een reeks imperatieven moeten overwegen die zowel door commerciële belangen als door technologische keuzes worden ingegeven”, zegt Gillich.

Deze imperatieven kunnen het volgende omvatten: de integratie van AI-werklasten met niet-AI-werklasten; de integratie van verschillende hardware- en softwarestacks; en omdat ze ervoor willen zorgen dat ze een architectuur hebben die geschikt is voor meerdere verschillende workloads, de integratie van verschillende soorten workstreams.

“Deze vragen wijzen op complexe uitdagingen, omdat het correct beantwoorden ervan van invloed is op optimale technologische en energie-efficiëntie – waarbij energie-efficiëntie nu een kernprestatiebenchmark is geworden die steeds meer invloed zal hebben op de commerciële levensvatbaarheid van een datacenter”, zegt Gillich. “Dus nogmaals, het is van het allergrootste belang.”

Vanuit het perspectief van Gillich is de sleutel tot aanpassing aan deze opkomende realiteit een stapsgewijs proces van wat ‘AI-assimilatie’ kan worden genoemd. Punt één hier is dat AI-workloads niet gescheiden zijn van andere typen workloads; ze zullen worden geïntegreerd in conventionele workloads, in plaats van afzonderlijk te worden uitgevoerd.

Gillich geeft videoconferenties als voorbeeld van deze gefaseerde integratie: “Tijdens het streamen van standaard audio-/videoverkeer tussen standaardapplicaties, wordt AI geïntegreerd om gelijktijdige taken uit te voeren, zoals samenvatting, vertaling en transcriptie. Dergelijke functies worden zeer goed ondersteund door AI.

End-to-end energiebesparing

Het bereiken van energie-efficiëntie moet een echte end-to-end strategische onderneming zijn, betoogt Gillich. “Het omvat zowel de softwarekant als de hardware-architecturen – het complete mechanisme dat een bepaald workflowproces mogelijk maakt. Waar worden gegevens opgeslagen om de toegang het meest efficiënt te maken – qua computergebruik en dus qua energie – is dat de beste plek voor energie-efficiëntie?

De andere factor die bij deze evaluatie moet worden betrokken, is bepalen waar de werklast zich bevindt. Draait het bijvoorbeeld op clients (zoals een AI-pc uitgerust met Intel Core Ultra-processors, in plaats van op servers in het datacentrum? Kunnen sommige van deze AI-workloads daadwerkelijk op clients worden uitgevoerd (naast servers)?

Elke optie is het overwegen waard als het de balans tussen AI-computergebruik en energieverbruik beter op één lijn wil brengen, betoogt Gillich: “Het is bijna een terugkeer naar het ouderwetse idee van gedistribueerd computergebruik.”

Gillich voegt hieraan toe: “Soms vragen onze klanten: 'Waar zal AI spelen?' – het antwoord is dat AI overal zal spelen. Dus bij Intel is onze ambitie gericht op wat de universele aanpassing van AI zou kunnen worden genoemd, omdat we geloven dat het in alle toepassingsgebieden zal doordringen.”

Bij Intel omvat dit middleware zoals API's, die net als elk ander onderdeel van de softwarestack zo efficiënt mogelijk moeten zijn. 'API-wildgroei' kan leiden tot onnodige verwerking, waardoor de voetafdruk van hun infrastructuur wordt geminimaliseerd en een gebrek aan monitoring en controle.

"Met Intel oneAPIkunnen ondernemingen hun volledige hardwarewaarde realiseren, hoogwaardige code voor meerdere architectuur ontwikkelen en hun applicaties gereed maken voor toekomstige behoeften”, legt Gillich uit.

“Intel oneAPI is een open, sectoroverschrijdend, op standaarden gebaseerd, verenigd, multi-architectuur en multi-vendor programmeermodel dat een gemeenschappelijke ontwikkelaarservaring biedt in alle accelerator-architecturen – voor snellere applicatieprestaties en verbeterde productiviteit. Het oneAPI-initiatief moedigt samenwerking aan op het gebied van de oneAPI-specificatie en compatibele oneAPI-implementaties in het hele ecosysteem.”

Gillich voegt hieraan toe: “oneAPI biedt een middleware-stack die standaardzaken als AI Frameworks – zoals Pytorch of TensorFlow [het open-source softwareplatform voor AI en Machine Learning] – gebruikt en vertaalt op machineniveau, en oneAPI maakt een efficiënte manier mogelijk om doe dat. Gebruikers kunnen een gemeenschappelijke API op Ai-frameworkniveau gebruiken, en we hebben een API (oneAPI) die de verschillende hardwarevarianten aanpakt.” Een gemeenschappelijke API betekent dus dat gebruikers open software kunnen maken die kan worden ondersteund op een open softwarestack.

Prestaties op GPU-niveau tegen prijzen op CPU-niveau

Vooruitgang in IT wordt grotendeels gedreven door de verwachting van voortdurende technologische vooruitgang, gekoppeld aan op inzicht gebaseerde verbeteringen in implementatiestrategieën. Het is een model dat gebaseerd is op het vinden van de best haalbare balans tussen budgetuitgaven en de ROI van het bedrijf, en op de verwachting dat er altijd naar verdere innovatie moet worden gestreefd. AI vertegenwoordigt het hoogtepunt van dit ideaal: het is slim genoeg om zijn eigen waardepropositie opnieuw uit te vinden door voortdurende zelfverbetering.

Door de AMX-accelerator in zijn 4e generatie Intel Xeon CPU's in te bouwen, laat Intel zien hoe prestaties op GPU-niveau kunnen worden bereikt tegen een prijs op CPU-niveau. Hierdoor kunnen datacenters schalen en tegelijkertijd de rendementswaarde van hun bestaande Intel Xeon-aangedreven verwerkingssystemen maximaliseren, maar het biedt ook een prijsmodel dat de instapkosten verlaagt voor klanten met AI-workloads maar een beperkt budget.

En het lagere stroomverbruik van CPU's betekent dat energie-efficiëntie op holistische wijze kan worden bereikt voor alle activiteiten van een datacenterfaciliteit – zoals koeling en ventilatie – en dat is opnieuw een winnende aantrekkingskracht voor duurzaamheidsbewuste softwarearchitecten en ontwikkelaars van AL-oplossingen.

Bijgedragen door Intel.