Rolul CPU în AI/ML sustenabil

Rolul CPU în AI/ML sustenabil

Marca temporală: 29 ianuarie 2024 4:15
Nodul sursă: 3093662

Reclamă Pe măsură ce AI își extinde raza în mediile de calcul de afaceri, impactul său provoacă unele efecte secundare neprevăzute. Cel mai recent IDC FutureScape Raportul, de exemplu, prezice că, pe măsură ce companiile se întrec pentru a introduce produse/servicii îmbunătățite cu inteligența artificială și pentru a-și asista clienții cu implementările de inteligență artificială, tehnologia va deveni un motiv cheie pentru inovare.

O altă schimbare condusă de AI se bazează pe măsura în care centrele de date ar trebui să echilibreze procesoarele cu acceleratoare AI discrete, cum ar fi GPU-uri sau arhitecturi specializate, pentru a oferi capabilitățile de calcul de înaltă performanță pe care le doresc dezvoltatorii AI.

Este o dezbatere care ridică probleme mari pentru proprietarii de centre de date, atât în ​​ceea ce privește investiția suplimentară în CAPEX, cât și probabilitatea ca (în timp ce metodele de măsurare sunt imprecise) operațiunile tipice de AI bazate pe GPU să consume mai multă energie decât sarcinile de lucru IT convenționale.

Abordarea puterii mai mari a AI/carbonului este o problemă suplimentară pentru operațiunile centrelor de date, care trebuie, de asemenea, să asigure că arhitecturile de calcul actualizate optimizate pentru AI pot gestiona cerințele crescute de energie fără riscul de a supraîncărca tehnologia sau instalațiile existente.

Așadar, întrucât reglementarea extinsă în guvernanța durabilității și managementul carbonului împinge operațiunile pentru a reduce consumul de energie pe întreaga gamă de hardware și software IT, AI reprezintă atât o oportunitate, cât și un obstacol.

Reducerea consumului de energie AI

Luate împreună, consumul crescut de energie și reconfigurările arhitecturale necesare pentru a găzdui sarcinile de lucru AI și Machine Learning reprezintă o provocare inexorabilă pentru centrele de date, explică Stephan Gillich, Director al Inteligenței Artificiale GTM în Centrul de Excelență Intel AI.

„Este destul de clar în sectoarele și industriile verticale, oriunde sunt dezvoltate, instruite și rulate aplicații și servicii de AI/învățare automată, că capabilitățile instalațiilor IT on-prem și găzduite în cloud vor trebui să fie supuse unor upgrade-uri pentru a face față unor volume crescute de date. -sarcini de lucru intensive”, spune Gillich. „Este, de asemenea, clar că aceste upgrade-uri vor trebui să implice mai mult decât o simplă creștere a capacității de calcul.”

Se pot face multe pentru a îmbunătăți sustenabilitatea centrelor de date axate pe inteligență artificială, consideră Gillich, începând cu reevaluarea unora dintre ipotezele peisajului AI/învățare automată. Unitățile de procesare sunt un loc bun de început, în special atunci când decideți dacă procesoarele sau GPU-urile sunt mai potrivite pentru sarcină.

Deoarece, în timp ce sarcinile de lucru intensive de calcul specifice AI par să fie în creștere (nimeni nu este destul de sigur în ce ritm), cea mai mare parte a activității din centrele de date (sarcinile de lucru care nu sunt AI) trebuie să continue să scadă zi de zi - oferind aplicații stabile iar fluxurile de venituri din servicii să nu fie perturbate.

Cele mai multe dintre acestea sunt gestionate în prezent de procesoare și reamenajarea unui centru de date standard cu GPU-uri mai costisitoare ar fi, pentru foarte multe facilități, să depășească cerințele. În termeni generali, un GPU consumă mai multă putere decât un procesor pentru a efectua o sarcină similară. În funcție de sursa de alimentare a unei anumite configurații de rack, integrarea GPU-urilor în infrastructura centrului de date necesită upgrade-uri la sistemele de distribuție a energiei, de exemplu, care sunt obligate să aducă costuri inițiale suplimentare, în plus față de facturi mai mari la energie odată ce funcționează.

În plus, dezvoltarea procesorului Intel continuă să inoveze. În mai multe cazuri de utilizare, se poate dovedi că un procesor atinge performanțe generale la fel de bune – și uneori mai bune – ca și un GPU, susține Gillich. Iar performanța lor poate fi sporită cu tehnologie inovatoare, cum ar fi Intel® AMX (Advanced Matrix Extensions), un accelerator încorporat în procesoarele Intel Xeon de a patra generație.

„Procesoarele Intel Xeon pot permite unui centru de date să-și extindă adoptarea AI prin accelerarea AI încorporată care crește performanța procesorului pentru învățare automată, instruire și inferență”, subliniază Gillich. „În acest fel, ei pot adopta acceleratoare discrete pentru a minimiza CAPEX și a maximiza performanța, valorificând în același timp mediile de procesare Intel Xeon existente.”

Trebuie să amestecați sarcinile de lucru AI și non-AI

Intel AMX este un bloc hardware dedicat pe nucleul procesorului Intel Xeon Scalable care permite încărcărilor de lucru AI să ruleze pe CPU în loc să le descarce pe un accelerator discret, oferind o creștere semnificativă a performanței. Este potrivit pentru sarcinile de lucru AI, cum ar fi sistemele de recomandare de învățare automată, recunoașterea imaginilor și procesarea limbajului natural, care se bazează pe matematica matriceală.

Un alt argument în favoarea CPU-urilor augmentate este că acestea oferă o cale rentabilă pentru operatorii de centre de date pentru a-și asuma mai mult angajamentele existente privind CPU, pentru a-și asigura viitorul activelor, astfel încât să poată prelua sarcini mixte și să le plaseze într-o poziție mai bună. controlează consumul general de energie.

Acest lucru, la rândul său, poate ajuta furnizorii de servicii de centre de date (și clienții lor) să atingă obiectivele de durabilitate și oferă un punct de vânzare pentru dezvoltatorii de software (întreprinderi sau terți) care caută o platformă optimizată pentru a prezenta eficiența energetică a codificării lor. iesiri.

„Realitatea este că, în loc să se grăbească asupra oportunităților pe care volumul de lucru AI le poate promite, operatorii de centre de date realizează că ar trebui să ia în considerare o serie de imperative care sunt informate atât de preocupările comerciale, cât și de alegerile tehnologice”, spune Gillich.

Aceste imperative ar putea include: integrarea sarcinilor de lucru AI cu sarcinile non-AI; integrarea diferitelor stive hardware și software; și pentru că doresc să se asigure că au o arhitectură care este potrivită pentru mai multe sarcini de lucru diferite, integrarea diferitelor tipuri de flux de lucru.

„Aceste întrebări indică provocări complexe, deoarece realizarea corectă a acestora are o influență asupra eficienței tehnologice și energetice optime – eficiența energetică fiind acum un etalon de bază de performanță care va afecta din ce în ce mai mult viabilitatea comercială a unui centru de date”, spune Gillich. „Deci din nou, este de cea mai mare importanță.”

Din perspectiva lui Gillich, cheia adaptării la această realitate emergentă este un proces în etape a ceea ce poate fi numit „asimilare AI”. Primul punct este că încărcăturile de lucru AI nu sunt separate de alte tipuri de încărcături de lucru – ele vor fi integrate în sarcinile convenționale, mai degrabă decât să ruleze separat.

Gillich oferă videoconferința ca exemplu al acestei integrări în faze: „Deja în timp ce transmiterea traficului audio/video standard în aplicațiile standard, AI este integrată pentru a efectua sarcini concomitente precum rezumarea, traducerea, transcrierea. Astfel de caracteristici sunt susținute foarte bine de AI.

Economii de energie de la capăt la capăt

Atingerea eficienței energetice trebuie să fie cu adevărat o întreprindere strategică de la capăt la capăt, susține Gillich. „Se întinde pe partea software, precum și pe arhitecturile hardware – mecanismul complet care permite un anumit proces de flux de lucru. Unde sunt stocate datele pentru a face accesul cel mai eficient – ​​din punct de vedere al calculului și, prin urmare, din punct de vedere energetic – acesta este cel mai bun loc pentru eficiența energetică?”

Celălalt factor de inclus în această evaluare este acela de a determina unde rulează volumul de muncă. De exemplu, rulează pe clienți (cum ar fi un computer AI echipat cu procesoare Intel Core Ultra, mai degrabă decât pe servere din centrul de date? Pot fi executate de fapt unele dintre aceste sarcini de lucru AI pe clienți (alături de servere)?

Fiecare opțiune merită luată în considerare dacă va ajuta la o mai bună aliniere a echilibrului AI-calculator/consum de energie, susține Gillich: „Este aproape ca o întoarcere la noțiunea veche de calcul distribuit.”

Gillich adaugă: „Uneori clienții noștri întreabă: „Unde va juca AI?” – răspunsul este că AI va juca peste tot. Deci, la Intel, ambiția noastră se concentrează pe ceea ce s-ar putea numi adaptarea universală a AI, deoarece credem că va intra în toate domeniile de aplicare.”

La Intel, acest lucru include middleware, cum ar fi API-urile, care, la fel ca orice altă parte a stivei de software, trebuie să fie cât mai eficiente posibil. „Extinderea API” poate duce la procesări inutile, la minimizarea amprentei infrastructurii și la lipsa monitorizării și controlului.

"Cu Intel oneAPI, întreprinderile își pot realiza întreaga valoare hardware, pot dezvolta cod de înaltă performanță inter-arhitectură și își pot pregăti aplicațiile pentru nevoile viitoare”, explică Gillich.

„Intel oneAPI este un model de programare deschis, intersectorial, bazat pe standarde, unificat, multiarhitectură, multi-furnizor, care oferă o experiență comună pentru dezvoltatori în arhitecturile acceleratoare – pentru performanță mai rapidă a aplicațiilor și productivitate îmbunătățită. Inițiativa oneAPI încurajează colaborarea cu privire la specificația oneAPI și implementările oneAPI compatibile în ecosistem.”

Gillich adaugă: „oneAPI oferă o stivă de middleware care preia lucruri standard precum AI Frameworks – cum ar fi Pytorch sau TensorFlow [platforma software open-source pentru AI și Machine Learning] – și le traduce la nivel de mașină, iar oneAPI permite o modalitate eficientă de a fa aia. Utilizatorii pot folosi un API comun la nivel de cadru Ai, iar noi avem un API (oneAPI) care se adresează diferitelor variante de hardware.” Deci, un API obișnuit înseamnă că utilizatorii pot crea software deschis care poate fi acceptat pe o stivă de software deschisă.

Performanță la nivel de GPU la prețuri la nivel de CPU

Progresul în IT este determinat în mare măsură de așteptarea unui progres tehnologic continuu, aliat cu îmbunătățirile bazate pe perspectivă în strategiile de implementare. Este un model bazat pe găsirea celui mai bun echilibru posibil între cheltuielile bugetare și rentabilitatea investiției în afaceri și pe așteptarea că există întotdeauna mai multe inovații pentru care să ne străduim. AI reprezintă apogeul acestui ideal – este suficient de inteligent pentru a-și reinventa propria propunere de valoare prin auto-îmbunătățire perpetuă.

Prin construirea acceleratorului AMX în procesoarele Intel Xeon de a 4-a generație, Intel arată cum poate fi atinsă performanța la nivel de GPU la prețuri la nivel de CPU. Acest lucru permite centrelor de date să se extindă, maximizând în același timp valoarea de returnare a stațiunilor lor de procesare existente, alimentate cu Intel Xeon, dar oferă și un model de preț care reduce costul de intrare pentru clienții cu sarcini de lucru AI, dar bugete limitate.

Iar consumul mai mic de energie al procesoarelor înseamnă că eficiența energetică poate fi atinsă în mod holistic pe parcursul întregii operațiuni ale unui centru de date – cum ar fi răcirea și ventilația – și aceasta este o altă atracție câștigătoare pentru arhitecții software și dezvoltatorii de soluții AL care conștientizăm durabilitatea.

Contribuție de Intel.

Timestamp-ul:

Mai mult de la Registrul