In 2022, v-am povestit despre noile îmbunătățiri pe care le-am adus Scalare gestionată Amazon EMR, care a contribuit la îmbunătățirea utilizării clusterului, precum și la reducerea costurilor clusterului. În 2023, suntem bucuroși să raportăm că echipa Amazon EMR a muncit din greu. Am lucrat înapoi de la cerințele clienților și am lansat mai multe funcții noi pentru a vă îmbunătăți Amazon EMR pe gestionarea capacității clusterelor EC2 și experiența de scalare.
Amazon EMR este soluția de big data în cloud pentru procesarea datelor la scară petabyte, analiză interactivă și învățarea automată (ML) folosind cadre open-source, cum ar fi Apache Spark, Apache Hive, și Presto. Clienții ne-au cerut funcții care să îmbunătățească și mai mult gestionarea capacității și experiența de scalare a EMR lor pe clusterele EC2, inclusiv clusterele lor mari, de lungă durată. Am muncit din greu pentru a satisface aceste nevoi. Următoarele sunt câteva dintre îmbunătățirile cheie:
- Transparență și flexibilitate sporite pentru clienți cu expirarea timpului de aprovizionare pentru Instanțele Spot
- Scalarea optimizată a nodurilor de activitate pentru Amazon EMR pe clusterele EC2 lansate cu grupuri de instanțe
- Reziliență îmbunătățită la locul de muncă cu protecție îmbunătățită pentru șoferii Spark
Să ne aprofundăm și să discutăm în detaliu noile funcții Amazon EMR despre EC2.
Transparență și flexibilitate sporite pentru clienți cu expirarea timpului de aprovizionare pentru Instanțele Spot
Mulți clienți Amazon EMR folosesc Instanțe spot EC2 pentru EMR lor pe clusterele EC2 pentru a reduce costurile. Instanțele spot sunt de rezervă Cloud Elastic de calcul Amazon Capacitate de calcul (Amazon EC2) oferită la reduceri de până la 90% în comparație cu prețul la cerere. Amazon EMR vă oferă capacitatea de a vă scala clusterul fie manual, fie prin utilizarea Scalare automată. Puteți utiliza, de asemenea, Scalare gestionată Amazon EMR caracteristică pentru a vă redimensiona automat clusterul în funcție de volumul de lucru și utilizare.
Pentru a îmbunătăți experiența clienților la extinderea utilizând Instanțele Spot, pentru EMR pe clusterele EC2 lansate folosind flote de instanțe, acum puteți specifica un timeout de aprovizionare pentru Instanțele Spot. Un timeout de aprovizionare va spune Amazon EMR să oprească furnizarea capacității de instanță spot dacă clusterul depășește un prag de timp specificat în timpul operațiunilor de scalare a clusterului. Puteți configura timpul de expirare pentru aprovizionarea instanței Spot pentru clusterele redimensionate manual sau folosind Amazon EMR Managed Scaling și Auto Scaling.
În plus, pentru a oferi o mai bună transparență, atunci când expiră perioada de expirare, Amazon EMR va trimite automat evenimente către un Evenimente Amazon CloudWatch curent. Cu aceste evenimente CloudWatch, puteți crea reguli care potrivesc evenimentele conform unui model specificat, apoi puteți direcționa evenimentele către ținte pentru a lua măsuri. Pentru a afla mai multe, vă rugăm să consultați Personalizați o perioadă de expirare a provizionării pentru redimensionarea clusterului în Amazon EMR.
Vă rugăm să găsiți rezumat mai jos experiența pentru diferite scenarii când configurați o perioadă de expirare a provizionării în timpul redimensionării pentru Amazon EMR pe clusterul EC2
Scenariu | Experiență |
Amazon EMR poate furniza capacitatea Spot dorită înainte de expirarea perioadei de expirare a aprovizionării | Amazon EMR crește automat clusterul la capacitatea dorită și nu este necesară nicio acțiune din partea clientului |
Amazon EMR nu poate furniza nicio capacitate Spot sau poate furniza doar capacitate Spot parțială și expirarea timpului de aprovizionare a expirat | Dacă Amazon EMR nu poate furniza capacitatea Spot necesară și expirarea timpului de aprovizionare a expirat, Amazon EMR va anula cererea de redimensionare și va opri încercările sale de a furniza capacitate Spot suplimentară. Amazon EMR va publica, de asemenea, evenimente într-un flux Amazon CloudWatch Events. Clienții pot folosi aceste evenimente pentru a crea reguli și a lua măsuri adecvate |
Dacă instanțele Spot din clusterele dvs. Amazon EMR pe EC2 sunt întrerupte deoarece Amazon EC2 are nevoie de ele înapoi | Amazon EMR va declanșa automat o nouă solicitare de redimensionare pentru a vă reechilibra clusterele prin înlocuirea instanțelor cu oricare dintre tipurile disponibile în clusterul dvs. Amazon EMR va folosi, de asemenea, aceeași perioadă de expirare a redimensionării de provizionare care a fost configurată pe cluster. Nu este necesară nicio acțiune din partea clientului. |
Ar trebui să luați în considerare criticitatea disponibilității capacității atunci când specificați valoarea de expirare a provizionului:
- Când disponibilitatea capacității încărcăturii dvs. de lucru este critică - Pentru a vă asigura că capacitatea dorită este disponibilă, vă recomandăm să configurați timpul de expirare a provizionării redimensionate în funcție de timpul necesar pentru a rula aplicația și SLA-urile aplicației. De exemplu, dacă SLA pentru aplicație este de 60 de minute și durează 30 de minute pentru ca aplicația să se finalizeze, ar trebui să setați timpul de expirare a redimensionării aprovizionării la 30 de minute sau mai puțin. Amazon EMR va încerca să furnizeze pentru a obține capacitate Spot până când expiră timpul de expirare (30 de minute sau mai puțin) și va publica un eveniment CloudWatch, astfel încât să puteți lua măsurile corespunzătoare.
- Când volumul de muncă este flexibil în timp și disponibilitatea capacității nu este un factor - Dacă volumul de lucru este flexibil în timp și disponibilitatea capacității nu este un factor, pentru a asigura cea mai mare probabilitate de obținere a capacității Spot dorite, puteți configura o valoare de timeout mai mare pentru timeout-ul de redimensionare.
Scalarea optimizată a nodurilor de activitate pentru Amazon EMR pe clusterele EC2 lansate cu grupuri de instanțe
Grupurile de instanțe oferă o configurare mai simplă pentru a lansa EMR pe clusterele EC2. Fiecare cluster lansat folosind grupuri de instanțe poate include până la 50 de grupuri de instanțe: un grup de instanțe primar care conține o instanță EC2, un grup de instanțe de bază care conține una sau mai multe instanțe EC2 și până la 48 de grupuri de instanțe opționale. Puteți scala fiecare grup de instanțe adăugând și eliminând manual instanțele EC2 sau puteți configura scalarea automată. De asemenea, puteți utiliza caracteristica Amazon EMR Managed Scaling pentru a vă redimensiona automat clusterul în funcție de volumul de lucru și de utilizare.
Pentru a îmbunătăți experiența clienților pentru grupurile de instanțe pe EMR pe clustere EC2 atunci când scalați nodurile de activități utilizând Amazon EMR Managed Scaling, am îmbunătățit algoritmul de scalare gestionat pentru a alege grupurile de instanțe de activități care au cea mai mare probabilitate de a dobândi capacitate. În plus, atunci când scalarea gestionată nu poate dobândi capacitate cu un singur grup de instanțe de activități, pentru a reduce orice întârziere de extindere, Amazon EMR va trece automat la un alt grup de activități și va îndeplini capacitatea utilizând mai multe grupuri de instanțe de activități. În consecință, cu cât sunteți mai flexibil în ceea ce privește tipurile de instanțe, cu atât sunt mai mari șansele de a furniza capacitatea. Pentru a afla mai multe, consultați Cele mai bune practici, de exemplu, și flexibilitatea zonei de disponibilitate.
Reziliență îmbunătățită la locul de muncă cu protecție îmbunătățită pentru șoferii Spark
In 2022, pentru a îmbunătăți rezistența sarcinii atunci când se utilizează Amazon EMR Managed Scaling, am îmbunătățit scalarea gestionată pentru a fi conștientă de datele Spark shuffle, ceea ce împiedică reducerea la scară a instanțelor care stochează date de amestecare intermediare pentru Apache Spark. Acest lucru ajută la prevenirea reîncercărilor și recomputărilor de locuri de muncă, ceea ce duce la performanțe mai bune și la costuri mai mici.
Pentru a îmbunătăți și mai mult reziliența locului de muncă atunci când folosim Amazon EMR Managed Scaling, am îmbunătățit și mai mult scalarea gestionată pentru a fi conștienți de Spark Driver, ceea ce asigură că în timpul reducerii clusterului, Amazon EMR Managed Scaling acordă prioritate reducerii nodurilor care nu au un Spark Driver activ care rulează pe ele. Acest lucru ajută la minimizarea eșecurilor și reîncercării lucrărilor, contribuind la îmbunătățirea în continuare a performanței și la reducerea costurilor. Această îmbunătățire este activată în mod implicit pentru clusterele EMR care utilizează Amazon EMR versiunile 5.34.0 și ulterioare și Amazon EMR versiunile 6.4.0 și ulterioare.
Pentru a confirma ce noduri din clusterul dvs. rulează Spark Driver, puteți accesa Spark History Server și puteți filtra pentru driver pe Executori fila ID-ului aplicației Spark.
Concluzie
În această postare, am evidențiat îmbunătățirile pe care le-am adus în managementul capacității și Amazon EMR Managed Scaling pentru EMR pe clusterele EC2. Ne-am concentrat pe îmbunătățirea rezilienței muncii, a flexibilității și a transparenței sporite atunci când furnizam Instanțele Spot și pe optimizarea experienței de extindere atunci când folosim scalarea gestionată cu grupuri de instanțe pe Amazon EMR pe clusterele EC2. Deși am lansat mai multe funcții până acum în 2023 și ritmul inovației continuă să se accelereze, rămâne ziua 1 și așteptăm cu nerăbdare să auzim de la tine despre modul în care aceste funcții te ajută să obții mai multă valoare pentru organizațiile tale. Vă invităm să încercați aceste noi funcții și să ne contactați prin intermediul echipei de cont AWS dacă aveți alte comentarii.
Despre autori
Sushant Majithia este manager de produs principal pentru EMR la AWS.
Ankur Goyal este o echipă SDM cu Amazon EMR Big Data Platform. El construiește aplicații distribuite la scară largă și algoritmi de optimizare a clusterelor. Ankur este interesat de subiecte de analiză, învățare automată și prognoză.
Matthew Liem este Senior Solution Architecture Manager la AWS.
Tarun Chanana este o echipă SDM cu Amazon EMR Big Data Platform.
- Distribuție de conținut bazat pe SEO și PR. Amplifică-te astăzi.
- PlatoData.Network Vertical Generative Ai. Împuterniciți-vă. Accesați Aici.
- PlatoAiStream. Web3 Intelligence. Cunoștințe amplificate. Accesați Aici.
- PlatoESG. Automobile/VE-uri, carbon, CleanTech, Energie, Mediu inconjurator, Solar, Managementul deșeurilor. Accesați Aici.
- PlatoHealth. Biotehnologie și Inteligență pentru studii clinice. Accesați Aici.
- ChartPrime. Crește-ți jocul de tranzacționare cu ChartPrime. Accesați Aici.
- BlockOffsets. Modernizarea proprietății de compensare a mediului. Accesați Aici.
- Sursa: https://aws.amazon.com/blogs/big-data/capacity-management-and-amazon-emr-managed-scaling-improvements-for-amazon-emr-on-ec2-clusters/
- :are
- :este
- :nu
- $UP
- 1
- 100
- 11
- 2023
- 30
- 50
- 60
- 7
- 9
- a
- Capabil
- Despre Noi
- accelera
- Conform
- Cont
- dobândi
- dobândirea
- Acțiune
- acțiuni
- activ
- adăugare
- Suplimentar
- Algoritmul
- algoritmi
- de asemenea
- Cu toate ca
- Amazon
- Amazon EC2
- Amazon EMR
- Amazon Web Services
- an
- Google Analytics
- și
- O alta
- Orice
- Apache
- Apache Spark
- aplicație
- aplicatii
- adecvat
- arhitectură
- SUNT
- AS
- At
- Încercările
- Auto
- Automat
- în mod automat
- disponibilitate
- disponibil
- conştient
- AWS
- bazat
- BE
- fost
- înainte
- de mai jos
- Mai bine
- Mare
- Datele mari
- construiește
- by
- CAN
- capacitate
- Capacitate
- șansele
- Alege
- Cloud
- cloud big data
- Grup
- comentarii
- comparație
- Completă
- Calcula
- configurat
- Confirma
- prin urmare
- Lua în considerare
- conține
- continuă
- Nucleu
- A costat
- Cheltuieli
- crea
- criticitate
- client
- experienta clientului
- clienţii care
- de date
- Platforma de date
- de prelucrare a datelor
- zi
- Mai adânc
- Mod implicit
- întârzieri
- dorit
- detaliu
- diferit
- reduceri
- discuta
- distribuite
- scufunda
- Dont
- şofer
- în timpul
- fiecare
- oricare
- activat
- spori
- sporită
- sporire
- îmbunătățiri
- asigura
- asigură
- Eter (ETH)
- eveniment
- evenimente
- exemplu
- depășește
- experienţă
- expirare
- factor
- departe
- Caracteristică
- DESCRIERE
- filtru
- Găsi
- Flexibilitate
- flexibil
- concentrat
- următor
- Pentru
- Înainte
- cadre
- din
- Îndeplini
- mai mult
- În plus
- obține
- obtinerea
- grup
- Grupului
- fericit
- Greu
- Avea
- he
- auz
- ajutor
- a ajutat
- ajutor
- ajută
- superior
- cea mai mare
- Evidențiat
- istorie
- Cum
- HTML
- http
- HTTPS
- ID
- if
- îmbunătăţi
- îmbunătățiri
- îmbunătățirea
- in
- include
- Inclusiv
- Inovaţie
- instanță
- interactiv
- interesat
- Intermediar
- întrerupt
- invita
- IT
- Loc de munca
- Cheie
- mare
- mai tarziu
- lansa
- a lansat
- Conduce
- AFLAȚI
- învăţare
- mai puțin
- probabilitate
- Uite
- LOWER
- maşină
- masina de învățare
- făcut
- gestionate
- administrare
- manager
- manual
- Meci
- Întâlni
- minute
- ML
- mai mult
- multiplu
- necesar
- nevoilor
- Nou
- Funcții noi
- Nu.
- noduri
- acum
- of
- oferi
- oferit
- promoții
- on
- La cerere
- ONE
- afară
- open-source
- Operațiuni
- optimizare
- optimizarea
- or
- organizații
- Pace
- Model
- performanță
- perioadă
- platformă
- Plato
- Informații despre date Platon
- PlatoData
- "vă rog"
- Post
- practicile
- previne
- de stabilire a prețurilor
- primar
- Principal
- prelucrare
- Produs
- manager de produs
- protecţie
- furniza
- dispoziţie
- publica
- reechilibreze
- recomanda
- reduce
- Redus
- trimite
- rămășițe
- eliminarea
- raportează
- solicita
- necesar
- Cerinţe
- Traseul
- norme
- Alerga
- funcţionare
- acelaşi
- Scară
- intensifice
- scalare
- lingura
- trimite
- senior
- Servicii
- set
- configurarea
- să
- amestecare
- singur
- So
- până acum
- soluţie
- unele
- Scânteie
- specificată
- Loc
- Stop
- opriri
- stoca
- curent
- astfel de
- Intrerupator
- Lua
- ia
- obiective
- Sarcină
- echipă
- spune
- acea
- lor
- Lor
- apoi
- Acestea
- acest
- aceste
- prag
- Prin
- timp
- la
- subiecte
- atingeţi
- Transparență
- declanşa
- încerca
- Tipuri
- deschide
- până la
- us
- utilizare
- folosind
- valoare
- Vizita
- a fost
- we
- web
- servicii web
- BINE
- cand
- care
- voi
- cu
- Apartamente
- a lucrat
- ar
- tu
- Ta
- zephyrnet