In 2022, berättade vi om de nya förbättringarna vi gjort i Amazon EMR Managed Scaling, vilket bidrog till att förbättra klusteranvändningen och minskade klusterkostnaderna. Under 2023 är vi glada att kunna rapportera att Amazon EMR-teamet har arbetat hårt. Vi arbetade bakåt från kundernas krav och lanserade flera nya funktioner för att förbättra din Amazon EMR på EC2-kluster kapacitetshantering och skalningsupplevelse.
Amazon EMR är cloud big data-lösningen för petabyte-skala databearbetning, interaktiv analys och maskininlärning (ML) med ramverk med öppen källkod som t.ex. Apache Spark, Apache-bikupanoch Presto. Kunder bad oss om funktioner som ytterligare skulle förbättra kapacitetshanteringen och skalningsupplevelsen av deras EMR på EC2-kluster, inklusive deras stora, långvariga kluster. Vi har jobbat hårt för att möta dessa behov. Följande är några av de viktigaste förbättringarna:
- Förbättrad kundtransparens och flexibilitet med provisioneringstimeout för Spot-instanser
- Optimerade uppgiftsnoder skala upp för Amazon EMR på EC2-kluster lanserade med instansgrupper
- Förbättrad arbetsförmåga med förbättrat skydd för Spark Drivers
Låt oss dyka djupare och diskutera den nya Amazon EMR om EC2-funktioner i detalj.
Förbättrad kundtransparens och flexibilitet med provisioneringstimeout för Spot-instanser
Många Amazon EMR-kunder använder EC2 Spot-instanser för deras EMR på EC2-kluster för att minska kostnaderna. Spot-instanser är lediga Amazon Elastic Compute Cloud (Amazon EC2) beräkningskapacitet som erbjuds till rabatter på upp till 90 % jämfört med On-Demand-priser. Amazon EMR erbjuder dig möjligheten att skala ditt kluster antingen manuellt eller genom att använda Automatisk skalning. Du kan också använda Amazon EMR Managed Scaling funktion för att automatiskt ändra storlek på ditt kluster baserat på arbetsbelastning och användning.
För att förbättra kundupplevelsen när du skalar upp med Spot-instanser, för EMR på EC2-kluster som lanseras med hjälp av instansflottor, kan du nu ange en provisioneringstimeout för Spot-instanser. En provisioneringstimeout kommer att berätta för Amazon EMR att sluta tillhandahålla Spot Instance-kapacitet om klustret överskrider en specificerad tidsgräns under klusterskalningsoperationer. Du kan konfigurera tidsgränsen för provisionering av Spot-instanser för kluster som ändras storlek manuellt eller med Amazon EMR Managed Scaling och Auto Scaling.
Dessutom, för att ge bättre transparens, när timeoutperioden löper ut, kommer Amazon EMR också automatiskt att skicka händelser till en Amazon CloudWatch-händelser ström. Med dessa CloudWatch-händelser kan du skapa regler som matchar händelser enligt ett specificerat mönster och sedan dirigera händelserna till mål för att vidta åtgärder. För att lära dig mer, se Anpassa en provisioneringstidsgräns för klusterstorleksändring i Amazon EMR.
Nedan finns en sammanfattning av upplevelsen för olika scenarier när du konfigurerar en tidsgräns för provisionering under storleksändring för ditt Amazon EMR på EC2-kluster
Scenario | Erfarenhet av att |
Amazon EMR kan tillhandahålla den önskade Spot-kapaciteten innan leveranstiden löper ut | Amazon EMR skalar automatiskt upp klustret till önskad kapacitet och ingen åtgärd krävs från kunden |
Amazon EMR kan inte tillhandahålla någon Spot-kapacitet eller bara kan tillhandahålla partiell Spot-kapacitet och provisioneringstiden har gått ut | Om Amazon EMR inte kan tillhandahålla den nödvändiga Spot-kapaciteten och provisioneringstiden har löpt ut, kommer Amazon EMR att avbryta begäran om storleksändring och stoppa sina försök att tillhandahålla ytterligare Spot-kapacitet. Amazon EMR kommer också att publicera evenemang till en Amazon CloudWatch Events-ström. Kunder kan använda dessa händelser för att skapa regler och vidta lämpliga åtgärder |
Om Spot-instanserna i din Amazon EMR på EC2-kluster avbryts eftersom Amazon EC2 behöver dem tillbaka | Amazon EMR kommer automatiskt att utlösa en ny storleksbegäran för att balansera om dina kluster genom att ersätta instanser med någon av de tillgängliga typerna i ditt kluster. Amazon EMR kommer också att använda samma tidsgräns för att ändra storlek på provisionering som konfigurerades i klustret. Ingen åtgärd krävs från kundens sida. |
Du bör överväga det kritiska med kapacitetstillgänglighet när du anger tidsgränsvärdet för administration:
- När tillgängligheten för din arbetsbelastning är kritisk - För att säkerställa att önskad kapacitet är tillgänglig rekommenderar vi att du konfigurerar tidsgränsen för att ändra storlek på provisionering baserat på den tid det tar att köra applikationen och applikationens SLA. Till exempel, om program-SLA är 60 minuter och det tar 30 minuter för programmet att slutföra, bör du ställa in tidsgränsen för att ändra storlek på provisionering till 30 minuter eller mindre. Amazon EMR kommer att försöka tillhandahålla för att få Spot-kapacitet tills timeouten går ut (30 minuter eller mindre) och publicera en CloudWatch-händelse så att du kan vidta lämpliga åtgärder.
- När din arbetsbelastning är flexibel och kapacitetstillgänglighet inte är en faktor - Om arbetsbelastningen är tidsflexibla och kapacitetstillgänglighet inte är en faktor, för att säkerställa högsta sannolikhet för att få önskad Spot-kapacitet, kan du konfigurera ett högre timeoutvärde för tidsgränsen för att ändra storlek på provisionering.
Optimerade uppgiftsnoder skala upp för Amazon EMR på EC2-kluster lanserade med instansgrupper
Instansgrupper erbjuder en enklare inställning för att starta EMR på EC2-kluster. Varje kluster som lanseras med hjälp av instansgrupper kan inkludera upp till 50 instansgrupper: en primär instansgrupp som innehåller en EC2-instans, en kärninstansgrupp som innehåller en eller flera EC2-instanser och upp till 48 valfria uppgiftsinstansgrupper. Du kan skala varje instansgrupp genom att lägga till och ta bort EC2-instanser manuellt, eller så kan du ställa in automatisk skalning. Du kan också använda Amazon EMR Managed Scaling-funktionen för att automatiskt ändra storlek på ditt kluster baserat på arbetsbelastning och användning.
För att förbättra kundupplevelsen, till exempel grupper på EMR på EC2-kluster när man skalar upp uppgiftsnoder med Amazon EMR Managed Scaling, har vi förbättrat algoritmen för hanterad skalning för att välja de uppgiftsinstansgrupper som har störst sannolikhet att skaffa kapacitet. Dessutom, när hanterad skalning inte kan förvärva kapacitet med en enskild uppgiftsinstansgrupp, för att minska eventuella uppskalningsfördröjningar, kommer Amazon EMR automatiskt att byta till en annan uppgiftsgrupp och uppfylla kapaciteten genom att använda flera uppgiftsinstansgrupper. Följaktligen, ju mer flexibel du är när det gäller dina instanstyper, desto större är chansen att tillhandahålla kapacitet. För att lära dig mer, se Bästa praxis till exempel och flexibilitet i tillgänglighetszonen.
Förbättrad arbetsförmåga med förbättrat skydd för Spark Drivers
In 2022, för att förbättra arbetsförmågan när du använder Amazon EMR Managed Scaling, förbättrade vi hanterad skalning för att vara medveten om Spark shuffle-data, vilket förhindrar nedskalning av instanser som lagrar mellanliggande shuffle-data för Apache Spark. Detta hjälper till att förhindra återförsök och omräkningar, vilket leder till bättre prestanda och lägre kostnad.
För att ytterligare förbättra arbetsförmågan när du använder Amazon EMR Managed Scaling har vi ytterligare förbättrat hanterad skalning för att vara medveten om Spark Driver, vilket säkerställer att Amazon EMR Managed Scaling prioriterar nedskalningen av noder som inte har en klusternedskalning. aktiv Spark Driver körs på dem. Detta hjälper till att minimera jobbmisslyckanden och återförsök, vilket bidrar till att ytterligare förbättra prestandan och minska kostnaderna. Denna förbättring är aktiverad som standard för EMR-kluster som använder Amazon EMR version 5.34.0 och senare, och Amazon EMR version 6.4.0 och senare.
För att bekräfta vilka noder i ditt kluster som kör Spark Driver kan du besöka Spark History Server och filtrera efter drivrutinen på testamentsexekutorer fliken i ditt Spark-applikations-ID.
Slutsats
I det här inlägget lyfte vi fram förbättringarna som vi gjort i kapacitetshantering och Amazon EMR Managed Scaling för EMR på EC2-kluster. Vi fokuserade på att förbättra arbetsförmågan, ökad flexibilitet och transparens vid provisionering av Spot-instanser och optimera uppskalningsupplevelsen när man använder hanterad skalning med instansgrupper på Amazon EMR på EC2-kluster. Även om vi har lanserat flera funktioner hittills under 2023 och innovationstakten fortsätter att accelerera, är det fortfarande dag 1 och vi ser fram emot att höra från dig om hur dessa funktioner hjälper dig att skapa mer värde för dina organisationer. Vi inbjuder dig att prova dessa nya funktioner och kontakta oss via ditt AWS-kontoteam om du har ytterligare kommentarer.
Om författarna
Sushant Majithia är huvudproduktchef för EMR på AWS.
Ankur Goyal är en SDM med Amazon EMR Big Data Platform-team. Han bygger storskaliga distribuerade applikationer och klusteroptimeringsalgoritmer. Ankur är intresserad av ämnen som Analytics, Machine Learning och Forecasting.
Matthew Liem är Senior Solution Architecture Manager på AWS.
Tarun Chanana är en SDM med Amazon EMR Big Data Platform-team.
- SEO-drivet innehåll och PR-distribution. Bli förstärkt idag.
- PlatoData.Network Vertical Generative Ai. Styrka dig själv. Tillgång här.
- PlatoAiStream. Web3 Intelligence. Kunskap förstärkt. Tillgång här.
- Platoesg. Fordon / elbilar, Kol, CleanTech, Energi, Miljö, Sol, Avfallshantering. Tillgång här.
- PlatoHealth. Biotech och kliniska prövningar Intelligence. Tillgång här.
- ChartPrime. Höj ditt handelsspel med ChartPrime. Tillgång här.
- BlockOffsets. Modernisera miljökompensation ägande. Tillgång här.
- Källa: https://aws.amazon.com/blogs/big-data/capacity-management-and-amazon-emr-managed-scaling-improvements-for-amazon-emr-on-ec2-clusters/
- : har
- :är
- :inte
- $UPP
- 1
- 100
- 11
- 2023
- 30
- 50
- 60
- 7
- 9
- a
- Able
- Om oss
- accelerera
- Enligt
- Konto
- förvärva
- förvärvande
- Handling
- åtgärder
- aktiv
- tillsats
- Annat
- algoritm
- algoritmer
- också
- Även
- amason
- Amazon EC2
- Amazon EMR
- Amazon Web Services
- an
- analytics
- och
- Annan
- vilken som helst
- Apache
- Apache Spark
- Ansökan
- tillämpningar
- lämpligt
- arkitektur
- ÄR
- AS
- At
- Försök
- bil
- Automat
- automatiskt
- tillgänglighet
- tillgänglig
- medveten
- AWS
- baserat
- BE
- varit
- innan
- nedan
- Bättre
- Stor
- Stora data
- bygger
- by
- KAN
- kapacitet
- Kapacitet
- chanser
- Välja
- cloud
- cloud big data
- kluster
- kommentarer
- jämfört
- fullborda
- Compute
- konfigurerad
- Bekräfta
- Följaktligen
- Tänk
- innehåller
- fortsätter
- Kärna
- Pris
- Kostar
- skapa
- kritik
- kund
- kundupplevelse
- Kunder
- datum
- Dataplattform
- databehandling
- dag
- djupare
- Standard
- fördröjningar
- önskas
- detalj
- olika
- rabatter
- diskutera
- distribueras
- Dyk
- inte
- chaufför
- under
- varje
- antingen
- aktiverad
- förbättra
- förbättrad
- förbättring
- förbättringar
- säkerställa
- säkerställer
- Eter (ETH)
- händelse
- händelser
- exempel
- överstiger
- erfarenhet
- utgångs
- faktor
- långt
- Leverans
- Funktioner
- filtrera
- hitta
- Flexibilitet
- flexibel
- fokuserade
- efter
- För
- Framåt
- ramar
- från
- Uppfylla
- ytterligare
- Vidare
- skaffa sig
- få
- Grupp
- Gruppens
- lyckligt
- Hård
- Har
- he
- hörsel
- hjälpa
- hjälpte
- hjälpa
- hjälper
- högre
- högsta
- Markerad
- historia
- Hur ser din drömresa ut
- html
- http
- HTTPS
- ID
- if
- förbättra
- förbättringar
- förbättra
- in
- innefattar
- Inklusive
- Innovation
- exempel
- interaktiva
- intresserad
- Mellanliggande
- avbruten
- bjuda in
- IT
- Jobb
- Nyckel
- Large
- senare
- lansera
- lanserades
- Leads
- LÄRA SIG
- inlärning
- mindre
- sannolikhet
- se
- lägre
- Maskinen
- maskininlärning
- gjord
- förvaltade
- ledning
- chef
- manuellt
- Match
- Möt
- minuter
- ML
- mer
- multipel
- behövs
- behov
- Nya
- Nya funktioner
- Nej
- noder
- nu
- of
- erbjudanden
- erbjuds
- Erbjudanden
- on
- On-Demand
- ONE
- endast
- öppen källkod
- Verksamhet
- optimering
- optimera
- or
- organisationer
- Fred
- Mönster
- prestanda
- perioden
- plattform
- plato
- Platon Data Intelligence
- PlatonData
- snälla du
- Inlägg
- praxis
- förhindrar
- prissättning
- primär
- Principal
- bearbetning
- Produkt
- produktchef
- skydd
- ge
- tillhandahållande
- publicera
- balansera
- rekommenderar
- minska
- Minskad
- hänvisa
- resterna
- bort
- rapport
- begära
- Obligatorisk
- Krav
- Rutt
- regler
- Körning
- rinnande
- Samma
- Skala
- skala upp
- skalning
- SDM
- sända
- senior
- Tjänster
- in
- inställning
- skall
- blanda
- enda
- So
- än så länge
- lösning
- några
- Gnista
- specificerade
- Spot
- Sluta
- Stoppar
- lagra
- ström
- sådana
- Växla
- Ta
- tar
- mål
- uppgift
- grupp
- tala
- den där
- Smakämnen
- deras
- Dem
- sedan
- Dessa
- detta
- de
- tröskelvärde
- Genom
- tid
- till
- ämnen
- Rör
- Öppenhet
- utlösa
- prova
- typer
- låsa
- tills
- us
- användning
- med hjälp av
- värde
- Besök
- var
- we
- webb
- webbservice
- VÄL
- när
- som
- kommer
- med
- Arbete
- arbetade
- skulle
- dig
- Din
- zephyrnet