In 2022, fortalte vi deg om de nye forbedringene vi har gjort i Amazon EMR Managed Scaling, som bidro til å forbedre klyngeutnyttelsen samt reduserte klyngekostnader. I 2023 er vi glade for å kunne rapportere at Amazon EMR-teamet har jobbet hardt. Vi jobbet baklengs fra kundenes krav og lanserte flere nye funksjoner for å forbedre Amazon EMR på EC2-klyngers kapasitetsadministrasjon og skaleringsopplevelse.
Amazon EMR er skyen stordataløsning for petabyte-skala databehandling, interaktiv analyse og maskinlæring (ML) ved bruk av åpen kildekode-rammeverk som f.eks. Apache Spark, Apache Hiveog Presto. Kunder ba oss om funksjoner som ytterligere vil forbedre kapasitetsadministrasjonen og skaleringsopplevelsen til deres EMR på EC2-klynger, inkludert deres store, langvarige klynger. Vi har jobbet hardt for å møte disse behovene. Følgende er noen av de viktigste forbedringene:
- Forbedret kundetransparens og fleksibilitet med leveringstidsavbrudd for Spot-forekomster
- Optimaliserte oppgavenoder skalere opp for Amazon EMR på EC2-klynger lansert med forekomstgrupper
- Forbedret arbeidsstabilitet med forbedret beskyttelse for Spark Drivers
La oss dykke dypere og diskutere den nye Amazon EMR på EC2-funksjoner i detalj.
Forbedret kundetransparens og fleksibilitet med leveringstidsavbrudd for Spot-forekomster
Mange Amazon EMR-kunder bruker EC2 Spot-forekomster for deres EMR på EC2-klynger for å redusere kostnadene. Spot-forekomster er ledige Amazon Elastic Compute Cloud (Amazon EC2) beregningskapasitet som tilbys med rabatter på opptil 90 % sammenlignet med On-Demand-priser. Amazon EMR gir deg muligheten til å skalere klyngen din enten manuelt eller ved å bruke Automatisk skalering. Du kan også bruke Amazon EMR Managed Scaling funksjon for å automatisk endre størrelsen på klyngen din basert på arbeidsbelastning og bruk.
For å forbedre kundeopplevelsen når du skalerer opp ved hjelp av Spot-forekomster, for EMR på EC2-klynger som er lansert ved bruk av forekomstflåter, kan du nå spesifisere et klargjøringstidsavbrudd for Spot-forekomster. Et tidsavbrudd for klargjøring vil fortelle Amazon EMR å slutte å klargjøre Spot Instance-kapasitet hvis klyngen overskrider en spesifisert tidsterskel under klyngeskaleringsoperasjoner. Du kan konfigurere tidsavbruddet for klargjøring av Spot-forekomster for klynger som endres størrelse manuelt eller ved å bruke Amazon EMR Managed Scaling og Auto Scaling.
I tillegg, for å gi bedre åpenhet, når tidsavbruddsperioden utløper, vil Amazon EMR også automatisk sende hendelser til en Amazon CloudWatch-hendelser strøm. Med disse CloudWatch-hendelsene kan du lage regler som matcher hendelser i henhold til et spesifisert mønster, og deretter rute hendelsene til mål for å iverksette tiltak. For å lære mer, vennligst se Tilpass en tidsavbruddsperiode for klargjøring for klyngestørrelse i Amazon EMR.
Nedenfor finner du en oppsummert opplevelse for forskjellige scenarier når du konfigurerer en tidsavbruddsperiode for klargjøring under endring av størrelse for Amazon EMR på EC2-klyngen
Scenario | Erfaring |
Amazon EMR er i stand til å klargjøre ønsket Spot-kapasitet før utløpet av leveringstidsavbruddet | Amazon EMR skalerer opp klyngen automatisk til ønsket kapasitet og ingen handling er nødvendig fra kundens side |
Amazon EMR er ikke i stand til å klargjøre noen Spot-kapasitet eller bare i stand til å klargjøre delvis Spot-kapasitet og klargjøringstidsavbruddet er utløpt | Hvis Amazon EMR ikke kan klargjøre den nødvendige Spot-kapasiteten og klargjøringstidsavbruddet er utløpt, vil Amazon EMR kansellere forespørselen om endring av størrelse og stoppe forsøkene på å klargjøre ytterligere Spot-kapasitet. Amazon EMR vil også publisere arrangementer til en Amazon CloudWatch Events-strøm. Kunder kan bruke disse hendelsene til å lage regler og iverksette passende handlinger |
Hvis Spot-forekomstene i Amazon EMR på EC2-klynger blir avbrutt ettersom Amazon EC2 trenger dem tilbake | Amazon EMR vil automatisk utløse en ny endringsforespørsel for å rebalansere klyngene dine ved å erstatte forekomster med en av de tilgjengelige typene i klyngen din. Amazon EMR vil også bruke samme tidsavbrudd for endring av klargjøring som ble konfigurert på klyngen. Ingen handling er nødvendig fra kundens side. |
Du bør vurdere hvor kritisk kapasitetstilgjengelighet er når du spesifiserer tidsavbruddsverdien for klargjøring:
- Når tilgjengeligheten av arbeidsbelastningskapasiteten din er kritisk - For å sikre at ønsket kapasitet er tilgjengelig, anbefaler vi å konfigurere tidsavbruddet for endring av klargjøring basert på tiden det tar å kjøre applikasjonen og applikasjonens SLAer. Hvis for eksempel applikasjons-SLA er 60 minutter og det tar 30 minutter før applikasjonen fullføres, bør du angi tidsavbrudd for endring av størrelse på klargjøring til 30 minutter eller mindre. Amazon EMR vil prøve å klargjøre for å få Spot-kapasitet til tidsavbruddet utløper (30 minutter eller mindre) og publisere en CloudWatch-hendelse slik at du kan iverksette passende tiltak.
- Når arbeidsmengden din er fleksibel og kapasitetstilgjengelighet ikke er en faktor - Hvis arbeidsbelastningen er tidsfleksibel og kapasitetstilgjengelighet ikke er en faktor, for å sikre størst sannsynlighet for å få ønsket Spot-kapasitet, kan du konfigurere en høyere tidsavbruddsverdi for tidsavbrudd for endring av klargjøring.
Optimaliserte oppgavenoder skalere opp for Amazon EMR på EC2-klynger lansert med Instance-grupper
Forekomstgrupper tilbyr et enklere oppsett for å starte EMR på EC2-klynger. Hver klynge som lanseres ved hjelp av forekomstgrupper kan inkludere opptil 50 forekomstgrupper: én primær forekomstgruppe som inneholder én EC2-forekomst, en kjerneforekomstgruppe som inneholder én eller flere EC2-forekomster, og opptil 48 valgfrie oppgaveforekomstgrupper. Du kan skalere hver forekomstgruppe ved å legge til og fjerne EC2-forekomster manuelt, eller du kan sette opp automatisk skalering. Du kan også bruke Amazon EMR Managed Scaling-funksjonen for å automatisk endre størrelsen på klyngen din basert på arbeidsbelastning og bruk.
For å forbedre kundeopplevelsen, for eksempel grupper på EMR på EC2-klynger ved oppskalering av oppgavenoder ved hjelp av Amazon EMR Managed Scaling, har vi forbedret den administrerte skaleringsalgoritmen for å velge oppgaveforekomstgruppene som har størst sannsynlighet for å skaffe kapasitet. Videre, når administrert skalering ikke er i stand til å skaffe kapasitet med en enkelt oppgaveforekomstgruppe, for å redusere eventuelle oppskaleringsforsinkelser, vil Amazon EMR automatisk bytte til en annen oppgavegruppe og oppfylle kapasiteten ved å bruke flere oppgaveforekomstgrupper. Følgelig, jo mer fleksibel du er når det gjelder forekomsttypene dine, desto større er sjansene for klargjøringskapasitet. For å lære mer, se Beste praksis for eksempel og tilgjengelighetssone-fleksibilitet.
Forbedret arbeidsstabilitet med forbedret beskyttelse for Spark Drivers
In 2022, for å forbedre jobbresistensen ved bruk av Amazon EMR Managed Scaling, forbedret vi administrert skalering for å være oppmerksom på Spark-shuffle-data, noe som forhindrer nedskalering av forekomster som lagrer mellomliggende shuffle-data for Apache Spark. Dette bidrar til å forhindre gjentatte jobbforsøk og omberegninger, noe som fører til bedre ytelse og lavere kostnader.
For ytterligere å forbedre jobbresiliensen ved bruk av Amazon EMR Managed Scaling, har vi ytterligere forbedret administrert skalering for å være Spark Driver-bevisst, noe som sikrer at Amazon EMR Managed Scaling prioriterer nedskalering av noder som ikke har en klyngeskalering. aktiv Spark Driver kjører på dem. Dette bidrar til å minimere jobbfeil og jobbforsøk, og bidrar til å forbedre ytelsen ytterligere og redusere kostnadene. Denne forbedringen er aktivert som standard for EMR-klynger som bruker Amazon EMR versjoner 5.34.0 og nyere, og Amazon EMR versjoner 6.4.0 og nyere.
For å bekrefte hvilke noder i klyngen din som kjører Spark Driver, kan du besøke Spark History Server og filtrere etter driveren på Henrettere fanen til Spark-applikasjons-IDen din.
konklusjonen
I dette innlegget fremhevet vi forbedringene vi har gjort i kapasitetsstyring og Amazon EMR Managed Scaling for EMR på EC2-klynger. Vi fokuserte på å forbedre jobbresiliens, forbedret fleksibilitet og åpenhet ved klargjøring av Spot-forekomster, og optimalisere oppskaleringsopplevelsen ved bruk av administrert skalering med forekomstgrupper på Amazon EMR på EC2-klynger. Selv om vi har lansert flere funksjoner så langt i 2023 og innovasjonstakten fortsetter å akselerere, er det fortsatt dag 1, og vi ser frem til å høre fra deg om hvordan disse funksjonene hjelper deg å låse opp mer verdi for organisasjonene dine. Vi inviterer deg til å prøve disse nye funksjonene og ta kontakt med oss gjennom ditt AWS-kontoteam hvis du har flere kommentarer.
Om forfatterne
Sushant Majithia er hovedproduktsjef for EMR hos AWS.
Ankur Goyal er en SDM med Amazon EMR Big Data Platform-team. Han bygger distribuerte applikasjoner i stor skala og klyngeoptimaliseringsalgoritmer. Ankur er interessert i emner som Analytics, Machine Learning og Forecasting.
Matthew Liem er Senior Solution Architecture Manager hos AWS.
Tarun Chanana er en SDM med Amazon EMR Big Data Platform-team.
- SEO-drevet innhold og PR-distribusjon. Bli forsterket i dag.
- PlatoData.Network Vertical Generative Ai. Styrk deg selv. Tilgang her.
- PlatoAiStream. Web3 Intelligence. Kunnskap forsterket. Tilgang her.
- PlatoESG. Bil / elbiler, Karbon, CleanTech, Energi, Miljø, Solenergi, Avfallshåndtering. Tilgang her.
- PlatoHelse. Bioteknologisk og klinisk etterretning. Tilgang her.
- ChartPrime. Hev handelsspillet ditt med ChartPrime. Tilgang her.
- BlockOffsets. Modernisering av eierskap for miljøkompensasjon. Tilgang her.
- kilde: https://aws.amazon.com/blogs/big-data/capacity-management-and-amazon-emr-managed-scaling-improvements-for-amazon-emr-on-ec2-clusters/
- : har
- :er
- :ikke
- $OPP
- 1
- 100
- 11
- 2023
- 30
- 50
- 60
- 7
- 9
- a
- I stand
- Om oss
- akselerere
- Ifølge
- Logg inn
- erverve
- anskaffe
- Handling
- handlinger
- aktiv
- legge
- Ytterligere
- algoritme
- algoritmer
- også
- Selv
- Amazon
- Amazon EC2
- Amazon EMR
- Amazon Web Services
- an
- analytics
- og
- En annen
- noen
- Apache
- Apache Spark
- Søknad
- søknader
- hensiktsmessig
- arkitektur
- ER
- AS
- At
- forsøk
- auto
- Automatisk
- automatisk
- tilgjengelighet
- tilgjengelig
- klar
- AWS
- basert
- BE
- vært
- før du
- under
- Bedre
- Stor
- Store data
- bygger
- by
- CAN
- evne
- Kapasitet
- sjansene
- Velg
- Cloud
- sky store data
- Cluster
- kommentarer
- sammenlignet
- fullføre
- Beregn
- konfigurert
- Bekrefte
- Følgelig
- Vurder
- inneholder
- fortsetter
- Kjerne
- Kostnad
- Kostnader
- skape
- kritikalitet
- kunde
- kundeopplevelse
- Kunder
- dato
- Dataplattform
- databehandling
- dag
- dypere
- Misligholde
- forsinkelser
- ønsket
- detalj
- forskjellig
- rabatter
- diskutere
- distribueres
- dykk
- ikke
- sjåfør
- under
- hver enkelt
- enten
- aktivert
- forbedre
- forbedret
- ekstrautstyr
- forbedringer
- sikre
- sikrer
- Eter (ETH)
- Event
- hendelser
- eksempel
- stiger
- erfaring
- utløp
- faktor
- langt
- Trekk
- Egenskaper
- filtrere
- Finn
- fleksibilitet
- fleksibel
- fokuserte
- etter
- Til
- Forward
- rammer
- fra
- Innfri
- videre
- Dess
- få
- få
- Gruppe
- Gruppens
- lykkelig
- Hard
- Ha
- he
- hørsel
- hjelpe
- hjulpet
- hjelpe
- hjelper
- høyere
- høyest
- Fremhevet
- historie
- Hvordan
- HTML
- http
- HTTPS
- ID
- if
- forbedre
- forbedringer
- bedre
- in
- inkludere
- Inkludert
- Innovasjon
- f.eks
- interaktiv
- interessert
- Mellom
- avbrutt
- invitere
- IT
- Jobb
- nøkkel
- stor
- seinere
- lansere
- lansert
- Fører
- LÆRE
- læring
- mindre
- sannsynligheten
- Se
- lavere
- maskin
- maskinlæring
- laget
- fikk til
- ledelse
- leder
- manuelt
- Match
- Møt
- minutter
- ML
- mer
- flere
- nødvendig
- behov
- Ny
- Nye funksjoner
- Nei.
- noder
- nå
- of
- tilby
- tilbudt
- Tilbud
- on
- På etterspørsel
- ONE
- bare
- åpen kildekode
- Drift
- optimalisering
- optimalisere
- or
- organisasjoner
- Fred
- Mønster
- ytelse
- perioden
- plattform
- plato
- Platon Data Intelligence
- PlatonData
- vær så snill
- Post
- praksis
- forhindrer
- prising
- primære
- Principal
- prosessering
- Produkt
- Produktsjef
- beskyttelse
- gi
- forsyning
- publisere
- rebalansere
- anbefaler
- redusere
- Redusert
- referere
- forblir
- fjerne
- rapporterer
- anmode
- påkrevd
- Krav
- Rute
- regler
- Kjør
- rennende
- samme
- Skala
- skalere opp
- skalering
- SDM
- send
- senior
- Tjenester
- sett
- oppsett
- bør
- shuffle
- enkelt
- So
- så langt
- løsning
- noen
- Spark
- spesifisert
- Spot
- Stopp
- Stopper
- oppbevare
- stream
- slik
- Bytte om
- Ta
- tar
- mål
- Oppgave
- lag
- fortelle
- Det
- De
- deres
- Dem
- deretter
- Disse
- denne
- De
- terskel
- Gjennom
- tid
- til
- temaer
- berøre
- Åpenhet
- utløse
- prøve
- typer
- låse opp
- til
- us
- bruke
- ved hjelp av
- verdi
- Besøk
- var
- we
- web
- webtjenester
- VI VIL
- når
- hvilken
- vil
- med
- Arbeid
- arbeidet
- ville
- du
- Din
- zephyrnet