In 2022, beszámoltunk az új fejlesztésekről, amelyeket ben végeztünk Amazon EMR menedzselt méretezés, amely segített javítani a fürt kihasználtságát, valamint csökkenteni a fürt költségeit. 2023-ban örömmel jelenthetjük, hogy az Amazon EMR csapata keményen dolgozik. Visszafelé dolgoztunk az ügyfelek igényeihez képest, és számos új funkciót vezettünk be, hogy javítsuk az Amazon EMR-t az EC2-fürtök kapacitáskezelésében és méretezésében.
Amazon EMR a felhőalapú big data megoldás petabájtos méretű adatfeldolgozáshoz, interaktív elemzéshez és gépi tanuláshoz (ML) olyan nyílt forráskódú keretrendszerekkel, mint pl. Apache Spark, Apache Hiveés Gyors. Ügyfeleink olyan funkciókat kértek tőlünk, amelyek tovább javítanák az EMR-jük kapacitáskezelését és skálázási élményét az EC2-fürtökön, beleértve a nagy, régóta működő fürtöket is. Keményen dolgoztunk, hogy megfeleljünk ezeknek az igényeknek. Íme néhány a legfontosabb fejlesztések közül:
- Továbbfejlesztett ügyfél-átláthatóság és rugalmasság az azonnali példányok kiépítési időtúllépésével
- Az optimalizált feladatcsomópontok méretezhetők az Amazon EMR-hez a példánycsoportokkal elindított EC2-fürtökön
- Jobb munkaállóság a Spark Drivers fokozott védelmével
Merüljünk el mélyebben, és beszéljük meg részletesen az új Amazon EMR-t az EC2 funkcióiról.
Továbbfejlesztett ügyfél-átláthatóság és rugalmasság az azonnali példányok kiépítési időtúllépésével
Sok Amazon EMR-ügyfél használja EC2 spot példányok az EC2 klasztereken lévő EMR-jükért a költségek csökkentése érdekében. A spot példányok tartalékok Amazon rugalmas számítási felhő (Amazon EC2) számítási kapacitása akár 90%-os kedvezménnyel az On-Demand árakhoz képest. Az Amazon EMR lehetőséget kínál a fürt méretére manuálisan vagy használatával Automatikus méretezés. Használhatja a Amazon EMR menedzselt méretezés funkció a fürt automatikus átméretezéséhez a munkaterhelés és a kihasználtság alapján.
Az ügyfél-élmény javítása érdekében a helyszíni példányokkal történő bővítés során a példányflottákkal elindított EC2-fürtök EMR-jeihez most megadhat egy kiépítési időtúllépést a helyszíni példányokhoz. A kiépítési időtúllépés arra figyelmezteti az Amazon EMR-t, hogy állítsa le a helyszíni példány kapacitásának kiépítését, ha a fürt túllép egy meghatározott időküszöböt a fürtméretezési műveletek során. Konfigurálhatja a Spot példány kiépítési időtúllépését a fürtök kézi átméretezéséhez vagy az Amazon EMR felügyelt méretezés és az automatikus méretezés használatával.
Ezenkívül a jobb átláthatóság érdekében az Amazon EMR az időtúllépési időszak lejártakor automatikusan elküldi az eseményeket egy Amazon CloudWatch események folyam. Ezekkel a CloudWatch-eseményekkel olyan szabályokat hozhat létre, amelyek egy meghatározott minta szerint illesztik az eseményeket, majd az eseményeket a célpontokhoz irányítják, hogy cselekedjenek. További információért tekintse meg a következőt: Testreszabhatja a kiépítési időtúllépési időszakot a fürt átméretezéséhez az Amazon EMR-ben.
Az alábbiakban összefoglaljuk a különböző forgatókönyvek tapasztalatait, amikor az Amazon EMR átméretezése során konfigurál egy kiépítési időtúllépési időszakot az EC2-fürtön lévő Amazon EMR-hez.
Forgatókönyv | Tapasztalat |
Az Amazon EMR képes biztosítani a kívánt Spot kapacitást a kiépítési időkorlát lejárta előtt | Az Amazon EMR automatikusan felnagyítja a klasztert a kívánt kapacitásra, és az ügyfél részéről nincs szükség semmilyen intézkedésre |
Az Amazon EMR nem tud Spot-kapacitást biztosítani, vagy csak részleges Spot-kapacitást tud biztosítani, és az ellátási időtúllépés lejárt | Ha az Amazon EMR nem tudja biztosítani a szükséges Spot-kapacitást, és a kiépítési időtúllépés lejárt, az Amazon EMR törli az átméretezési kérelmet, és leállítja a további Spot-kapacitás biztosítására irányuló kísérleteket. Az Amazon EMR az eseményeket az Amazon CloudWatch Events adatfolyamában is közzéteszi. Az ügyfelek ezeket az eseményeket használhatják szabályok létrehozására és megfelelő intézkedések megtételére |
Ha az Amazon EMR-ben az EC2-fürtökön lévő Spot példányok megszakadnak, mivel az Amazon EC2-nek szüksége van rájuk | Az Amazon EMR automatikusan elindít egy új átméretezési kérelmet a fürtök újbóli kiegyensúlyozásához azáltal, hogy a példányokat a fürtben elérhető bármelyik típusra cseréli. Az Amazon EMR ugyanazt a kiépítési átméretezési időtúllépést fogja használni, amelyet a fürtön konfiguráltak. Nincs szükség intézkedésre az ügyfél részéről. |
A kiépítési időtúllépés értékének megadásakor figyelembe kell vennie a kapacitás rendelkezésre állásának kritikusságát:
- Amikor a munkaterhelés kapacitásának rendelkezésre állása kritikus - A kívánt kapacitás rendelkezésre állásának biztosítása érdekében javasoljuk, hogy konfigurálja az átméretezési kiépítési időtúllépést az alkalmazás és az alkalmazás SLA-k futtatásához szükséges idő alapján. Ha például az alkalmazás SLA 60 perc, és az alkalmazás befejezése 30 percet vesz igénybe, akkor az átméretezési üzembe helyezési időt 30 percre vagy kevesebbre kell állítani. Az Amazon EMR megpróbál gondoskodni a Spot kapacitás megszerzéséről az időtúllépés lejártáig (legfeljebb 30 perc), és közzétesz egy CloudWatch-eseményt, hogy megtehesd a megfelelő lépéseket.
- Amikor a munkateher időben rugalmas, és a kapacitás rendelkezésre állása nem tényező - Ha a munkaterhelés időben rugalmas, és a kapacitás rendelkezésre állása nem tényező, a kívánt Spot-kapacitás megszerzésének legnagyobb valószínűsége érdekében magasabb időtúllépési értéket konfigurálhat az átméretezési kiépítési időtúllépéshez.
Az optimalizált feladatcsomópontok méretezhetők az Amazon EMR-hez a példánycsoportokkal elindított EC2-fürtökön
A példánycsoportok egyszerűbb beállítást kínálnak az EMR elindításához EC2-fürtökön. Minden példánycsoportokkal elindított fürt legfeljebb 50 példánycsoportot tartalmazhat: egy elsődleges példánycsoportot, amely egy EC2-példányt tartalmaz, egy alapvető példánycsoportot, amely egy vagy több EC2-példányt tartalmaz, és legfeljebb 48 választható feladatpéldánycsoportot. Az egyes példánycsoportokat az EC2 példányok manuális hozzáadásával és eltávolításával méretezheti, vagy beállíthatja az automatikus méretezést. Használhatja az Amazon EMR Managed Scaling funkcióját is a fürt automatikus átméretezésére a munkaterhelés és a kihasználtság alapján.
Az EC2-fürtök EMR-példánycsoportjainak ügyfélélményének javítása érdekében, amikor a feladatcsomópontokat Amazon EMR Managed Scaling használatával bővítjük, továbbfejlesztettük a felügyelt skálázási algoritmust, hogy kiválasszuk azokat a feladatpéldánycsoportokat, amelyek a legnagyobb valószínűséggel kapnak kapacitást. Továbbá, ha a felügyelt méretezés nem tud kapacitást szerezni egyetlen feladatpéldánycsoporttal, a méretnövelési késések csökkentése érdekében az Amazon EMR automatikusan átvált egy másik feladatcsoportra, és több feladatpéldánycsoport használatával teljesíti a kapacitást. Következésképpen minél rugalmasabb a példánytípusok tekintetében, annál nagyobb az esély a kapacitás kiépítésére. További információért lásd: Például a legjobb gyakorlatok és az Elérhetőségi zóna rugalmassága.
Jobb munkaállóság a Spark Drivers fokozott védelmével
In 2022, hogy javítsuk a feladat-ellenállóképességet az Amazon EMR Managed Scaling használatakor, továbbfejlesztettük a felügyelt skálázást, hogy a Spark adatkeveréses adattudatos legyen, ami megakadályozza az Apache Spark közbenső keverési adatokat tároló példányok kicsinyítését. Ez segít megelőzni a munka újrakísérleteit és az újraszámításokat, ami jobb teljesítményt és alacsonyabb költségeket eredményez.
Az Amazon EMR Managed Scaling használata során a feladat-ellenállóképesség további javítása érdekében továbbfejlesztettük a felügyelt skálázást, hogy a Spark Driver tisztában legyen, ami biztosítja, hogy a fürt lekicsinyítése során az Amazon EMR Managed Scaling prioritást ad azoknak a csomópontoknak a lekicsinyítését, amelyek nem rendelkeznek aktív Spark Driver fut rajtuk. Ez segít minimalizálni a munkahelyi kudarcokat és a munka újrapróbálkozását, így tovább javítja a teljesítményt és csökkenti a költségeket. Ez a továbbfejlesztés alapértelmezés szerint engedélyezve van az Amazon EMR 5.34.0 és újabb verzióit, valamint az Amazon EMR 6.4.0 és újabb verzióit használó EMR-fürtöknél.
Annak ellenőrzéséhez, hogy a fürt mely csomópontjain futnak a Spark Driver, keresse fel a Spark History Servert, és szűrje ki az illesztőprogramot a Végrehajtók a Spark-alkalmazásazonosító lapján.
Következtetés
Ebben a bejegyzésben kiemeltük azokat a fejlesztéseket, amelyeket a kapacitáskezelés és az Amazon EMR menedzselt skálázás terén az EMR-hez hajtottunk végre az EC2-fürtökön. Arra összpontosítottunk, hogy javítsuk a feladatokkal szembeni ellenálló képességet, a fokozott rugalmasságot és átláthatóságot a helyszíni példányok kiépítése során, valamint a méretnövelési élmény optimalizálását, amikor felügyelt méretezést használunk az Amazon EMR példánycsoportjaival az EC2-fürtökön. Noha 2023-ban eddig több funkciót indítottunk el, és az innováció üteme folyamatosan gyorsul, ez még az 1. nap hátravan, és várjuk, hogy megtudja, hogyan segíthetnek ezek a funkciók több értéket felszabadítani szervezetei számára. Meghívjuk Önt, hogy próbálja ki ezeket az új funkciókat, és vegye fel velünk a kapcsolatot az AWS-fiókjával, ha további megjegyzései vannak.
A szerzőkről
Sushant Majithia az AWS EMR fő termékmenedzsere.
Ankur Goyal egy SDM az Amazon EMR Big Data Platform csapatával. Nagyszabású elosztott alkalmazásokat és fürtoptimalizáló algoritmusokat épít. Ankur érdeklődik az elemzés, a gépi tanulás és az előrejelzés témakörei iránt.
Matthew Liem az AWS vezető megoldás-architektúra menedzsere.
Tarun Chanana egy SDM az Amazon EMR Big Data Platform csapatával.
- SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
- PlatoData.Network Vertical Generative Ai. Erősítse meg magát. Hozzáférés itt.
- PlatoAiStream. Web3 Intelligence. Felerősített tudás. Hozzáférés itt.
- PlatoESG. Autóipar / elektromos járművek, Carbon, CleanTech, Energia, Környezet, Nap, Hulladékgazdálkodás. Hozzáférés itt.
- PlatoHealth. Biotechnológiai és klinikai vizsgálatok intelligencia. Hozzáférés itt.
- ChartPrime. Emelje fel kereskedési játékát a ChartPrime segítségével. Hozzáférés itt.
- BlockOffsets. A környezetvédelmi ellentételezési tulajdon korszerűsítése. Hozzáférés itt.
- Forrás: https://aws.amazon.com/blogs/big-data/capacity-management-and-amazon-emr-managed-scaling-improvements-for-amazon-emr-on-ec2-clusters/
- :van
- :is
- :nem
- $ UP
- 1
- 100
- 11
- 2023
- 30
- 50
- 60
- 7
- 9
- a
- Képes
- Rólunk
- gyorsul
- Szerint
- Fiók
- szerez
- megszerzése
- Akció
- cselekvések
- aktív
- hozzáadásával
- További
- algoritmus
- algoritmusok
- Is
- Bár
- amazon
- Amazon EC2
- Amazon EMR
- Az Amazon Web Services
- an
- analitika
- és a
- Másik
- bármilyen
- Apache
- Apache Spark
- Alkalmazás
- alkalmazások
- megfelelő
- építészet
- VANNAK
- AS
- At
- Kísérletek
- auto
- Automatikus
- automatikusan
- elérhetőség
- elérhető
- tudatában van
- AWS
- alapján
- BE
- óta
- előtt
- lent
- Jobb
- Nagy
- Big adatok
- épít
- by
- TUD
- képesség
- Kapacitás
- esély
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a
- felhő
- felhő big data
- Fürt
- Hozzászólások
- képest
- teljes
- Kiszámít
- konfigurálva
- megerősít
- Következésképpen
- Fontolja
- tartalmaz
- tovább
- Mag
- Költség
- kiadások
- teremt
- kritikusság
- vevő
- Vásárlói élmény
- Ügyfelek
- dátum
- Adatplatform
- adatfeldolgozás
- nap
- mélyebb
- alapértelmezett
- késedelmek
- kívánatos
- részlet
- különböző
- kedvezmények
- megvitatni
- megosztott
- merülés
- ne
- gépkocsivezető
- alatt
- minden
- bármelyik
- engedélyezve
- növelése
- fokozott
- fokozás
- fejlesztések
- biztosítására
- biztosítja
- Eter (ETH)
- esemény
- események
- példa
- meghaladja
- tapasztalat
- lejárat
- tényező
- messze
- Funkció
- Jellemzők
- szűrő
- Találjon
- Rugalmasság
- rugalmas
- összpontosított
- következő
- A
- Előre
- keretek
- ból ből
- eleget tesz
- további
- Továbbá
- kap
- szerzés
- Csoport
- Csoportok
- boldog
- Kemény
- Legyen
- he
- hallás
- segít
- segített
- segít
- segít
- <p></p>
- legnagyobb
- Kiemelt
- történelem
- Hogyan
- HTML
- http
- HTTPS
- ID
- if
- javul
- fejlesztések
- javuló
- in
- tartalmaz
- Beleértve
- Innováció
- példa
- interaktív
- érdekelt
- Közbülső
- megszakított
- meghívni
- IT
- Munka
- Kulcs
- nagy
- a későbbiekben
- indít
- indított
- vezetékek
- TANUL
- tanulás
- kevesebb
- valószínűség
- néz
- alacsonyabb
- gép
- gépi tanulás
- készült
- sikerült
- vezetés
- menedzser
- kézzel
- Mérkőzés
- Találkozik
- jegyzőkönyv
- ML
- több
- többszörös
- szükséges
- igények
- Új
- Új funkciók
- nem
- csomópontok
- Most
- of
- ajánlat
- felajánlott
- Ajánlatok
- on
- Igény szerint
- ONE
- csak
- nyílt forráskódú
- Művelet
- optimalizálás
- optimalizálása
- or
- szervezetek
- Béke
- Mintás
- teljesítmény
- időszak
- emelvény
- Plató
- Platón adatintelligencia
- PlatoData
- kérem
- állás
- gyakorlat
- megakadályozza
- árazás
- elsődleges
- Fő
- feldolgozás
- Termékek
- termék menedzser
- védelem
- ad
- ellátás
- közzétesz
- egyensúlyának helyreállítása
- ajánl
- csökkenteni
- Csökkent
- utal
- maradványok
- eltávolítása
- jelentést
- kérni
- kötelező
- követelmények
- Útvonal
- szabályok
- futás
- futás
- azonos
- Skála
- felkerekítés, fokozás
- skálázás
- SDM
- küld
- idősebb
- Szolgáltatások
- készlet
- felépítés
- kellene
- keverés
- egyetlen
- So
- eddig
- megoldások
- néhány
- Szikra
- meghatározott
- Spot
- megáll
- Leállítja
- tárolni
- folyam
- ilyen
- kapcsoló
- Vesz
- tart
- célok
- Feladat
- csapat
- mondd
- hogy
- A
- azok
- Őket
- akkor
- Ezek
- ezt
- azok
- küszöb
- Keresztül
- idő
- nak nek
- Témakörök
- érintse
- Átláthatóság
- kiváltó
- megpróbál
- típusok
- kinyit
- -ig
- us
- használ
- segítségével
- érték
- Látogat
- volt
- we
- háló
- webes szolgáltatások
- JÓL
- amikor
- ami
- lesz
- val vel
- Munka
- dolgozott
- lenne
- te
- A te
- zephyrnet