Csökkentse az Amazon EMR-fürt költségeit akár 19%-kal az Amazon EMR Managed Scaling új fejlesztéseivel

2020 júniusában az AWS bejelentette, hogy általánosan elérhető Amazon EMR menedzselt méretezés. Az EMR Managed Scaling segítségével megadhatja a fürtök minimális és maximális számítási korlátját, az Amazon EMR pedig automatikusan átméretezi a fürtöt az optimális teljesítmény és erőforrás-kihasználás érdekében. Az EMR Managed Scaling folyamatosan figyeli a fő munkaterheléssel kapcsolatos mérőszámokat, és olyan algoritmust használ, amely optimalizálja a fürt méretét a legjobb erőforrás-kihasználás érdekében. Tekintettel arra, hogy a funkció teljesen felügyelt, az algoritmus fejlesztései azonnal megvalósulnak, verziófrissítés nélkül. Az Amazon EMR fel tudja skálázni a fürtöt a csúcsok idején, és kecsesen lekicsinyíti azt üresjárati időszakokban, csökkentve a költségeket és optimalizálva a fürt kapacitását a legjobb teljesítmény érdekében.

2022 során többször is továbbfejlesztettük az EMR Managed Scaling algoritmust. Ezekkel a fejlesztésekkel megfigyeltük, hogy az EMR Managed Scaling funkcióval engedélyezett fürtök esetében a kihasználtság akár 15 százalékkal javult, és az összköltség további 19 százalékkal csökkent. 2022. december közepétől az EMR Managed Scaling fejlesztései alapértelmezés szerint engedélyezve lettek az Amazon EMR 5.34.0-s és újabb verzióit, valamint az Amazon EMR 6.4.0-s és újabb verzióit használó fürtöknél mind az új, mind a meglévő fürtöknél. Továbbá, mivel a funkció teljesen felügyelt, alapértelmezés szerint megkapja az új optimalizált Managed Scaling algoritmust, és nincs szükség semmilyen műveletre.

Az alábbiakban felsorolunk néhány kulcsfontosságú fejlesztést, amelyet az EMR Managed Scaling számára engedélyeztünk:

• Továbbfejlesztett fürthasználat az EMR-fürt célzott lecsökkentésével
• Csökkentett költségek azáltal, hogy megakadályozza a közbenső keverési adatokat tároló példányok lecsökkentését Spark Shuffle adattudatosság
• A fürtök jobb kihasználtsága és a költségek csökkentése az EMR-fürt fokozatos bővítésével

Ügyfél sikertörténetei

Hogyan segített a továbbfejlesztett EMR Managed Scaling algoritmus egy technológiai vállalkozásnak a költségek csökkentésében:

A költségmegtakarítás példákkal való illusztrálása érdekében megvizsgáltunk egy technológiai vállalat EMR-fürtjét, amely nagymértékben használja az Amazon EMR-t a Kafka és az S3 közötti valós idejű számlázási adatok feldolgozására a Spark segítségével. Állandó EMR-fürtöt futtatnak az EMR 5.35-ös verziójával, és be van kapcsolva az EMR Managed Scaling. Az alábbi Amazon CloudWatch irányítópult bemutatja, hogy december 21-től a továbbfejlesztett Managed Scaling algoritmus hogyan biztosított (összes kért csomópont) csak 70 csomópont, szemben az előző felügyelt méretezési algoritmussal, amely 179 csomópontot biztosított egy hasonló feladatprofilhoz. Minél alacsonyabb a feladatok futtatásához rendelkezésre álló erőforrások száma, annál alacsonyabb az EMR-fürt teljes költsége.

Hogyan segített a továbbfejlesztett EMR Managed Scaling algoritmus egy hirdetési vállalkozásnak a költségek csökkentésében:

Megvizsgáltunk egy reklámvállalkozás EMR-fürtjét is, amely az Amazon EMR-t használja adatelemzési stratégiájukhoz, és a kötegelt ETL-feladatokat a Spark segítségével hajtja végre. Fürtjeik az EMR 6.5-ös verzióján futnak, és be van kapcsolva az EMR Managed Scaling. Az alábbi Amazon CloudWatch irányítópult bemutatja, hogy december 15-től a továbbfejlesztett Managed Scaling algoritmus hogyan biztosított (összes kért egység) csak 41 csomópont, szemben az előző felügyelt méretezési algoritmussal, amely 86 csomópontot biztosított egy hasonló feladatprofilhoz.

Az EMR-fürtök költségmegtakarításának és kihasználtságának becslése:

Klaszter költségmegtakarítás:

Az EMR-fürt becsült költségmegtakarításának megtekintéséhez kövesse az alábbi lépéseket:

• Nyissa meg a CloudWatch mérőkonzol és, alatt EMR, keressen a saját alapján ClusterId.
• Az EMR-hez elérhető metrikák listájából válassza ki a következő két mérőszámot:
  • Futóképesség – A felügyelt méretezési szabályzatban megadott egységtípus alapján ez a következőképpen lesz elérhető:TotalUnitsRunningVagy „TotalNodesRunning"Vagy"TotalVCPURunning". 
  • A Managed Scaling által igényelt kapacitás – A felügyelt méretezési szabályzatban megadott egységtípus alapján ez a következőképpen lesz elérhető:TotalUnitsRequestedVagy „TotalNodesRequested"Vagy"TotalVCPURquested". 
•  Mindkét mérőszámot ábrázolja a CloudWatch irányítópultján.
• Válassza ki a 3 novembere és 2022 januárja közötti 2023 hónapot, hogy megtekinthesse a továbbfejlesztett felügyelt skálázási algoritmussal végzett fejlesztéseket az előző felügyelt skálázási algoritmushoz képest.

A fürthasználati fejlesztések:

Ha meg szeretné becsülni az EMR-fürt kihasználtságát az EMR Managed Scaling fejlesztésekkel, kövesse az alábbi lépéseket:

• Nyissa meg a CloudWatch metrikakonzolt, és az alatt EMR, keressen a saját alapján ClusterId.
• Az EMR-hez elérhető mérőszámok listájából válassza ki a „YARNMemoryAvailablePercentage” metrikus.
• A YARN által használt memória származtatásához adjon hozzá egy matematikai kifejezést, például „Matek hozzáadása → Kezdje üres kifejezéssel”
  • Az új matematikai kifejezéshez állítsa be Label=Fonalhasználat és állítsa be Details=100-YARNMemoryAvailablePercentage.
• Ábrázolja a fürthasználati mutatót a CloudWatch irányítópultján.
• Válassza ki a 3 novembere és 2022 januárja közötti 2023 hónapot, hogy megtekinthesse a továbbfejlesztett felügyelt skálázási algoritmussal végzett fejlesztéseket az előző felügyelt skálázási algoritmushoz képest.

Mi a következő lépés

Folytatjuk a Managed Scaling algoritmus hangolását minden új EMR-kiadásnál, és ezáltal javítjuk az ügyfélélményt a fürtök EMR Managed Scaling segítségével skálázásakor.

Következtetés

Ebben a bejegyzésben áttekintést adtunk az EMR Managed Scaling szolgáltatásban elindított legfontosabb fejlesztésekről. Ezekkel a fejlesztésekkel azt tapasztaltuk, hogy a fürt kihasználtsága akár 15 százalékkal javult, és a klaszterköltség akár 19 százalékkal csökkent. 2022. december közepétől ezek a fejlesztések alapértelmezés szerint engedélyezve voltak az Amazon EMR 5.34.0-s és újabb verzióit, valamint az Amazon EMR 6.4.0-s és újabb verzióit használó EMR-fürtöknél. Mivel az EMR Managed Scaling egy teljesen felügyelt funkció, alapértelmezés szerint az új, optimalizált EMR Managed Scaling algoritmust kapja meg, és nincs szükség semmilyen teendőre.

További információért és az EMR Managed Scaling használatának megkezdéséhez látogassa meg a EMR Managed Scaling dokumentációs oldal.

---

A szerzőkről

Sushant Majithia az Amazon Web Services EMR fő termékmenedzsere.

 Vishal Vyas az Amazon Web Services EMR vezető szoftvermérnöke.

Matthew Liem az AWS vezető megoldás-architektúra menedzsere.

• SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
• Platoblockchain. Web3 metaverzum intelligencia. Felerősített tudás. Hozzáférés itt.
• Forrás: https://aws.amazon.com/blogs/big-data/reduce-amazon-emr-cluster-costs-by-up-to-19-with-new-enhancements-in-amazon-emr-managed-scaling/