Vähennä Amazon EMR -klusterin kustannuksia jopa 19 % uusilla Amazon EMR Managed Scaling -parannuksilla

Kesäkuussa 2020 AWS ilmoitti yleisestä saatavuudesta Amazon EMR Managed Scaling. EMR Managed Scaling -toiminnolla määrität klustereillesi vähimmäis- ja enimmäislaskentarajat, ja Amazon EMR muuttaa automaattisesti klusterin kokoa optimaalisen suorituskyvyn ja resurssien käytön varmistamiseksi. EMR Managed Scaling tarkkailee jatkuvasti keskeisiä työkuormaan liittyviä mittareita ja käyttää algoritmia, joka optimoi klusterin koon parhaan resurssien hyödyntämisen varmistamiseksi. Koska ominaisuus on täysin hallittu, algoritmin parannukset toteutetaan välittömästi ilman versiopäivitystä. Amazon EMR voi skaalata klusteria huippujen aikana ja pienentää sitä sulavasti joutojaksojen aikana, mikä vähentää kustannuksia ja optimoi klusterin kapasiteetin parhaan suorituskyvyn saavuttamiseksi.

Vuoden 2022 aikana teimme useita parannuksia EMR Managed Scaling -algoritmiin. Näiden parannusten myötä havaitsimme, että EMR Managed Scaling -toiminnolla käyttöön otettujen klustereiden käyttöaste parani jopa 15 prosenttia ja kokonaiskustannukset pienenivät edelleen jopa 19 prosenttia. Joulukuun 2022 puolivälistä alkaen EMR Managed Scaling -parannukset otettiin oletusarvoisesti käyttöön klustereissa, jotka käyttävät Amazon EMR -versiota 5.34.0 ja uudempia sekä Amazon EMR -versioita 6.4.0 ja uudempia sekä uusille että olemassa oleville klusteille. Lisäksi, koska ominaisuus on täysin hallittu, saat oletuksena uuden optimoidun Managed Scaling -algoritmin, eikä sinun tarvitse tehdä mitään.

Alla on lueteltu joitain tärkeimmistä parannuksista, jotka otimme käyttöön EMR Managed Scalingissa:

• Parannettu klusterin käyttö EMR-klusterin kohdistetulla pienennyksellä
• Pienennä kustannuksia estämällä välimuotoista satunnaisdataa tallentavien esiintymien pienenemisen Spark Shuffle -tietotietoisuus
• Paranna klusterin käyttöä ja pienennä kustannuksia laajentamalla asteittain EMR-klusteriasi

Asiakkaiden menestystarinoita

Kuinka parannettu EMR Managed Scaling -algoritmi auttoi teknologiayritystä vähentämään kustannuksia:

Kustannussäästöjen havainnollistamiseksi esimerkein tarkastelimme EMR-klustereita teknologiayritykselle, joka käyttää voimakkaasti Amazon EMR:ää käsitelläkseen reaaliaikaisia ​​laskutustietoja Kafkan ja S3:n välillä Sparkin avulla. Niillä on jatkuva EMR-klusteri EMR-versiolla 5.35 ja EMR Managed Scaling on käytössä. Seuraava Amazon CloudWatch -hallintapaneeli näyttää, kuinka parannettu Managed Scaling -algoritmi toimitti 21. joulukuuta alkaen (pyydetyt solmut yhteensä) vain 70 solmua verrattuna edelliseen Managed Scaling -algoritmiin, joka tarjosi 179 solmua samanlaiselle työprofiilille. Mitä pienempi määrä resursseja on töiden suorittamiseen, sitä pienemmät EMR-klusterin kokonaiskustannukset ovat.

Kuinka parannettu EMR Managed Scaling -algoritmi auttoi mainosyritystä vähentämään kustannuksia:

Tarkastelimme myös mainosyrityksen EMR-klusteria, joka hyödyntää Amazon EMR:ää data-analytiikkastrategiassaan ja suorittaa heidän erä-ETL-työnsä Sparkilla. He käyttävät klusteriaan EMR-versiossa 6.5, ja EMR Managed Scaling on käytössä. Seuraava Amazon CloudWatch -hallintapaneeli näyttää, kuinka 15. joulukuuta alkaen parannettu Managed Scaling -algoritmi toimitti (pyydetyt yksiköt yhteensä) vain 41 solmua verrattuna edelliseen Managed Scaling -algoritmiin, joka varusteli 86 solmua samanlaiselle työprofiilille.

EMR-klusterien kustannussäästöjen ja käyttöparannusten arvioiminen:

Klusterin kustannussäästöt:

Voit tarkastella arvioituja kustannussäästöjä EMR-klusterillesi EMR Managed Scaling -parannuksilla seuraavasti:

• Avaa CloudWatch-mittarikonsoli ja alla EMR, etsi omallasi ClusterId.
• Valitse EMR:lle käytettävissä olevien mittareiden luettelosta seuraavat kaksi mittaria:
  • Juoksukapasiteetti – Hallitun skaalauskäytännössä määrittämäsi yksikkötyypin perusteella tämä on saatavilla joko "TotalUnitsRunning"Tai"TotalNodesRunning"Tai"TotalVCPURunning". 
  • Managed Scaling -palvelun pyytämä kapasiteetti – Hallitun skaalauskäytännössä määrittämäsi yksikkötyypin perusteella tämä on saatavilla joko "TotalUnitsRequested"Tai"TotalNodesRequested"Tai"TotalVCPUResquested". 
•  Piirrä molemmat mittarit CloudWatch-hallintapaneeliisi.
• Valitse ajanjaksoksi 3 kuukautta marraskuun 2022 ja tammikuun 2023 välisenä aikana, jotta näet parannetun Managed Scaling -algoritmin parannukset verrattuna edelliseen Managed Scaling -algoritmiin.

Parannuksia klusterin käyttöön:

Arvioi EMR-klusterin käytön parannukset EMR Managed Scaling -parannuksilla seuraavasti:

• Avaa CloudWatch-mittarikonsoli ja alta EMR, etsi omallasi ClusterId.
• Valitse EMR:lle käytettävissä olevien mittareiden luettelosta "YARNMemoryAvailablePercentage” metrinen.
• Johda YARN:n käyttämä muisti lisäämällä matemaattinen lauseke, kuten "Lisää matematiikka → Aloita tyhjällä lausekkeella".
  • Aseta uudelle matemaattiselle lausekkeelle Label=Langan käyttö Ja asettaa Details=100-YARNMemoryAvailablePercentage.
• Piirrä klusterin käyttömittari CloudWatch-hallintapaneeliisi.
• Valitse ajanjaksoksi 3 kuukautta marraskuun 2022 ja tammikuun 2023 välisenä aikana, jotta näet parannetun Managed Scaling -algoritmin parannukset verrattuna edelliseen Managed Scaling -algoritmiin.

Mitä seuraavaksi

Jatkamme Managed Scaling -algoritmin viritystä jokaisen uuden EMR-julkaisun yhteydessä ja siten parannamme asiakaskokemusta skaalattaessa klustereita EMR Managed Scaling -toiminnolla.

Yhteenveto

Tässä viestissä annoimme yleiskatsauksen tärkeimmistä parannuksista, jotka lanseeramme EMR Managed Scaling -sovelluksessa. Näiden parannusten myötä havaitsimme, että klusterin käyttöaste parani jopa 15 prosenttia ja klusterin kustannukset laskivat jopa 19 prosenttia. Joulukuun 2022 puolivälistä alkaen nämä parannukset otettiin oletusarvoisesti käyttöön EMR-klustereissa, jotka käyttävät Amazon EMR -versiota 5.34.0 ja uudempia sekä Amazon EMR -versioita 6.4.0 ja uudempia. Koska EMR Managed Scaling on täysin hallittu ominaisuus, saat oletuksena uuden, optimoidun EMR Managed Scaling -algoritmin, eikä sinun tarvitse tehdä mitään.

Saat lisätietoja ja pääset alkuun EMR Managed Scaling -sovelluksen kanssa käymällä osoitteessa EMR Managed Scaling -dokumentaatiosivu.

---

Tietoja Tekijät

Sushant Majithia on EMR:n päätuotepäällikkö Amazon Web Servicesissä.

 Vishal Vyas on vanhempi ohjelmistosuunnittelija EMR:ssä Amazon Web Servicesissä.

Matthew Liem on AWS:n Senior Solution Architecture Manager.

• SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
• Platoblockchain. Web3 Metaverse Intelligence. Tietoa laajennettu. Pääsy tästä.
• Lähde: https://aws.amazon.com/blogs/big-data/reduce-amazon-emr-cluster-costs-by-up-to-19-with-new-enhancements-in-amazon-emr-managed-scaling/