Amazon EMR Managed Scaling'deki yeni geliştirmelerle Amazon EMR kümesi maliyetlerini %19'a kadar azaltın

Amazon EMR Managed Scaling'deki yeni geliştirmelerle Amazon EMR kümesi maliyetlerini %19'a kadar azaltın

Zaman Damgası: 28 Şubat 2023 3:43
Kaynak Düğüm: 1985302

Haziran 2020'de AWS, şu özelliklerin genel kullanılabilirliğini duyurdu: Amazon EMR Yönetilen Ölçeklendirme. EMR Yönetilen Ölçeklendirme ile kümeleriniz için minimum ve maksimum işlem sınırlarını belirlersiniz ve Amazon EMR, optimum performans ve kaynak kullanımı için kümenizi otomatik olarak yeniden boyutlandırır. EMR Yönetilen Ölçeklendirme, iş yüküyle ilgili önemli metrikleri sürekli olarak izler ve en iyi kaynak kullanımı için küme boyutunu optimize eden bir algoritma kullanır. Özelliğin tamamen yönetildiği göz önüne alındığında, sürüm yükseltmesine gerek kalmadan algoritma iyileştirmeleri anında gerçekleştirilir. Amazon EMR, kümenin en yoğun olduğu zamanlarda ölçeğini büyütebilir ve boşta kalma dönemlerinde zarif bir şekilde küçülterek maliyetlerinizi düşürür ve en iyi performans için küme kapasitesini optimize eder.

2022 yılı boyunca, EMR Yönetilen Ölçeklendirme algoritmasında birçok iyileştirme yaptık. Bu iyileştirmelerle, EMR Yönetilen Ölçeklendirme ile etkinleştirilen kümeler için kullanımın yüzde 15'e kadar arttığını ve toplam maliyetlerin yüzde 19'a kadar daha da düştüğünü gözlemledik. Aralık 2022'nin ortasından itibaren EMR Managed Scaling geliştirmeleri, hem yeni hem de mevcut kümeler için Amazon EMR 5.34.0 ve sonraki sürümleri ve Amazon EMR 6.4.0 ve sonraki sürümleri kullanan kümeler için varsayılan olarak etkinleştirildi. Ayrıca, özelliğin tamamen yönetildiği göz önüne alındığında, varsayılan olarak optimize edilmiş yeni Yönetilen Ölçeklendirme algoritmasına sahip olacaksınız ve herhangi bir işlem yapmanıza gerek yok.

EMR Yönetilen Ölçeklendirme için etkinleştirdiğimiz bazı önemli geliştirmeler aşağıda listelenmiştir:

  • EMR kümenizin hedeflenen küçültülmesiyle iyileştirilmiş küme kullanımı
  • Şunları kullanarak ara karıştırma verilerini depolayan örneklerin ölçeğinin küçültülmesini önleyerek maliyetleri azaltın: Spark Shuffle veri farkındalığı
  • EMR kümenizin kademeli olarak büyütülmesiyle iyileştirilmiş küme kullanımı ve maliyetleri azaltın

Müşteri Başarı Hikayeleri

Gelişmiş EMR Yönetilen Ölçeklendirme algoritması, bir teknoloji kuruluşunun maliyetleri düşürmesine nasıl yardımcı oldu:

Maliyet tasarruflarını örneklerle göstermek için, Spark kullanarak Kafka ve S3 arasında gerçek zamanlı faturalandırma verilerini işlemek için yoğun bir şekilde Amazon EMR'yi kullanan bir teknoloji kuruluşu için bir EMR kümelerine baktık. EMR sürüm 5.35 ile kalıcı bir EMR kümesi çalıştırıyorlar ve EMR Yönetimli Ölçekleme açık. Aşağıdaki Amazon CloudWatch panosu, 21 Aralık'tan itibaren gelişmiş Yönetilen Ölçeklendirme algoritmasının nasıl sağlandığını gösterir (istenen toplam düğüm sayısı) benzer bir iş profili için 70 düğüm sağlayan önceki Yönetilen Ölçeklendirme algoritmasına kıyasla yalnızca 179 düğüm. İşlerinizi yürütmek için sağlanan kaynak sayısı ne kadar azsa, EMR kümenizin toplam maliyeti o kadar düşük olur.

Gelişmiş EMR Yönetilen Ölçeklendirme algoritması, bir reklam kuruluşunun maliyetleri düşürmesine nasıl yardımcı oldu:

Ayrıca, veri analitiği stratejisi için Amazon EMR'den yararlanan ve toplu ETL işlerini Spark kullanarak yürüten bir reklam kuruluşu için bir EMR kümesini de inceledik. Kümelerini EMR sürüm 6.5'te çalıştırıyorlar ve EMR Yönetimli Ölçekleme açık. Aşağıdaki Amazon CloudWatch panosu, 15 Aralık'tan itibaren gelişmiş Yönetilen Ölçeklendirme algoritmasının nasıl sağlandığını gösterir (talep edilen toplam birim) benzer bir iş profili için 41 düğüm sağlayan önceki Yönetilen Ölçeklendirme algoritmasına kıyasla yalnızca 86 düğüm.

EMR kümeleriniz için maliyet tasarruflarını ve kullanım iyileştirmelerini tahmin etme:

Küme maliyet tasarrufu:

EMR Yönetilen Ölçeklendirme geliştirmeleriyle EMR kümeniz için tahmini maliyet tasarruflarını görüntülemek için lütfen aşağıdaki adımları izleyin:

  • Açın CloudWatch ölçüm konsolu ve altında EMR, şuna göre ara: ClusterId.
  • EMR için kullanılabilen metrikler listesinden aşağıdaki iki metriği seçin:
    • çalışma kapasitesi – Yönetilen Ölçeklendirme politikanızda belirttiğiniz birim tipine bağlı olarak bu, "Çalışan Toplam Birim"Veya"Çalışan Toplam Düğüm Sayısı"Ya da"ToplamVCPURçalışıyorbaşlıklı bir kılavuz yayınladı. 
    • Yönetilen Ölçeklendirme tarafından talep edilen kapasite – Yönetilen Ölçeklendirme politikanızda belirttiğiniz birim tipine bağlı olarak bu, "İstenen Toplam Birimler"Veya"İstenen Toplam Düğüm Sayısı"Ya da"ToplamVCPUtalep edilenbaşlıklı bir kılavuz yayınladı. 
  •  Her iki ölçümü de CloudWatch panonuza çizin.
  • Önceki Yönetilen Ölçeklendirme algoritmasına kıyasla geliştirilmiş Yönetilen Ölçeklendirme algoritmasıyla yapılan iyileştirmeleri görüntülemek için Kasım 3 ile Ocak 2022 arasındaki 2023 ay olarak zaman dilimini seçin.

Küme kullanım iyileştirmeleri:

EMR Yönetilen Ölçeklendirme iyileştirmeleri ile EMR kümesi kullanımınızdaki gelişmeleri tahmin etmek için lütfen aşağıdaki adımları izleyin:

  • CloudWatch ölçüm konsolunu açın ve altında EMR, şuna göre ara: ClusterId.
  • EMR için kullanılabilen metrikler listesinden “YARNBellekKullanılabilirYüzde” metrik.
  • YARN tarafından kullanılan belleği türetmek için "Matematik Ekle → Boş ifadeyle başla" gibi bir matematik ifadesi ekleyin.
    • Yeni matematik ifadesi için ayarlayın Etiket=İplik Kullanımı ve ayarla Ayrıntılar=100-YARNMemoryAvailablePercentage.
  • Küme kullanım metriğini CloudWatch panonuza çizin.
  • Önceki Yönetilen Ölçeklendirme algoritmasına kıyasla geliştirilmiş Yönetilen Ölçeklendirme algoritmasıyla yapılan iyileştirmeleri görüntülemek için Kasım 3 ile Ocak 2022 arasındaki 2023 ay olarak zaman dilimini seçin.

Sıradaki ne

Yönetilen Ölçeklendirme algoritmasını her yeni EMR sürümünde ayarlamaya devam edeceğiz ve böylece kümeleri EMR Yönetilen Ölçeklendirme ile ölçeklendirirken müşteri deneyimini iyileştireceğiz.

Sonuç

Bu gönderide, EMR Yönetilen Ölçeklendirmede kullanıma sunduğumuz temel geliştirmeye genel bir bakış sağladık. Bu geliştirmeler ile küme kullanımının yüzde 15'e varan oranda iyileştiğini ve küme maliyetinin yüzde 19'a varan oranda azaldığını gözlemledik. Aralık 2022'nin ortasından itibaren bu geliştirmeler, Amazon EMR sürüm 5.34.0 ve sonraki sürümleri ile Amazon EMR sürüm 6.4.0 ve sonraki sürümleri kullanan EMR kümeleri için varsayılan olarak etkinleştirildi. EMR Yönetilen Ölçeklendirmenin tamamen yönetilen bir özellik olduğu göz önüne alındığında, varsayılan olarak yeni, optimize edilmiş EMR Yönetilen Ölçeklendirme algoritmasına sahip olacaksınız ve herhangi bir işlem yapmanıza gerek yok.

Daha fazla bilgi edinmek ve EMR Yönetilen Ölçeklendirmeyi kullanmaya başlamak için şu adresi ziyaret edin: EMR Yönetilen Ölçeklendirme dokümantasyon sayfası.

Yazarlar Hakkında

Sushant Majithia Amazon Web Services'ta EMR için Ana Ürün Yöneticisidir.

 Vishal Vyas Amazon Web Services'ta EMR için Kıdemli Yazılım Mühendisidir.

Matthew Liem AWS'de Kıdemli Çözüm Mimarisi Yöneticisidir.

Zaman Damgası:

Den fazla AWS Büyük Veri