Amazon EMR'si uygun maliyetli bir şekilde ölçeklenebilir veri ardışık düzenleri oluşturmak için AWS'de Apache Spark ve diğer açık kaynaklı uygulamaları çalıştırmak üzere AWS tarafından sunulan bir büyük veri hizmetidir. EMR kümelerinde konuşlandırılan işlerden oluşturulan günlüklerin izlenmesi, kritik sorunların gerçek zamanlı olarak tespit edilmesine ve temel nedenlerin hızlı bir şekilde belirlenmesine yardımcı olmak için çok önemlidir.
Bu günlükleri içeri itmek Amazon Bulut İzleme sunucuları tedarik etmeye veya yazılımları yönetmeye gerek kalmadan operasyonel sorunları çözmek için günlüklerinizden eyleme dönüştürülebilir zekayı merkezileştirmenize ve yürütmenize olanak tanır. Toplamalar, filtreler ve normal ifadelerle anında sorgu yazmaya başlayabilirsiniz. Ek olarak, zaman serisi verilerini görselleştirebilir, bireysel günlük olaylarını detaylandırabilir ve sorgu sonuçlarını CloudWatch panolarına aktarabilirsiniz.
Kalıcı olan günlükleri almak için Amazon Elastik Bilgi İşlem Bulutu (Amazon EC2) bir EMR kümesinin örneklerini CloudWatch'a aktarırken, CloudWatch temsilcisi. Bu, günlükleri bir EC2 bulut sunucusundan CloudWatch'a aktarmanın basit bir yolunu sağlar.
CloudWatch aracısı, sunucularınızda bağımsız ve sürekli olarak çalışan bir yazılım paketidir. EC2 bulut sunucularından, şirket içi ana bilgisayarlardan ve kapsayıcılı uygulamalardan sistem ve uygulama günlüklerini toplamak için CloudWatch aracısını kurabilir ve yapılandırabilirsiniz. CloudWatch, CloudWatch aracısı tarafından toplanan günlükleri işler ve depolar, bu da altyapınızın ve uygulamalarınızın performansının ve sağlığının izlenmesine yardımcı olur.
Bu gönderide bir EMR kümesi oluşturuyoruz ve CloudWatch'ta işlerin EMR adım günlüklerini merkezileştiriyoruz. Bu, EMR kümenizi yönetmenizi, sorunları gidermenizi ve performansı izlemenizi kolaylaştıracaktır. Bu çözüm, CloudWatch'ı gerçek zamanlı günlükleri, ölçümleri ve olay verilerini toplamak ve görselleştirmek için kullanmak, altyapınızı ve uygulama bakımınızı kolaylaştırmak istiyorsanız özellikle yararlıdır.
Çözüme genel bakış
Bu gönderide sunulan çözüm, EMR adım eşzamanlılık seviyesinin 1 olarak ayarlandığı belirli bir yapılandırmaya dayanmaktadır. Bu, kümede her seferinde yalnızca bir adımın çalıştırıldığı anlamına gelir. EMR adımı eşzamanlılık düzeyi 1'den büyük bir değere ayarlanırsa çözümün beklendiği gibi çalışmayabileceğini unutmamak önemlidir. doğrulamanızı önemle tavsiye ederiz. EMR adım eşzamanlılığı Bu gönderide sunulan çözümü uygulamadan önce yapılandırma.
Aşağıdaki şemada çözüm mimarisi gösterilmektedir.
İş akışı aşağıdaki adımları içerir:
- Kullanıcılar, EMR kümesinde bir adım oluşturarak bir Apache Spark EMR işi başlatır. Apache Spark kullanılarak, iş yükü EMR kümesinin farklı düğümlerine dağıtılır.
- Kümenin her düğümünde (EC2 örneği), bir CloudWatch aracısı farklı günlük dizinlerini izleyerek günlük dosyalarındaki yeni girişleri yakalar ve bunları CloudWatch'a gönderir.
- Kullanıcılar, CloudWatch konsolundan farklı günlük gruplarına erişen adım günlüklerini görüntüleyebilir. Amazon EMR tarafından yazılan adım günlükleri aşağıdaki gibidir:
- kontrolör — Adımın işlenmesi hakkında bilgi. Yükleme sırasında adımınız başarısız olursa, yığın izlemeyi bu günlükte bulabilirsiniz.
- Stderr — Spark'ın adımı işlerken standart hata kanalı.
- stdout'u — Adımı işlerken Spark'ın standart çıkış kanalı.
Biz bir AWS CloudFormation Bu gönderideki şablon, genel bir kılavuz olarak. Şablon, Spark günlüklerini CloudWatch'a iletmek için Amazon EMR'de bir CloudWatch aracısının nasıl yapılandırılacağını gösterir. Amazon EMR güvenlik yapılandırmalarınızı dahil etmek için gerektiği gibi inceleyebilir ve özelleştirebilirsiniz. En iyi uygulama olarak, şablona Amazon EMR güvenlik yapılandırmalarınızı eklemenizi öneririz. aktarılan verileri şifrelemek.
Ayrıca, bu yığın tarafından konuşlandırılan bazı kaynakların kullanımda kaldıklarında maliyete maruz kaldığını da bilmelisiniz.
Sonraki bölümlerde, aşağıdaki adımlardan geçiyoruz:
- Önyükleme komut dosyasını oluşturun ve bir Amazon Basit Depolama Hizmeti (Amazon S3) kovası.
- Aşağıdaki kaynakları oluşturmak için CloudFormation şablonunu kullanın:
- CloudWatch konsolunda Spark günlüklerini izleyin.
Önkoşullar
Bu gönderi, aşağıdakilere sahip olduğunuzu varsayar:
Önyükleme komut dosyasını oluşturun ve bir S3 klasörüne yükleyin
Daha fazla bilgi için bkz: Nesneleri yükleme ve CloudWatch aracısını sunucularınıza yükleme ve çalıştırma.
Önyükleme komut dosyasını oluşturmak ve karşıya yüklemek için aşağıdaki adımları tamamlayın:
- adlı yerel bir dosya oluşturun.
bootstrap_cloudwatch_agent.sh
aşağıdaki içerikle: - Amazon S3 konsolunda S3 klasörünüzü seçin.
- Üzerinde nesneler sekmesini seçin Foto Yükle.
- Klinik Dosyaları ekleyin, ardından önyükleme komut dosyasını seçin.
- Klinik Foto Yükle, ardından dosya adını seçin:
bootstrap_cloudwatch_agent.sh
. - Klinik S3 URI'sini kopyala. Bu değeri daha sonraki bir adımda kullanırız.
CloudFormation şablonuyla kaynakları sağlayın
Klinik Yığını Başlat Hesabınızda bir CloudFormation yığını başlatmak ve şablonu dağıtmak için:
Bu şablon bir IAM rolü, IAM örnek profili, Sistem Yöneticisi parametresi ve EMR kümesi oluşturur. Küme başlar Spark PI tahmini örnek uygulaması. Bu şablondan bir yığın oluşturursanız, kullanılan AWS kaynakları için faturalandırılırsınız.
CloudFormation sihirbazı sizden şu parametreleri değiştirmenizi veya sağlamanızı isteyecektir:
- Örnek Türü - örnek türü tüm örnek grupları için. Varsayılan m4.xlarge'dır.
- Örnek SayısıÇekirdek – Çekirdek örnek grubundaki örnek sayısı. Varsayılan 2'dir.
- EMRReaseLabel - Amazon EMR sürüm etiketi kullanmak istiyorsun Varsayılan emr-6.9.0'dır.
- BootstrapScriptPath – Daha önce kopyaladığınız CloudWatch aracısı kurulum önyükleme komut dosyanızın S3 yolu.
- alt ağ – Kümenin başlatıldığı EC2 alt ağı. Bu parametreyi sağlamanız gerekir.
- EC2AnahtarÇiftiAdı – Oturum Yöneticisine alternatif olarak, küme düğümlerine bağlanmak için isteğe bağlı bir EC2 anahtar çifti.
Günlük akışlarını izleyin
CloudFormation yığını başarıyla dağıtıldıktan sonra, CloudWatch konsolunda Günlük grupları gezinti bölmesinde. Ardından günlük gruplarını öneke göre filtreleyin /aws/emr/master
.
Günlük grubundaki kimlik, EMR birincil düğümünün EC2 bulut sunucusu kimliğine karşılık gelir. Birden fazla EMR kümeniz varsa, birincil düğüm kimliğine bağlı olarak belirli bir EMR kümesini tanımlamak için bu kimliği kullanabilirsiniz.
Günlük grubunda, üç farklı günlük akışı bulacaksınız.
Günlük akışları aşağıdaki bilgileri içerir:
- adım stdout – Adımı işlerken Spark'ın standart çıkış kanalı.
- adım stderr – Adımı işlerken Spark'ın standart hata kanalı.
- adım denetleyici – Adımın işlenmesi hakkında bilgi. Yükleme sırasında adımınız başarısız olursa, yığın izlemeyi bu günlükte bulabilirsiniz.
Temizlemek
Gelecekte hesabınızdan ücret alınmasını önlemek için, bu izlenecek yolda oluşturduğunuz kaynakları silin. EMR kümesi, küme etkin olduğu sürece ücrete tabi olacaktır, bu nedenle işiniz bittiğinde durdurun.
- CloudFormation konsolunda, gezinti bölmesinde Yığınları.
- Başlattığınız yığını seçin (
EMR-CloudWatch-Demo
), ardından Sil. - S3 kovasını boşaltın sen yarattın.
- S3 klasörünü silin sen yarattın.
Sonuç
Bu izlenecek yoldaki adımları tamamladığınıza göre, CloudWatch aracınız küme ana bilgisayarlarınızda çalışıyor ve EMR adım günlüklerini CloudWatch'a gönderecek şekilde yapılandırılmış durumda. Bu özellikle, Amazon EMR'de çalışan Spark işlerinizin durumunu ve performansını etkili bir şekilde izleyebilir, kritik sorunları gerçek zamanlı olarak saptayabilir ve temel nedenleri hızla belirleyebilirsiniz.
Bu çözümü, IAM örnek profili rolünü, Sistem Yöneticisi parametresini ve EMR kümesini oluşturan bu örnek şablon gibi bir CloudFormation şablonu aracılığıyla paketleyebilir ve devreye alabilirsiniz.
Bunu daha da ileriye götürmek için, bir cihazdaki uyarılar için CloudWatch alarmlarında bu günlükleri kullanmayı düşünün. günlük grubu-metrik filtresi. Bunları diğer alarmlarla birlikte bir bileşik alarm veya gönderme gibi alarm eylemlerini yapılandırın. Amazon Basit Bildirim Servisi (Amazon SNS) bildirimleri, aşağıdakiler gibi olaya dayalı süreçleri tetikler: AWS Lambda fonksiyonlar.
Yazar Hakkında
Ennio Pastore AWS Data Lab ekibinde Kıdemli Veri Mimarıdır. İşletmeler ve genel geçim kaynakları üzerinde olumlu etkisi olan yeni teknolojilerle ilgili her şeye meraklıdır. Ennio, veri analizinde 10 yılı aşkın deneyime sahiptir. Şirketlerin telekomünikasyon, bankacılık, oyun, perakende ve sigortacılık gibi sektörlerde veri platformları tanımlamasına ve uygulamasına yardımcı olur.
- SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
- Plato blok zinciri. Web3 Metaverse Zekası. Bilgi Güçlendirildi. Buradan Erişin.
- Kaynak: https://aws.amazon.com/blogs/big-data/push-amazon-emr-step-logs-from-amazon-ec2-instances-to-amazon-cloudwatch-logs/
- :dır-dir
- 1
- 10
- 100
- 9
- a
- Hakkımızda
- erişme
- Hesap
- karşısında
- eylemler
- aktif
- ilave
- adres
- Danışman
- alarm
- uyarılar
- Türkiye
- alternatif
- Amazon
- Amazon EC2
- Amazon EMR'si
- analytics
- ve
- Apache
- Apache Spark
- Uygulama
- uygulamaları
- mimari
- ARE
- AS
- At
- otonom
- AWS
- Bankacılık
- merkezli
- BE
- önce
- başlamak
- İYİ
- Büyük
- büyük Veri
- Çizme atkısı
- inşa etmek
- işletmeler
- by
- CAN
- Yakalama
- nedenleri
- Telegram Kanal
- yükler
- Klinik
- Küme
- toplamak
- Şirketler
- tamamlamak
- Tamamlandı
- hesaplamak
- yapılandırma
- bağlantı
- Düşünmek
- konsolos
- içerik
- devamlı olarak
- çekirdek
- tekabül
- uygun maliyetli
- maliyetler
- olabilir
- yaratmak
- çevrimiçi kurslar düzenliyorlar.
- oluşturur
- Oluşturma
- kritik
- özelleştirmek
- veri
- Veri Analizi
- Varsayılan
- gösteriyor
- dağıtmak
- konuşlandırılmış
- dağıtır
- farklı
- dizinleri
- dağıtıldı
- aşağı
- sürücü
- her
- Daha erken
- kolay
- kaçırmak
- etkili bir şekilde
- sağlar
- hayran
- hata
- gerekli
- Eter (ETH)
- Etkinlikler
- olaylar
- her şey
- örnek
- beklenen
- deneyim
- ihracat
- ifade
- başarısız
- Özellikler(Hazırlık aşamasında)
- fileto
- dosyalar
- filtre
- filtreler
- bulmak
- takip etme
- şu
- İçin
- itibaren
- fonksiyonlar
- daha fazla
- gelecek
- kumar
- genel
- oluşturulan
- Go
- büyük
- grup
- Grubun
- rehberlik
- Var
- Sağlık
- yardım et
- faydalı
- yardımcı olur
- büyük ölçüde
- ana
- Ne kadar
- Nasıl Yapılır
- HTML
- http
- HTTPS
- IAM
- ID
- belirlemek
- belirlenmesi
- darbe
- uygulamak
- uygulanması
- önemli
- in
- dahil
- içerir
- Dahil olmak üzere
- bireysel
- Endüstri
- bilgi
- Altyapı
- kurmak
- yükleme
- örnek
- sigorta
- İstihbarat
- sorunlar
- IT
- İş
- Mesleki Öğretiler
- jpg
- json
- laboratuvar
- başlatmak
- başlattı
- başlattı
- seviye
- sevmek
- yükleme
- yerel
- Uzun
- bakım
- yapmak
- yönetmek
- müdür
- tavır
- anlamına geliyor
- Metrikleri
- değiştirmek
- izlemek
- izleme
- Daha
- çoklu
- isim
- adlı
- Navigasyon
- gerekli
- gerek
- yeni
- Yeni teknolojiler
- sonraki
- düğüm
- düğümler
- tebliğ
- bildirimleri
- numara
- of
- sunulan
- on
- ONE
- açık kaynak
- işletme
- Diğer
- çıktı
- paket
- bölmesi
- parametre
- parametreler
- belirli
- özellikle
- yol
- performans
- Platformlar
- Platon
- Plato Veri Zekası
- PlatoVeri
- pozitif
- Çivi
- uygulama
- sundu
- birincil
- Süreçler
- işleme
- Profil
- sağlamak
- sağlar
- hüküm
- Itmek
- itme
- hızla
- gerçek
- gerçek zaman
- tavsiye etmek
- düzenli
- ilgili
- serbest
- kalmak
- Kaynaklar
- Sonuçlar
- perakende
- yorum
- Rol
- kök
- koşmak
- koşu
- ölçeklenebilir
- bölümler
- güvenlik
- gönderme
- kıdemli
- Dizi
- hizmet
- Oturum
- set
- meli
- Basit
- So
- Yazılım
- çözüm
- biraz
- Kıvılcım
- özel
- yığın
- standart
- başlama
- XNUMX dakika içinde!
- başlar
- adım
- Basamaklar
- dur
- hafızası
- mağaza
- düzene
- dere
- alt
- Başarılı olarak
- böyle
- sudo
- sistem
- Sistemler
- Bizi daha iyi tanımak için
- takım
- Teknolojileri
- telekomünikasyon
- şablon
- o
- The
- Onları
- Bunlar
- üç
- İçinden
- zaman
- Zaman serisi
- için
- iz
- tetikleyebilir
- kullanım
- değer
- doğrulama
- Görüntüle
- örneklerde
- saatler
- Yol..
- hangi
- süre
- irade
- ile
- olmadan
- İş
- iş akışı
- yazı yazıyor
- yazılı
- tatlım
- yıl
- zefirnet