Amazon EMR on AWS-i pakutav suurandmeteenus Apache Sparki ja muude avatud lähtekoodiga rakenduste käitamiseks AWS-is, et luua kulutõhusal viisil skaleeritavaid andmetorusid. EMR-klastritesse juurutatud töödest loodud logide jälgimine on oluline kriitiliste probleemide reaalajas tuvastamiseks ja algpõhjuste kiireks tuvastamiseks.
Nende palkide sisse surumine Amazon CloudWatch võimaldab teil tsentraliseerida ja juhtida oma logidest kasutatavat luureandmeid, et lahendada tööprobleeme, ilma et oleks vaja servereid varustada või tarkvara hallata. Saate kohe alustada päringute kirjutamist koondamiste, filtrite ja regulaaravaldiste abil. Lisaks saate visualiseerida aegridade andmeid, süveneda üksikutesse logisündmustesse ja eksportida päringutulemusi CloudWatchi armatuurlaudadele.
Püsivate logide allaneelamiseks Amazon Elastic Compute Cloud (Amazon EC2) EMR-klastri eksemplare CloudWatchi, saate kasutada CloudWatchi agent. See on lihtne viis logide edastamiseks EC2 eksemplarilt CloudWatchi.
CloudWatchi agent on tarkvarapakett, mis töötab teie serverites iseseisvalt ja pidevalt. Saate installida ja konfigureerida CloudWatchi agendi, et koguda süsteemi ja rakenduste logisid EC2 eksemplaridest, kohapealsetest hostidest ja konteinerrakendustest. CloudWatch töötleb ja salvestab CloudWatchi agendi kogutud logisid, mis aitab veelgi paremini teie infrastruktuuri ja rakenduste toimivust ja seisundit jälgida.
Selles postituses loome EMR-klastri ja koondame CloudWatchi tööde EMR-i sammude logid. See muudab teie EMR-klastri haldamise, probleemide tõrkeotsingu ja jõudluse jälgimise lihtsamaks. See lahendus on eriti kasulik, kui soovite kasutada CloudWatchi reaalajas logide, mõõdikute ja sündmuste andmete kogumiseks ja visualiseerimiseks, tõhustades oma infrastruktuuri ja rakenduste hooldust.
Ülevaade lahendusest
Selles postituses esitatud lahendus põhineb konkreetsel konfiguratsioonil, kus EMR-i sammude samaaegsuse tasemeks on seatud 1. See tähendab, et klastris käivitatakse korraga ainult üks samm. Oluline on märkida, et kui EMR-i sammu samaaegsuse tase on seatud väärtusele, mis on suurem kui 1, ei pruugi lahendus ootuspäraselt töötada. Soovitame tungivalt oma EMR-i sammude samaaegsus konfiguratsiooni enne selles postituses esitatud lahenduse rakendamist.
Järgnev diagramm illustreerib lahenduse arhitektuuri.
Töövoog sisaldab järgmisi samme:
- Kasutajad alustavad Apache Spark EMR-i tööd, luues sammu EMR-klastris. Apache Sparki abil jaotatakse töökoormus EMR-klastri erinevate sõlmede vahel.
- Klastri igas sõlmes (EC2 eksemplar) jälgib CloudWatchi agent erinevaid logikatalooge, jäädvustab logifailidesse uued kirjed ja suunab need CloudWatchi.
- Kasutajad saavad CloudWatchi konsoolist vaadata erinevate logirühmade juurde pääsemise sammude logisid. Amazon EMR-i kirjutatud sammulogid on järgmised:
- kontroller — Teave etapi töötlemise kohta. Kui teie samm laadimise ajal ebaõnnestub, leiate virna jälje sellest logist.
- stderr — Sparki standardne veakanal sammu töötlemisel.
- stdout — Sparki standardne väljundkanal sammu töötlemise ajal.
Pakume an AWS CloudFormation selles postituses olev mall üldise juhendina. Mall näitab, kuidas konfigureerida CloudWatchi agent Amazon EMR-is, et suunata Sparki logid CloudWatchi. Saate seda vajadusel üle vaadata ja kohandada, et lisada oma Amazon EMR-i turbekonfiguratsioonid. Parima tavana soovitame lisada oma Amazon EMR-i turbekonfiguratsioonid malli krüpteerida edastatavaid andmeid.
Samuti peaksite teadma, et mõned selle virna juurutatud ressursid kannavad kulusid, kui need kasutusse jäävad.
Järgmistes jaotistes läbime järgmised sammud.
- Looge alglaadimisskript ja laadige see üles Amazoni lihtne salvestusteenus (Amazon S3) kopp.
- Kasutage CloudFormationi malli järgmiste ressursside loomiseks.
- Jälgige CloudWatchi konsoolis Sparki logisid.
Eeldused
See postitus eeldab, et teil on järgmine:
Looge ja laadige alglaadimisskript S3 ämbrisse
Täpsema info saamiseks vt Objektide üleslaadimine ja CloudWatchi agendi installimine ja käitamine oma serverites.
Alglaadimisskripti loomiseks ja üleslaadimiseks toimige järgmiselt.
- Looge kohalik fail nimega
bootstrap_cloudwatch_agent.sh
koos järgmise sisuga: - Valige Amazon S3 konsoolil oma S3 ämber.
- Kohta Objektid valige vahekaart Täiendava.
- Vali Lisa failid, seejärel valige alglaadimisskript.
- Vali Täiendava, seejärel valige faili nimi:
bootstrap_cloudwatch_agent.sh
. - Vali Kopeerige S3 URI. Kasutame seda väärtust hilisemas etapis.
Varustage ressursse CloudFormationi malliga
Vali Käivitage Stack CloudFormationi virna käivitamiseks oma kontol ja malli juurutamiseks tehke järgmist.
See mall loob IAM-i rolli, IAM-i eksemplari profiili, Systems Manageri parameetri ja EMR-klastri. Klaster alustab Spark PI hinnangu näidisrakendus. Kui loote selle malli põhjal virna, esitatakse teile arve kasutatud AWS-i ressursside eest.
CloudFormationi viisard palub teil neid parameetreid muuta või esitada.
- InstanceType - eksemplari tüüp kõigi eksemplarirühmade jaoks. Vaikimisi on m4.xlarge.
- InstanceCountCore – Eksemplaride arv põhieksemplari rühmas. Vaikimisi on 2.
- EMRReleaseLabel - Amazon EMR väljalaske silt soovite kasutada. Vaikimisi on emr-6.9.0.
- BootstrapScriptPath – Teie varem kopeeritud CloudWatchi agendi installi alglaadimisskripti S3 tee.
- Alamvõrk – EC2 alamvõrk, kus klaster käivitub. Peate selle parameetri sisestama.
- EC2KeyPairName – Seansihalduri alternatiivina valikuline EC2 võtmepaar klastri sõlmedega ühenduse loomiseks.
Jälgige logivooge
Pärast CloudFormationi virna edukat juurutamist valige CloudWatchi konsoolil Logirühmad navigeerimispaanil. Seejärel filtreerige logirühmad eesliite järgi /aws/emr/master
.
Logirühma ID vastab EMR-i esmase sõlme EC2 eksemplari ID-le. Kui teil on mitu EMR-klastrit, saate seda ID-d kasutada konkreetse EMR-klastri tuvastamiseks esmase sõlme ID alusel.
Logirühmast leiate kolm erinevat logivoogu.
Logivood sisaldavad järgmist teavet:
- samm-stdout – Sparki standardne väljundkanal sammu töötlemise ajal.
- samm-stderr – Sparki standardne veakanal sammu töötlemisel.
- astmekontroller – Teave etapi töötlemise kohta. Kui teie samm laadimise ajal ebaõnnestub, leiate virna jälje sellest logist.
Koristage
Kontol tulevaste tasude vältimiseks kustutage selles juhendis loodud ressursid. EMR-klastri eest tuleb maksta seni, kuni klaster on aktiivne, nii et lõpetage see, kui olete lõpetanud.
- Valige CloudFormationi konsooli navigeerimispaanil Hoidla.
- Valige virn, mille käivitasite (
EMR-CloudWatch-Demo
), seejärel valige kustutama. - Tühjendage S3 ämber sa lõid.
- Kustutage S3 ämber sa lõid.
Järeldus
Nüüd, kui olete selle juhendi toimingud täitnud, töötab teie klastri hostidel CloudWatchi agent ja see on konfigureeritud edastama EMR-i sammude logisid CloudWatchi. Selle funktsiooni abil saate tõhusalt jälgida oma Amazon EMR-is töötavate Sparki tööde tervist ja jõudlust, tuvastades kriitilised probleemid reaalajas ja tuvastades kiiresti algpõhjused.
Saate selle lahenduse pakkida ja juurutada CloudFormationi malli kaudu, nagu see näidismall, mis loob IAM-i eksemplari profiili rolli, Systems Manageri parameetri ja EMR-klastri.
Selle edasiseks toimimiseks kaaluge nende logide kasutamist CloudWatchi häiretes a logi rühma-mõõdiku filter. Saate need koguda koos teiste häiretega a liithäire või konfigureerida häiretoiminguid, nagu saatmine Amazoni lihtne teavitusteenus (Amazon SNS) märguanded sündmustest tingitud protsesside käivitamiseks, näiteks AWS Lambda funktsioone.
Teave Autor
Ennio Pastore on AWS Data Labi meeskonna vanemandmearhitekt. Ta on entusiast kõigest, mis on seotud uute tehnoloogiatega, millel on positiivne mõju ettevõtlusele ja üldisele toimetulekule. Enniol on üle 10-aastane andmeanalüütika kogemus. Ta aitab ettevõtetel määratleda ja juurutada andmeplatvorme erinevates tööstusharudes, nagu telekommunikatsioon, pangandus, hasartmängud, jaekaubandus ja kindlustus.
- SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
- Platoblockchain. Web3 metaversiooni intelligentsus. Täiustatud teadmised. Juurdepääs siia.
- Allikas: https://aws.amazon.com/blogs/big-data/push-amazon-emr-step-logs-from-amazon-ec2-instances-to-amazon-cloudwatch-logs/
- :on
- 1
- 10
- 100
- 9
- a
- MEIST
- Ligipääs
- konto
- üle
- meetmete
- aktiivne
- lisamine
- aadress
- Agent
- alarm
- teated
- Materjal: BPA ja flataatide vaba plastik
- alternatiiv
- Amazon
- Amazon EC2
- Amazon EMR
- analytics
- ja
- Apache
- Apache Spark
- taotlus
- rakendused
- arhitektuur
- OLEME
- AS
- At
- autonoomselt
- AWS
- Pangandus
- põhineb
- BE
- enne
- alustama
- BEST
- Suur
- Big andmed
- Bootstrap
- ehitama
- ettevõtted
- by
- CAN
- Püüdmine
- põhjuste
- Kanal
- koormuste
- Vali
- Cluster
- koguma
- Ettevõtted
- täitma
- Lõpetatud
- Arvutama
- konfiguratsioon
- ühendamine
- Arvestama
- konsool
- sisu
- pidevalt
- tuum
- vastab
- kuluefektiivne
- kulud
- võiks
- looma
- loodud
- loob
- loomine
- kriitiline
- kohandada
- andmed
- Andmete analüüs
- vaikimisi
- näitab
- juurutada
- lähetatud
- juurutab
- erinev
- kataloogid
- jagatud
- alla
- ajam
- iga
- Ajalugu
- lihtsam
- miss
- tõhusalt
- võimaldab
- entusiast
- viga
- oluline
- Eeter (ETH)
- sündmus
- sündmused
- kõik
- näide
- oodatav
- kogemus
- eksport
- väljendeid
- ei
- tunnusjoon
- fail
- Faile
- filtreerida
- Filtrid
- leidma
- Järel
- järgneb
- eest
- Alates
- funktsioonid
- edasi
- tulevik
- mäng
- Üldine
- loodud
- Go
- suurem
- Grupp
- Grupi omad
- suunata
- Olema
- Tervis
- aitama
- kasulik
- aitab
- kõrgelt
- hosts
- Kuidas
- Kuidas
- HTML
- http
- HTTPS
- IAM
- ID
- identifitseerima
- identifitseerimiseks
- mõju
- rakendada
- rakendamisel
- oluline
- in
- sisaldama
- hõlmab
- Kaasa arvatud
- eraldi
- tööstusharudes
- info
- Infrastruktuur
- paigaldama
- paigaldamine
- Näiteks
- kindlustus
- Intelligentsus
- küsimustes
- IT
- töö
- Tööturg
- jpg
- Json
- labor
- algatama
- käivitatud
- käivitab
- Tase
- nagu
- laadimine
- kohalik
- Pikk
- hooldus
- tegema
- juhtima
- juht
- viis
- vahendid
- Meetrika
- muutma
- Jälgida
- järelevalve
- rohkem
- mitmekordne
- nimi
- Nimega
- NAVIGATSIOON
- vaja
- vajav
- Uus
- Uued tehnoloogiad
- järgmine
- sõlme
- sõlmed
- teade
- teated
- number
- of
- pakutud
- on
- ONE
- avatud lähtekoodiga
- töökorras
- Muu
- väljund
- pakend
- pane
- parameeter
- parameetrid
- eriline
- eriti
- tee
- jõudlus
- Platvormid
- Platon
- Platoni andmete intelligentsus
- PlatoData
- positiivne
- post
- tava
- esitatud
- esmane
- Protsessid
- töötlemine
- profiil
- anda
- annab
- säte
- Lükkama
- Lükkamine
- kiiresti
- reaalne
- reaalajas
- soovitama
- regulaarne
- seotud
- vabastama
- jääma
- Vahendid
- Tulemused
- jaemüük
- läbi
- Roll
- juur
- jooks
- jooksmine
- skaalautuvia
- lõigud
- turvalisus
- saatmine
- vanem
- Seeria
- teenus
- istung
- komplekt
- peaks
- lihtne
- So
- tarkvara
- lahendus
- mõned
- Säde
- konkreetse
- Kestab
- standard
- algus
- Käivitus
- algab
- Samm
- Sammud
- Peatus
- ladustamine
- kauplustes
- Sujuvamaks muutmine
- ojad
- alamvõrgu
- Edukalt
- selline
- Sudo
- süsteem
- süsteemid
- Võtma
- meeskond
- Tehnoloogiad
- telekommunikatsioon
- šabloon
- et
- .
- Neile
- Need
- kolm
- Läbi
- aeg
- Ajaseeria
- et
- jälgida
- vallandada
- kasutama
- väärtus
- kontrollimine
- vaade
- läbikäiguks
- kellad
- Tee..
- mis
- kuigi
- will
- koos
- ilma
- Töö
- töövoog
- kirjutamine
- kirjalik
- yaml
- aastat
- Sinu
- sephyrnet