Amazonin EMR on AWS:n tarjoama big data -palvelu, joka käyttää Apache Sparkia ja muita avoimen lähdekoodin sovelluksia AWS:ssä ja rakentaa skaalautuvia dataputkia kustannustehokkaalla tavalla. EMR-klustereissa käyttöönotetuista töistä luotujen lokien seuranta on välttämätöntä kriittisten ongelmien havaitsemiseksi reaaliajassa ja perimmäisten syiden tunnistamiseksi nopeasti.
Työntämällä ne lokit sisään amazonin pilvikello avulla voit keskittää ja ohjata käyttökelpoista älykkyyttä lokeistasi toimintaongelmien ratkaisemiseksi ilman, että sinun tarvitsee tarjota palvelimia tai hallita ohjelmistoja. Voit aloittaa välittömästi kyselyjen kirjoittamisen aggregaatioilla, suodattimilla ja säännöllisillä lausekkeilla. Lisäksi voit visualisoida aikasarjan tiedot, syventyä yksittäisiin lokitapahtumiin ja viedä kyselytulokset CloudWatchin koontipaneeleihin.
Voit syöttää lokit, jotka ovat säilyneet Amazonin elastinen laskentapilvi (Amazon EC2) EMR-klusterin esiintymiä CloudWatchiin, voit käyttää CloudWatch-agentti. Tämä tarjoaa yksinkertaisen tavan siirtää lokit EC2-esiintymästä CloudWatchiin.
CloudWatch-agentti on ohjelmistopaketti, joka toimii itsenäisesti ja jatkuvasti palvelimillasi. Voit asentaa ja määrittää CloudWatch-agentin keräämään järjestelmä- ja sovelluslokeja EC2-esiintymistä, paikallisista isännistä ja säiliösovelluksista. CloudWatch käsittelee ja tallentaa CloudWatch-agentin keräämät lokit, mikä auttaa edelleen infrastruktuurisi ja sovellusten suorituskyvyn ja kunnon seurannassa.
Tässä viestissä luomme EMR-klusterin ja keskitämme töiden EMR-vaihelokit CloudWatchiin. Tämä helpottaa EMR-klusterin hallintaa, ongelmien vianmääritystä ja suorituskyvyn valvontaa. Tämä ratkaisu on erityisen hyödyllinen, jos haluat käyttää CloudWatchia reaaliaikaisten lokien, mittareiden ja tapahtumatietojen keräämiseen ja visualisointiin, mikä virtaviivaistaa infrastruktuuriasi ja sovellusten ylläpitoa.
Katsaus ratkaisuun
Tässä viestissä esitetty ratkaisu perustuu tiettyyn kokoonpanoon, jossa EMR-askelen samanaikaisuustasoksi on asetettu 1. Tämä tarkoittaa, että klusterissa ajetaan vain yksi vaihe kerrallaan. On tärkeää huomata, että jos EMR-vaiheen samanaikaisuustaso on asetettu arvoon, joka on suurempi kuin 1, ratkaisu ei välttämättä toimi odotetulla tavalla. Suosittelemme vahvistamaan EMR-askelten samanaikaisuus konfigurointi ennen tässä viestissä esitetyn ratkaisun käyttöönottoa.
Seuraava kaavio kuvaa ratkaisuarkkitehtuuria.
Työnkulku sisältää seuraavat vaiheet:
- Käyttäjät aloittavat Apache Spark EMR -työn ja luovat askeleen EMR-klusteriin. Apache Sparkia käyttämällä työkuorma jaetaan EMR-klusterin eri solmuille.
- Jokaisessa klusterin solmussa (EC2-esiintymä) CloudWatch-agentti tarkkailee erilaisia lokihakemistoja, kaappaa uusia merkintöjä lokitiedostoihin ja siirtää ne CloudWatchiin.
- Käyttäjät voivat tarkastella eri lokiryhmiin pääsyn vaihelokeja CloudWatch-konsolista. Amazon EMR:n kirjoittamat askellokit ovat seuraavat:
- ohjain — Tietoja vaiheen käsittelystä. Jos vaihe epäonnistuu latauksen aikana, löydät pinon jäljen tästä lokista.
- stderr — Sparkin vakiovirhekanava, kun se käsittelee vaihetta.
- stdout — Sparkin vakiolähtökanava, kun se käsittelee vaihetta.
Tarjoamme AWS-pilven muodostuminen malli tässä viestissä yleisoppaana. Malli osoittaa, kuinka CloudWatch-agentti määritetään Amazon EMR:ssä työntämään Spark-lokit CloudWatchiin. Voit tarkistaa ja mukauttaa sitä tarpeen mukaan sisällyttääksesi Amazon EMR -suojauskokoonpanosi. Parhaana käytäntönä suosittelemme, että sisällytät Amazon EMR -suojauskokoonpanosi malliin salata siirrettävät tiedot.
Sinun tulee myös olla tietoinen siitä, että osa tämän pinon käyttämistä resursseista aiheuttaa kuluja, kun ne jäävät käyttöön.
Seuraavissa osioissa käymme läpi seuraavat vaiheet:
- Luo ja lähetä bootstrap-skripti tiedostoon Amazonin yksinkertainen tallennuspalvelu (Amazon S3)-kauha.
- Luo seuraavat resurssit CloudFormation-mallin avulla:
- Tarkkaile Spark-lokeja CloudWatch-konsolissa.
Edellytykset
Tämä viesti olettaa, että sinulla on seuraavat asiat:
Luo ja lataa bootstrap-skripti S3-säihöön
Lisätietoja katso Ladataan kohteita ja CloudWatch-agentin asentaminen ja käyttäminen palvelimillesi.
Voit luoda ja ladata käynnistyskomentosarjan suorittamalla seuraavat vaiheet:
- Luo paikallinen tiedosto nimeltä
bootstrap_cloudwatch_agent.sh
seuraavalla sisällöllä: - Valitse Amazon S3 -konsolissa S3-ämpärisi.
- On Esineet välilehti, valitse Lataa.
- Valita Lisätä tiedostojaja valitse sitten bootstrap-skripti.
- Valita Lataaja valitse sitten tiedoston nimi:
bootstrap_cloudwatch_agent.sh
. - Valita Kopioi S3 URI. Käytämme tätä arvoa myöhemmässä vaiheessa.
Tarjoa resursseja CloudFormation-mallilla
Valita Käynnistä pino käynnistääksesi CloudFormation-pinon tililläsi ja ottaaksesi mallin käyttöön:
Tämä malli luo IAM-roolin, IAM-ilmentymän profiilin, Systems Manager -parametrin ja EMR-klusterin. Klusteri aloittaa Spark PI -arviointiesimerkkisovellus. Sinua laskutetaan käytetyistä AWS-resursseista, jos luot pinon tästä mallista.
Ohjattu CloudFormation-toiminto pyytää sinua muokkaamaan tai antamaan näitä parametreja:
- Tapaustyyppi - esiintymän tyyppi kaikille esiintymäryhmille. Oletus on m4.xlarge.
- InstanceCountCore – Instanssien lukumäärä ydininstanssiryhmässä. Oletusarvo on 2.
- EMRRreleaseLabel - Amazon EMR -julkaisumerkki haluat käyttää. Oletus on emr-6.9.0.
- BootstrapScriptPath – Aiemmin kopioimasi CloudWatch-agentin asennuksen bootstrap-komentosarjan S3-polku.
- aliverkon – EC2-aliverkko, jossa klusteri käynnistyy. Sinun on annettava tämä parametri.
- EC2KeyPairName – Valinnainen EC2-avainpari klusterisolmuihin yhdistämistä varten vaihtoehtona istunnonhallinnalle.
Valvo lokivirtoja
Kun CloudFormation-pino on otettu käyttöön onnistuneesti, valitse CloudWatch-konsolissa Lokiryhmät navigointiruudussa. Suodata sitten lokiryhmät etuliitteellä /aws/emr/master
.
Lokiryhmän tunnus vastaa EMR-ensisijaisen solmun EC2-ilmentymän tunnusta. Jos sinulla on useita EMR-klustereita, voit käyttää tätä tunnusta tunnistaaksesi tietyn EMR-klusterin ensisijaisen solmun tunnuksen perusteella.
Lokiryhmästä löydät kolme erilaista lokivirtaa.
Lokivirrat sisältävät seuraavat tiedot:
- step-stdout – Sparkin vakiolähtökanava, kun se käsittelee vaihetta.
- step-stderr – Sparkin vakiovirhekanava, kun se käsittelee vaihetta.
- askelohjain – Tietoja vaiheen käsittelystä. Jos vaihe epäonnistuu latauksen aikana, löydät pinon jäljen tästä lokista.
Puhdistaa
Vältä tililtäsi tulevat maksut poistamalla tässä ohjeessa luomasi resurssit. EMR-klusterista veloitetaan niin kauan kuin klusteri on aktiivinen, joten lopeta se, kun olet valmis.
- Valitse CloudFormation-konsolin navigointiruudusta Stacks.
- Valitse pino jonka käynnistit (
EMR-CloudWatch-Demo
), valitse sitten Poista. - Tyhjennä S3-ämpäri loit.
- Poista S3-ämpäri loit.
Yhteenveto
Nyt kun olet suorittanut tämän esittelyn vaiheet, CloudWatch-agentti on käynnissä klusteriisännissäsi ja määritetty lähettämään EMR-vaihelokit CloudWatchiin. Tämän ominaisuuden avulla voit tehokkaasti seurata Amazon EMR:ssä käynnissä olevien Spark-töiden kuntoa ja suorituskykyä, havaita kriittiset ongelmat reaaliajassa ja tunnistaa perimmäiset syyt nopeasti.
Voit pakata ja ottaa tämän ratkaisun käyttöön tämän esimerkkimallin kaltaisen CloudFormation-mallin kautta, joka luo IAM-ilmentymän profiiliroolin, Systems Manager -parametrin ja EMR-klusterin.
Harkitse näiden lokien käyttöä CloudWatch-hälytyksissä hälytyksiä varten a lokiryhmämittarin suodatin. Voit kerätä ne muiden hälyttimien kanssa a yhdistetty hälytin tai määritä hälytystoiminnot, kuten lähettäminen Amazonin yksinkertainen ilmoituspalvelu (Amazon SNS) ilmoitukset käynnistämään tapahtumapohjaisia prosesseja, kuten AWS Lambda toiminnot.
kirjailijasta
Ennio Pastore on vanhempi data-arkkitehti AWS Data Lab -tiimissä. Hän on innostunut kaikesta, mikä liittyy uusiin teknologioihin, joilla on positiivinen vaikutus yrityksiin ja yleiseen toimeentuloon. Enniolla on yli 10 vuoden kokemus data-analytiikasta. Hän auttaa yrityksiä määrittämään ja toteuttamaan tietoalustoja eri aloilla, kuten telekommunikaatio-, pankki-, peli-, vähittäis- ja vakuutusalalla.
- SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
- Platoblockchain. Web3 Metaverse Intelligence. Tietoa laajennettu. Pääsy tästä.
- Lähde: https://aws.amazon.com/blogs/big-data/push-amazon-emr-step-logs-from-amazon-ec2-instances-to-amazon-cloudwatch-logs/
- :On
- 1
- 10
- 100
- 9
- a
- Meistä
- Pääsy
- Tili
- poikki
- toimet
- aktiivinen
- Lisäksi
- osoite
- Agentti
- hälytys
- hälytykset
- Kaikki
- vaihtoehto
- Amazon
- Amazon EC2
- Amazonin EMR
- Analytics
- ja
- Apache
- Apache Spark
- Hakemus
- sovellukset
- arkkitehtuuri
- OVAT
- AS
- At
- itsenäisesti
- AWS
- Pankkitoiminta
- perustua
- BE
- ennen
- alkaa
- PARAS
- Iso
- Big Data
- Bootstrap
- rakentaa
- yritykset
- by
- CAN
- Kaappaaminen
- syyt
- Kanava
- maksut
- Valita
- Cluster
- kerätä
- Yritykset
- täydellinen
- Valmistunut
- Laskea
- Konfigurointi
- Kytkeminen
- Harkita
- Console
- pitoisuus
- jatkuvasti
- Ydin
- vastaa
- kustannustehokas
- kustannukset
- voisi
- luoda
- luotu
- luo
- Luominen
- kriittinen
- räätälöidä
- tiedot
- Data Analytics
- oletusarvo
- osoittaa
- sijoittaa
- käyttöön
- lauennut
- eri
- hakemistot
- jaettu
- alas
- ajaa
- kukin
- Aikaisemmin
- helpompaa
- kaiku
- tehokkaasti
- mahdollistaa
- intoilija
- virhe
- olennainen
- Eetteri (ETH)
- tapahtuma
- Tapahtumat
- kaikki
- esimerkki
- odotettu
- experience
- vienti
- ilmauksia
- epäonnistuu
- Ominaisuus
- filee
- Asiakirjat
- suodattaa
- suodattimet
- Löytää
- jälkeen
- seuraa
- varten
- alkaen
- tehtävät
- edelleen
- tulevaisuutta
- pelaamista
- general
- syntyy
- Go
- suurempi
- Ryhmä
- Ryhmän
- ohjaavat
- Olla
- terveys
- auttaa
- hyödyllinen
- auttaa
- erittäin
- isännät
- Miten
- Miten
- HTML
- http
- HTTPS
- IAM
- ID
- tunnistaa
- tunnistaminen
- Vaikutus
- toteuttaa
- täytäntöönpanosta
- tärkeä
- in
- sisältää
- sisältää
- Mukaan lukien
- henkilökohtainen
- teollisuuden
- tiedot
- Infrastruktuuri
- asentaa
- asentaminen
- esimerkki
- vakuutus
- Älykkyys
- kysymykset
- IT
- Job
- Työpaikat
- jpg
- json
- laboratorio
- käynnistää
- käynnistettiin
- käynnistää
- Taso
- pitää
- lastaus
- paikallinen
- Pitkät
- huolto
- tehdä
- hoitaa
- johtaja
- tapa
- välineet
- Metrics
- muokata
- monitori
- seuranta
- lisää
- moninkertainen
- nimi
- nimetty
- suunnistus
- tarvitaan
- tarvitsevat
- Uusi
- Uudet teknologiat
- seuraava
- solmu
- solmut
- ilmoituksen
- ilmoitukset
- numero
- of
- tarjotaan
- on
- ONE
- avoimen lähdekoodin
- toiminta-
- Muut
- ulostulo
- paketti
- lasi
- parametri
- parametrit
- erityinen
- erityisesti
- polku
- suorituskyky
- Platforms
- Platon
- Platonin tietotieto
- PlatonData
- positiivinen
- Kirje
- harjoitusta.
- esitetty
- ensisijainen
- Prosessit
- käsittely
- Profiili
- toimittaa
- tarjoaa
- säännös
- Työnnä
- Työnnä
- nopeasti
- todellinen
- reaaliaikainen
- suositella
- säännöllinen
- liittyvä
- vapauta
- jäädä
- Esittelymateriaalit
- tulokset
- vähittäiskauppa
- arviot
- Rooli
- juuri
- ajaa
- juoksu
- skaalautuva
- osiot
- turvallisuus
- lähettäminen
- vanhempi
- Sarjat
- palvelu
- Istunto
- setti
- shouldnt
- Yksinkertainen
- So
- Tuotteemme
- ratkaisu
- jonkin verran
- Kipinä
- erityinen
- pino
- standardi
- Alkaa
- Aloita
- alkaa
- Vaihe
- Askeleet
- stop
- Levytila
- varastot
- virtaviivaistaminen
- puroihin
- aliverkon
- Onnistuneesti
- niin
- sudo
- järjestelmä
- järjestelmät
- ottaa
- joukkue-
- Technologies
- tietoliikenne
- sapluuna
- että
- -
- Niitä
- Nämä
- kolmella
- Kautta
- aika
- Aikasarja
- että
- jäljittää
- laukaista
- käyttää
- arvo
- tarkastaa
- Näytä
- läpikäynti
- Kellot
- Tapa..
- joka
- vaikka
- tulee
- with
- ilman
- Referenssit
- työnkulku
- kirjoittaminen
- kirjallinen
- yaml
- vuotta
- Sinun
- zephyrnet