Amazon EMR Az AWS által kínált nagy adatátviteli szolgáltatás az Apache Spark és más nyílt forráskódú alkalmazások AWS-en való futtatásához, hogy költséghatékony módon skálázható adatfolyamokat építsenek ki. Az EMR-fürtökön telepített jobokból generált naplók figyelése elengedhetetlen a kritikus problémák valós idejű észleléséhez és a kiváltó okok gyors azonosításához.
Benyomva azokat a naplókat amazonfelhőóra lehetővé teszi, hogy központosítsa és végrehajtható intelligenciát hajtson végre a naplókból a működési problémák megoldása érdekében anélkül, hogy kiszolgálókat kellene biztosítania vagy szoftvereket kellene kezelnie. Azonnal megkezdheti a lekérdezések írását aggregációkkal, szűrőkkel és reguláris kifejezésekkel. Ezenkívül megjelenítheti az idősorok adatait, részletezheti az egyes naplóeseményeket, és exportálhatja a lekérdezések eredményeit a CloudWatch irányítópultjaira.
Azon naplók feldolgozása, amelyek megmaradtak a Amazon rugalmas számítási felhő (Amazon EC2) egy EMR-fürt példányát a CloudWatch-be, használhatja a CloudWatch ügynök. Ez egyszerű módot biztosít a naplók átküldésére egy EC2-példányról a CloudWatch-re.
A CloudWatch ügynök egy szoftvercsomag, amely önállóan és folyamatosan fut az Ön szerverein. Telepítheti és konfigurálhatja a CloudWatch ügynököt, hogy rendszer- és alkalmazásnaplókat gyűjtsön EC2-példányokból, helyszíni gazdagépekből és konténeres alkalmazásokból. A CloudWatch feldolgozza és tárolja a CloudWatch ügynök által gyűjtött naplókat, ami tovább segíti az infrastruktúra és az alkalmazások teljesítményét és állapotának felügyeletét.
Ebben a bejegyzésben létrehozunk egy EMR-fürtöt, és központosítjuk a feladatok EMR lépésnaplóit a CloudWatch szolgáltatásban. Ez megkönnyíti az EMR-fürt kezelését, a problémák hibaelhárítását és a teljesítmény figyelését. Ez a megoldás különösen akkor hasznos, ha a CloudWatch segítségével valós idejű naplókat, mérőszámokat és eseményadatokat szeretne gyűjteni és megjeleníteni, így egyszerűsítve az infrastruktúrát és az alkalmazások karbantartását.
A megoldás áttekintése
Az ebben a bejegyzésben bemutatott megoldás egy adott konfiguráción alapul, ahol az EMR lépés egyidejűségi szintje 1-re van állítva. Ez azt jelenti, hogy egyszerre csak egy lépés fut a fürtön. Fontos megjegyezni, hogy ha az EMR lépés egyidejűségi szintje 1-nél nagyobb értékre van állítva, előfordulhat, hogy a megoldás nem működik a várt módon. Erősen javasoljuk, hogy ellenőrizze EMR lépések párhuzamossága konfigurációt az ebben a bejegyzésben bemutatott megoldás megvalósítása előtt.
A következő ábra a megoldás architektúráját mutatja be.
A munkafolyamat a következő lépéseket tartalmazza:
- A felhasználók elindítanak egy Apache Spark EMR-feladatot, létrehozva egy lépést az EMR-fürtön. Az Apache Spark használatával a munkaterhelés megoszlik az EMR-fürt különböző csomópontjai között.
- A fürt minden csomópontjában (EC2-példány) egy CloudWatch-ügynök figyeli a különböző naplókönyvtárakat, rögzíti az új bejegyzéseket a naplófájlokban, és átküldi őket a CloudWatchba.
- A felhasználók a CloudWatch konzolról megtekinthetik a különböző naplócsoportokhoz hozzáférő lépésnaplókat. Az Amazon EMR által írt lépésnaplók a következők:
- ellenőr — Információ a lépés feldolgozásával kapcsolatban. Ha a lépése meghiúsul a betöltés során, a verem nyomkövetése ebben a naplóban található.
- stderr — A Spark szabványos hibacsatornája a lépés feldolgozása közben.
- stdout — A Spark szabványos kimeneti csatornája a lépés feldolgozása közben.
Biztosítunk egy AWS felhőképződés sablon ebben a bejegyzésben általános útmutatóként. A sablon bemutatja, hogyan konfigurálhat egy CloudWatch-ügynököt az Amazon EMR-en, hogy a Spark-naplókat a CloudWatchba küldje. Szükség szerint áttekintheti és testreszabhatja az Amazon EMR biztonsági konfigurációihoz. Bevált gyakorlatként javasoljuk, hogy az Amazon EMR biztonsági konfigurációit foglalja bele a sablonba titkosítja az átvitel során lévő adatokat.
Azt is tudnia kell, hogy a verem által telepített egyes erőforrások használatban maradva költségekkel járnak.
A következő szakaszokban a következő lépéseken megyünk keresztül:
- Hozd létre és töltsd fel a bootstrap szkriptet egy Amazon egyszerű tárolási szolgáltatás (Amazon S3) vödör.
- Használja a CloudFormation sablont a következő erőforrások létrehozásához:
- Figyelje a Spark-naplókat a CloudWatch konzolon.
Előfeltételek
Ez a bejegyzés feltételezi, hogy rendelkezik a következőkkel:
Hozd létre és töltsd fel a bootstrap szkriptet egy S3 tárolóba
További információkért lásd: Objektumok feltöltése és a A CloudWatch ügynök telepítése és futtatása a szervereken.
A bootstrap szkript létrehozásához és feltöltéséhez hajtsa végre a következő lépéseket:
- Hozzon létre egy helyi fájlt, melynek neve
bootstrap_cloudwatch_agent.sh
a következő tartalommal: - Az Amazon S3 konzolon válassza ki az S3 tartályt.
- A tárgyak lapot választani Feltöltés.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Fájlok hozzáadása, majd válassza ki a bootstrap szkriptet.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Feltöltés, majd válassza ki a fájlnevet:
bootstrap_cloudwatch_agent.sh
. - A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Másolja az S3 URI-t. Ezt az értéket egy későbbi lépésben használjuk.
Erőforrások biztosítása a CloudFormation sablon segítségével
A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Indítsa el a Stack alkalmazást CloudFormation verem elindításához a fiókjában és a sablon üzembe helyezéséhez:
Ez a sablon IAM-szerepkört, IAM-példányprofilt, Systems Manager-paramétert és EMR-fürtöt hoz létre. A fürt elindítja a Spark PI becslési példa alkalmazás. A felhasznált AWS-erőforrásokért számlázunk ki, ha ebből a sablonból hoz létre veremet.
A CloudFormation varázsló a következő paraméterek módosítására vagy megadására kéri Önt:
- InstanceType - A példány típusa minden példánycsoporthoz. Az alapértelmezett az m4.xlarge.
- InstanceCountCore – A példányok száma az alappéldánycsoportban. Az alapértelmezett a 2.
- EMRReleaseLabel - A Amazon EMR kiadási címke használni szeretnéd. Az alapértelmezett emr-6.9.0.
- BootstrapScriptPath – A korábban másolt CloudWatch-ügynök telepítési rendszerindítási szkriptjének S3 elérési útja.
- alhálózati – Az EC2 alhálózat, ahol a fürt elindul. Ezt a paramétert meg kell adnia.
- EC2KeyPairName – Opcionális EC2 kulcspár a fürtcsomópontokhoz való csatlakozáshoz, a Session Manager alternatívájaként.
Figyelje a naplófolyamokat
A CloudFormation verem sikeres telepítése után a CloudWatch konzolon válassza a lehetőséget Naplócsoportok a navigációs ablakban. Ezután szűrje le a naplócsoportokat az előtag alapján /aws/emr/master
.
A naplócsoport azonosítója megfelel az EMR elsődleges csomópont EC2 példányazonosítójának. Ha több EMR-fürtje van, akkor ezt az azonosítót használhatja egy adott EMR-fürt azonosítására az elsődleges csomópont-azonosító alapján.
A naplócsoportban a három különböző naplófolyamot találja.
A naplófolyamok a következő információkat tartalmazzák:
- step-stdout – A Spark szabványos kimeneti csatornája a lépés feldolgozása közben.
- step-stderr – A Spark szabványos hibacsatornája a lépés feldolgozása közben.
- lépésvezérlő – Információ a lépés feldolgozásával kapcsolatban. Ha a lépése meghiúsul a betöltés során, a verem nyomkövetése ebben a naplóban található.
Tisztítsuk meg
A fiók jövőbeni költségeinek elkerülése érdekében törölje az ebben az útmutatóban létrehozott forrásokat. Az EMR-fürt mindaddig díjat számít fel, amíg a fürt aktív, ezért állítsa le, ha végzett.
- A CloudFormation konzol navigációs ablaktábláján válassza a lehetőséget Stacks.
- Válassza ki az elindított verem (
EMR-CloudWatch-Demo
), majd válassza a lehetőséget töröl. - Ürítse ki az S3 vödröt te alkottál.
- Törölje az S3 tartályt te alkottál.
Következtetés
Most, hogy befejezte a bemutató lépéseit, a CloudWatch ügynök fut a fürt gazdagépein, és be van állítva, hogy az EMR lépésnaplókat küldje a CloudWatchba. Ezzel a funkcióval hatékonyan nyomon követheti az Amazon EMR-en futó Spark-feladatok állapotát és teljesítményét, valós időben észlelheti a kritikus problémákat, és gyorsan azonosíthatja a kiváltó okokat.
Ezt a megoldást egy CloudFormation-sablonon keresztül csomagolhatja és telepítheti, például ehhez a példasablonhoz, amely létrehozza az IAM-példányprofil szerepkört, a Systems Manager-paramétert és az EMR-fürtöt.
Ennek továbbviteléhez fontolja meg ezen naplók használatát a CloudWatch riasztásaiban a riasztásokhoz napló csoport-metrika szűrő. Összegyűjtheti őket más riasztásokkal a összetett riasztó vagy konfigurálhat riasztási műveleteket, például küldést Amazon Simple Notification Service (Amazon SNS) értesítések eseményvezérelt folyamatok kiváltására, mint pl AWS Lambda funkciókat.
A szerzőről
Ennio Pastore az AWS Data Lab csapatának vezető adatépítésze. Mindennek lelkes, ami az új technológiákkal kapcsolatos, amelyek pozitív hatással vannak a vállalkozásokra és az általános megélhetésre. Ennio több mint 10 éves tapasztalattal rendelkezik az adatelemzés terén. Segít a vállalatoknak adatplatformok meghatározásában és megvalósításában olyan iparágakban, mint a telekommunikáció, a banki szolgáltatások, a játék, a kiskereskedelem és a biztosítás.
- SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
- Platoblockchain. Web3 metaverzum intelligencia. Felerősített tudás. Hozzáférés itt.
- Forrás: https://aws.amazon.com/blogs/big-data/push-amazon-emr-step-logs-from-amazon-ec2-instances-to-amazon-cloudwatch-logs/
- :is
- 1
- 10
- 100
- 9
- a
- Rólunk
- Hozzáférés
- Fiók
- át
- cselekvések
- aktív
- mellett
- cím
- Ügynök
- riasztás
- figyelmeztetések
- Minden termék
- alternatív
- amazon
- Amazon EC2
- Amazon EMR
- analitika
- és a
- Apache
- Apache Spark
- Alkalmazás
- alkalmazások
- építészet
- VANNAK
- AS
- At
- autonóm módon
- AWS
- Banking
- alapján
- BE
- előtt
- kezdődik
- BEST
- Nagy
- Big adatok
- Bootstrap
- épít
- vállalkozások
- by
- TUD
- Rögzítése
- okai
- csatorna
- díjak
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a
- Fürt
- gyűjt
- Companies
- teljes
- Befejezett
- Kiszámít
- Configuration
- Csatlakozó
- Fontolja
- Konzol
- tartalom
- folyamatosan
- Mag
- megfelel
- költséghatékony
- kiadások
- tudott
- teremt
- készítette
- teremt
- létrehozása
- kritikai
- testre
- dátum
- Adatelemzés
- alapértelmezett
- mutatja
- telepíteni
- telepített
- bevet
- különböző
- könyvtárak
- megosztott
- le-
- hajtás
- minden
- Korábban
- könnyebb
- visszhang
- hatékonyan
- lehetővé teszi
- rajongó
- hiba
- alapvető
- Eter (ETH)
- esemény
- események
- minden
- példa
- várható
- tapasztalat
- export
- kifejezések
- nem sikerül
- Funkció
- filé
- Fájlok
- szűrő
- Szűrők
- Találjon
- következő
- következik
- A
- ból ből
- funkciók
- további
- jövő
- szerencsejáték
- általános
- generált
- Go
- nagyobb
- Csoport
- Csoportok
- útmutató
- Legyen
- Egészség
- segít
- hasznos
- segít
- nagyon
- hosts
- Hogyan
- How To
- HTML
- http
- HTTPS
- IAM
- ID
- azonosítani
- azonosító
- Hatás
- végre
- végrehajtási
- fontos
- in
- tartalmaz
- magában foglalja a
- Beleértve
- egyéni
- iparágak
- információ
- Infrastruktúra
- telepíteni
- telepítése
- példa
- biztosítás
- Intelligencia
- kérdések
- IT
- Munka
- Állások
- jpg
- json
- labor
- indít
- indított
- elindítja
- szint
- mint
- betöltés
- helyi
- Hosszú
- karbantartás
- csinál
- kezelése
- menedzser
- mód
- eszközök
- Metrics
- módosítása
- monitor
- ellenőrzés
- több
- többszörös
- név
- Nevezett
- Navigáció
- szükséges
- igénylő
- Új
- Új technológiák
- következő
- csomópont
- csomópontok
- bejelentés
- értesítések
- szám
- of
- felajánlott
- on
- ONE
- nyílt forráskódú
- operatív
- Más
- teljesítmény
- csomag
- üvegtábla
- paraméter
- paraméterek
- különös
- különösen
- ösvény
- teljesítmény
- Platformok
- Plató
- Platón adatintelligencia
- PlatoData
- pozitív
- állás
- gyakorlat
- bemutatott
- elsődleges
- Folyamatok
- feldolgozás
- profil
- ad
- biztosít
- ellátás
- Nyomja
- Toló
- gyorsan
- igazi
- real-time
- ajánl
- szabályos
- összefüggő
- engedje
- marad
- Tudástár
- Eredmények
- kiskereskedelem
- Kritika
- Szerep
- gyökér
- futás
- futás
- skálázható
- szakaszok
- biztonság
- elküldés
- idősebb
- Series of
- szolgáltatás
- ülés
- készlet
- kellene
- Egyszerű
- So
- szoftver
- megoldások
- néhány
- Szikra
- különleges
- verem
- standard
- kezdet
- Kezdve
- kezdődik
- Lépés
- Lépései
- megáll
- tárolás
- árnyékolók
- ésszerűsítése
- patakok
- alhálózati
- sikeresen
- ilyen
- sudo
- rendszer
- Systems
- Vesz
- csapat
- Technologies
- távközlés
- sablon
- hogy
- A
- Őket
- Ezek
- három
- Keresztül
- idő
- Idősorok
- nak nek
- nyom
- kiváltó
- használ
- érték
- ellenőrzése
- Megnézem
- végigjátszás
- órák
- Út..
- ami
- míg
- lesz
- val vel
- nélkül
- Munka
- munkafolyamat
- írás
- írott
- yaml
- év
- A te
- zephyrnet