AWS Glue interaktív munkamenetek lehetővé teszi a mérnökök számára, hogy egy interaktív notebookban készítsenek, teszteljenek és futtassanak adat-előkészítési és elemzési feladatokat. Az interaktív szekciók elszigetelt fejlesztői környezeteket biztosítanak, gondoskodnak az alapul szolgáló számítási fürtről, és lehetővé teszik a konfigurálást az üresjárati erőforrások leállításához.
A Glue interaktív szekciók alapértelmezett ajánlott konfigurációkat biztosítanak, és lehetővé teszik a felhasználók számára testreszabhatja a munkamenetet igényeik kielégítésére. Például több dolgozót is létrehozhat, hogy kísérletezzenek egy nagyobb adatkészleten, vagy beállíthatja a tétlenségi időt a hosszan futó munkaterhelésekhez. Mivel ezeket a beállításokat a munkaterheléstől függően rugalmasan módosíthatja, előfordulhat, hogy bizonyos határokon belül kell módosítania a beállításokat, és vezérlő mechanizmust kell alkalmaznia.
Ebben a bejegyzésben bemutatjuk a telepítési folyamatot a újrafelhasználható megoldás az AWS Glue interaktív munkamenet-korlátozásának érvényesítésére három lehetőségnél: kapcsolat, dolgozók száma és maximális tétlenségi idő. Az első lehetőség az egyéni ellenőrzések és ellenőrzések alkalmazásának szükségességét oldja meg a forgalomra, például egy interaktív munkamenet kikényszerítésével, hogy csak VPC-n belül futtasson. A másik kettő korlátozza a költségeket és a felhasználást AWS ragasztó erőforrásokat a dolgozók számának és a munkamenetenkénti üresjárati idő felső határának érvényesítésével. Az AWS Glue-on belül a megoldást tovább bővítheti más ingatlanokra vagy szolgáltatásokra.
A megoldás áttekintése
A javasolt architektúra szerver nélküli összetevőkre épül, és minden új AWS Glue interaktív munkamenet létrehozásakor fut.
A munkafolyamat lépései a következők:
- Egy adatmérnök új interaktív AWS Glue munkamenetet hoz létre vagy a AWS felügyeleti konzol vagy egy Jupyter notebookban helyben.
- Az interaktív munkamenet új eseményt hoz létre AWS CloudTrail az
CreateSession
esemény minden lényeges információval a munkamenet azonosításához és ellenőrzéséhez, amint a munkamenet megkezdődik. - An Amazon EventBridge szabály szűri a CloudTrail eseményeket, és meghív egy AWS Lambda funkcióval ellenőrizheti a
CreateSession
esemény. - A lambda funkció ellenőrzi a
CreateSession
eseményt, és ellenőrzi az összes meghatározott peremfeltételt. Jelenleg az ezzel a megoldással konfigurálható határok a dolgozók maximális számára, a percekben kifejezett tétlenségi időkorlátra és a kikényszerített kapcsolattal történő telepítésre korlátozódnak. - Ha a meghatározott peremfeltételek bármelyike nem teljesül, például túl sok dolgozó van kiépítve a munkamenethez, a megadott konfigurációtól függően a funkció azonnal befejezi az interaktív munkamenetet, és e-mailt küld a Amazon Simple Notification Service (Amazon SNS). Ha a munkamenet még nem indult el, a funkció megvárja, hogy elinduljon, mielőtt bármilyen műveletet végrehajtana.
- Ha a munkamenetet leállították, a rendszer e-mailt küld egy SNS-témához. Az interaktív szekciófüzetben nem található információ a munkamenet befejezésének okáról. Ezért az SNS témakörön keresztül további kontextus információkat biztosítanak az adatmérnökök számára.
- Ha a funkció meghiúsul, a munkamenetek bejelentkeznek a holtbetűs sor belső Amazon Simple Queue Service (Amazon SQS). Ezen túlmenően a várólista figyelésre kerül, és üzenet esetén egy üzenetet indít el amazonfelhőóra riasztás.
A következő lépések végigvezetik a megoldás felépítésén és üzembe helyezésében. A kód elérhető a GitHub repo.
Előfeltételek
Ehhez az áttekintéshez a következő előfeltételekkel kell rendelkeznie:
A telepített erőforrások áttekintése
Az összes szükséges erőforrást an AWS felhőképződés alatt található fájl cfn/template.yaml
. Az erőforrások telepítéséhez használjuk AWS szerver nélküli alkalmazásmodell (AWS SAM), amely lehetővé teszi számunkra, hogy kényelmesen építsük fel és csomagoljuk az összes függőséget, valamint kezeli helyettünk az AWS CloudFormation lépéseit.
A CloudFormation verem a következő erőforrásokat telepíti:
- Egy Lambda függvény a könyvtárával, mindkettő az src/functions könyvtárban van definiálva. A funkció a vezérlés. Érvényesíti, hogy a munkamenet a meghatározott határokon belül elindult-e.
- EventBridge szabály. Ez az esemény figyeli a CloudTrail-t, és új interaktív munkamenet esetén elindítja a vezérlő lambda funkciót.
- A Lambda függvényhez csatolt SQS holtbetűs sor (DLQ). Ez rögzíti az eseményeket, amelyek a lambda funkció meghibásodását váltották ki.
- Két CloudWatch riasztás figyeli a lambda funkció hibáit és a DLQ üzeneteit.
Ha az e-mailben történő értesítés engedélyezve van, két további erőforrás kerül telepítésre:
Ezenkívül az AWS CloudFormation minden szükségeset telepít AWS Identity and Access Management (IAM) szerepek és szabályzatok, valamint an AWS kulcskezelési szolgáltatás (AWS KMS) kulcs, amely biztosítja, hogy a kicserélt adatok titkosítva legyenek.
Telepítse a megoldást
A telepítési életciklus megkönnyítése érdekében, beleértve a felhasználói helyi környezet beállítását, biztosítunk egy Makefile-t, amely leírja az összes szükséges lépést. Győződjön meg arról, hogy megújította az AWS-hitelesítési adatait, és rendelkezik hozzáféréssel fiókjához. További információkért lásd: Konfigurációs és hitelesítési fájl beállításai.
- Fedezze fel a Makefile-t, és módosítsa a régiót és a verem nevét szükség szerint a változók értékeinek módosításával
AWS_REGION
és aSTACK_NAME
. - Készlet
KILL_SESSION = "True"
ha azonnal le akarja állítani a határokon kívülre került interaktív munkamenetet. A megengedett értékek igazak vagy hamisak; az alapértelmezett a True. - Készlet
NOTIFICATION_EMAIL_ADDRESS = <your.email@provider.com>
aMakefile
ha szeretne értesítést kapni, ha egy munkamenet határokon kívülre került. - Állítsa be a vezérlőelemek értékeit:
ENFORCE_VPC_CONNECTION
a VPC-n belül nem futó munkamenetek leállítására (igaz vagy hamis).MAX_WORKERS
a dolgozók maximális számának beállításához egy munkamenethez (numerikus).MAX_IDLE_TIMEOUT_MINUTES
a munkamenetek maximális üresjárati idejének meghatározásához percben (numerikus).
- Telepítse az összes szükséges könyvtárat:
Ezek egy újonnan létrehozott Python virtuális környezetbe kerülnek telepítésre ebben a lerakatban a könyvtárban
.venv
. - Az új verem telepítése:
Ez a parancs a következő feladatokat hajtja végre:
- Ellenőrizze, hogy teljesülnek-e az előfeltételek.
- Teljesít
pytest unittest
a Python fájlokon. - Érvényesítse a CloudFormation sablont.
- Építsd meg a műtermékeket (Lambda függvény és Lambda rétegek).
- Telepítse az erőforrásokat az AWS SAM-en keresztül.
Tesztelje az oldatot
Hivatkozni Bemutatjuk az AWS Glue interaktív munkameneteit a Jupyterhez interaktív munkamenet futtatásával kapcsolatos információkért. Ha követi a bejegyzésben található utasításokat (lásd a részt Futtassa az első kódcellát, és készítse el az AWS Glue jegyzetfüzetét), az interaktív munkamenet inicializálása a következőhöz hasonló hibával meghiúsulhat.
Példa kódra a cellában:
Fogadott kimenet:
Ha engedélyezte az e-mail funkciót, e-mailben is értesítést kell kapnia.
Azt is ellenőrizheti az AWS Glue konzolon, hogy a munkamenet-azonosító nem szerepel-e a listában.
Tisztítsuk meg
Tisztítsa meg a telepített erőforrásokat a következő parancs futtatásával:
Vegye figyelembe, hogy az ajánlott bejegyzés követéséből telepített erőforrások, Bemutatjuk az AWS Glue interaktív munkameneteit a Jupyterhez, nem törlődik az előző paranccsal.
korlátozások
A CloudTrail események EventBridge számára történő kézbesítési garanciája a legjobb erőfeszítés. Ez azt jelenti, hogy a CloudTrail megkísérli az összes eseményt az EventBridge-nek kézbesíteni, de néhány ritka esetben előfordulhat, hogy egy esemény nem kézbesíthető. További információkért lásd: Az AWS szolgáltatások eseményei.
Következtetés
Ez a bejegyzés azt ismerteti, hogyan lehet megoldást felépíteni, üzembe helyezni és tesztelni az AWS Glue interaktív munkamenetei peremfeltételeinek érvényesítésére a dolgozók számára, a tétlenségi időkorlátokra és az AWS Glue kapcsolatra vonatkozó korlátozások érvényesítése érdekében.
Ezt a megoldást igényeinek megfelelően módosíthatja, és tovább bővítheti, hogy lehetővé tegye más lehetőségek vezérlését.
Ha többet szeretne megtudni az AWS Glue interaktív munkameneteinek használatáról, lásd: Bemutatjuk az AWS Glue interaktív munkameneteit a Jupyterhez és a Készítsen AWS ragasztófeladatokat a PyCharm segítségével AWS Glue interaktív munkamenetek segítségével.
A szerzőkről
Nicolas Jacob Baer Senior Cloud Application Architect, aki nagy hangsúlyt fektet az adatfejlesztésre és a gépi tanulásra, székhelye Svájc. Szorosan együttműködik a vállalati ügyfelekkel adatplatformok tervezésében és fejlett elemzési/ml használati esetek kidolgozásában.
Luca Mazzaferro az Amazon Web Services vezető DevOps építésze. Szereti, ha az infrastruktúra automatizált, reprodukálható és biztonságos. Szabadidejében szeret főzni, főleg pizzát.
Kemeng Zhang Cloud Application Architect, aki nagy hangsúlyt fektet a gépi tanulásra és az UX-re, székhelye Svájc. Szorosan együttműködik az ügyfelekkel a felhasználói élmény kialakítása és a fejlett elemzési/ml használati esetek kidolgozása érdekében.
Mark Walser, az Amazon Web Services vezető globális adatépítésze, az ügyfelekkel együttműködve olyan innovatív Big Data megoldásokat fejleszt ki, amelyek megoldják az üzleti problémákat és felgyorsítják az AWS-szolgáltatások alkalmazását. A munkán kívül örömét leli a futásban, úszásban és minden technikával kapcsolatos dologban.
Gal Heyne az AWS Glue termékmenedzsere, nagy hangsúlyt fektetve az AI/ML-re, az adatkezelésre és a BI-re, Kaliforniában. Szenvedélyesen törekszik az ügyfelek üzleti igényeinek mélyreható megértésére és a mérnökökkel való együttműködésre, hogy könnyen használható adattermékeket tervezzen.
- SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
- PlatoData.Network Vertical Generative Ai. Erősítse meg magát. Hozzáférés itt.
- PlatoAiStream. Web3 Intelligence. Felerősített tudás. Hozzáférés itt.
- PlatoESG. Autóipar / elektromos járművek, Carbon, CleanTech, Energia, Környezet, Nap, Hulladékgazdálkodás. Hozzáférés itt.
- BlockOffsets. A környezetvédelmi ellentételezési tulajdon korszerűsítése. Hozzáférés itt.
- Forrás: https://aws.amazon.com/blogs/big-data/enforce-boundaries-on-aws-glue-interactive-sessions/
- :van
- :is
- :nem
- $ UP
- 1
- 10
- 100
- 7
- a
- Rólunk
- hozzáférés
- Fiók
- Akció
- alkalmazkodni
- További
- címek
- Örökbefogadás
- fejlett
- AI / ML
- riasztás
- Minden termék
- lehetővé
- megengedett
- lehetővé teszi, hogy
- Is
- amazon
- Az Amazon Web Services
- an
- analitika
- és a
- bármilyen
- Alkalmazás
- alkalmaz
- Alkalmazása
- építészet
- VANNAK
- érvek
- AS
- At
- szerző
- Automatizált
- elérhető
- AWS
- AWS felhőképződés
- AWS ragasztó
- alapján
- BE
- óta
- előtt
- BEST
- Nagy
- Big adatok
- Blog
- mindkét
- határait
- épít
- épült
- üzleti
- de
- by
- Kalifornia
- hívás
- TUD
- ami
- eset
- esetek
- sejt
- változik
- megváltozott
- ellenőrizze
- Ellenőrzések
- szorosan
- felhő
- Fürt
- kód
- együttműködő
- teljes
- alkatrészek
- Kiszámít
- Körülmények
- Configuration
- kapcsolat
- Konzol
- korlátok
- kontextus
- ellenőrzés
- ellenőrzések
- kiadások
- teremt
- készítette
- teremt
- HITELEZÉS
- Hitelesítő adatok
- Jelenleg
- szokás
- Ügyfelek
- dátum
- adatmérnök
- Adatok előkészítése
- mély
- alapértelmezett
- meghatározott
- szállít
- szállított
- kézbesítés
- attól
- telepíteni
- telepített
- bevezetéséhez
- bevetés
- bevet
- leírt
- Design
- Fejleszt
- fejlesztése
- Fejlesztés
- DevOps
- könnyű
- erőfeszítés
- bármelyik
- engedélyezve
- lehetővé teszi
- titkosított
- vége
- érvényesíteni
- érvényesítése
- mérnök
- Mérnöki
- Mérnökök
- biztosítására
- Vállalkozás
- vállalati ügyfelek
- Környezet
- környezetek
- hiba
- különösen
- Eter (ETH)
- esemény
- események
- példa
- kivétel
- kicserélt
- Tapasztalatok
- kísérlet
- terjed
- megkönnyítése
- FAIL
- nem sikerül
- Kudarc
- hamis
- Funkció
- filé
- Fájlok
- Szűrők
- leletek
- vezetéknév
- Rugalmasság
- Összpontosít
- következik
- következő
- következik
- A
- talált
- Ingyenes
- ból ből
- funkció
- további
- Továbbá
- GAL
- kap
- Globális
- garancia
- Legyen
- he
- övé
- Hogyan
- How To
- HTML
- http
- HTTPS
- IAM
- ID
- azonosítani
- Identitás
- Idle
- if
- azonnal
- importál
- in
- Beleértve
- információ
- Infrastruktúra
- kezdeményezett
- újító
- belső
- utasítás
- interaktív
- bele
- behívja
- izolált
- IT
- ITS
- Munka
- Állások
- jpg
- Jupyter Jegyzetfüzet
- Kulcs
- nagyobb
- tojók
- TANUL
- tanulás
- könyvtárak
- könyvtár
- életciklus
- Kedvencek
- Korlátozott
- határértékek
- Listázott
- helyi
- helyileg
- található
- bejelentkezve
- gép
- gépi tanulás
- csinál
- vezetés
- menedzser
- kezeli
- sok
- maximális
- Lehet..
- eszközök
- mechanizmus
- Találkozik
- üzenet
- üzenetek
- találkozott
- esetleg
- jegyzőkönyv
- ellenőrizni
- ellenőrzés
- több
- név
- elengedhetetlen
- Szükség
- szükséges
- igények
- Új
- újonnan
- nem
- jegyzetfüzet
- bejelentés
- szám
- történt
- of
- on
- csak
- működés
- opció
- Opciók
- or
- érdekében
- Más
- ki
- teljesítmény
- kívül
- csomag
- szenvedélyes
- mert
- Pizza
- Platformok
- Plató
- Platón adatintelligencia
- PlatoData
- öröm
- Politikák
- állás
- előkészítés
- előfeltételek
- be
- előző
- problémák
- folyamat
- termel
- Termékek
- termék menedzser
- Termékek
- ingatlanait
- javasolt
- ad
- feltéve,
- biztosít
- ellátás
- Piton
- RITKA
- kész
- ok
- ajánlott
- rekord
- vidék
- összefüggő
- eltávolított
- megújult
- raktár
- Tudástár
- szerepek
- Szabály
- futás
- futás
- fut
- Sam
- Rész
- biztosított
- lát
- küld
- idősebb
- küldött
- vagy szerver
- Szolgáltatások
- ülés
- ülések
- készlet
- felépítés
- ő
- kellene
- hasonló
- Egyszerű
- megoldások
- Megoldások
- SOLVE
- néhány
- Nemsokára
- Szikra
- különleges
- sebesség
- verem
- kezdet
- kezdődött
- nyilatkozat
- Állapot
- Lépései
- megáll
- megállt
- erős
- biztos
- úszás
- svájc
- Vesz
- bevétel
- feladatok
- Technológia
- sablon
- teszt
- hogy
- A
- azok
- Ott.
- ebből adódóan
- Ezek
- dolgok
- ezt
- azok
- három
- Keresztül
- idő
- nak nek
- is
- téma
- forgalom
- transzformáció
- kiváltó
- váltott
- igaz
- kettő
- típus
- alatt
- mögöttes
- megértés
- us
- Használat
- használ
- felhasználási esetek
- használó
- Felhasználók
- segítségével
- ux
- ÉRVÉNYESÍT
- Értékek
- keresztül
- Tényleges
- várjon
- Várakozás
- végigjátszás
- akar
- volt
- we
- háló
- webes szolgáltatások
- amikor
- bármikor
- ami
- míg
- lesz
- val vel
- belül
- Munka
- munkás
- dolgozók
- munkafolyamat
- művek
- még
- te
- A te
- zephyrnet