Ebben a bejegyzésben bemutatjuk az automatizált telepítést Amazon által felügyelt munkafolyamatok az Apache Airflow számára (Amazon MWAA) ügyfél által kezelt végpontokat használ egy VPC-ben, amely kompatibilitást biztosít a megosztott vagy más módon korlátozott VPC-kkel.
Adattudósok és mérnökök készítettek apache légáramlás vezető nyílt forráskódú eszköz adatfolyamok létrehozásához, köszönhetően az aktív nyílt forráskódú közösségnek, a jól ismert Python-fejlesztésnek, mint a Directed Acyclic Graph (DAG) munkafolyamatoknak és az előre beépített integrációk kiterjedt könyvtárának. Az Amazon MWAA egy felügyelt szolgáltatás az Airflow számára, amely megkönnyíti az Airflow AWS-en való futtatását anélkül, hogy a mögöttes infrastruktúra kezeléséből adódó műveleti terheket kelljen kezelni. Az Amazon MWAA minden Airflow-környezethez létrehoz egy egybérlős VPC-szolgáltatást, amely az állapotokat tároló metaadatbázist és a felhasználói felületet biztosító webszervert tárolja. Az Amazon MWAA továbbá kezeli az Airflow ütemezőt és a dolgozói példányokat egy ügyfél tulajdonában lévő és felügyelt VPC-n, hogy ütemezze és futtasson olyan feladatokat, amelyek kölcsönhatásba lépnek az ügyfél erőforrásaival. Azok az Airflow tartályok az ügyfél VPC-ben hozzáférnek a szolgáltatás VPC erőforrásaihoz a VPC végpont.
Sok szervezet ezt választja központilag kezeli a VPC-jüket segítségével AWS szervezetek, amely lehetővé teszi a tulajdonosi fiókban lévő VPC megosztását egy másik résztvevői fiók erőforrásaival. Mivel azonban egy új útvonal VPC-n kívüli létrehozása privilegizált műveletnek minősül, a résztvevői fiókok nem hozhatnak létre végpontokat a tulajdonosi VPC-kben. Ezenkívül sok ügyfél nem akarja kiterjeszteni a VPC-végpontok létrehozásához szükséges biztonsági jogosultságokat az Amazon MWAA környezeteket szolgáltató összes felhasználóra. A VPC-végpontokon kívül az ügyfelek korlátozni szeretnék az adatkilépést is Amazon Simple Queue Service (Amazon SQS) sorok, és az Amazon SQS hozzáférés követelmény a Amazon MWAA architektúra.
Az Amazon MWAA megosztott VPC-támogatása lehetőséget ad arra, hogy saját végpontjait kezelje a VPC-ken belül, így kompatibilis a megosztott és egyébként korlátozott VPC-kkel. Az ügyfél által kezelt végpontok megadása lehetővé teszi a szigorú biztonsági szabályzatok betartását is azáltal, hogy kifejezetten korlátozza a VPC-erőforrás-hozzáférést azokra, amelyekre az Ön Amazon MWAA-környezetében van szükség. Ez a bejegyzés bemutatja, hogyan működnek az ügyfél által kezelt végpontok az Amazon MWAA-val, és példákat mutat be e végpontok kiépítésének automatizálására.
Megoldás áttekintése
Az Amazon MWAA megosztott VPC-támogatása lehetővé teszi több AWS-fiók számára, hogy Airflow-környezetüket megosztott, központilag kezelt VPC-kké alakítsák ki. A VPC-t birtokló fiók (tulajdonos) megosztja az Amazon MWAA által igényelt két privát alhálózatot más fiókokkal (résztvevőkkel), amelyek ugyanahhoz a szervezethez tartoznak az AWS-szervezetektől. Az alhálózatok megosztása után a résztvevők megtekinthetik, létrehozhatják, módosíthatják és törölhetik az Amazon MWAA környezeteket a velük megosztott alhálózatokban.
Amikor a felhasználók a környezet létrehozása során meghatározzák, hogy megosztott vagy más módon korlátozott VPC-re van szükség, az Amazon MWAA először létrehozza a szolgáltatás VPC erőforrásait, majd függőben lévő állapotba lép legfeljebb 72 órára. Amazon EventBridge értesítést az állapotváltozásról. Ez lehetővé teszi a tulajdonosok számára a szükséges végpontok létrehozását a résztvevők nevében az Amazon MWAA konzolból vagy API-ból származó végpontszolgáltatási információk alapján, vagy programozottan egy AWS Lambda függvényt és az EventBridge szabályt, amint az ebben a bejegyzésben látható.
Miután ezek a végpontok létrejöttek a tulajdonosi fiókban, az egybérlős Amazon MWAA VPC végpontszolgáltatása észleli a végpont-kapcsolati eseményt, és folytatja a környezet létrehozását. Probléma esetén megszakíthatja a környezet létrehozását a környezet törlésével ebben a függőben lévő állapotban.
Ez a funkció lehetővé teszi a VPCE jogosultságokat hozhat létre, módosíthat és törölhet tól AWS Identity and Access Management (IAM) fő létrehozza az Amazon MWAA környezeteket, még akkor is, ha nem használ megosztott VPC-t, mert ez az engedély ehelyett a végpontot létrehozó IAM-főre lesz szabva (példánkban a Lambda függvény). Ezenkívül az Amazon MWAA környezet biztosítja az SQS sor Amazon Resource Name (ARN), amelyet az Airflow Celery Executor a feladatok sorba állításához használ (a Celery Executor Queue), lehetővé téve, hogy ezeket az erőforrásokat kifejezetten beírja a hálózati házirendbe, ahelyett, hogy egy nyíltabb és általánosabb engedély.
Ebben a példában a VPC és az Amazon MWAA környezetet ugyanabban a fiókban hozzuk létre. A fiókok között megosztott VPC-k esetében az EventBridge-szabály és a Lambda-függvény a tulajdonosi fiókban létezne, az Amazon MWAA környezet pedig a résztvevői fiókban jön létre. Lát Amazon EventBridge események küldése és fogadása AWS-fiókok között további információért.
Előfeltételek
A következő előfeltételekkel kell rendelkeznie:
- AWS-fiók
- Egy AWS-felhasználó a fiókban, VPC-k, VPC-végpontok és Amazon MWAA-környezetek létrehozására vonatkozó engedéllyel
- An Amazon egyszerű tárolási szolgáltatás (Amazon S3) vödör ebben a fiókban, egy nevű mappával
dags
Hozd létre a VPC-t
Kezdjük azzal, hogy létrehozunk egy korlátozó VPC-t egy AWS felhőképződés sablont a szükséges VPC végpont létrehozásának és az SQS végpont házirend módosításának szimulálásához. Ha meglévő VPC-t szeretne használni, lépjen tovább a következő szakaszra.
- Töltse le a CloudFormation sablont -ben hivatkozott Option three: Creating an Amazon VPC network without Internet access.
- Bontsa ki a fájlt
cfn-vpc-private-bjs.yml
from the downloaded ZIP archive. - Most szerkesztjük a CloudFormation sablonunkat, hogy korlátozzuk az Amazon SQS-hez való hozzáférést. Ban ben
cfn-vpc-private-bjs.yml
, szerkessze aSqsVpcEndoint
szakasz a következőképpen jelenjen meg:
Ez a kiegészítő házirend-dokumentum-bejegyzés megakadályozza, hogy az Amazon SQS minden olyan erőforrásba belépjen, amely nem szerepel kifejezetten a listán.
Most létrehozhatjuk a CloudFormation veremünket.
- Az AWS CloudFormation konzolon válassza a lehetőséget Verem létrehozása.
- választ Tölts fel egy sablonfájlt.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Válassz fájlt.
- Tallózással keresse meg a módosított fájlt.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Következő.
- A Verem neve, belép
MWAA-Environment-VPC
. - A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Következő amíg el nem éri az áttekintő oldalt.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Küld.
Hozd létre a Lambda függvényt
Két lehetőségünk van végpontjaink önkezelésére: kézi és automatizált. Ebben a példában létrehozunk egy Lambda függvényt, amely válaszol az Amazon MWAA EventBridge értesítésére. Az EventBridge értesítést is használhatja egy Amazon Simple Notification Service (Amazon SNS) üzenetet, például e-mailt, olyan személynek, aki jogosult a VPC-végpont manuális létrehozására.
Először létrehozunk egy Lambda függvényt, amely válaszol az EventBridge eseményre, amelyet az Amazon MWAA bocsát ki.
- A Lambda konzolon válassza a lehetőséget Funkció létrehozása.
- A Név, belép
mwaa-create-lambda
. - A Runtime, választ Python 3.11.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Funkció létrehozása.
- A Kód, A Forráskód szakasz, for
lambda_function
, írja be a következő kódot: - A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Telepítése.
- A Configuration a Lambda funkció fülén a Általános konfiguráció szakaszban válassza szerkesztése.
- A Timeout, növelje 5 percre, 0 másodpercre.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Megtakarítás.
- A Engedélyek fejezet alatt Végrehajtási szerep, válassza ki a szerep nevét a funkció engedélyeinek szerkesztéséhez.
- A Engedélyezési szabályzatok, válassza ki az alábbi linket Szabályzat neve.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a szerkesztése és adj hozzá egy vesszőt és a következő utasítást:
A teljes szabályzatnak az alábbiakhoz hasonlóan kell kinéznie:
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Következő amíg el nem éri az áttekintő oldalt.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Változtatások mentése.
Hozzon létre egy EventBridge-szabályt
Ezután beállítjuk az EventBridge-et, hogy elküldje az Amazon MWAA értesítéseket a Lambda funkciónknak.
- Az EventBridge konzolon válassza a lehetőséget Szabály létrehozása.
- A Név, írja be az mwaa-create parancsot.
- választ Szabály eseménymintával.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Következő.
- A Alkotási módszer, választ Felhasználói minta űrlap.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Minta szerkesztése.
- A Esemény minta, írd be a következőt:
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Következő.
- A Válasszon ki egy célt, választ Lambda funkció.
Megadhat egy SNS-értesítést is, hogy üzenetet kapjon, ha a környezet állapota megváltoziks.
- A Funkció, választ
mwaa-create-lambda
. - A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Következő amíg el nem éri az utolsó részt, majd válasszon Szabály létrehozása.
Hozzon létre egy Amazon MWAA környezetet
Végül létrehozunk egy Amazon MWAA környezetet ügyfél által kezelt végpontokkal.
- Az Amazon MWAA konzolon válassza a lehetőséget Környezet létrehozása.
- A Név, adjon meg egyedi nevet a környezetének.
- A Airflow változat, válassza ki a legújabb Airflow verziót.
- A S3 vödör, választ Böngésszen az S3-ban és válassza ki az S3 tárolót, vagy írja be az Amazon S3 URI-t.
- A DAGs mappa, választ Böngésszen az S3-ban és válassza a
dags/
mappát az S3 tárolóban, vagy írja be az Amazon S3 URI-t. - A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Következő.
- A Virtuális privát felhő, válassza ki a korábban létrehozott VPC-t.
- A Webszerver hozzáférés, választ Nyilvános hálózat (internet elérhető).
- A Biztonsági csoportok, törölje a kijelölést Új biztonsági csoport létrehozása.
- Válassza ki a CloudFormation sablon által létrehozott megosztott VPC biztonsági csoportot.
Mivel a biztonsági csoportok a AWS PrivateLink A korábbi lépés végpontjai önre hivatkoznak, akkor ugyanazt a biztonsági csoportot kell kiválasztania az Amazon MWAA környezetéhez.
- A Végpontkezelés, választ Ügyfél által kezelt végpontok.
- Tartsa meg a fennmaradó beállításokat alapértelmezettként, és válassza ki Következő.
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a Környezet létrehozása.
Ha a környezete elérhető, a következőn keresztül érheti el Nyissa meg az Airflow felhasználói felületet linket az Amazon MWAA konzolon.
Tisztítsuk meg
A nem aktívan használt erőforrások megtisztítása csökkenti a költségeket, és ez a legjobb gyakorlat. Ha nem törli az erőforrásokat, további költségek merülhetnek fel. Az erőforrások megtisztításához hajtsa végre a következő lépéseket:
- Törölje Amazon MWAA környezet, EventBridge szabályés Lambda funkció.
- Törölje a VPC végpontok a Lambda függvény hozta létre.
- Töröljön bármelyiket biztonsági csoportok adott esetben létrehozták.
- Miután a fenti erőforrások befejezték a törlést, törölje a CloudFormation verem hogy megbizonyosodjon arról, hogy eltávolította az összes fennmaradó erőforrást.
Összegzésként
Ez a bejegyzés bemutatta, hogyan automatizálható a környezet létrehozása az Amazon MWAA megosztott VPC-támogatásával. Ez lehetővé teszi a saját végpontjainak kezelését a VPC-n belül, kompatibilitást adva a megosztott vagy más módon korlátozott VPC-kkel. Az ügyfél által kezelt végpontok megadása lehetővé teszi a szigorú biztonsági szabályzatok betartását is azáltal, hogy kifejezetten korlátozza a VPC-erőforrásokhoz való hozzáférést azokra, amelyekre az Amazon MWAA-környezetükre van szükség. Ha többet szeretne megtudni az Amazon MWAA-ról, tekintse meg a Amazon MWAA felhasználói kézikönyv. Az Amazon MWAA-ról szóló további bejegyzésekért látogassa meg a Amazon MWAA forrásoldal.
A szerzőről
John Jackson Több mint 25 éves szoftveres tapasztalattal rendelkezik fejlesztőként, rendszertervezőként és termékmenedzserként startupoknál és nagyvállalatoknál egyaránt, valamint az Amazon MWAA-ért felelős AWS fő termékmenedzsere.
- SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
- PlatoData.Network Vertical Generative Ai. Erősítse meg magát. Hozzáférés itt.
- PlatoAiStream. Web3 Intelligence. Felerősített tudás. Hozzáférés itt.
- PlatoESG. Carbon, CleanTech, Energia, Környezet, Nap, Hulladékgazdálkodás. Hozzáférés itt.
- PlatoHealth. Biotechnológiai és klinikai vizsgálatok intelligencia. Hozzáférés itt.
- Forrás: https://aws.amazon.com/blogs/big-data/introducing-shared-vpc-support-on-amazon-mwaa/
- :van
- :is
- :nem
- $ UP
- 10
- 100
- 11
- 13
- 15%
- 200
- 25
- 41
- 72
- 8
- a
- képesség
- Rólunk
- felett
- hozzáférés
- hozzáférhető
- Fiók
- Fiókok
- át
- Akció
- aktív
- aktívan
- aciklikus
- hozzá
- hozzáadásával
- mellett
- További
- Hozzáteszi
- Után
- Minden termék
- lehetővé
- megengedett
- lehetővé téve
- lehetővé teszi, hogy
- már
- Is
- amazon
- Az Amazon Web Services
- an
- és a
- bármilyen
- Apache
- api
- megjelenik
- alkalmazható
- Archív
- VANNAK
- AS
- automatizált
- Automatizált
- automatizálás
- elérhető
- AWS
- AWS felhőképződés
- alapján
- BE
- mert
- kezdődik
- nevében
- hogy
- BEST
- között
- test
- mindkét
- szünet
- teher
- de
- by
- hívott
- TUD
- Kaphat
- változik
- Változások
- díjak
- A pop-art design, négy időzóna kijelzése egyszerre és méretének arányai azok az érvek, amelyek a NeXtime Time Zones-t kiváló választássá teszik. Válassza a
- ragadozó ölyv
- vásárló
- kód
- COM
- közösség
- kompatibilitás
- teljes
- Befejezett
- kapcsolat
- figyelembe vett
- Konzol
- Konténerek
- kontextus
- Corporations
- kiadások
- tudott
- teremt
- készítette
- teremt
- létrehozása
- teremtés
- vevő
- Ügyfelek
- DAG
- dátum
- adatbázis
- alapértelmezett
- bizonyítani
- mutatja
- bevetés
- leírni
- leírt
- részlet
- kimutatására
- Fejlesztő
- Fejlesztés
- különböző
- irányított
- dokumentum
- nem
- ne
- két
- alatt
- minden
- Korábban
- könnyű
- hatás
- más
- Endpoint
- végpontok
- Mérnökök
- biztosítására
- belép
- belépés
- Környezet
- környezetek
- Eter (ETH)
- Még
- esemény
- események
- példa
- példák
- létezik
- létező
- tapasztalat
- kifejezetten
- terjed
- kiterjedt
- ismerős
- Funkció
- filé
- szűrő
- utolsó
- vezetéknév
- következő
- következik
- A
- talált
- ból ből
- funkció
- további
- Továbbá
- kap
- ad
- grafikon
- Csoport
- Csoportok
- Legyen
- tekintettel
- hosts
- NYITVATARTÁS
- Hogyan
- How To
- azonban
- HTML
- http
- HTTPS
- IAM
- ID
- Identitás
- if
- importál
- kiszabott
- in
- info
- információ
- Infrastruktúra
- példányok
- helyette
- integrációk
- kölcsönhatásba
- Felület
- Internet
- bele
- bevezetéséről
- kérdés
- IT
- ITS
- jpg
- json
- éppen
- Kulcs
- nagy
- legutolsó
- vezető
- TANUL
- könyvtár
- LINK
- Listázott
- fakitermelés
- néz
- készült
- KÉSZÍT
- kezelése
- sikerült
- menedzser
- kezeli
- kézikönyv
- kézzel
- sok
- Lehet..
- Találkozik
- üzenet
- jegyzőkönyv
- módosított
- módosítása
- több
- többszörös
- kell
- név
- elengedhetetlen
- Szükség
- szükséges
- hálózat
- Új
- következő
- bejelentés
- értesítések
- of
- on
- nyitva
- nyílt forráskódú
- működés
- operatív
- Opciók
- or
- érdekében
- szervezet
- szervezetek
- Más
- másképp
- mi
- kívül
- felett
- saját
- tulajdonos
- tulajdonosok
- tulajdonosa
- oldal
- táborozó
- résztvevők
- Mintás
- alatt
- engedély
- engedélyek
- Plató
- Platón adatintelligencia
- PlatoData
- Politikák
- politika
- állás
- Hozzászólások
- gyakorlat
- előfeltételek
- megakadályozza
- Fő
- magán
- kiváltságos
- kiváltságok
- folytassa
- Termékek
- termék menedzser
- ingatlanait
- ad
- biztosít
- amely
- Piton
- R
- Inkább
- el
- kap
- fogadó
- csökkenti
- utal
- megmaradó
- eltávolítása
- eltávolított
- kötelező
- követelmény
- forrás
- Tudástár
- Reagálni
- válasz
- felelős
- korlátoz
- korlátozott
- korlátozó
- Korlátozó
- folytatás
- visszatérés
- Kritika
- Szerep
- Útvonal
- Szabály
- futás
- s
- azonos
- menetrend
- tudósok
- másodperc
- Rész
- biztonság
- biztonsági politikák
- lát
- küld
- szerver
- szolgáltatás
- Szolgáltatások
- beállítások
- megosztott
- Megoszt
- kellene
- hasonló
- Egyszerű
- So
- szoftver
- Valaki
- forrás
- verem
- Startups
- Állami
- nyilatkozat
- Államok
- Állapot
- Lépés
- Lépései
- tárolás
- tárolni
- árnyékolók
- szigorú
- alhálózatok
- ilyen
- támogatás
- Systems
- feladatok
- sablon
- mint
- hogy
- A
- azok
- Őket
- akkor
- Ott.
- ezt
- azok
- három
- nak nek
- szerszám
- igaz
- kettő
- típus
- alatt
- mögöttes
- egyedi
- -ig
- frissítése
- URI
- használ
- használt
- használó
- felhasználói felület
- Felhasználók
- segítségével
- érték
- Értékek
- változat
- keresztül
- Megnézem
- Látogat
- akar
- we
- háló
- webszerver
- webes szolgáltatások
- amikor
- ami
- lesz
- val vel
- belül
- nélkül
- Munka
- munkás
- munkafolyamatok
- lenne
- év
- te
- A te
- zephyrnet
- Postai irányítószám