Tässä viestissä esittelemme automaattisen käyttöönoton Amazonin hallinnoidut työnkulut Apache Airflowlle (Amazon MWAA) käyttämällä asiakkaan hallinnoimia päätepisteitä VPC:ssä, mikä tarjoaa yhteensopivuuden jaettujen tai muuten rajoitettujen VPC:iden kanssa.
Tietotieteilijät ja insinöörit ovat tehneet apache-ilmavirta johtava avoimen lähdekoodin työkalu tietoputkien luomiseen aktiivisen avoimen lähdekoodin yhteisönsä, tutun Python-kehityksen Directed Acyclic Graph (DAG) -työnkulkuina ja laajan valmiiksi rakennettujen integraatioiden kirjaston ansiosta. Amazon MWAA on Airflowlle hallittu palvelu, jonka avulla Airflow on helppo ajaa AWS:ssä ilman taustalla olevan infrastruktuurin hallintaa. Amazon MWAA luo kullekin Airflow-ympäristölle yhden vuokralaisen palvelun VPC:n, joka isännöi tilat tallentavaa metatietokantaa ja käyttöliittymän tarjoavaa verkkopalvelinta. Amazon MWAA hallitsee lisäksi Airflow-aikataulun ja työntekijöiden esiintymiä asiakkaan omistamassa ja hallinnoimassa VPC:ssä aikatauluttaakseen ja suorittaakseen tehtäviä, jotka ovat vuorovaikutuksessa asiakkaan resurssien kanssa. Asiakkaan VPC:n Airflow-säiliöt pääsevät palvelun VPC:n resursseihin a VPC-päätepiste.
Monet organisaatiot valitsevat sen hallinnoida keskitetysti VPC:ään käyttämällä AWS-organisaatiot, jolloin omistajatilin VPC voidaan jakaa eri osallistujatilin resurssien kanssa. Koska uuden reitin luomista VPC:n ulkopuolella pidetään kuitenkin etuoikeutettuna toimintona, osallistujattilit eivät voi luoda päätepisteitä omistajan VPC:issä. Lisäksi monet asiakkaat eivät halua laajentaa VPC-päätepisteiden luomiseen vaadittavia suojausoikeuksia kaikkiin Amazon MWAA -ympäristöjä käyttäviin käyttäjiin. VPC-päätepisteiden lisäksi asiakkaat haluavat myös rajoittaa tiedonsiirtoa kautta Amazonin yksinkertainen jonopalvelu (Amazon SQS) -jonot, ja Amazon SQS -käyttö on vaatimus Amazon MWAA -arkkitehtuuri.
Jaettu VPC-tuki Amazon MWAA:lle lisää sinulle mahdollisuuden hallita omia päätepisteitäsi VPC:issäsi, mikä lisää yhteensopivuutta jaettujen ja muuten rajoitettujen VPC:iden kanssa. Asiakkaiden hallinnoimien päätepisteiden määrittäminen mahdollistaa myös tiukkojen suojauskäytäntöjen noudattamisen rajoittamalla VPC-resurssien pääsyn vain niihin, joita Amazon MWAA -ympäristösi tarvitsevat. Tämä viesti osoittaa, kuinka asiakkaiden hallinnoimat päätepisteet toimivat Amazon MWAA:n kanssa, ja tarjoaa esimerkkejä siitä, kuinka näiden päätepisteiden provisiointi automatisoidaan.
Ratkaisun yleiskatsaus
Amazon MWAA:n jaetun VPC-tuen avulla useat AWS-tilit voivat luoda Airflow-ympäristönsä jaetuiksi, keskitetysti hallituiksi VPC:iksi. Tili, joka omistaa VPC:n (omistaja), jakaa Amazon MWAA:n vaatimat kaksi yksityistä aliverkkoa muiden tilien (osallistujien) kanssa, jotka kuuluvat samaan AWS-organisaatioiden organisaatioon. Kun aliverkot on jaettu, osallistujat voivat tarkastella, luoda, muokata ja poistaa Amazon MWAA -ympäristöjä heidän kanssaan jaetuissa aliverkoissa.
Kun käyttäjät määrittävät jaetun tai muuten käytäntöjen rajoittaman VPC:n tarpeen ympäristön luomisen aikana, Amazon MWAA luo ensin palvelun VPC-resurssit ja siirtyy sitten odottavaan tilaan enintään 72 tunniksi. Amazon EventBridge ilmoitus tilan muutoksesta. Näin omistajat voivat luoda tarvittavat päätepisteet osallistujien puolesta Amazon MWAA -konsolista tai API:sta saatavien päätepistepalvelutietojen perusteella tai ohjelmallisesti AWS Lambda funktio ja EventBridge-sääntö, kuten tämän viestin esimerkissä.
Kun nämä päätepisteet on luotu omistajatilillä, yhden vuokralaisen Amazon MWAA VPC:n päätepistepalvelu havaitsee päätepisteen yhteystapahtuman ja jatkaa ympäristön luomista. Jos ilmenee ongelmia, voit peruuttaa ympäristön luomisen poistamalla ympäristön tämän odottavan tilan aikana.
Tämän ominaisuuden avulla voit myös poistaa luoda, muokata ja poistaa VPCE-oikeuksia mistä AWS-henkilöllisyyden ja käyttöoikeuksien hallinta (IAM) pääasiallinen, joka luo Amazon MWAA -ympäristöjä, vaikka ei käytettäisi jaettua VPC:tä, koska tämä lupa määrätään sen sijaan päätepisteen luovalle IAM-periaatteelle (esimerkissämme Lambda-toiminto). Lisäksi Amazon MWAA -ympäristö tarjoaa SQS-jonon Amazon Resource Name (ARN), jota Airflow Celery Executor käyttää tehtävien jonoon (Celery Executor Queue), jolloin voit syöttää nämä resurssit nimenomaisesti verkkokäytäntöösi sen sijaan, että joutuisit antamaan avoimempi ja yleisempi lupa.
Tässä esimerkissä luomme VPC- ja Amazon MWAA -ympäristön samalle tilille. Tilien välisille jaetuille VPC:ille EventBridge-sääntö ja Lambda-toiminto olisivat olemassa omistajatilillä ja Amazon MWAA -ympäristö luotaisiin osallistujatilille. Katso Amazon EventBridge -tapahtumien lähettäminen ja vastaanottaminen AWS-tilien välillä lisätietoja.
Edellytykset
Sinulla tulee olla seuraavat edellytykset:
- AWS-tili
- AWS-käyttäjä kyseisellä tilillä, jolla on oikeudet luoda VPC:itä, VPC-päätepisteitä ja Amazon MWAA -ympäristöjä
- An Amazonin yksinkertainen tallennuspalvelu (Amazon S3) -ämpäri kyseisessä tilissä, jossa on kansio nimeltä
dags
Luo VPC
Aloitamme luomalla rajoittavan VPC:n käyttämällä AWS-pilven muodostuminen mallia, jotta voidaan simuloida tarvittavan VPC-päätepisteen luomista ja SQS-päätepistekäytännön muokkaamista. Jos haluat käyttää olemassa olevaa VPC:tä, voit siirtyä seuraavaan osaan.
- Lataa CloudFormation-malli viitattu kohdassa Vaihtoehto kolme: Amazon VPC -verkon luominen ilman Internet-yhteyttä.
- Pura tiedosto
cfn-vpc-private-bjs.yml
ladatusta ZIP-arkistosta. - Nyt muokkaamme CloudFormation-malliamme rajoittaaksemme pääsyä Amazon SQS:ään. Sisään
cfn-vpc-private-bjs.yml
, muokkaaSqsVpcEndoint
osio näyttää seuraavalta:
Tämä lisäkäytäntöasiakirjamerkintä estää Amazon SQS:n pääsyn resursseihin, joita ei ole nimenomaisesti listattu.
Nyt voimme luoda CloudFormation-pinon.
- Valitse AWS CloudFormation -konsolista Luo pino.
- valita Lataa mallitiedosto.
- Valita Valitse tiedosto.
- Selaa muokkaamaasi tiedostoon.
- Valita seuraava.
- varten Pino nimi, tulla sisään
MWAA-Environment-VPC
. - Valita seuraava kunnes pääset arvostelusivulle.
- Valita Lähetä.
Luo Lambda-funktio
Meillä on kaksi vaihtoehtoa päätepisteidemme itsehallintaan: manuaalinen ja automaattinen. Tässä esimerkissä luomme Lambda-funktion, joka vastaa Amazon MWAA EventBridge -ilmoitukseen. Voit myös lähettää EventBridge-ilmoituksen Amazonin yksinkertainen ilmoituspalvelu (Amazon SNS) -viesti, kuten sähköposti, henkilölle, jolla on lupa luoda VPC-päätepiste manuaalisesti.
Ensin luomme Lambda-funktion vastaamaan EventBridge-tapahtumaan, jonka Amazon MWAA lähettää.
- Valitse Lambda-konsolista Luo toiminto.
- varten Nimi, tulla sisään
mwaa-create-lambda
. - varten Runtime, valitse Python 3.11.
- Valita Luo toiminto.
- varten Koodi, Ja Lähdekoodi osa, varten
lambda_function
, kirjoita seuraava koodi: - Valita Sijoittaa.
- On Konfigurointi Lambda-toiminnon välilehti Yleinen kokoonpano osiossa, valitse muokata.
- varten Timeout, suurenna 5 minuuttiin, 0 sekuntiin.
- Valita Säästä.
- In Oikeudet kohta, alla Suoritusrooli, valitse roolin nimi muokataksesi tämän toiminnon käyttöoikeuksia.
- varten Lupakäytännöt, valitse alla oleva linkki Käytännön nimi.
- Valita muokata ja lisää pilkku ja seuraava lause:
Koko käytännön pitäisi näyttää seuraavanlaiselta:
- Valita seuraava kunnes pääset arvostelusivulle.
- Valita Tallenna muutokset.
Luo EventBridge-sääntö
Seuraavaksi määritämme EventBridgen lähettämään Amazon MWAA -ilmoitukset Lambda-toimintoomme.
- Valitse EventBridge-konsolista Luo sääntö.
- varten Nimi, kirjoita mwaa-create.
- valita Sääntö tapahtumakuviolla.
- Valita seuraava.
- varten Luomistapa, valitse Käyttäjäkuviolomake.
- Valita Muokkaa kuviota.
- varten Tapahtumakuvio, Kirjoita seuraava:
- Valita seuraava.
- varten Valitse kohde, valitse Lambda toiminto.
Voit myös määrittää SNS-ilmoituksen saadaksesi viestin ympäristön tilan muuttuessas.
- varten Toiminto, valitse
mwaa-create-lambda
. - Valita seuraava kunnes saavutat viimeisen osion, valitse sitten Luo sääntö.
Luo Amazon MWAA -ympäristö
Lopuksi luomme Amazon MWAA -ympäristön asiakkaiden hallinnoimilla päätepisteillä.
- Valitse Amazon MWAA -konsolissa Luo ympäristö.
- varten Nimi, anna ympäristöllesi yksilöllinen nimi.
- varten Airflow versio, valitse uusin Airflow-versio.
- varten S3-kauha, valitse Selaa S3: ta ja valitse S3-ämpärisi tai anna Amazon S3 URI.
- varten DAGs-kansio, valitse Selaa S3: ta Ja valitse
dags/
kansio S3-säilössäsi tai anna Amazon S3 URI. - Valita seuraava.
- varten Virtuaali yksityinen pilvi, valitse aiemmin luomasi VPC.
- varten Web-palvelimen käyttö, valitse Julkinen verkko (Internet-yhteys).
- varten Suojausryhmät, poista valinta Luo uusi suojausryhmä.
- Valitse CloudFormation-mallin luoma jaettu VPC-suojausryhmä.
Koska turvallisuusryhmät AWS PrivateLink aiemman vaiheen päätepisteet viittaavat itseensä, sinun on valittava sama suojausryhmä Amazon MWAA -ympäristöllesi.
- varten Päätepisteen hallinta, valitse Asiakkaan hallinnoimat päätepisteet.
- Säilytä loput oletusasetukset ja valitse seuraava.
- Valita Luo ympäristö.
Kun ympäristösi on käytettävissä, voit käyttää sitä osoitteessa Avaa ilmavirran käyttöliittymä linkki Amazon MWAA -konsolissa.
Puhdistaa
Aktiivisesti käyttämättömien resurssien puhdistaminen vähentää kustannuksia ja on paras käytäntö. Jos et poista resursseja, voit veloittaa lisämaksuja. Voit puhdistaa resurssit suorittamalla seuraavat vaiheet:
- Poista Amazon MWAA -ympäristö, EventBridge-sääntöja Lambda toiminto.
- Poista VPC-päätepisteet luotu lambda-funktiolla.
- Poista mikä tahansa turvallisuusryhmät luotu tarvittaessa.
- Kun yllä olevat resurssit on poistettu, poista CloudFormation-pino varmistaaksesi, että olet poistanut kaikki jäljellä olevat resurssit.
Yhteenveto
Tämä viesti kuvaili kuinka automatisoida ympäristön luominen jaetun VPC-tuen avulla Amazon MWAA:ssa. Tämä antaa sinulle mahdollisuuden hallita omia päätepisteitäsi VPC:ssäsi, mikä lisää yhteensopivuutta jaetuille tai muuten rajoitetuille VPC:ille. Asiakkaiden hallinnoimien päätepisteiden määrittäminen mahdollistaa myös tiukkojen suojauskäytäntöjen noudattamisen rajoittamalla VPC-resurssien pääsyn vain niihin, joita heidän Amazon MWAA -ympäristönsä tarvitsevat. Lisätietoja Amazon MWAA:sta on osoitteessa Amazon MWAA käyttöopas. Lisää viestejä Amazon MWAA:sta on osoitteessa Amazon MWAA -resurssitsivu.
Kirjailijasta
John jackson hänellä on yli 25 vuoden kokemus ohjelmistokehittäjänä, järjestelmäarkkitehtina ja tuotepäällikkönä sekä startupeissa että suurissa yrityksissä, ja hän on Amazon MWAA:sta vastaava AWS:n päätuotepäällikkö.
- SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
- PlatoData.Network Vertical Generatiivinen Ai. Vahvista itseäsi. Pääsy tästä.
- PlatoAiStream. Web3 Intelligence. Tietoa laajennettu. Pääsy tästä.
- PlatoESG. hiili, CleanTech, energia, ympäristö, Aurinko, Jätehuolto. Pääsy tästä.
- PlatonHealth. Biotekniikan ja kliinisten kokeiden älykkyys. Pääsy tästä.
- Lähde: https://aws.amazon.com/blogs/big-data/introducing-shared-vpc-support-on-amazon-mwaa/
- :on
- :On
- :ei
- $ YLÖS
- 10
- 100
- 11
- 13
- 15%
- 200
- 25
- 41
- 72
- 8
- a
- kyky
- Meistä
- edellä
- pääsy
- saatavilla
- Tili
- Tilit
- poikki
- Toiminta
- aktiivinen
- aktiivisesti
- asykliset
- lisätä
- lisää
- Lisäksi
- lisä-
- Lisää
- Jälkeen
- Kaikki
- sallia
- sallittu
- Salliminen
- mahdollistaa
- jo
- Myös
- Amazon
- Amazon Web Services
- an
- ja
- Kaikki
- Apache
- api
- näyttää
- sovelletaan
- Archive
- OVAT
- AS
- automatisoida
- Automatisoitu
- automatisointi
- saatavissa
- AWS
- AWS-pilven muodostuminen
- perustua
- BE
- koska
- alkaa
- puolesta
- ovat
- PARAS
- välillä
- elin
- tappi
- sekä
- Tauko
- taakka
- mutta
- by
- nimeltään
- CAN
- Voi saada
- muuttaa
- Muutokset
- maksut
- Valita
- puhdas
- asiakas
- koodi
- KOM
- yhteisö
- yhteensopivuus
- täydellinen
- Valmistunut
- liitäntä
- harkittu
- Console
- Kontit
- tausta
- yritykset
- kustannukset
- voisi
- luoda
- luotu
- luo
- Luominen
- luominen
- asiakas
- Asiakkaat
- PÄIVÄ
- tiedot
- tietokanta
- oletusarvo
- osoittaa
- osoittaa
- käyttöönotto
- kuvata
- on kuvattu
- yksityiskohta
- havaita
- Kehittäjä
- Kehitys
- eri
- suunnattu
- asiakirja
- ei
- Dont
- kaksi
- aikana
- kukin
- Aikaisemmin
- helppo
- vaikutus
- muu
- päätepiste
- päätepisteet
- Engineers
- varmistaa
- enter
- merkintä
- ympäristö
- ympäristöissä
- Eetteri (ETH)
- Jopa
- tapahtuma
- Tapahtumat
- esimerkki
- Esimerkit
- olla
- olemassa
- experience
- nimenomaisesti
- laajentaa
- laaja
- tuttu
- Ominaisuus
- filee
- suodatus
- lopullinen
- Etunimi
- jälkeen
- seuraa
- varten
- löytyi
- alkaen
- toiminto
- edelleen
- Lisäksi
- saada
- antaa
- kaavio
- Ryhmä
- Ryhmän
- Olla
- ottaa
- isännät
- TUNTIA
- Miten
- Miten
- Kuitenkin
- HTML
- http
- HTTPS
- IAM
- ID
- Identiteetti
- if
- tuoda
- määrätty
- in
- tiedot
- tiedot
- Infrastruktuuri
- tapauksia
- sen sijaan
- integraatiot
- olla vuorovaikutuksessa
- liitäntä
- Internet
- tulee
- käyttöön
- kysymys
- IT
- SEN
- jpg
- json
- vain
- avain
- suuri
- uusin
- johtava
- OPPIA
- Kirjasto
- LINK
- lueteltu
- hakkuu
- katso
- tehty
- TEE
- hoitaa
- onnistui
- johtaja
- hallinnoi
- manuaalinen
- käsin
- monet
- Saattaa..
- Tavata
- viesti
- pöytäkirja
- muokattu
- muokata
- lisää
- moninkertainen
- täytyy
- nimi
- välttämätön
- Tarve
- tarvitaan
- verkko
- Uusi
- seuraava
- ilmoituksen
- ilmoitukset
- of
- on
- avata
- avoimen lähdekoodin
- toiminta
- toiminta-
- Vaihtoehdot
- or
- tilata
- organisaatio
- organisaatioiden
- Muut
- muuten
- meidän
- ulkopuolella
- yli
- oma
- omistaja
- omistajat
- omistaa
- sivulla
- osallistuja
- osallistujat
- Kuvio
- odotettaessa
- lupa
- Oikeudet
- Platon
- Platonin tietotieto
- PlatonData
- politiikkaa
- politiikka
- Kirje
- Viestejä
- harjoitusta.
- edellytyksiä
- estää
- Pääasiallinen
- yksityinen
- etuoikeutettu
- oikeudet
- jatkaa
- Tuotteet
- tuotepäällikkö
- ominaisuudet
- toimittaa
- tarjoaa
- tarjoamalla
- Python
- R
- pikemminkin
- tavoittaa
- vastaanottaa
- vastaanottava
- vähentää
- katso
- jäljellä oleva
- poistaa
- poistettu
- tarvitaan
- vaatimus
- resurssi
- Esittelymateriaalit
- Vastata
- vastaus
- vastuullinen
- rajoittaa
- rajoitettu
- rajoittavat
- rajoittava
- jatkaa
- palata
- arviot
- Rooli
- Reitti
- Sääntö
- ajaa
- s
- sama
- aikataulu
- tutkijat
- sekuntia
- Osa
- turvallisuus
- turvallisuuspolitiikkaa
- nähdä
- lähettää
- palvelin
- palvelu
- Palvelut
- settings
- yhteinen
- osakkeet
- shouldnt
- samankaltainen
- Yksinkertainen
- So
- Tuotteemme
- Joku
- lähde
- pino
- Startups
- Osavaltio
- Lausunto
- Valtiot
- Tila
- Vaihe
- Askeleet
- Levytila
- verkkokaupasta
- varastot
- tiukka
- aliverkkoon
- niin
- tuki
- järjestelmät
- tehtävät
- sapluuna
- kuin
- että
- -
- heidän
- Niitä
- sitten
- Siellä.
- tätä
- ne
- kolmella
- että
- työkalu
- totta
- kaksi
- tyyppi
- varten
- taustalla oleva
- unique
- asti
- päivittäminen
- URI
- käyttää
- käytetty
- käyttäjä
- Käyttöliittymä
- Käyttäjät
- käyttämällä
- arvo
- arvot
- versio
- kautta
- Näytä
- Vierailla
- haluta
- we
- verkko
- Web-palvelin
- verkkopalvelut
- kun
- joka
- tulee
- with
- sisällä
- ilman
- Referenssit
- työntekijä
- työnkulkuja
- olisi
- vuotta
- te
- Sinun
- zephyrnet
- Postinumero