Tänään AWS ilmoittaa, että on saatavilla paikan päällä olevia versiopäivityksiä Amazonin hallinnoima työnkulku Apache Airflowlle (Amazon MWAA). Tämän parannuksen avulla voit päivittää nykyiset Apache Airflow 2.x -ympäristösi saumattomasti uudempiin saatavilla oleviin versioihin säilyttäen samalla työnkulun ajohistorian ja ympäristön kokoonpanot. Voit nyt hyödyntää Apache Airflow -alustan uusimpia ominaisuuksia ilman, että sinun tarvitsee luoda kokonaan uutta Amazon MWAA -ympäristöä.
Tähän asti, jos halusit päivittää Amazon MWAA -ympäristösi toiseen Apache Airflow -versioon, sinun oli noudatettava Amazon MWAA -ympäristön siirto ohjeet. Tämä sisälsi uuden Amazon MWAA -ympäristön luomisen ja kaikkien kokoonpanojesi siirtämisen Ohjatut asykliset kaaviot (DAGs) siihen. Jos sinun oli myös säilytettävä DAG-ajojen historia, sinun oli otettava varmuuskopio metatietotietokannastasi ja palautettava varmuuskopio äskettäin luotuun ympäristöön. Tämä prosessi oli virhealtis, manuaalinen ja aiheutti lisäkustannuksia kahden erillisen Amazon MWAA -ympäristön ylläpitämisestä, kunnes pystyit vahvistamaan uuden ja poistamaan vanhan käytöstä.
Tässä viestissä annamme yleiskatsauksen paikan päällä olevasta version päivitysominaisuudesta, tutkimme soveltuvia käyttötapauksia, kerromme yksityiskohtaisesti sen käytön vaiheet ja annamme lisäohjeita sen ominaisuuksista.
Katsaus ratkaisuun
Amazon MWAA:n äskettäin käyttöön otetut paikallisversiopäivitykset tarjoavat virtaviivaistetun siirtymisen olemassa olevista Apache Airflow 2.x -pohjaisista ympäristöistä uudempiin saatavilla oleviin Apache Airflow -versioihin. Amazon MWAA hallinnoi koko päivitysprosessia uusien Apache Airflow -versioiden toimittamisesta metatietokannan päivittämiseen. Jos päivitys epäonnistuu, Amazon MWAA on suunniteltu palaamaan edelliseen vakaaseen versioon käyttämällä siihen liittyvää metatietotietokannan tilannekuvaa.
Nykyisten ympäristöjesi päivittäminen Amazon MWAA:ssa on suoraviivainen prosessi. Voit päivittää nykyiset Apache Airflow 2.0 -ympäristösi ja uudemmat Amazon MWAA -ympäristösi muutamalla napsautuksella Amazon MWAA -konsolissa käyttämällä Amazon MWAA API:ta, AWS-komentoriviliitäntä (AWS CLI) tai käyttämällä työkaluja, kuten AWS-pilven muodostuminen, The AWS Cloud Development Kit (AWS CDK), tai terraform. Tämä ominaisuus on saatavilla kaikilla tällä hetkellä tuetuilla Amazon MWAA -alueilla.
Muokkaa ympäristöä Amazon MWAA -konsolissa ja valitse saatavilla oleva Apache Airflow -versio, joka on korkeampi kuin nykyinen ympäristösi versio. Voit myös käyttää Päivitä ympäristö API ja määritä uusi Apache Airflow -versio käynnistääksesi päivitysprosessin. Lisätietoja paikan päällä tapahtuvista versiopäivityksistä on kohdassa Apache Airflow -version päivitys Amazon MWAA -dokumentaatiosta.
Päivityksen aikana Amazon MWAA luo ensin tilannekuvan olemassa olevan ympäristön metatietokannasta, joka toimii sitten uuden tietokannan perustana. Myöhemmin kaikki Apache Airflow -komponentit – verkkopalvelin, ajoitus ja työntekijät – päivitetään. Lopuksi äskettäin luotu metatietotietokanta päivitetään, mikä viimeistelee tehokkaasti siirtymisen uuteen ympäristöön.
Sovellettavat käyttötapaukset
Sinun kannattaa harkita Apache Airflow -versiosi päivittämistä Amazon MWAA:ssa, jos nykyiset työnkulkusi voivat mukauttaa muutoksen ja saatavilla on uusi versio, jossa on käyttötapauksesi mukaisia ominaisuuksia tai parannuksia. Päivittämällä voit hyödyntää Apache Airflow -alustan uusimpia ominaisuuksia ja ylläpitää yhteensopivuutta uusien ominaisuuksien ja parhaiden käytäntöjen, kuten datapohjaisen aikataulutuksen ja uusien Amazon-palveluntarjoajapakettien kanssa. julkaistu Apache Airflow 2.4.3:ssa. Päivitysprosessiin sisältyy ympäristökatkos, joka voi kestää jopa 2 tuntia ympäristön koosta riippuen, ja se voidaan suorittaa pyynnöstä sinulle parhaiten sopivana ajankohtana. Jos olemassa oleva ympäristö on kovassa käytössä, joten seisokkiin ei ole varaa, harkitse uuden ympäristön luomista sen sijaan.
Edellytykset
Kun valmistaudut päivitykseen, varmista, että suoritat seuraavat ehdot:
- Tarkista Apache Airflow -muutokset nykyisen ja uuden ympäristöversiosi välillä. Tarkista Apache Airflow julkaisutiedot ymmärtääksesi uusien ominaisuuksien, merkittävien muutosten ja virheenkorjausten vaikutukset, joita kaikki Apache Airflown väliversiot ovat tehneet lähde- ja kohdeversiosi välillä.
- Tarkista olemassa olevasi
requirements.txt
tiedosto varmistaaksesi, että kohdeympäristössäsi tarvitaan oikeat riippuvuudet. Varmista lisäksi, että sinunrequirements.txt
tiedostoon on lisätty oikeat rajoitustiedostot tiedoston yläosaan kohdeympäristöäsi vastaavasti. Apache Airflow -rajoitustiedosto määrittää riippuvat moduulit ja toimittajaversiot, jotka ovat saatavilla Apache Airflow -julkaisun aikaan. Rajoitustiedoston lisääminen estää yhteensopimattomien kirjastojen asentamisen ympäristöösi. Vaihda seuraavassa esimerkissä{Airflow-version}
kohdeympäristösi versionumerolla ja{Python-version}
Python-versiolla, joka on yhteensopiva ympäristösi kanssa:--constraint "https://raw.githubusercontent.com/apache/airflow/constraints-{Airflow-version}/constraints-{Python-version}.txt"
- Tarkista muiden julkaisussasi mainittujen Python-kirjastojen yhteensopivuus
requirements.txt
tiedosto vastaamaan kohdeympäristöäsi. Apache Airflow v2.4.3 ja uudemmat käyttävät Python v3.10:tä, kun taas vanhemmat Apache Airflow -versiot käyttävät Python v3.7:ää. Siksi, jos yrität päivittää olemassa olevaa Apache Airflow v2.0.2/2.2.2 -pohjaista ympäristöäsi Apache Airflow v2.4.3:een tai uudempaan, sinun tulee päivittää muut Python-kirjastot vastaamaan Python v3.10:tä. - Apache Airflow versiossa 2.4.3 ja uudemmissa Amazon MWAA:n oletusarvoisesti ympäristöösi asentamien palveluntarjoajapakettien luettelo on muuttunut. Huomaa, että jotkin tuontituotteet ja operaattorien nimet ovat muuttuneet Apache Airflow:n uudessa palveluntarjoajapaketissa palveluntarjoajapakettien nimeämiskäytännön standardoimiseksi. Vertaa oletusarvoisesti asennettujen palveluntarjoajan pakettien luettelo Apache Airflow v2.2.2:ssa tai v2.0.2:ssa ja määritä mahdolliset lisäpaketit, joita saatat tarvita uudelle Apache Airflow v2.4.3:lle tai uudemmalle ympäristölle.
- Varmista, että DAG:t ja muut työnkulkuresurssit ovat yhteensopivia uuden Apache Airflow -version kanssa, johon olet päivittämässä.
- Käytä aws-mwaa-local-runner apuohjelma, jolla voit testata olemassa olevia DAG-elementtejäsi, vaatimuksiasi, laajennuksiasi ja riippuvuuksiasi paikallisesti ennen käyttöönottoa Amazon MWAA:ssa. Voit luoda kohde-Apache Airflow -ympäristön, joka on samanlainen kuin Amazon MWAA -tuotantokuva paikallisesti käyttämällä
aws-mwaa-local-runner
ja varmista, että kaikki komponentit toimivat ennen kuin yrität päivittää Amazon MWAA -ympäristöäsi. Lisäksi testaa uutta ympäristön päivitysprosessia alemmissa Amazon MWAA -ympäristöissä, kuten kehittäjä- tai vaiheistusympäristöissä, ennen kuin otat päivityksen käyttöön tuotantoympäristöissä.
Päivitysprosessi
Kun päivitys on aloitettu, Amazon MWAA pysäyttää olemassa olevat taustalla olevat Apache Airflow -komponentit (verkkopalvelin, ajoitus ja työntekijät). Tämä prosessi pysäyttää kaikki käynnissä olevat työntekijän tehtävät. Ympäristösi tila tässä vaiheessa näkyy muodossa UPDATING
. Päivitysprosessi luo sitten tietokannan tilannevedoksen metatietokannasta, joka on merkitty tilalla CREATING_SNAPSHOT
. Kun tilannekuva on valmis, ympäristön tila palaa UPDATING
koska Amazon MWAA käynnistää uuden Apache Airflow -ympäristön luomisen, joka vastaa versiovalintaasi ja tekee tarvittavat skeeman muutokset olemassa olevaan metatietotietokantaan kohdistaakseen sen kohde-Apache Airflow -ympäristöön. Tämän vaiheen aikana määritetyt vaatimukset, laajennukset ja muut riippuvuudet asennetaan.
Kun uusi ympäristösi on valmis, se merkitään nimellä AVAILABLE
, joka osoittaa, että päivitysprosessi on onnistunut ja ympäristö on valmis testattavaksi. Voit nyt kirjautua sisään Apache Airflow -käyttöliittymään tarkistaaksesi olemassa olevien DAG:ien olemassaolon, niiden historialliset ajot, määritetyt yhteydet ja paljon muuta.
Jos määritettyjen vaatimusten, laajennusten ja riippuvuustiedostojen asentamisessa ilmenee kuitenkin virheitä, ympäristö käynnistää palautuksen edelliseen vakaaseen versioon. Tämän prosessin aikana ympäristösi tila näkyy muodossa ROLLING_BACK
. Jos palautus onnistuu, edellinen vakaa ympäristösi on käytettävissä ja tila näkyy muodossa UPDATE_FAILED
kunnes uutta päivitystä yritetään ja se onnistuu. Jos palautus epäonnistuu, tila näkyy muodossa UNAVAILABLE
, mikä osoittaa, että ympäristösi ei toimi.
Jos ympäristön päivitysprosessi epäonnistuu, on todennäköistä, että taustalla on Amazonin elastisten säiliöiden palvelu (Amazon ECS) AWS-veljeskunta klustereilla oli vakautusongelmia, jotka johtuivat ristiriitaisista vaatimuksista ja laajennuksista, verkko-ongelmista tai DB-siirto-ongelmista Apache Airflow -komponentin päivityksen jälkeen. Voit lieventää näitä ongelmia varmistamalla, että DAG:t ja vaatimukset toimivat ilman ongelmia aws-mwaa-local-runner
apuohjelma ja mieluiten testata lavastus Amazon MWAA -ympäristössä.
Muita näkökohtia
Muista seuraavat lisätiedot tästä ominaisuudesta:
- Päivitysprosessi on saatavilla pyynnöstä, ja se rajoittuu siirtymiseen uudempiin versioihin. Amazon MWAA:n paikallisia versiopäivityksiä ei tueta versiossa 1.10.z. Jos haluat suorittaa suuren version päivityksen, esimerkiksi versiosta 1.yz versioon 2.yz, sinun on luotava uusi ympäristö ja siirrettävä resurssit.
- Voit valita vain soveltuvia korkeampia versioita, joihin voit päivittää. Päivitys alempaan versioon ei ole käytettävissä.
- Palautusprosessi voi viedä lisäaikaa, ja jos sinulla on Amazonin yksinkertainen tallennuspalvelu (Amazon S3) bucket-versiointi käytössä, Amazon MWAA on suunniteltu palauttamaan ympäristö aiempaan toimivaan kokoonpanoon, mukaan lukien laajennukset ja vaatimukset. DAG:iin tehtyjä manuaalisia muutoksia ei kuitenkaan palauteta tämän prosessin aikana.
- Kun päivitysprosessi on suoritettu onnistuneesti ja ympäristö on käytettävissä, kaikki käynnissä olevat DAG:t, jotka keskeytettiin päivityksen aikana, ajoitetaan uudelleenyritykselle sen mukaan, kuinka määrität DAG:ien uudelleenyritykset. Voit myös käynnistää ne manuaalisesti tai odottaa seuraavaa ajoitettua ajoa.
- Sinun tulisi päivittää ympäristösi iteratiivisesti aloittaen ensin vähiten kriittisistä.
Yhteenveto
Tässä viestissä puhuimme Amazon MWAA:n uudesta ominaisuudesta, jonka avulla voit päivittää nykyisen Amazon MWAA -ympäristösi korkeampiin Apache Airflow -versioihin. Tätä ominaisuutta tuetaan uusissa ja olemassa olevissa Amazon MWAA -ympäristöissä, joissa on Apache Airflow 2.x tai uudempi. Käytä tätä ominaisuutta päivittääksesi Apache Airflow -versiosi säilyttäen samalla nykyiset työnkulun ajohistoriasi ja ympäristökokoonpanosi. Päivittämällä voit hyödyntää Apache Airflow -alustan uusimpia ominaisuuksia ja ylläpitää yhteensopivuutta uusien ominaisuuksien kanssa ja noudattaa parhaita käytäntöjä.
Lisätietoja ja koodiesimerkkejä Amazon MWAA:sta on osoitteessa Amazon MWAA käyttöopas ja Amazon MWAA esimerkkejä GitHub reposta.
Apache, Apache Airflow ja Airflow ovat joko yrityksen rekisteröityjä tavaramerkkejä tai tavaramerkkejä Apache-ohjelmistosäätiö Yhdysvalloissa ja / tai muissa maissa.
Tietoja Tekijät
Parnab Basak on ratkaisuarkkitehti ja palvelimeton asiantuntija AWS:ssä. Hän on erikoistunut luomaan uusia pilvipohjaisia ratkaisuja käyttämällä nykyaikaisia ohjelmistokehityskäytäntöjä, kuten palvelintonta, DevOpsia ja analytiikkaa. Parnab työskentelee tiiviisti analytiikka- ja integrointipalveluiden alalla auttaakseen asiakkaita ottamaan AWS-palvelut käyttöön työnkulun organisointitarpeisiinsa.
Fernando Gamero on AWS:n Senior Solutions Architect -insinööri, jolla on yli 25 vuoden kokemus teknologia-alalta tietoliikenteestä, pankkitoiminnasta startup-yrityksiin. Hän auttaa nyt asiakkaita rakentamaan tapahtumalähtöisiä arkkitehtuureja, ottamaan käyttöön IoT-ratkaisuja Edgessä ja muuttamaan tieto- ja koneoppimisputkia mittakaavassa.
Shubham Mehta on kokenut tuotepäällikkö, jolla on yli kahdeksan vuoden kokemus ja todistettu kokemus menestyvien tuotteiden toimittamisesta. Nykyisessä tehtävässään AWS:n Senior Product Managerina hän valvoo Amazon Managed Workflows for Apache Airflowa (Amazon MWAA) ja johtaa Apache Airflown avoimen lähdekoodin osuutta tuotteen toimivuuden parantamiseksi entisestään.
- SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
- PlatoAiStream. Web3 Data Intelligence. Tietoa laajennettu. Pääsy tästä.
- Tulevaisuuden lyöminen Adryenn Ashley. Pääsy tästä.
- Osta ja myy osakkeita PRE-IPO-yhtiöissä PREIPO®:lla. Pääsy tästä.
- Lähde: https://aws.amazon.com/blogs/big-data/introducing-in-place-version-upgrades-with-amazon-mwaa/
- :on
- :On
- :ei
- $ YLÖS
- 1
- 10
- 100
- 110
- 7
- a
- Meistä
- edellä
- majoittaa
- poikki
- asykliset
- lisä-
- lisää
- lisä-
- lisäinformaatio
- Lisäksi
- noudattaa
- hyväksyä
- hyväksymällä
- Etu
- Jälkeen
- kohdista
- Kaikki
- mahdollistaa
- Myös
- Amazon
- Amazonin hallinnoimat työnkulut Apache Airflowlle (Amazon MWAA)
- Amazon Web Services
- an
- Analytics
- ja
- Ilmoittaa
- Kaikki
- Apache
- api
- sovelletaan
- OVAT
- AS
- liittyvä
- At
- yritettiin
- yrittää
- saatavuus
- saatavissa
- AWS
- takaisin
- Varmuuskopiointi
- Pankkitoiminta
- perusta
- BE
- ollut
- ennen
- ovat
- PARAS
- parhaat käytännöt
- välillä
- Vika
- Rakentaminen
- by
- CAN
- kyvyt
- tapaus
- tapauksissa
- aiheutti
- muuttaa
- muuttunut
- Muutokset
- tarkasti
- pilvi
- pilvi kotoisin
- koodi
- verrata
- yhteensopivuus
- yhteensopiva
- täydellinen
- Valmistunut
- Suoritettuaan
- valmistuminen
- komponentti
- osat
- Konfigurointi
- ristiriitaiset
- Liitännät
- Harkita
- Console
- rajoitteet
- Kontti
- maksut
- Sopimus
- korjata
- kustannukset
- voisi
- maahan
- luoda
- luotu
- luo
- Luominen
- luominen
- kriittinen
- Nykyinen
- Tällä hetkellä
- Asiakkaat
- PÄIVÄ
- tiedot
- data-driven
- tietokanta
- oletusarvo
- tuottaa
- Kysyntä
- riippuvainen
- Riippuen
- levityspinnalta
- suunniteltu
- määränpää
- yksityiskohta
- yksityiskohdat
- dev
- Kehitys
- DevOps
- eri
- näyttö
- dokumentointi
- seisokkeja
- ajanut
- aikana
- reuna
- tehokkaasti
- myöskään
- käytössä
- insinööri
- parantaa
- lisälaite
- varmistaa
- Koko
- täysin
- ympäristö
- ympäristöissä
- virhe
- Eetteri (ETH)
- tapahtuma
- esimerkki
- Esimerkit
- olemassa
- experience
- kokenut
- tutkia
- epäonnistuu
- Epäonnistuminen
- Ominaisuus
- Ominaisuudet
- harvat
- filee
- Asiakirjat
- Vihdoin
- Etunimi
- seurata
- jälkeen
- varten
- alkaen
- toiminnallinen
- toiminnallisuus
- edelleen
- GitHub
- ohjaus
- HAD
- Olla
- ottaa
- he
- raskaasti
- auttaa
- korkeampi
- hänen
- historiallinen
- historia
- TUNTIA
- Kuitenkin
- HTML
- http
- HTTPS
- if
- kuva
- Vaikutus
- tuonti
- parannuksia
- in
- Mukaan lukien
- yhteensopimaton
- ilmaisee
- teollisuus
- tiedot
- Osaa aloittaa
- asentaminen
- sen sijaan
- ohjeet
- integraatio
- väli-
- keskeytynyt
- käyttöön
- käyttöön
- osallistuva
- Esineiden internet
- kysymykset
- IT
- SEN
- jpg
- vain
- myöhemmin
- uusin
- OPPIA
- oppiminen
- vähiten
- kirjastot
- pitää
- Todennäköisesti
- rajallinen
- linja
- Lista
- paikallisesti
- log
- kone
- koneoppiminen
- tehty
- ylläpitää
- merkittävä
- tehdä
- onnistui
- johtaja
- hallinnoi
- manuaalinen
- käsin
- merkitty
- ottelu
- mainitsi
- Metadata
- ehkä
- vaeltaa
- siirtyvät
- muutto
- mielessä
- lieventää
- Moderni
- Moduulit
- lisää
- liikkuvat
- täytyy
- nimet
- nimeäminen
- syntyperäinen
- välttämätön
- Tarve
- tarvitaan
- tarpeet
- verkostoituminen
- Uusi
- uusi ominaisuus
- Uudet ominaisuudet
- uusia ratkaisuja
- hiljattain
- seuraava
- nyt
- numero
- of
- Vanha
- on
- yhdet
- vain
- avoimen lähdekoodin
- operaattori
- or
- orkestrointi
- tilata
- Muut
- ulos
- yli
- yleiskatsaus
- paketti
- paketit
- suorittaa
- suoritettu
- vaihe
- foorumi
- Platon
- Platonin tietotieto
- PlatonData
- liitännäiset
- Kirje
- käytännöt
- valmistelee
- läsnäolo
- estää
- edellinen
- prosessi
- Tuotteet
- tuotepäällikkö
- tuotanto
- Tuotteemme
- todistettu
- toimittaa
- toimittaja
- Python
- valmis
- ennätys
- alueet
- kirjattu
- vapauta
- Tiedotteet
- korvata
- tarvitaan
- vaatimukset
- Esittelymateriaalit
- palauttaa
- säilyttäen
- Tuotto
- palautua
- arviot
- Rooli
- rulla
- Rolling
- ajaa
- juoksu
- Asteikko
- suunniteltu
- aikataulutus
- saumattomasti
- valinta
- vanhempi
- erillinen
- serverless
- palvelee
- Palvelut
- setti
- shouldnt
- näyttää
- merkittävä
- samankaltainen
- Yksinkertainen
- yksinkertaisesti
- Koko
- Kuva
- Tuotteemme
- ohjelmistokehitys
- Ratkaisumme
- jonkin verran
- lähde
- Tila
- asiantuntija
- erikoistunut
- määritelty
- vakaa
- Vaihe
- näyttämöllepano
- Aloita
- Startups
- Valtiot
- Tila
- Askeleet
- Lopettaa
- Levytila
- suora
- virtaviivainen
- Myöhemmin
- onnistunut
- Onnistuneesti
- niin
- Tuetut
- ottaa
- Kohde
- tehtävät
- Elektroniikka
- tietoliikenne
- terraform
- testi
- Testaus
- kuin
- että
- -
- heidän
- Niitä
- sitten
- Siellä.
- siksi
- Nämä
- tätä
- aika
- että
- työkalut
- ylin
- raita
- tavaramerkkejä
- muuttamassa
- siirtyminen
- laukaista
- kaksi
- ui
- taustalla oleva
- ymmärtää
- Yhtenäinen
- Yhdysvallat
- asti
- Päivitykset
- parantaa
- päivitetty
- päivityksiä
- käyttää
- käyttölaukku
- käytetty
- käyttäjä
- käyttämällä
- hyödyllisyys
- todentaa
- versio
- Vierailla
- odottaa
- halusi
- oli
- Tapa..
- we
- verkko
- Web-palvelin
- verkkopalvelut
- olivat
- kun
- joka
- vaikka
- tulee
- with
- ilman
- Referenssit
- työntekijä
- työntekijöitä
- työnkulku
- työnkulkuja
- työskentely
- toimii
- X
- vuotta
- te
- Sinun
- zephyrnet