Danes AWS oznanja razpoložljivost nadgradenj različice na mestu za Amazon Managed Workflow za Apache Airflow (Amazon MWAA). Ta izboljšava vam omogoča nemoteno nadgradnjo vaših obstoječih okolij Apache Airflow različice 2.x na novejše razpoložljive različice, hkrati pa ohranite zgodovino izvajanja delovnega toka in konfiguracije okolja. Zdaj lahko izkoristite najnovejše zmogljivosti platforme Apache Airflow, ne da bi morali ustvariti popolnoma novo okolje Amazon MWAA.
Če ste do zdaj želeli nadgraditi svoje okolje Amazon MWAA na drugo različico Apache Airflow, ste morali slediti Migracija okolja Amazon MWAA navodila. To je vključevalo ustvarjanje novega okolja Amazon MWAA in nato selitev vseh vaših konfiguracij in Usmerjeni aciklični grafi (DAG) k temu. Če ste morali ohraniti tudi zgodovino izvajanj DAG, ste morali narediti varnostno kopijo zbirke metapodatkov in nato to varnostno kopijo obnoviti v novo ustvarjenem okolju. Ta postopek je bil nagnjen k napakam, ročni in je vključeval dodatne stroške za vzdrževanje dveh ločenih okolij Amazon MWAA, dokler niste mogli preveriti novega in razgraditi starega.
V tej objavi ponujamo pregled funkcije nadgradnje različice na mestu, raziskujemo ustrezne primere uporabe, podrobno opisujemo korake za njeno uporabo in nudimo dodatna navodila o njenih zmogljivostih.
Pregled rešitve
Novo uvedene nadgradnje različice na mestu s strani Amazon MWAA zagotavljajo poenostavljen prehod iz vaših obstoječih okolij, ki temeljijo na Apache Airflow različice 2.x, na novejše razpoložljive različice Apache Airflow. Amazon MWAA upravlja celoten postopek nadgradnje, od zagotavljanja novih različic Apache Airflow do nadgradnje zbirke metapodatkov. V primeru neuspešne nadgradnje je Amazon MWAA zasnovan tako, da se povrne na prejšnjo stabilno različico z uporabo povezanega posnetka zbirke metapodatkov.
Nadgradnja vaših obstoječih okolij na Amazon MWAA je preprost postopek. Svoja obstoječa okolja Apache Airflow 2.0 in novejše na Amazon MWAA lahko nadgradite z le nekaj kliki na konzoli Amazon MWAA z uporabo API-ja Amazon MWAA, Vmesnik ukazne vrstice AWS (AWS CLI) ali z uporabo orodij, kot je Oblikovanje oblaka AWSje Komplet za razvoj oblaka AWS (AWS CDK), oz Terraform. Ta funkcija je na voljo v vseh trenutno podprtih regijah Amazon MWAA.
Na konzoli Amazon MWAA preprosto uredite okolje in izberite razpoložljivo različico Apache Airflow, višjo od trenutne različice vašega obstoječega okolja. Uporabite lahko tudi Posodobi okolje API in določite novo različico Apache Airflow, da sprožite postopek nadgradnje. Če želite izvedeti več o nadgradnjah različice na mestu, glejte Nadgradnja različice Apache Airflow iz dokumentacije Amazon MWAA.
Med nadgradnjo Amazon MWAA najprej ustvari posnetek baze metapodatkov obstoječega okolja, ki nato služi kot osnova za novo bazo podatkov. Nato so vse komponente Apache Airflow – spletni strežnik, razporejevalnik in delavci – nadgrajene. Nazadnje je novo ustvarjena zbirka metapodatkov nadgrajena, s čimer je dejansko zaključen prehod v novo okolje.
Uporabni primeri uporabe
Razmislite o nadgradnji svoje različice Apache Airflow na Amazon MWAA, če vaši obstoječi poteki dela lahko sprejmejo spremembo in je na voljo nova različica s funkcijami ali izboljšavami, ki ustrezajo vašemu primeru uporabe. Z nadgradnjo lahko izkoristite najnovejše zmogljivosti platforme Apache Airflow in ohranite združljivost z novimi funkcijami in najboljšimi praksami, kot so razporejanje na podlagi podatkov in novi paketi ponudnikov Amazon izdano v Apache Airflow 2.4.3. Postopek nadgradnje vključuje izpad okolja, ki lahko traja do 2 uri, odvisno od velikosti okolja, in se lahko izvede na zahtevo v času, ki vam najbolj ustreza. Če je vaše obstoječe okolje močno uporabljeno, tako da si ne morete privoščiti izpada, razmislite o ustvarjanju novega okolja.
Predpogoji
Ko se pripravljate na nadgradnjo, se prepričajte, da ste izvedli naslednje predpogojne korake:
- Preverite spremembe Apache Airflow med vašo obstoječo in novo različico okolja. Preglejte Apache Airflow opombe k izdaji da razumete vpliv novih funkcij, pomembnih sprememb in popravkov napak, ki so jih naredile vse vmesne izdaje Apache Airflow med vašo izvorno in ciljno različico.
- Preglejte svoje obstoječe
requirements.txt
datoteko, da preverite pravilen nabor odvisnosti, ki je potreben za vaše ciljno okolje. Poleg tega preverite, ali vašrequirements.txt
datoteka ima pravilno datoteko omejitev, dodano na vrh datoteke, da ustreza vašemu ciljnemu okolju. Datoteka z omejitvami Apache Airflow določa odvisne module in različice ponudnika, ki so na voljo v času izdaje Apache Airflow. Če dodate datoteko z omejitvami, preprečite namestitev nezdružljivih knjižnic v vaše okolje. V naslednjem primeru zamenjajte{Airflow-version}
s številko različice vašega ciljnega okolja in{Python-version}
z različico Pythona, ki je združljiva z vašim okoljem:--constraint "https://raw.githubusercontent.com/apache/airflow/constraints-{Airflow-version}/constraints-{Python-version}.txt"
- Preglejte združljivost dodatnih knjižnic Python, omenjenih v vašem
requirements.txt
datoteko, ki ustreza vašemu ciljnemu okolju. Apache Airflow v2.4.3 in novejši uporabljajo Python v3.10, medtem ko starejše različice Apache Airflow uporabljajo Python v3.7. Če torej poskušate nadgraditi svoje obstoječe okolje, ki temelji na Apache Airflow v2.0.2/2.2.2, na Apache Airflow v2.4.3 ali novejšo različico, posodobite svoje dodatne knjižnice Python, da bodo ustrezale Python v3.10. - Z Apache Airflow v2.4.3 in novejšim se je spremenil seznam paketov ponudnikov, ki jih Amazon MWAA privzeto namesti za vaše okolje. Upoštevajte, da so se nekatera imena uvozov in operaterjev spremenila v novem paketu ponudnika v Apache Airflow, da bi standardizirali dogovor o poimenovanju v paketih ponudnika. Primerjajte seznam privzeto nameščenih ponudnikovih paketov v Apache Airflow v2.2.2 ali v2.0.2 in konfigurirajte vse dodatne pakete, ki jih morda potrebujete za svoje novo okolje Apache Airflow v2.4.3 in novejše.
- Prepričajte se, da so vaši DAG-ji in drugi viri poteka dela združljivi z novo različico Apache Airflow, na katero nadgrajujete.
- Uporaba aws-mwaa-lokalni-tekač pripomoček za lokalno testiranje obstoječih DAG-jev, zahtev, vtičnikov in odvisnosti pred uvedbo v Amazon MWAA. Z lokalno uporabo lahko ustvarite ciljno okolje Apache Airflow, ki je podobno produkcijski sliki Amazon MWAA
aws-mwaa-local-runner
in preverite, ali vse vaše komponente delujejo, preden poskusite nadgraditi okolje Amazon MWAA. Poleg tega preizkusite postopek nadgradnje novega okolja v nižjih okoljih Amazon MWAA, kot sta dev ali staging, preden uvedete nadgradnjo v produkcijskih okoljih.
Postopek nadgradnje
Ko se začne nadgradnja, Amazon MWAA ustavi obstoječe osnovne komponente Apache Airflow (spletni strežnik, razporejevalnik in delavci). Ta postopek ustavi vsa delavska opravila, ki se trenutno izvajajo. Status vašega okolja na tej stopnji bo prikazan kot UPDATING
. Postopek nadgradnje nato ustvari posnetek baze metapodatkov, označen s statusom CREATING_SNAPSHOT
. Ko je posnetek končan, se stanje okolja vrne na UPDATING
saj Amazon MWAA sproži ustvarjanje novega okolja Apache Airflow, ki se ujema z vašo izbiro različice, in uporabi potrebne spremembe sheme v obstoječi zbirki metapodatkov, da jo uskladi s ciljnim okoljem Apache Airflow. V tej fazi se namestijo vaše določene zahteve, vtičniki in druge odvisnosti.
Po zaključku je vaše novo okolje označeno kot AVAILABLE
, kar pomeni, da je bil postopek nadgradnje uspešen in je okolje pripravljeno za testiranje. Zdaj se lahko prijavite v uporabniški vmesnik Apache Airflow, da preverite prisotnost obstoječih DAG-jev, njihovih zgodovinskih izvajanj, konfiguriranih povezav in drugega.
Če pa pride do napak pri namestitvi vaših podanih datotek zahtev, vtičnikov in odvisnosti, okolje sproži povrnitev na prejšnjo stabilno različico. Med tem postopkom bo stanje vašega okolja prikazano kot ROLLING_BACK
. Če je povrnitev uspešna, bo vaše prejšnje stabilno okolje na voljo in stanje bo prikazano kot UPDATE_FAILED
dokler ni poskus nove posodobitve uspešen. Če povrnitev ne uspe, bo stanje prikazano kot UNAVAILABLE
, kar pomeni, da vaše okolje ne deluje.
Če postopek nadgradnje vašega okolja ne uspe, je verjetno, da osnovni Amazonska storitev za kontejnerje z elastiko (Amazon ECS) AWS Fargate gruče so imele težave s stabilizacijo zaradi nasprotujočih si zahtev in vtičnikov, težave z omrežjem ali težave s selitvijo DB po nadgradnji komponente Apache Airflow. Za ublažitev teh težav zagotovite, da vaši DAG-ji in zahteve delujejo brez težav z uporabo aws-mwaa-local-runner
pripomoček in v idealnem primeru preizkusite v uprizoritvenem okolju Amazon MWAA.
Dodatni premisleki
Upoštevajte naslednje dodatne informacije o tej funkciji:
- Postopek nadgradnje je na voljo na zahtevo in bo omejen na prehod na novejše različice. Nadgradnje različice na mestu na Amazon MWAA niso podprte za različico 1.10.z. Če želite izvesti večjo nadgradnjo različice, na primer z različice 1.yz na 2.yz, morate ustvariti novo okolje in preseliti svoje vire.
- Izberete lahko samo ustrezne višje različice, na katere lahko nadgradite. Vrnitev na nižjo različico ni na voljo.
- Postopek povrnitve lahko traja več časa in, če ga imate Preprosta storitev shranjevanja Amazon (Amazon S3) omogočena različica vedra, Amazon MWAA je zasnovan za povrnitev okolja na prejšnjo delovno konfiguracijo, vključno z vtičniki in zahtevami. Vendar nobene ročne spremembe vaših DAG-jev med tem postopkom ne bodo razveljavljene.
- Ko se postopek nadgradnje uspešno zaključi in je okolje na voljo, so vsi delujoči DAG-ji, ki so bili prekinjeni med nadgradnjo, načrtovani za ponovni poskus, odvisno od načina konfiguracije ponovnih poskusov za vaše DAG-e. Lahko jih sprožite tudi ročno ali počakate na naslednji načrtovani zagon.
- Svoja okolja morate iterativno nadgrajevati, najprej začenši z najmanj kritičnimi.
zaključek
V tej objavi smo govorili o novi funkciji Amazon MWAA, ki vam omogoča nadgradnjo obstoječega okolja Amazon MWAA na višje različice Apache Airflow. Ta funkcija je podprta v novih in obstoječih okoljih Amazon MWAA, ki izvajajo Apache Airflow 2.x in novejšo različico. Uporabite to funkcijo za nadgradnjo svojih različic Apache Airflow, pri tem pa ohranite obstoječe zgodovine izvajanja delovnih tokov in konfiguracije okolja. Z nadgradnjo lahko izkoristite najnovejše zmogljivosti platforme Apache Airflow in ohranite združljivost z novimi funkcijami ter se držite najboljših praks.
Za dodatne podrobnosti in primere kode na Amazon MWAA obiščite Uporabniški priročnik za Amazon MWAA in Amazon MWAA primeri GitHub repo.
Apache, Apache Airflow in Airflow so registrirane blagovne znamke ali blagovne znamke družbe Apache Software Foundation v ZDA in / ali drugih državah.
O avtorjih
Parnab Basak je arhitekt rešitev in strokovnjak za brezstrežniške storitve pri AWS. Specializiran je za ustvarjanje novih rešitev, ki so izvorne v oblaku, z uporabo sodobnih praks razvoja programske opreme, kot so brezstrežniške rešitve, DevOps in analitika. Parnab tesno sodeluje na področju analitike in integracijskih storitev ter strankam pomaga pri sprejemanju storitev AWS za njihove potrebe po orkestraciji delovnega toka.
Fernando Gamero je Senior Solutions Architect inženir pri AWS, ki ima več kot 25 let izkušenj v tehnološki industriji, od telekomunikacij, bančništva do startupov. Zdaj strankam pomaga pri gradnji dogodkovno vodenih arhitektur, sprejemanju rešitev IoT na robu in preoblikovanju njihovih podatkov in cevovodov strojnega učenja v velikem obsegu.
Shubham Mehta je izkušen produktni vodja z več kot osmimi leti izkušenj in dokazano zgodovino zagotavljanja uspešnih izdelkov. V svoji trenutni vlogi višjega produktnega vodje pri AWS nadzira Amazonove upravljane delovne tokove za Apache Airflow (Amazon MWAA) in vodi odprtokodne prispevke Apache Airflow za nadaljnjo izboljšavo funkcionalnosti izdelka.
- Distribucija vsebine in PR s pomočjo SEO. Okrepite se še danes.
- PlatoAiStream. Podatkovna inteligenca Web3. Razširjeno znanje. Dostopite tukaj.
- Kovanje prihodnosti z Adryenn Ashley. Dostopite tukaj.
- Kupujte in prodajajte delnice podjetij pred IPO s PREIPO®. Dostopite tukaj.
- vir: https://aws.amazon.com/blogs/big-data/introducing-in-place-version-upgrades-with-amazon-mwaa/
- :ima
- : je
- :ne
- $GOR
- 1
- 10
- 100
- 110
- 7
- a
- O meni
- nad
- prilagoditi
- čez
- aciklični
- dodano
- dodajanje
- Dodatne
- Dodatne informacije
- Poleg tega
- držijo
- sprejme
- Sprejem
- Prednost
- po
- uskladiti
- vsi
- omogoča
- Prav tako
- Amazon
- Upravljani poteki dela Amazon za Apache Airflow (Amazon MWAA)
- Amazon Web Services
- an
- analitika
- in
- Napoveduje
- kaj
- Apache
- API
- primerno
- SE
- AS
- povezan
- At
- poskus
- poskus
- razpoložljivost
- Na voljo
- AWS
- nazaj
- backup
- Bančništvo
- Osnova
- BE
- bilo
- pred
- počutje
- BEST
- najboljše prakse
- med
- Bug
- Building
- by
- CAN
- Zmogljivosti
- primeru
- primeri
- povzročilo
- spremenite
- spremenilo
- Spremembe
- tesno
- Cloud
- oblak domač
- Koda
- primerjate
- združljivost
- združljiv
- dokončanje
- Končana
- dokončanje
- dokončanje
- komponenta
- deli
- konfiguracija
- V nasprotju
- povezave
- Razmislite
- Konzole
- omejitve
- Posoda
- prispevkov
- Konvencija
- popravi
- stroški
- bi
- države
- ustvarjajo
- ustvaril
- ustvari
- Ustvarjanje
- Oblikovanje
- kritično
- Trenutna
- Trenutno
- Stranke, ki so
- DAG
- datum
- Podatkov usmerjenih
- Baze podatkov
- privzeto
- dostavo
- Povpraševanje
- odvisno
- Odvisno
- uvajanja
- zasnovan
- destinacija
- Podatki
- Podrobnosti
- dev
- Razvoj
- DevOps
- drugačen
- zaslon
- Dokumentacija
- odmore
- vozi
- med
- Edge
- učinkovito
- bodisi
- omogočena
- inženir
- okrepi
- Izboljšave
- zagotovitev
- Celotna
- popolnoma
- okolje
- okolja
- Napaka
- Eter (ETH)
- Event
- Primer
- Primeri
- obstoječih
- izkušnje
- izkušen
- raziskuje
- ne uspe
- Napaka
- Feature
- Lastnosti
- Nekaj
- file
- datoteke
- končno
- prva
- sledi
- po
- za
- iz
- funkcionalno
- funkcionalnost
- nadalje
- GitHub
- Navodila
- imel
- Imajo
- ob
- he
- močno
- pomoč
- več
- njegov
- zgodovinski
- zgodovina
- URE
- Vendar
- HTML
- http
- HTTPS
- if
- slika
- vpliv
- uvoz
- Izboljšave
- in
- Vključno
- nezdružljiva
- označuje
- Industrija
- Podatki
- Iniciatorji
- Namestitev
- Namesto
- Navodila
- integracija
- Vmesna
- prekinjen
- Uvedeno
- Predstavljamo
- vključeni
- Internet stvari
- Vprašanja
- IT
- ITS
- jpg
- samo
- pozneje
- Zadnji
- UČITE
- učenje
- vsaj
- knjižnice
- kot
- Verjeten
- Limited
- vrstica
- Seznam
- lokalno
- prijavi
- stroj
- strojno učenje
- je
- vzdrževati
- velika
- Znamka
- upravlja
- upravitelj
- upravlja
- Navodilo
- ročno
- označeno
- Stave
- omenjeno
- metapodatki
- morda
- selitev
- selitev
- migracije
- moti
- Omiliti
- sodobna
- Moduli
- več
- premikanje
- morajo
- Imena
- poimenovanje
- materni
- potrebno
- Nimate
- potrebna
- potrebe
- mreženje
- Novo
- nova funkcija
- Nove funkcije
- nove rešitve
- na novo
- Naslednja
- zdaj
- Številka
- of
- Staro
- on
- tiste
- samo
- open source
- operater
- or
- orkestracijo
- Da
- Ostalo
- ven
- več
- pregled
- paket
- pakete
- opravlja
- opravljeno
- faza
- platforma
- platon
- Platonova podatkovna inteligenca
- PlatoData
- plugins
- Prispevek
- vaje
- priprava
- Prisotnost
- preprečuje
- prejšnja
- Postopek
- Izdelek
- produktni vodja
- proizvodnja
- Izdelki
- dokazano
- zagotavljajo
- Ponudnik
- Python
- pripravljen
- zapis
- regije
- registriranih
- sprostitev
- Izpusti
- zamenjajte
- obvezna
- Zahteve
- viri
- obnovitev
- ohranitev
- vrne
- povrniti
- pregleda
- vloga
- Roll
- Valjanje
- Run
- tek
- Lestvica
- načrtovano
- razporejanje
- brez težav
- izbor
- višji
- ločena
- Brez strežnika
- služi
- Storitve
- nastavite
- shouldnt
- Prikaži
- pomemben
- Podoben
- Enostavno
- preprosto
- Velikosti
- Posnetek
- Software
- Razvoj programske opreme
- rešitve
- nekaj
- vir
- Vesolje
- specialist
- specializirano
- določeno
- stabilna
- Stage
- uprizoritev
- Začetek
- Ustanavljanjem
- Države
- Status
- Koraki
- Postanki
- shranjevanje
- naravnost
- racionaliziran
- Kasneje
- uspešno
- Uspešno
- taka
- Podprti
- Bodite
- ciljna
- Naloge
- Tehnologija
- telekomunikacije
- Terraform
- Test
- Testiranje
- kot
- da
- O
- njihove
- Njih
- POTEM
- Tukaj.
- zato
- te
- ta
- čas
- do
- orodja
- vrh
- sledenje
- blagovne znamke
- preoblikovanje
- Prehod
- sprožijo
- dva
- ui
- osnovni
- razumeli
- Velika
- Združene države Amerike
- dokler
- Nadgradnja
- nadgradnja
- nadgrajen
- Nadgradnje
- uporaba
- primeru uporabe
- Rabljeni
- uporabnik
- uporabo
- pripomoček
- preverjanje
- različica
- obisk
- Počakaj
- hotel
- je
- način..
- we
- web
- spletni strežnik
- spletne storitve
- so bili
- kdaj
- ki
- medtem
- bo
- z
- brez
- delo
- delavec
- delavci
- potek dela
- delovnih tokov
- deluje
- deluje
- X
- let
- jo
- Vaša rutina za
- zefirnet