Bu yazıda, dağıtımın otomatikleştirilmesini gösteriyoruz. Apache Airflow için Amazon Tarafından Yönetilen İş Akışları (Amazon MWAA) bir VPC'de müşteri tarafından yönetilen uç noktaları kullanarak, paylaşılan veya başka şekilde kısıtlanan VPC'lerle uyumluluk sağlar.
Veri bilimcileri ve mühendisleri Apache Hava Akışı Aktif açık kaynak topluluğu, Yönlendirilmiş Döngüsel Grafik (DAG) iş akışları olarak bilinen Python geliştirmesi ve önceden oluşturulmuş entegrasyonlardan oluşan kapsamlı kitaplığı sayesinde veri hatları oluşturmak için önde gelen bir açık kaynak aracıdır. Amazon MWAA, Airflow'a yönelik yönetilen bir hizmettir ve Airflow'un, temeldeki altyapıyı yönetme zorunluluğunun getirdiği operasyonel yük olmadan AWS'de çalıştırılmasını kolaylaştırır. Amazon MWAA, her Airflow ortamı için, durumları depolayan meta veri tabanını ve kullanıcı arayüzünü sağlayan web sunucusunu barındıran tek kiracılı bir hizmet VPC'si oluşturur. Amazon MWAA, müşteri kaynaklarıyla etkileşime giren görevleri planlamak ve çalıştırmak için müşterinin sahip olduğu ve yönettiği bir VPC'de Airflow planlayıcıyı ve çalışan örneklerini daha da yönetir. Müşteri VPC'sindeki Airflow kapsayıcıları, hizmet VPC'sindeki kaynaklara bir aracılığıyla erişir. VPC uç noktası.
Birçok kuruluş bunu tercih ediyor VPC'lerini merkezi olarak yönetin kullanma AWS Kuruluşlarıbir sahip hesabındaki VPC'nin farklı bir katılımcı hesabındaki kaynaklarla paylaşılmasına olanak tanır. Ancak VPC dışında yeni bir rota oluşturmak ayrıcalıklı bir işlem olarak kabul edildiğinden katılımcı hesapları, sahip VPC'lerde uç noktalar oluşturamaz. Ayrıca pek çok müşteri, VPC uç noktaları oluşturmak için gereken güvenlik ayrıcalıklarını Amazon MWAA ortamları sağlayan tüm kullanıcılara genişletmek istemiyor. Müşteriler, VPC uç noktalarına ek olarak veri çıkışını da kısıtlamak istiyor Amazon Basit Kuyruk Hizmeti (Amazon SQS) kuyrukları ve Amazon SQS erişimi, Amazon MWAA mimarisi.
Amazon MWAA için paylaşılan VPC desteği, VPC'leriniz içindeki kendi uç noktalarınızı yönetme olanağı sağlayarak paylaşılan ve başka şekilde kısıtlanan VPC'lerle uyumluluk sağlar. Müşteri tarafından yönetilen uç noktaların belirtilmesi, VPC kaynak erişimini yalnızca Amazon MWAA ortamlarınızın ihtiyaç duyduğu kaynaklarla açıkça kısıtlayarak katı güvenlik politikalarına uyma olanağı da sağlar. Bu gönderi, müşteri tarafından yönetilen uç noktaların Amazon MWAA ile nasıl çalıştığını gösterir ve bu uç noktaların tedariğinin nasıl otomatikleştirileceğine dair örnekler sunar.
Çözüme genel bakış
Amazon MWAA için paylaşılan VPC desteği, birden fazla AWS hesabının Airflow ortamlarını paylaşılan, merkezi olarak yönetilen VPC'ler halinde oluşturmasına olanak tanır. VPC'ye (sahip) sahip olan hesap, Amazon MWAA'nın gerektirdiği iki özel alt ağı, AWS Kuruluşlarındaki aynı kuruluşa ait diğer hesaplarla (katılımcılar) paylaşır. Alt ağlar paylaşıldıktan sonra katılımcılar, kendileriyle paylaşılan alt ağlardaki Amazon MWAA ortamlarını görüntüleyebilir, oluşturabilir, değiştirebilir ve silebilir.
Kullanıcılar ortam oluşturma sırasında paylaşılan veya başka bir şekilde politikayla kısıtlanmış bir VPC ihtiyacını belirttiğinde, Amazon MWAA önce hizmet VPC kaynaklarını oluşturacak, ardından 72 saate kadar bekleme durumuna girecek ve Amazon EventBridge durum değişikliğinin bildirilmesi. Bu, sahiplerin, Amazon MWAA konsolundan veya API'sinden alınan uç nokta hizmeti bilgilerine dayanarak veya bir program aracılığıyla katılımcılar adına gerekli uç noktaları oluşturmasına olanak tanır. AWS Lambda Bu yazıdaki örnekte olduğu gibi işlevi ve EventBridge kuralını kullanın.
Sahip hesabında bu uç noktalar oluşturulduktan sonra, tek kiracılı Amazon MWAA VPC'deki uç nokta hizmeti, uç nokta bağlantı olayını algılayacak ve ortam oluşturmaya devam edecektir. Bir sorun olması durumunda, bu bekleme durumu sırasında ortamı silerek ortam oluşturmayı iptal edebilirsiniz.
Bu özellik aynı zamanda şunları kaldırmanıza da olanak tanır: VPCE ayrıcalıklarını oluşturun, değiştirin ve silin itibaren AWS Kimlik ve Erişim Yönetimi (IAM) sorumlusunun, paylaşılan bir VPC kullanmadığında bile Amazon MWAA ortamları oluşturması, çünkü bu izin bunun yerine uç noktayı oluşturan IAM sorumlusuna (örneğimizdeki Lambda işlevi) uygulanacaktır. Ayrıca Amazon MWAA ortamı, Airflow Kereviz Yürütücüsü tarafından görevleri sıraya koymak için kullanılan Amazon Kaynak Adı'nı (ARN) SQS kuyruğunu (Kereviz Yürütücü Kuyruğu) sağlayarak, bu kaynakları ağ politikanıza açıkça girmenize olanak tanır. daha açık ve genelleştirilmiş izin.
Bu örnekte VPC ve Amazon MWAA ortamını aynı hesapta oluşturuyoruz. Hesaplar arasında paylaşılan VPC'ler için, EventBridge kuralı ve Lambda işlevi sahip hesabında mevcut olacak ve katılımcı hesabında Amazon MWAA ortamı oluşturulacaktır. Görmek AWS hesapları arasında Amazon EventBridge olaylarını gönderme ve alma daha fazla bilgi için.
Önkoşullar
Aşağıdaki ön koşullara sahip olmalısınız:
- Bir AWS hesabı
- Bu hesapta VPC'ler, VPC uç noktaları ve Amazon MWAA ortamları oluşturma izinlerine sahip bir AWS kullanıcısı
- An Amazon Basit Depolama Hizmeti (Amazon S3) adlı bir klasör içeren bu hesaptaki klasör
dags
VPC'yi oluşturun
kullanarak kısıtlayıcı bir VPC oluşturarak başlıyoruz. AWS CloudFormation gerekli VPC uç noktasının oluşturulmasını ve SQS uç noktası politikasının değiştirilmesini simüle etmek için şablon. Mevcut bir VPC'yi kullanmak istiyorsanız bir sonraki bölüme geçebilirsiniz.
- CloudFormation şablonunu indirin referans verilen Üçüncü seçenek: İnternet erişimi olmadan bir Amazon VPC ağı oluşturma.
- Dosyayı ayıkla
cfn-vpc-private-bjs.yml
indirilen ZIP arşivinden. - Şimdi Amazon SQS'ye erişimi kısıtlamak için CloudFormation şablonumuzu düzenliyoruz. İçinde
cfn-vpc-private-bjs.yml
, düzenleSqsVpcEndoint
bölüm aşağıdaki gibi görünecektir:
Bu ek politika belgesi girişi, Amazon SQS'nin açıkça listelenmeyen herhangi bir kaynağa çıkışını engeller.
Artık CloudFormation yığınımızı oluşturabiliriz.
- AWS CloudFormation konsolunda şunu seçin: Yığın oluştur.
- seç Bir şablon dosyası yükleyin.
- Klinik Dosya seçin.
- Değiştirdiğiniz dosyaya göz atın.
- Klinik Sonraki.
- İçin Yığın adı, girmek
MWAA-Environment-VPC
. - Klinik Sonraki İnceleme sayfasına ulaşana kadar.
- Klinik Gönder.
Lambda işlevini oluşturun
Uç noktalarımızı kendi kendine yönetmek için iki seçeneğimiz var: manuel ve otomatik. Bu örnekte Amazon MWAA EventBridge bildirimine yanıt veren bir Lambda işlevi oluşturuyoruz. Ayrıca bir e-posta göndermek için EventBridge bildirimini de kullanabilirsiniz. Amazon Basit Bildirim Servisi (Amazon SNS) VPC uç noktasını manuel olarak oluşturma iznine sahip birine e-posta gibi bir mesaj gönderin.
Öncelikle Amazon MWAA'nın yayacağı EventBridge olayına yanıt verecek bir Lambda fonksiyonu oluşturuyoruz.
- Lambda konsolunda şunu seçin: İşlev oluştur.
- İçin Name, girmek
mwaa-create-lambda
. - İçin Süre, seçmek Python 3.11.
- Klinik İşlev oluştur.
- İçin Kod, In Kaynak kodu bölümü
lambda_function
, aşağıdaki kodu girin: - Klinik Sürüş.
- Üzerinde yapılandırma Lambda işlevinin sekmesinde Genel yapılandırma bölümü, seçim Düzenle.
- İçin Zaman Aşımı, 5 dakika 0 saniyeye artırın.
- Klinik İndirim.
- içinde İzinler bölümünde, altında Yürütme rolü, bu işlevin izinlerini düzenlemek için rol adını seçin.
- İçin İzin politikaları, aşağıdaki bağlantıyı seçin poliçe adı.
- Klinik Düzenle ve bir virgül ve aşağıdaki ifadeyi ekleyin:
Politikanın tamamı aşağıdakine benzer görünmelidir:
- Klinik Sonraki İnceleme sayfasına ulaşana kadar.
- Klinik Değişiklikleri kaydedin.
EventBridge kuralı oluşturma
Daha sonra EventBridge'i Amazon MWAA bildirimlerini Lambda işlevimize gönderecek şekilde yapılandırıyoruz.
- EventBridge konsolunda seçin Kural koy.
- İçin Name, mwaa-create girin.
- seç Etkinlik düzenine sahip kural.
- Klinik Sonraki.
- İçin Oluşturma yöntemi, seçmek Kullanıcı desen formu.
- Klinik Deseni düzenle.
- İçin Olay düzeni, aşağıdakileri girin:
- Klinik Sonraki.
- İçin Bir hedef seçin, seçmek Lambda işlevi.
Ortam durumu değiştiğinde mesaj almak için bir SNS bildirimi de belirleyebilirsiniz.s.
- İçin işlev, seçmek
mwaa-create-lambda
. - Klinik Sonraki son bölüme ulaşıncaya kadar, ardından Kural koy.
Bir Amazon MWAA ortamı oluşturun
Son olarak müşteri tarafından yönetilen uç noktalara sahip bir Amazon MWAA ortamı oluşturuyoruz.
- Amazon MWAA konsolunda şunu seçin: Ortam oluştur.
- İçin Nameortamınız için benzersiz bir ad girin.
- İçin Hava akımı versiyonu, en son Airflow sürümünü seçin.
- İçin S3 kepçe, seçmek S3'e göz atın ve S3 klasörünüzü seçin veya Amazon S3 URI'sini girin.
- İçin DAG'ler klasörü, seçmek S3'e göz atın ve seçiniz
dags/
S3 klasörünüzdeki klasöre gidin veya Amazon S3 URI'sini girin. - Klinik Sonraki.
- İçin Sanal Özel Bulut, daha önce oluşturduğunuz VPC'yi seçin.
- İçin Web sunucusu erişimi, seçmek Genel ağ (İnternetten erişilebilir).
- İçin Güvenlik grupları, seçimi kaldır Yeni güvenlik grubu oluştur.
- CloudFormation şablonu tarafından oluşturulan paylaşılan VPC güvenlik grubunu seçin.
Çünkü güvenlik grupları AWS Özel Bağlantı Önceki adımdaki uç noktalar kendilerine referans veriyorsa, Amazon MWAA ortamınız için aynı güvenlik grubunu seçmelisiniz.
- İçin uç nokta yönetimi, seçmek Müşteri tarafından yönetilen uç noktalar.
- Kalan ayarları varsayılan olarak tutun ve seçin Sonraki.
- Klinik Ortam oluştur.
Ortamınız kullanılabilir olduğunda, ona şu adresten erişebilirsiniz: Hava Akışı Kullanıcı Arayüzünü Aç Amazon MWAA konsolundaki bağlantı.
Temizlemek
Aktif olarak kullanılmayan kaynakların temizlenmesi maliyetleri azaltır ve en iyi uygulamadır. Kaynaklarınızı silmezseniz ek ücretlere tabi olabilirsiniz. Kaynaklarınızı temizlemek için aşağıdaki adımları tamamlayın:
- Senin sil Amazon MWAA ortamı, EventBridge kuralı, ve Lambda işlevi.
- silmek VPC uç noktaları Lambda işlevi tarafından oluşturulur.
- Herhangi birini sil güvenlik grupları varsa oluşturulur.
- Yukarıdaki kaynakların silinmesi tamamlandıktan sonra, CloudFormation yığını kalan tüm kaynakları kaldırdığınızdan emin olmak için.
Özet
Bu gönderide, Amazon MWAA'da paylaşılan VPC desteğiyle ortam oluşturmanın nasıl otomatikleştirileceği açıklanmaktadır. Bu size VPC'niz içinde kendi uç noktalarınızı yönetme olanağı vererek paylaşılan veya başka şekilde kısıtlanan VPC'lerle uyumluluk sağlar. Müşteri tarafından yönetilen uç noktaların belirlenmesi, VPC kaynak erişimini yalnızca Amazon MWAA ortamlarının ihtiyaç duyduğu kişilerle açıkça kısıtlayarak katı güvenlik politikalarının karşılanmasına da olanak sağlar. Amazon MWAA hakkında daha fazla bilgi edinmek için bkz. Amazon MWAA Kullanım Kılavuzu. Amazon MWAA hakkında daha fazla gönderi için şu adresi ziyaret edin: Amazon MWAA kaynakları sayfası.
Yazar hakkında
John Jackson hem yeni kurulan şirketlerde hem de büyük şirketlerde geliştirici, sistem mimarı ve ürün yöneticisi olarak 25 yılı aşkın yazılım deneyimine sahiptir ve Amazon MWAA'dan sorumlu AWS Baş Ürün Yöneticisidir.
- SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
- PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
- PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
- PlatoESG. karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
- PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
- Kaynak: https://aws.amazon.com/blogs/big-data/introducing-shared-vpc-support-on-amazon-mwaa/
- :vardır
- :dır-dir
- :olumsuzluk
- $UP
- 10
- 100
- 11
- 13
- İNDİRİM
- 200
- 25
- 41
- 72
- 8
- a
- kabiliyet
- Hakkımızda
- yukarıdaki
- erişim
- ulaşılabilir
- Hesap
- Hesaplar
- karşısında
- Action
- aktif
- aktif
- asiklik
- eklemek
- ekleme
- ilave
- Ek
- Ekler
- Sonra
- Türkiye
- izin vermek
- izin
- Izin
- veriyor
- zaten
- Ayrıca
- Amazon
- Amazon Web Servisleri
- an
- ve
- herhangi
- Apache
- api
- görünmek
- uygulanabilir
- Arşiv
- ARE
- AS
- otomatikleştirmek
- Otomatik
- ayrıca otomasyonun
- mevcut
- AWS
- AWS CloudFormation
- merkezli
- BE
- Çünkü
- başlamak
- adına
- olmak
- İYİ
- arasında
- vücut
- pim
- her ikisi de
- mola
- yük
- fakat
- by
- denilen
- CAN
- Alabilirsin
- değişiklik
- değişiklikler
- yükler
- Klinik
- çamça
- müşteri
- kod
- COM
- topluluk
- uygunluk
- tamamlamak
- Tamamlandı
- bağ
- kabul
- konsolos
- Konteynerler
- bağlam
- Kurumlar
- maliyetler
- olabilir
- yaratmak
- çevrimiçi kurslar düzenliyorlar.
- oluşturur
- Oluşturma
- oluşturma
- müşteri
- Müşteriler
- DAG
- veri
- veritabanı
- Varsayılan
- göstermek
- gösteriyor
- açılma
- tanımlamak
- tarif edilen
- ayrıntı
- belirlemek
- Geliştirici
- gelişme
- farklı
- yönlendirilmiş
- belge
- yok
- Dont
- gereken
- sırasında
- her
- Daha erken
- kolay
- Efekt
- başka
- E-posta
- Son nokta
- son noktalar
- Mühendisler
- sağlamak
- Keşfet
- giriş
- çevre
- ortamları
- Eter (ETH)
- Hatta
- Etkinlikler
- olaylar
- örnek
- örnekler
- mevcut
- mevcut
- deneyim
- açıkça
- uzatmak
- kapsamlı, geniş
- tanıdık
- Özellikler(Hazırlık aşamasında)
- fileto
- süzme
- son
- Ad
- takip etme
- şu
- İçin
- bulundu
- itibaren
- işlev
- daha fazla
- Ayrıca
- almak
- verir
- grafik
- grup
- Grubun
- Var
- sahip olan
- ana
- SAAT
- Ne kadar
- Nasıl Yapılır
- Ancak
- HTML
- http
- HTTPS
- IAM
- ID
- Kimlik
- if
- ithalat
- dayatılan
- in
- bilgi
- bilgi
- Altyapı
- durumlarda
- yerine
- entegrasyonlar
- etkileşim
- arayüzey
- Internet
- içine
- tanıtım
- konu
- IT
- ONUN
- jpg
- json
- sadece
- anahtar
- büyük
- son
- önemli
- ÖĞRENİN
- Kütüphane
- LINK
- Listelenmiş
- günlüğü
- Bakın
- yapılmış
- YAPAR
- yönetmek
- yönetilen
- müdür
- yönetir
- Manuel
- el ile
- çok
- Mayıs..
- Neden
- mesaj
- dakika
- değiştirilmiş
- değiştirmek
- Daha
- çoklu
- şart
- isim
- gerekli
- gerek
- gerekli
- ağ
- yeni
- sonraki
- tebliğ
- bildirimleri
- of
- on
- açık
- açık kaynak
- operasyon
- işletme
- Opsiyonlar
- or
- sipariş
- kuruluşlar
- organizasyonlar
- Diğer
- aksi takdirde
- bizim
- dışında
- tekrar
- kendi
- sahip
- sahipleri
- sahibi
- Kanal
- katılımcı
- Katılımcılar
- model
- kadar
- izin
- izinleri
- Platon
- Plato Veri Zekası
- PlatoVeri
- politikaları
- politika
- Çivi
- Mesajlar
- uygulama
- önkoşullar
- önler
- Anapara
- özel
- ayrıcalıklı
- ayrıcalıklar
- devam etmek
- PLATFORM
- ürün müdürü
- özellikleri
- sağlamak
- sağlar
- sağlama
- Python
- R
- daha doğrusu
- ulaşmak
- teslim almak
- alma
- azaltır
- başvurmak
- kalan
- Kaldır
- çıkarıldı
- gereklidir
- gereklilik
- kaynak
- Kaynaklar
- Yanıtlamak
- yanıt
- sorumlu
- kısıtlamak
- kısıtlı
- kısıtlayan
- kısıtlayıcı
- devam et
- dönüş
- yorum
- Rol
- Rota
- Kural
- koşmak
- s
- aynı
- program
- bilim adamları
- saniye
- Bölüm
- güvenlik
- Güvenlik politikaları
- görmek
- göndermek
- sunucu
- hizmet
- Hizmetler
- ayarlar
- Paylaşılan
- Paylar
- meli
- benzer
- Basit
- So
- Yazılım
- Birisi
- Kaynak
- yığın
- Startups
- Eyalet
- Açıklama
- Devletler
- Durum
- adım
- Basamaklar
- hafızası
- mağaza
- mağaza
- sıkı
- altağlar
- böyle
- destek
- Sistemler
- görevleri
- şablon
- göre
- o
- The
- ve bazı Asya
- Onları
- sonra
- Orada.
- Re-Tweet
- Bu
- üç
- için
- araç
- gerçek
- iki
- tip
- altında
- altında yatan
- benzersiz
- kadar
- güncellenmesi
- URI
- kullanım
- Kullanılmış
- kullanıcı
- Kullanıcı Arayüzü
- kullanıcılar
- kullanma
- değer
- Değerler
- versiyon
- üzerinden
- Görüntüle
- Türkiye Dental Sosyal Medya Hesaplarından bizi takip edebilirsiniz.
- istemek
- we
- ağ
- web sunucusu
- web hizmetleri
- ne zaman
- hangi
- irade
- ile
- içinde
- olmadan
- İş
- işçi
- iş akışları
- olur
- yıl
- sen
- zefirnet
- zip