Bu blog yazısı Cognizant'tan Govind Mohan ve Kausik Dhar ile birlikte yazılmıştır.
Şirket içi veri ambarlarını buluta taşımak artık bir seçenek olarak değil, şirketler için maliyetten tasarruf etmek ve en son teknolojinin sunduğu avantajlardan yararlanmak için bir zorunluluk olarak görülüyor. Verileri eski veri ambarlarından buluta taşımaya ve bu girişimi destekleyecek çok sayıda araca odaklanıldığını görmemize rağmen veriler yolculuğun yalnızca bir parçası. Verileri elde eden, zenginleştiren ve dönüştüren eski ayıklama, dönüştürme ve yükleme (ETL) işlemlerinin başarılı geçişi, buluta uçtan uca veri ambarı geçişinin başarısında önemli bir rol oynar.
Çok sayıda ETL sürecini bulut tabanlı teknolojilere manuel olarak yeniden yazmaya yönelik geleneksel yaklaşım AWS Tutkal zaman alıcıdır ve insan hatasına açık olabilir. Cognizant Data & Intelligence Toolkit (CDIT) – ETL Dönüştürme Aracı bu süreci otomatikleştirerek daha fazla öngörülebilirlik ve doğruluk sağlar, manuel dönüştürmeyle ilişkili riski ortadan kaldırır ve müşterilere pazara daha hızlı ulaşma süresi sağlar.
haberdar bir AWS Premier Katman Hizmet Ortağı çeşitli AWS Yetkinlikleri ile. Cognizant, sektöre dayalı, danışmanlık yaklaşımıyla müşterilerin daha yenilikçi ve verimli işletmeleri hayal etmelerine, kurmalarına ve yürütmelerine yardımcı olur.
Bu yazıda, Cognizant'ın Veri ve Zeka Araç Seti (CDIT)-ETL Dönüştürme Aracının eski ETL kodunu hızlı ve etkili bir şekilde otomatik olarak AWS Glue'ya dönüştürmenize nasıl yardımcı olabileceğini açıklıyoruz. Ayrıca ilgili ana adımları, desteklenen özellikleri ve bunların faydalarını da açıklıyoruz.
Çözüme genel bakış
Cognizant Data & Intelligence Araç Seti (CDIT): ETL Dönüştürme Aracı, ETL ardışık düzenlerinin ve düzenleme kodunun eski araçlardan AWS Glue'ya dönüştürülmesini otomatikleştirir ve AWS Basamak İşlevleri ve müşterinin ETL buluta geçiş yolculuğunda yer alan manuel süreçleri ortadan kaldırır.
Sezgisel bir kullanıcı arayüzü (UI) ile birlikte gelir. Bu hızlandırıcıları, dönüşüm için kaynak ve hedef ETL aracını seçip ardından dönüştürülecek ETL eşlemesinin bir XML dosyasını girdi olarak yükleyerek kullanabilirsiniz.
Araç aynı zamanda genel ilerlemenin sürekli izlenmesini de destekler ve herhangi bir arıza, hata veya operasyonel sorun durumunda uyarı mekanizmaları mevcuttur.
Cognizant Data & Intelligence Araç Seti (CDIT): ETL Dönüştürme Aracı, aşağıdakiler gibi birçok yerel AWS hizmetini dahili olarak kullanır: Amazon Basit Depolama Hizmeti (Amazon S3) ve Amazon İlişkisel Veritabanı Hizmeti (Amazon RDS) depolama ve meta veri yönetimi için; Amazon Elastik Bilgi İşlem Bulutu (Amazon EC2) ve AWS Lambda işlem için; Amazon Bulut İzleme, AWS Anahtar Yönetim Hizmeti (AWS KMS) ve AWS IAM Kimlik Merkezi izleme ve güvenlik için (AWS Single Sign-On'un halefi); Ve AWS CloudFormation Altyapı yönetimi için. Aşağıdaki diyagram bu mimariyi göstermektedir.
CDIT nasıl kullanılır: ETL geçişi için ETL Dönüştürme Aracı.
Cognizant Data & Intelligence Araç Seti (CDIT): ETL Dönüştürme Aracı, kaynak olarak aşağıdaki eski ETL araçlarını destekler ve hem Python hem de Scala'da ilgili AWS Glue ETL komut dosyalarının oluşturulmasını destekler:
- Bilişim
- Veri Aşaması
- ÖSS
- Talend
Geçiş adımlarına daha ayrıntılı olarak bakalım.
Eski ETL sürecini değerlendirin
Cognizant Data & Intelligence Toolkit (CDIT): ETL Dönüştürme Aracı, AWS Glue'ya geçiş kapsamındaki bir dizi ETL işinin ve iş akışının potansiyel otomasyon yüzdesini ve karmaşıklığını toplu olarak değerlendirmenize olanak tanır. Değerlendirme seçeneği, Cognizant Data & Intelligence Toolkit (CDIT) kullanılarak ne tür bir tasarrufun elde edilebileceğini anlamanıza yardımcı olur: ETL Dönüştürme Aracı, ETL eşlemelerinin karmaşıklığı ve varsa, gereken manuel dönüştürmenin boyutu. Aşağıdaki şekilde gösterildiği gibi, değerlendirme girişi olarak tek bir ETL eşlemesini veya birden fazla ETL eşlemesi içeren bir klasörü yükleyebilir ve bir değerlendirme raporu oluşturabilirsiniz.
ETL kodunu AWS Glue'ya dönüştürün
Eski ETL kodunu dönüştürmek için ETL eşlemesinin XML dosyasını araca girdi olarak yüklersiniz. Kullanıcı girişleri, aracın dahili meta veri deposunda ve Cognizant Data & Intelligence Toolkit'te (CDIT) saklanır: ETL Dönüştürme Aracı, bu XML giriş dosyalarını ayrıştırır ve bunları patentli bir kanonik modele ayırır ve bu daha sonra hedef AWS Glue'ya ileri mühendislikle uygulanır. Python veya Scala'daki komut dosyaları. Aşağıdaki ekran görüntüsünde Cognizant Data & Intelligence Toolkit'in (CDIT) bir örneği gösterilmektedir: ETL Dönüştürme Aracı GUI'si ve Çıkış Konsolu bölmesi.
Giriş ETL işinin herhangi bir kısmı tamamen eşdeğer AWS Glue betiğine dönüştürülemezse, manuel olarak düzeltilebilmesi için çıktıdaki yorum satırları arasında etiketlenir.
İş akışını Adım Fonksiyonlarına dönüştürün
Eski ETL işlerini dönüştürdükten sonraki bir sonraki mantıksal adım, bu işlerin çalışmasını mantıksal sıraya göre düzenlemektir. Cognizant Data & Intelligence Araç Takımı (CDIT): ETL Dönüştürme Aracı, şirket içi ETL iş akışlarını karşılık gelen Step Functions iş akışlarına dönüştürerek bunları otomatikleştirmenize olanak tanır. Aşağıdaki şekilde örnek bir Informatica girişi iş akışı gösterilmektedir.
İş akışı dönüşümü, ETL eşlemesiyle benzer modeli izler. ETL iş akışlarına yönelik XML dosyaları girdi olarak yüklenir ve Cognizant Data & Intelligence Toolkit (CDIT): ETL Dönüştürme Aracı, giriş XML dosyası verilerine dayalı olarak eşdeğer Step Functions JSON dosyasını oluşturur.
Cognizant Data & Intelligence Toolkit'i (CDIT) kullanmanın faydaları: ETL Dönüştürme Aracı
Cognizant Data & Intelligence Toolkit'i (CDIT) kullanmanın temel faydaları şunlardır: Eski ETL dönüşümünü otomatikleştirmek için ETL Dönüşüm Aracı:
- Maliyet azaltma – ETL ve iş akışlarının AWS Glue ve Step Functions'a dönüştürülmesini otomatikleştirerek genel geçiş çabasını %80'e kadar azaltabilirsiniz
- Daha iyi planlama ve uygulama – ETL kapsamını değerlendirebilir ve proje başlamadan önce otomasyon yüzdesini, karmaşıklığı ve desteklenmeyen kalıpları belirleyebilirsiniz, böylece doğru tahmin ve zaman çizelgeleri elde edebilirsiniz.
- tamlık – Cognizant Data & Intelligence Araç Seti (CDIT): ETL Dönüştürme Aracı, Informatica, DataStage, Talend ve daha fazlası gibi birden fazla eski ETL aracını destekleyen tek bir çözüm sunar.
- Gelişmiş müşteri deneyimi – Geçiş hedeflerine, manuel dönüşümden kaynaklanan hatalar olmadan ve yüksek otomasyon yüzdesiyle sorunsuz bir şekilde ulaşabilirsiniz.
Örnek olay: Cognizant Data & Intelligence Toolkit (CDIT): ETL Dönüştürme Aracı'nın önerilen uygulaması
ABD merkezli büyük bir sigorta ve yıllık gelir sigortası şirketi, buluta geçiş stratejisinin bir parçası olarak Informatica'daki eski ETL sürecini AWS Glue'ya taşımak istedi.
Bu etkileşimin bir parçası olarak Cognizant, müşterinin Informatica tabanlı veri toplama ve entegrasyon ETL işlerini ve iş akışlarını başarıyla AWS'ye taşımasına yardımcı oldu. Cognizant Data & Intelligence Toolkit'i (CDIT) kullanan bir konsept kanıtı (PoC): Otomasyon yeteneklerini sergilemek ve doğrulamak için ilk olarak ETL Dönüştürme Aracı tamamlandı.
Cognizant Data & Intelligence Araç Seti (CDIT): ETL Dönüştürme Aracı, 300'den fazla Informatica eşlemesinin ve iş akışının sırasıyla eşdeğer AWS Glue işlerine ve Step Functions iş akışlarına dönüştürülmesini otomatikleştirmek için kullanıldı. Sonuç olarak müşteri tüm eski ETL kodunu planlandığı gibi AWS'ye taşıyabildi ve eski uygulamayı kullanımdan kaldırabildi.
Bu etkileşimden öne çıkan önemli noktalar şunlardır:
- 300'den fazla eski Informatica ETL işinin AWS Glue'ya taşınması
- Eski ETL'den AWS Glue'ya 6,000'den fazla dönüşümün otomatik dönüşümü
- CDIT: ETL Dönüşüm Aracı kullanılarak %85 otomasyon elde edildi
- Müşteri lisans ücretlerinden tasarruf etti ve eski uygulamasını planlandığı gibi kullanımdan kaldırdı
Sonuç
Bu yazıda eski ETL süreçlerini buluta taşımanın, buluta geçiş yolculuğunun başarısı açısından ne kadar kritik olduğunu tartıştık. Cognizant Data & Intelligence Toolkit (CDIT): ETL Dönüştürme Aracı, daha iyi tahmin ve planlama için karmaşıklık ve otomasyon yüzdesini elde etmek amacıyla mevcut ETL sürecinin bir değerlendirmesini yapmanıza olanak tanır. Ayrıca Cognizant Data & Intelligence Toolkit (CDIT) tarafından desteklenen ETL teknolojilerini de ele aldık: ETL Dönüştürme Aracı ve ETL işlerinin karşılık gelen AWS Glue komut dosyalarına nasıl dönüştürülebileceği. Son olarak, karşılık gelen Step Functions düzenleme işlerini otomatik olarak oluşturmak için mevcut ETL iş akışlarının nasıl kullanılacağını gösterdik.
Daha fazlasını öğrenmek için lütfen Cognizant'a ulaşın.
Yazarlar Hakkında
Deepak Singh Amazon Web Services'te Veri ve AIA alanında 20 yıldan fazla deneyime sahip Kıdemli Çözüm Mimarıdır. İş sonuçlarına yönelik ölçeklenebilir analitik çözümler oluşturma konusunda AWS iş ortakları ve müşterileriyle birlikte çalışmaktan hoşlanıyor. İşte olmadığı zamanlarda ailesiyle vakit geçirmeyi veya analiz ve yapay zeka alanındaki yeni teknolojileri keşfetmeyi seviyor.
Piyuş Patra Amazon Web Services'te İş Ortağı Çözüm Mimarı olup iş ortaklarını Analytics yolculuklarında destekler ve stratejik Veri Varlıkları Modernizasyonu ve Geçiş iş ortağı programlarında küresel liderdir.
Govind Mohan Veri ve analiz alanında 18 yıldan fazla deneyime sahip Cognizant'ta Yardımcı Direktördür, çok sayıda büyük ölçekli veri geçişi, uygulama kaldırma ve değiştirme ve eski modernizasyon projelerinin tasarlanmasına ve uygulanmasına yardımcı olmuştur ve bulut modernizasyon yolculuğunu hızlandırmak için müşterilerle yakın işbirliği içerisinde çalışmaktadır. Cognizant Data and Intelligence Toolkit (CDIT) platformundan yararlanıyor.
Kausik Dhar öncelikli olarak Veri ve Analitik, Veri Modernizasyonu, Uygulama Geliştirme, Teslimat Yönetimi ve Çözüm Mimarisi konularına odaklanan 23 yılı aşkın BT deneyimine sahip bir teknoloji lideridir. Başarılı bulut uygulamalarına öncülük etmenin yanı sıra, büyük ölçekli veri ve süreç geçişlerini tasarlama ve yürütme konusunda müşterilere rehberlik etmede önemli bir rol oynadı. Kausik, karmaşık programlar için geçiş stratejilerini formüle etme ve çok çeşitli araç ve teknolojileri kullanarak veri gölü/Gölevi mimarisini ustalıkla oluşturma konusunda uzmanlığa sahiptir.
- SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
- PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
- PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
- PlatoESG. karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
- PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
- Kaynak: https://aws.amazon.com/blogs/big-data/automate-legacy-etl-conversion-to-aws-glue-using-cognizant-data-and-intelligence-toolkit-cdit-etl-conversion-tool/
- :vardır
- :dır-dir
- :olumsuzluk
- :Neresi
- 000
- 100
- 220
- 23
- 300
- a
- Yapabilmek
- hızlanan
- hızlandırıcılar
- doğruluk
- doğru
- Başarmak
- elde
- kazanmak
- edinme
- ilave
- avantaj
- Sonra
- AI
- AIA
- Türkiye
- Ayrıca
- Rağmen
- Amazon
- Amazon EC2
- Amazon RDS'si
- Amazon Web Servisleri
- an
- Analitik
- analytics
- ve
- herhangi
- Uygulama
- Uygulama Geliştirme
- yaklaşım
- mimari
- ARE
- Dizi
- AS
- belirlemek
- değerlendirme
- Ortak
- ilişkili
- At
- otomatikleştirmek
- otomata
- otomatik olarak
- ayrıca otomasyonun
- Otomasyon
- AWS
- AWS Tutkal
- merkezli
- BE
- önce
- faydaları
- Daha iyi
- arasında
- Blog
- her ikisi de
- sonları
- Bringing
- inşa etmek
- bina
- iş
- işletmeler
- fakat
- by
- CAN
- yetenekleri
- neden
- istemciler
- yakından
- bulut
- kod
- haberdar
- geliyor
- yorum Yap
- Şirketler
- şirket
- Tamamlandı
- tamamen
- karmaşık
- karmaşıklık
- hesaplamak
- kavram
- konsolos
- inşa
- sürekli
- Dönüştürme
- dönüştürmek
- dönüştürülmüş
- dönüştürme
- uyan
- Ücret
- kritik
- müşteri
- Müşteriler
- veri
- veri ambarı
- veri depoları
- veritabanı
- teslim
- gösterdi
- tanımlamak
- Dizayn
- tasarım
- ayrıntı
- Belirlemek
- gelişme
- yönetmen
- tartışılan
- aşağı
- etkili bir şekilde
- verimli
- çaba
- ortadan kaldırır
- ortadan
- kullanılarak
- sağlar
- son uca
- nişan
- mühendislik
- zenginleştirmek
- gözünün önüne getirmek
- Eşdeğer
- hata
- Hatalar
- arazi
- Eter (ETH)
- Etkinlikler
- örnek
- yürütme
- mevcut
- deneyim
- Uzmanlık
- Keşfetmek
- kapsam
- çıkarmak
- aile
- Daha hızlı
- Özellikler
- Fiyatlandırma(Yakında)
- şekil
- fileto
- dosyalar
- Ad
- sabit
- odak
- odaklanmış
- takip etme
- şu
- İçin
- formüle etmek
- ileri
- itibaren
- fonksiyonlar
- oluşturmak
- üretir
- üreten
- Küresel
- Goller
- Var
- sahip olan
- he
- yardım et
- yardım
- yardımcı olur
- Yüksek
- özeti
- Ne kadar
- Nasıl Yapılır
- http
- HTTPS
- insan
- IAM
- Kimlik
- if
- göstermektedir
- uygulamak
- uygulama
- uygulamaları
- in
- Altyapı
- Girişim
- yenilikçi
- giriş
- girişler
- sigorta
- bütünleşme
- İstihbarat
- arayüzey
- iç
- içten
- içine
- sezgisel
- ilgili
- sorunlar
- IT
- ONUN
- İş
- Mesleki Öğretiler
- seyahat
- yolculuklar
- jpg
- json
- anahtar
- Nezaket.
- büyük
- büyük ölçekli
- son olarak
- son
- öncülük etmek
- lider
- ÖĞRENİN
- miras
- Lets
- kaldıraç
- ruhsat verme
- sevmek
- hatları
- yük
- mantıksal
- uzun
- Bakın
- Çok
- seviyor
- Ana
- yönetim
- Manuel
- el ile
- çok
- haritalama
- pazar
- mekanizmaları
- Metadata
- göç
- göç
- göç
- model
- modernizasyon
- izleme
- Daha
- çok
- çoklu
- yerli
- zorunluluk
- gerekli
- yeni
- Yeni teknolojiler
- sonraki
- yok hayır
- numara
- of
- teklif
- Teklifler
- on
- ONE
- bir tek
- işletme
- seçenek
- or
- orkestrasyon
- sipariş
- dışarı
- sonuçlar
- çıktı
- tekrar
- tüm
- Bölüm
- Partner
- ortaklar
- Patentli
- model
- desen
- yüzde
- yapmak
- asıl
- yer
- planlanmış
- planlama
- platform
- Platon
- Plato Veri Zekası
- PlatoVeri
- oynandı
- çalış
- Lütfen
- PoC
- Çivi
- potansiyel
- başbakan
- öncelikle
- süreç
- Süreçler
- işleme
- Programlar
- Ilerleme
- proje
- Projeler
- kanıt
- kavramın ispatı
- önerilen
- sağlama
- Python
- hızla
- ulaşmak
- azaltmak
- rapor
- Depo
- sırasıyla
- sonuç
- Ortaya çıkan
- yeniden
- Risk
- Rol
- koşmak
- İndirim
- kaydedilmiş
- tasarruf
- Scala
- ölçeklenebilir
- kapsam
- senaryo
- scriptler
- sorunsuz
- güvenlik
- görüldü
- seçme
- kıdemli
- Hizmetler
- set
- birkaç
- çalışma
- vitrin
- gösterilen
- Gösteriler
- benzer
- Basit
- tek
- So
- çözüm
- Çözümler
- Kaynak
- uzay
- öncülük
- Harcama
- başlama
- adım
- Basamaklar
- hafızası
- saklı
- Stratejik
- stratejileri
- Stratejileri
- Ders çalışma
- başarı
- başarılı
- Başarılı olarak
- böyle
- destek
- destekli
- Destekler
- Bizi daha iyi tanımak için
- Hedef
- Teknolojileri
- Teknoloji
- göre
- o
- The
- Kaynak
- ve bazı Asya
- Onları
- sonra
- Bunlar
- Re-Tweet
- İçinden
- aşama
- zaman
- için
- araç
- araç
- araçlar
- karşı
- geleneksel
- Dönüştürmek
- dönüşümler
- ui
- anlamak
- Yüklenen
- Yükleme
- kullanım
- Kullanılmış
- kullanıcı
- Kullanıcı Arayüzü
- kullanım
- kullanma
- DOĞRULA
- izlendi
- aranan
- depo
- oldu
- we
- ağ
- web hizmetleri
- Ne
- ne zaman
- hangi
- geniş
- ile
- olmadan
- İş
- iş akışı
- iş akışları
- çalışma
- çalışır
- XML
- yıl
- yıl
- sen
- zefirnet