Entri blog ini ditulis bersama Govind Mohan dan Kausik Dhar dari Cognizant.
Memigrasikan gudang data lokal ke cloud tidak lagi dipandang sebagai sebuah pilihan namun merupakan suatu keharusan bagi perusahaan untuk menghemat biaya dan memanfaatkan teknologi terbaru yang ditawarkan. Meskipun kami telah melihat banyak fokus terhadap migrasi data dari gudang data lama ke cloud dan berbagai alat untuk mendukung inisiatif ini, data hanyalah bagian dari perjalanan. Keberhasilan migrasi proses ekstrak, transformasi, dan pemuatan (ETL) lama yang memperoleh, memperkaya, dan mentransformasikan data memainkan peran penting dalam keberhasilan setiap migrasi gudang data end-to-end ke cloud.
Pendekatan tradisional dengan menulis ulang sejumlah besar proses ETL secara manual ke teknologi cloud-native Lem AWS memakan waktu dan rentan terhadap kesalahan manusia. Cognizant Data & Intelligence Toolkit (CDIT) – Alat Konversi ETL mengotomatiskan proses ini, menghadirkan lebih banyak prediktabilitas dan akurasi, menghilangkan risiko yang terkait dengan konversi manual, dan menyediakan waktu pemasaran yang lebih cepat bagi pelanggan.
Sadar adalah Partner Layanan Tingkat Premier AWS dengan beberapa Kompetensi AWS. Dengan pendekatan konsultatif berbasis industri, Cognizant membantu klien membayangkan, membangun, dan menjalankan bisnis yang lebih inovatif dan efisien.
Dalam postingan ini, kami menjelaskan bagaimana Data & Intelligence Toolkit (CDIT) Cognizant- Alat Konversi ETL dapat membantu Anda secara otomatis mengonversi kode ETL lama ke AWS Glue dengan cepat dan efektif. Kami juga menjelaskan langkah-langkah utama yang terlibat, fitur yang didukung, dan manfaatnya.
Ikhtisar solusi
Cognizant Data & Intelligence Toolkit (CDIT): Alat Konversi ETL mengotomatiskan konversi pipeline ETL dan kode orkestrasi dari alat lama ke AWS Glue dan Fungsi Langkah AWS dan menghilangkan proses manual yang terlibat dalam perjalanan migrasi cloud ETL pelanggan.
Muncul dengan antarmuka pengguna (UI) yang intuitif. Anda dapat menggunakan akselerator ini dengan memilih alat ETL sumber dan target untuk konversi, lalu mengunggah file XML pemetaan ETL untuk dikonversi sebagai masukan.
Alat ini juga mendukung pemantauan berkelanjutan terhadap kemajuan secara keseluruhan, dan mekanisme peringatan tersedia jika terjadi kegagalan, kesalahan, atau masalah operasional.
Cognizant Data & Intelligence Toolkit (CDIT): Alat Konversi ETL secara internal menggunakan banyak layanan AWS asli, seperti Layanan Penyimpanan Sederhana Amazon (Amazon S3) dan Layanan Database Relasional Amazon (Amazon RDS) untuk penyimpanan dan manajemen metadata; Cloud komputasi elastis Amazon (Amazon EC2) dan AWS Lambda untuk diproses; amazoncloudwatch, Layanan Manajemen Kunci AWS (AWS KMS), dan Pusat Identitas AWS IAM (penerus AWS Single Sign-On) untuk pemantauan dan keamanan; Dan Formasi AWS Cloud untuk pengelolaan infrastruktur. Diagram berikut menggambarkan arsitektur ini.
Cara menggunakan CDIT: Alat Konversi ETL untuk migrasi ETL.
Cognizant Data & Intelligence Toolkit (CDIT): Alat Konversi ETL mendukung alat ETL lama berikut sebagai sumber dan mendukung pembuatan skrip ETL AWS Glue yang sesuai dengan Python dan Scala:
- Informatika
- Data Stage
- SSIS
- Talend
Mari kita lihat langkah-langkah migrasi lebih detail.
Menilai proses ETL lama
Cognizant Data & Intelligence Toolkit (CDIT): Alat Konversi ETL memungkinkan Anda menilai secara massal potensi persentase otomatisasi dan kompleksitas serangkaian tugas dan alur kerja ETL yang berada dalam cakupan migrasi ke AWS Glue. Opsi penilaian membantu Anda memahami jenis penghematan yang dapat dicapai menggunakan Cognizant Data & Intelligence Toolkit (CDIT): Alat Konversi ETL, kompleksitas pemetaan ETL, dan tingkat konversi manual yang diperlukan, jika ada. Anda dapat mengunggah satu pemetaan ETL atau folder yang berisi beberapa pemetaan ETL sebagai masukan untuk penilaian dan menghasilkan laporan penilaian, seperti yang ditunjukkan pada gambar berikut.
Konversikan kode ETL ke AWS Glue
Untuk mengonversi kode ETL lama, unggah file XML pemetaan ETL sebagai masukan ke alat. Masukan pengguna disimpan dalam repositori metadata internal alat dan Cognizant Data & Intelligence Toolkit (CDIT): Alat Konversi ETL menguraikan file masukan XML ini dan memecahnya menjadi model kanonik yang dipatenkan, yang kemudian direkayasa ke dalam target AWS Glue skrip dengan Python atau Scala. Tangkapan layar berikut menunjukkan contoh Cognizant Data & Intelligence Toolkit (CDIT): GUI Alat Konversi ETL dan Konsol Keluaran pane
Jika ada bagian dari tugas ETL input yang tidak dapat dikonversi sepenuhnya ke skrip AWS Glue yang setara, maka bagian tersebut akan ditandai di antara baris komentar pada output sehingga dapat diperbaiki secara manual.
Ubah alur kerja menjadi Step Functions
Langkah logis berikutnya setelah mengonversi pekerjaan ETL lama adalah mengatur jalannya pekerjaan ini dalam urutan logis. Cognizant Data & Intelligence Toolkit (CDIT): Alat Konversi ETL memungkinkan Anda mengotomatiskan konversi alur kerja ETL lokal dengan mengonversinya ke alur kerja Step Functions yang sesuai. Gambar berikut mengilustrasikan contoh alur kerja input Informatica.
Konversi alur kerja mengikuti pola yang sama seperti pemetaan ETL. File XML untuk alur kerja ETL diunggah sebagai input dan Cognizant Data & Intelligence Toolkit (CDIT): Alat Konversi ETL menghasilkan file JSON Step Functions yang setara berdasarkan data file XML input.
Manfaat menggunakan Cognizant Data & Intelligence Toolkit (CDIT): Alat Konversi ETL
Berikut ini adalah manfaat utama menggunakan Cognizant Data & Intelligence Toolkit (CDIT): Alat Konversi ETL untuk mengotomatiskan konversi ETL lama:
- Pengurangan biaya – Anda dapat mengurangi keseluruhan upaya migrasi sebanyak 80% dengan mengotomatiskan konversi ETL dan alur kerja ke AWS Glue dan Step Functions
- Perencanaan dan implementasi yang lebih baik – Anda dapat menilai cakupan ETL dan menentukan persentase otomatisasi, kompleksitas, dan pola yang tidak didukung sebelum memulai proyek, sehingga menghasilkan estimasi dan jadwal yang akurat
- Kelengkapan – Cognizant Data & Intelligence Toolkit (CDIT): Alat Konversi ETL menawarkan satu solusi dengan dukungan untuk beberapa alat ETL lama seperti Informatica, DataStage, Talend, dan banyak lagi.
- Pengalaman pelanggan yang ditingkatkan – Anda dapat mencapai tujuan migrasi dengan lancar tanpa kesalahan yang disebabkan oleh konversi manual dan dengan persentase otomatisasi yang tinggi
Studi kasus: Cognizant Data & Intelligence Toolkit (CDIT): Usulan implementasi Alat Konversi ETL
Sebuah perusahaan asuransi dan anuitas besar yang berbasis di AS ingin memigrasikan proses ETL lama mereka di Informatica ke AWS Glue sebagai bagian dari strategi migrasi cloud mereka.
Sebagai bagian dari keterlibatan ini, Cognizant membantu pelanggan berhasil memigrasikan akuisisi data berbasis Informatica dan integrasi tugas dan alur kerja ETL ke AWS. Bukti konsep (PoC) menggunakan Cognizant Data & Intelligence Toolkit (CDIT): Alat Konversi ETL diselesaikan terlebih dahulu untuk menampilkan dan memvalidasi kemampuan otomatisasi.
Cognizant Data & Intelligence Toolkit (CDIT): Alat Konversi ETL digunakan untuk mengotomatiskan konversi lebih dari 300 pemetaan dan alur kerja Informatica ke tugas AWS Glue dan alur kerja Step Functions yang setara. Hasilnya, pelanggan dapat memigrasikan semua kode ETL lama ke AWS sesuai rencana dan menghentikan aplikasi lama.
Berikut ini adalah poin-poin penting dari keterlibatan ini:
- Migrasi lebih dari 300 tugas ETL Informatica lama ke AWS Glue
- Konversi otomatis lebih dari 6,000 transformasi dari ETL lama ke AWS Glue
- Otomatisasi 85% dicapai menggunakan CDIT: Alat Konversi ETL
- Pelanggan menghemat biaya lisensi dan menghentikan aplikasi lama sesuai rencana
Kesimpulan
Dalam postingan ini, kami membahas bagaimana migrasi proses ETL lama ke cloud sangat penting untuk keberhasilan perjalanan migrasi cloud. Cognizant Data & Intelligence Toolkit (CDIT): Alat Konversi ETL memungkinkan Anda melakukan penilaian terhadap proses ETL yang ada untuk mendapatkan persentase kompleksitas dan otomatisasi untuk estimasi dan perencanaan yang lebih baik. Kami juga membahas teknologi ETL yang didukung oleh Cognizant Data & Intelligence Toolkit (CDIT): Alat Konversi ETL dan bagaimana tugas ETL dapat dikonversi ke skrip AWS Glue yang sesuai. Terakhir, kami mendemonstrasikan cara menggunakan alur kerja ETL yang ada untuk secara otomatis menghasilkan pekerjaan orkestrasi Step Functions yang sesuai.
Untuk mempelajari lebih lanjut, silakan hubungi Cognizant.
Tentang Penulis
Deepak Singh adalah Arsitek Solusi Senior di Amazon Web Services dengan pengalaman lebih dari 20 tahun di bidang Data & AIA. Dia senang bekerja dengan mitra dan pelanggan AWS dalam membangun solusi analitis yang dapat diskalakan untuk hasil bisnis mereka. Saat tidak bekerja, dia senang menghabiskan waktu bersama keluarga atau menjelajahi teknologi baru di bidang analitik dan AI.
Piyush Patra adalah Arsitek Solusi Mitra di Amazon Web Services yang mendukung mitra dalam perjalanan Analytics mereka dan merupakan pemimpin global untuk program mitra Modernisasi dan Migrasi Data Estate yang strategis.
Govind Mohan adalah Associate Director di Cognizant dengan pengalaman lebih dari 18 tahun di bidang data dan analitik, dia telah membantu merancang dan mengimplementasikan beberapa migrasi data berskala besar, pengangkatan & peralihan aplikasi, serta proyek modernisasi lama dan bekerja sama dengan pelanggan dalam mempercepat perjalanan modernisasi cloud memanfaatkan platform Cognizant Data and Intelligence Toolkit (CDIT).
Kausik Dhar adalah pemimpin teknologi yang memiliki pengalaman TI lebih dari 23 tahun – terutama berfokus pada Data & Analisis, Modernisasi Data, Pengembangan Aplikasi, Manajemen Pengiriman, dan Arsitektur Solusi. Dia telah memainkan peran penting dalam membimbing klien melalui perancangan dan pelaksanaan migrasi data dan proses berskala besar, selain menjadi ujung tombak implementasi cloud yang sukses. Kausik memiliki keahlian dalam merumuskan strategi migrasi untuk program yang kompleks dan mahir membangun arsitektur data lake/Lakehouse menggunakan beragam alat dan teknologi.
- Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
- PlatoData.Jaringan Vertikal Generatif Ai. Berdayakan Diri Anda. Akses Di Sini.
- PlatoAiStream. Intelijen Web3. Pengetahuan Diperkuat. Akses Di Sini.
- PlatoESG. Karbon, teknologi bersih, energi, Lingkungan Hidup, Tenaga surya, Penanganan limbah. Akses Di Sini.
- PlatoHealth. Kecerdasan Uji Coba Biotek dan Klinis. Akses Di Sini.
- Sumber: https://aws.amazon.com/blogs/big-data/automate-legacy-etl-conversion-to-aws-glue-using-cognizant-data-and-intelligence-toolkit-cdit-etl-conversion-tool/
- :memiliki
- :adalah
- :bukan
- :Di mana
- 000
- 100
- 220
- 23
- 300
- a
- Sanggup
- mempercepat
- akselerator
- ketepatan
- tepat
- Mencapai
- dicapai
- memperoleh
- perolehan
- tambahan
- Keuntungan
- Setelah
- AI
- AIA
- Semua
- juga
- Meskipun
- Amazon
- Amazon EC2
- Amazon RDS
- Amazon Web Services
- an
- Analytical
- analisis
- dan
- Apa pun
- Aplikasi
- Pengembangan Aplikasi
- pendekatan
- arsitektur
- ADALAH
- susunan
- AS
- menilai
- penilaian
- Menghubungkan
- terkait
- At
- mengotomatisasikan
- mengotomatiskan
- secara otomatis
- mengotomatisasi
- Otomatisasi
- AWS
- Lem AWS
- berdasarkan
- BE
- sebelum
- Manfaat
- Lebih baik
- antara
- Blog
- kedua
- istirahat
- Membawa
- membangun
- Bangunan
- bisnis
- bisnis
- tapi
- by
- CAN
- kemampuan
- disebabkan
- klien
- rapat
- awan
- kode
- sadar
- datang
- komentar
- Perusahaan
- perusahaan
- Lengkap
- sama sekali
- kompleks
- kompleksitas
- menghitung
- konsep
- konsul
- membangun
- kontinu
- Konversi
- mengubah
- dikonversi
- mengkonversi
- Sesuai
- Biaya
- kritis
- pelanggan
- pelanggan
- data
- data warehouse
- gudang data
- Basis Data
- pengiriman
- menunjukkan
- menggambarkan
- Mendesain
- merancang
- rinci
- Menentukan
- Pengembangan
- Kepala
- dibahas
- turun
- efektif
- efisien
- usaha
- menghilangkan
- menghilangkan
- mempekerjakan
- memungkinkan
- ujung ke ujung
- interaksi
- direkayasa
- memperkaya
- membayangkan
- Setara
- kesalahan
- kesalahan
- perkebunan
- Eter (ETH)
- Acara
- contoh
- mengeksekusi
- ada
- pengalaman
- keahlian
- Menjelajahi
- tingkat
- ekstrak
- keluarga
- lebih cepat
- Fitur
- Biaya
- Angka
- File
- File
- Pertama
- tetap
- Fokus
- terfokus
- berikut
- berikut
- Untuk
- merumuskan
- Depan
- dari
- fungsi
- menghasilkan
- menghasilkan
- menghasilkan
- Aksi
- Anda
- Memiliki
- memiliki
- he
- membantu
- membantu
- membantu
- High
- highlight
- Seterpercayaapakah Olymp Trade? Kesimpulan
- How To
- http
- HTTPS
- manusia
- IAM
- identitas
- if
- menggambarkan
- melaksanakan
- implementasi
- implementasi
- in
- Infrastruktur
- Prakarsa
- inovatif
- memasukkan
- input
- asuransi
- integrasi
- Intelijen
- Antarmuka
- intern
- internal
- ke
- intuitif
- terlibat
- masalah
- IT
- NYA
- Pekerjaan
- Jobs
- perjalanan
- Perjalanan
- jpg
- json
- kunci
- Jenis
- besar
- besar-besaran
- akhirnya
- Terbaru
- memimpin
- pemimpin
- BELAJAR
- Warisan
- Lets
- leveraging
- Perizinan
- 'like'
- baris
- memuat
- logis
- lagi
- melihat
- Lot
- mencintai
- Utama
- pengelolaan
- panduan
- manual
- banyak
- pemetaan
- Pasar
- mekanisme
- Metadata
- bermigrasi
- bermigrasi
- migrasi
- model
- modernisasi
- pemantauan
- lebih
- banyak
- beberapa
- asli
- kebutuhan
- dibutuhkan
- New
- Teknologi baru
- berikutnya
- tidak
- jumlah
- of
- menawarkan
- Penawaran
- on
- ONE
- hanya
- operasional
- pilihan
- or
- teknik mengatur musik
- urutan
- di luar
- hasil
- keluaran
- lebih
- secara keseluruhan
- bagian
- pasangan
- rekan
- dipatenkan
- pola
- pola
- persentase
- melakukan
- sangat penting
- Tempat
- berencana
- perencanaan
- Platform
- plato
- Kecerdasan Data Plato
- Data Plato
- dimainkan
- memainkan
- silahkan
- PoC
- Pos
- potensi
- perdana menteri
- terutama
- proses
- proses
- pengolahan
- program
- Kemajuan
- proyek
- memprojeksikan
- bukti
- bukti konsep
- diusulkan
- menyediakan
- Ular sanca
- segera
- mencapai
- menurunkan
- melaporkan
- gudang
- masing-masing
- mengakibatkan
- dihasilkan
- menulis ulang
- Risiko
- Peran
- Run
- Save
- disimpan
- penghematan
- Scala
- terukur
- cakupan
- naskah
- script
- mulus
- keamanan
- terlihat
- memilih
- senior
- Layanan
- set
- beberapa
- bergeser
- menampilkan
- ditunjukkan
- Pertunjukkan
- mirip
- Sederhana
- tunggal
- So
- larutan
- Solusi
- sumber
- Space
- ujung tombak
- Pengeluaran
- awal
- Langkah
- Tangga
- penyimpanan
- tersimpan
- Strategis
- strategi
- Penyelarasan
- Belajar
- sukses
- sukses
- berhasil
- seperti itu
- mendukung
- Didukung
- Mendukung
- Mengambil
- target
- Teknologi
- Teknologi
- dari
- bahwa
- Grafik
- Sumber
- mereka
- Mereka
- kemudian
- Ini
- ini
- Melalui
- tingkat
- waktu
- untuk
- alat
- toolkit
- alat
- terhadap
- tradisional
- Mengubah
- transformasi
- ui
- memahami
- upload
- Mengunggah
- menggunakan
- bekas
- Pengguna
- User Interface
- kegunaan
- menggunakan
- MENGESAHKAN
- dilihat
- ingin
- Gudang
- adalah
- we
- jaringan
- layanan web
- Apa
- ketika
- yang
- lebar
- dengan
- tanpa
- Kerja
- alur kerja
- Alur kerja
- kerja
- bekerja
- XML
- tahun
- tahun
- kamu
- zephyrnet.dll