Questo post del blog è stato scritto in collaborazione con Govind Mohan e Kausik Dhar di Cognizant.
La migrazione dei data warehouse on-premise nel cloud non è più vista come un'opzione ma una necessità per le aziende per risparmiare sui costi e sfruttare ciò che la tecnologia più recente ha da offrire. Anche se abbiamo notato una grande attenzione verso la migrazione dei dati dai data warehouse legacy al cloud e diversi strumenti per supportare questa iniziativa, i dati sono solo una parte del viaggio. Il successo della migrazione dei processi legacy di estrazione, trasformazione e caricamento (ETL) che acquisiscono, arricchiscono e trasformano i dati gioca un ruolo chiave nel successo di qualsiasi migrazione di data warehouse end-to-end nel cloud.
L'approccio tradizionale di riscrivere manualmente un gran numero di processi ETL su tecnologie native del cloud come Colla AWS richiede tempo e può essere soggetto a errori umani. Cognizant Data & Intelligence Toolkit (CDIT) – Lo strumento di conversione ETL automatizza questo processo, apportando maggiore prevedibilità e precisione, eliminando il rischio associato alla conversione manuale e fornendo tempi di commercializzazione più rapidi per i clienti.
Cognizant offre Partner di servizi di livello Premier AWS con diverse competenze AWS. Con il suo approccio consulenziale basato sul settore, Cognizant aiuta i clienti a immaginare, costruire e gestire attività più innovative ed efficienti.
In questo post descriviamo come lo strumento di conversione ETL Data & Intelligence Toolkit (CDIT) di Cognizant può aiutarti a convertire automaticamente il codice ETL legacy in AWS Glue in modo rapido ed efficace. Descriviamo inoltre i passaggi principali coinvolti, le funzionalità supportate e i relativi vantaggi.
Panoramica della soluzione
Cognizant Data & Intelligence Toolkit (CDIT): lo strumento di conversione ETL automatizza la conversione di pipeline ETL e codice di orchestrazione da strumenti legacy ad AWS Glue e Funzioni AWS Step ed elimina i processi manuali coinvolti nel percorso di migrazione al cloud ETL di un cliente.
Viene fornito con un'interfaccia utente intuitiva (UI). È possibile utilizzare questi acceleratori selezionando lo strumento ETL di origine e di destinazione per la conversione e quindi caricando un file XML della mappatura ETL da convertire come input.
Lo strumento supporta inoltre il monitoraggio continuo del progresso complessivo e sono attivi meccanismi di allarme in caso di guasti, errori o problemi operativi.
Cognizant Data & Intelligence Toolkit (CDIT): lo strumento di conversione ETL utilizza internamente molti servizi AWS nativi, come Servizio di archiviazione semplice Amazon (Amazon S3) e Servizio di database relazionale Amazon (Amazon RDS) per l'archiviazione e la gestione dei metadati; Cloud di calcolo elastico di Amazon (Amazon EC2) e AWS Lambda per l'elaborazione; Amazon Cloud Watch, Servizio di gestione delle chiavi AWS (AWS KMS) e Centro di identità AWS IAM (successore di AWS Single Sign-On) per il monitoraggio e la sicurezza; E AWS CloudFormazione per la gestione delle infrastrutture. Il diagramma seguente illustra questa architettura.
Come utilizzare CDIT: strumento di conversione ETL per la migrazione ETL.
Cognizant Data & Intelligence Toolkit (CDIT): lo strumento di conversione ETL supporta i seguenti strumenti ETL legacy come origine e supporta la generazione di script ETL AWS Glue corrispondenti sia in Python che in Scala:
- Informatica
- DataStage
- SSIS
- Talend
Diamo un'occhiata ai passaggi della migrazione in modo più dettagliato.
Valutare il processo ETL legacy
Cognizant Data & Intelligence Toolkit (CDIT): lo strumento di conversione ETL consente di valutare in blocco la potenziale percentuale di automazione e la complessità di una serie di processi e flussi di lavoro ETL che rientrano nell'ambito della migrazione ad AWS Glue. L'opzione di valutazione ti aiuta a capire che tipo di risparmio è possibile ottenere utilizzando Cognizant Data & Intelligence Toolkit (CDIT): strumento di conversione ETL, la complessità delle mappature ETL e l'entità della conversione manuale necessaria, se presente. È possibile caricare una singola mappatura ETL o una cartella contenente più mappature ETL come input per la valutazione e generare un report di valutazione, come mostrato nella figura seguente.
Converti il codice ETL in AWS Glue
Per convertire il codice ETL legacy, carica il file XML della mappatura ETL come input nello strumento. Gli input degli utenti vengono archiviati nel repository di metadati interno dello strumento e nel Cognizant Data & Intelligence Toolkit (CDIT): lo strumento di conversione ETL analizza questi file di input XML e li suddivide in un modello canonico brevettato, che viene poi ingegnerizzato nell'AWS Glue di destinazione script in Python o Scala. La schermata seguente mostra un esempio di Cognizant Data & Intelligence Toolkit (CDIT): GUI dello strumento di conversione ETL e Console di uscita riquadro.
Se qualsiasi parte del lavoro ETL di input non può essere convertita completamente nello script AWS Glue equivalente, viene contrassegnata tra le righe di commento nell'output in modo che possa essere corretta manualmente.
Converti il flusso di lavoro in Step Functions
Il passaggio logico successivo alla conversione dei lavori ETL legacy è orchestrare l'esecuzione di questi lavori nell'ordine logico. Cognizant Data & Intelligence Toolkit (CDIT): lo strumento di conversione ETL consente di automatizzare la conversione dei flussi di lavoro ETL locali convertendoli nei flussi di lavoro Step Functions corrispondenti. La figura seguente illustra un flusso di lavoro di input di esempio di Informatica.
La conversione del flusso di lavoro segue lo schema simile a quello della mappatura ETL. I file XML per i flussi di lavoro ETL vengono caricati come input e Cognizant Data & Intelligence Toolkit (CDIT): strumento di conversione ETL genera il file JSON Step Functions equivalente in base ai dati del file XML di input.
Vantaggi dell'utilizzo di Cognizant Data & Intelligence Toolkit (CDIT): strumento di conversione ETL
Di seguito sono riportati i principali vantaggi derivanti dall'utilizzo di Cognizant Data & Intelligence Toolkit (CDIT): Strumento di conversione ETL per automatizzare la conversione ETL legacy:
- riduzione dei costi – Puoi ridurre lo sforzo complessivo di migrazione fino all'80% automatizzando la conversione di ETL e flussi di lavoro in AWS Glue e Step Functions
- Migliore pianificazione e attuazione – È possibile valutare l'ambito ETL e determinare la percentuale di automazione, la complessità e i modelli non supportati prima dell'inizio del progetto, ottenendo stime e tempistiche accurate
- Completezza – Cognizant Data & Intelligence Toolkit (CDIT): lo strumento di conversione ETL offre un'unica soluzione con supporto per più strumenti ETL legacy come Informatica, DataStage, Talend e altri.
- customer experience migliorata – Puoi raggiungere gli obiettivi di migrazione senza problemi, senza errori causati dalla conversione manuale e con un'elevata percentuale di automazione
Caso di studio: Cognizant Data & Intelligence Toolkit (CDIT): implementazione proposta dello strumento di conversione ETL
Una grande società di assicurazioni e rendite con sede negli Stati Uniti desiderava migrare il processo ETL legacy di Informatica su AWS Glue come parte della propria strategia di migrazione al cloud.
Nell'ambito di questo impegno, Cognizant ha aiutato il cliente a migrare con successo i lavori e i flussi di lavoro ETL di acquisizione e integrazione dati basati su Informatica su AWS. Una prova di concetto (PoC) utilizzando Cognizant Data & Intelligence Toolkit (CDIT): lo strumento di conversione ETL è stato completato per primo per mostrare e convalidare le capacità di automazione.
Cognizant Data & Intelligence Toolkit (CDIT): lo strumento di conversione ETL è stato utilizzato per automatizzare la conversione di oltre 300 mappature e flussi di lavoro di Informatica rispettivamente in lavori AWS Glue e flussi di lavoro Step Functions equivalenti. Di conseguenza, il cliente è stato in grado di migrare tutto il codice ETL legacy su AWS come previsto e ritirare l'applicazione legacy.
Di seguito sono riportati i punti salienti di questo impegno:
- Migrazione di oltre 300 lavori ETL di Informatica legacy su AWS Glue
- Conversione automatizzata di oltre 6,000 trasformazioni da ETL legacy ad AWS Glue
- Automazione dell'85% ottenuta utilizzando CDIT: strumento di conversione ETL
- Il cliente ha risparmiato sui costi di licenza e ha ritirato l'applicazione legacy come previsto
Conclusione
In questo post abbiamo discusso di come la migrazione dei processi ETL legacy al cloud sia fondamentale per il successo di un percorso di migrazione al cloud. Cognizant Data & Intelligence Toolkit (CDIT): lo strumento di conversione ETL consente di eseguire una valutazione del processo ETL esistente per ricavare la complessità e la percentuale di automazione per una migliore stima e pianificazione. Abbiamo anche discusso delle tecnologie ETL supportate da Cognizant Data & Intelligence Toolkit (CDIT): strumento di conversione ETL e di come i lavori ETL possono essere convertiti nei corrispondenti script AWS Glue. Infine, abbiamo dimostrato come utilizzare i flussi di lavoro ETL esistenti per generare automaticamente i corrispondenti lavori di orchestrazione di Step Functions.
Per saperne di più, contatta Cognizant.
Informazioni sugli autori
Deepak Singh è un Senior Solutions Architect presso Amazon Web Services con oltre 20 anni di esperienza in dati e AIA. Gli piace lavorare con partner e clienti AWS sulla creazione di soluzioni analitiche scalabili per i loro risultati aziendali. Quando non è al lavoro, ama trascorrere del tempo con la famiglia o esplorare nuove tecnologie nel campo dell'analisi e dell'intelligenza artificiale.
Piyush Patra è un Partner Solutions Architect presso Amazon Web Services, dove supporta i partner nei loro percorsi di analisi ed è il leader globale per i programmi strategici dei partner di modernizzazione e migrazione del patrimonio di dati.
Govind Mohan è un direttore associato di Cognizant con oltre 18 anni di esperienza nel settore dei dati e dell'analisi, ha contribuito a progettare e implementare molteplici progetti di migrazione dei dati su larga scala, lift & shift delle applicazioni e modernizzazione legacy e lavora a stretto contatto con i clienti per accelerare il percorso di modernizzazione del cloud sfruttando la piattaforma Cognizant Data and Intelligence Toolkit (CDIT).
Kausik Dhar è un leader tecnologico con oltre 23 anni di esperienza IT, focalizzata principalmente su dati e analisi, modernizzazione dei dati, sviluppo di applicazioni, gestione della distribuzione e architettura della soluzione. Ha svolto un ruolo fondamentale nel guidare i clienti attraverso la progettazione e l'esecuzione di migrazioni di dati e processi su larga scala, oltre a guidare implementazioni cloud di successo. Kausik possiede esperienza nella formulazione di strategie di migrazione per programmi complessi e nella costruzione abile di architetture data Lake/Lakehouse utilizzando un'ampia gamma di strumenti e tecnologie.
- Distribuzione di contenuti basati su SEO e PR. Ricevi amplificazione oggi.
- PlatoData.Network Generativo verticale Ai. Potenzia te stesso. Accedi qui.
- PlatoAiStream. Intelligenza Web3. Conoscenza amplificata. Accedi qui.
- PlatoneESG. Carbonio, Tecnologia pulita, Energia, Ambiente, Solare, Gestione dei rifiuti. Accedi qui.
- Platone Salute. Intelligence sulle biotecnologie e sulle sperimentazioni cliniche. Accedi qui.
- Fonte: https://aws.amazon.com/blogs/big-data/automate-legacy-etl-conversion-to-aws-glue-using-cognizant-data-and-intelligence-toolkit-cdit-etl-conversion-tool/
- :ha
- :È
- :non
- :Dove
- 000
- 100
- 220
- 23
- 300
- a
- capace
- accelerando
- acceleratori
- precisione
- preciso
- Raggiungere
- raggiunto
- acquisire
- acquisizione
- aggiunta
- Vantaggio
- Dopo shavasana, sedersi in silenzio; saluti;
- AI
- AIA
- Tutti
- anche
- Sebbene il
- Amazon
- Amazon EC2
- Amazon RDS
- Amazon Web Services
- an
- Analitico
- analitica
- ed
- in qualsiasi
- Applicazioni
- Sviluppo di applicazioni
- approccio
- architettura
- SONO
- Italia
- AS
- valutare
- valutazione
- Associate
- associato
- At
- automatizzare
- automatizza
- automaticamente
- Automatizzare
- Automazione
- AWS
- Colla AWS
- basato
- BE
- prima
- vantaggi
- Meglio
- fra
- Blog
- entrambi
- pause
- Portare
- costruire
- Costruzione
- affari
- aziende
- ma
- by
- Materiale
- funzionalità
- ha causato
- clienti
- strettamente
- Cloud
- codice
- consapevole
- viene
- commento
- Aziende
- azienda
- Completato
- completamente
- complesso
- complessità
- Calcolare
- concetto
- consolle
- costruire
- continuo
- Conversione
- convertire
- convertito
- conversione
- Corrispondente
- Costo
- critico
- cliente
- Clienti
- dati
- data warehouse
- data warehouse
- Banca Dati
- consegna
- dimostrato
- descrivere
- Design
- progettazione
- dettaglio
- Determinare
- Mercato
- Direttore
- discusso
- giù
- in maniera efficace
- efficiente
- sforzo
- elimina
- eliminando
- impiegando
- Abilita
- da un capo all'altro
- Fidanzamento
- progettato
- arricchire
- immaginare
- Equivalente
- errore
- errori
- tenuta
- Etere (ETH)
- Evento
- esempio
- esecuzione
- esistente
- esperienza
- competenza
- Esplorare
- estensione
- estratto
- famiglia
- più veloce
- Caratteristiche
- Costi
- figura
- Compila il
- File
- Nome
- fisso
- Focus
- concentrato
- i seguenti
- segue
- Nel
- formulando
- Avanti
- da
- funzioni
- generare
- genera
- la generazione di
- globali
- Obiettivi
- Avere
- avendo
- he
- Aiuto
- aiutato
- aiuta
- Alta
- evidenzia
- Come
- Tutorial
- http
- HTTPS
- umano
- IAM
- Identità
- if
- illustra
- realizzare
- implementazione
- implementazioni
- in
- Infrastruttura
- iniziativa
- creativi e originali
- ingresso
- Ingressi
- assicurazione
- integrazione
- Intelligence
- Interfaccia
- interno
- internamente
- ai miglioramenti
- intuitivo
- coinvolto
- sicurezza
- IT
- SUO
- Lavoro
- Offerte di lavoro
- viaggio
- Journeys
- jpg
- json
- Le
- Genere
- grandi
- larga scala
- infine
- con i più recenti
- portare
- leader
- IMPARARE
- Eredità
- Consente di
- leveraging
- Licenze
- piace
- Linee
- caricare
- logico
- più a lungo
- Guarda
- lotto
- ama
- Principale
- gestione
- Manuale
- manualmente
- molti
- mappatura
- Rappresentanza
- meccanismi di
- Metadati
- migrare
- la migrazione
- migrazione
- modello
- modernizzazione
- monitoraggio
- Scopri di più
- molti
- multiplo
- nativo
- necessità
- di applicazione
- New
- Nuove tecnologie
- GENERAZIONE
- no
- numero
- of
- offrire
- Offerte
- on
- ONE
- esclusivamente
- operativa
- Opzione
- or
- orchestrazione
- minimo
- su
- risultati
- produzione
- ancora
- complessivo
- parte
- partner
- partner
- brevettato
- Cartamodello
- modelli
- percentuale
- eseguire
- centrale
- posto
- previsto
- pianificazione
- piattaforma
- Platone
- Platone Data Intelligence
- PlatoneDati
- giocato
- gioca
- per favore
- PoC
- Post
- potenziale
- premier
- principalmente
- processi
- i processi
- lavorazione
- Programmi
- Progressi
- progetto
- progetti
- prova
- prova del concetto
- proposto
- fornitura
- Python
- rapidamente
- raggiungere
- ridurre
- rapporto
- deposito
- rispettivamente
- colpevole
- risultante
- riscrittura
- Rischio
- Ruolo
- Correre
- Risparmi
- salvato
- risparmio
- Scala
- scalabile
- portata
- copione
- script
- senza soluzione di continuità
- problemi di
- visto
- Selezione
- anziano
- Servizi
- set
- alcuni
- spostamento
- vetrina
- mostrato
- Spettacoli
- simile
- Un'espansione
- singolo
- So
- soluzione
- Soluzioni
- Fonte
- lo spazio
- guidando
- Spendere
- inizia a
- step
- Passi
- conservazione
- memorizzati
- Strategico
- strategie
- Strategia
- Studio
- il successo
- di successo
- Con successo
- tale
- supporto
- supportato
- supporti
- Fai
- Target
- Tecnologie
- Tecnologia
- di
- che
- Il
- L’ORIGINE
- loro
- Li
- poi
- Strumenti Bowman per analizzare le seguenti finiture:
- questo
- Attraverso
- fila
- tempo
- a
- toolkit
- strumenti
- verso
- tradizionale
- Trasformare
- trasformazioni
- ui
- capire
- caricato
- Caricamento
- uso
- utilizzato
- Utente
- Interfaccia utente
- usa
- utilizzando
- CONVALIDARE
- visti
- ricercato
- Magazzino
- Prima
- we
- sito web
- servizi web
- Che
- quando
- quale
- largo
- con
- senza
- Lavora
- flusso di lavoro
- flussi di lavoro
- lavoro
- lavori
- XML
- anno
- anni
- Tu
- zefiro