Esta postagem do blog foi escrita em co-autoria com Govind Mohan e Kausik Dhar da Cognizant.
A migração de data warehouses locais para a nuvem não é mais vista como uma opção, mas como uma necessidade para as empresas economizarem custos e aproveitarem o que a tecnologia mais recente tem a oferecer. Embora tenhamos visto muito foco na migração de dados de data warehouses legados para a nuvem e em diversas ferramentas para apoiar essa iniciativa, os dados são apenas parte da jornada. A migração bem-sucedida de processos legados de extração, transformação e carregamento (ETL) que adquirem, enriquecem e transformam os dados desempenha um papel fundamental no sucesso de qualquer migração de data warehouse de ponta a ponta para a nuvem.
A abordagem tradicional de reescrever manualmente um grande número de processos ETL para tecnologias nativas da nuvem, como Cola AWS é demorado e pode estar sujeito a erros humanos. Cognizant Data & Intelligence Toolkit (CDIT) – ETL Conversion Tool automatiza esse processo, trazendo mais previsibilidade e precisão, eliminando o risco associado à conversão manual e proporcionando um tempo de lançamento no mercado mais rápido para os clientes.
Conhecedor é um Parceiro de serviços de nível Premier da AWS com diversas competências AWS. Com sua abordagem consultiva e baseada no setor, a Cognizant ajuda os clientes a imaginar, construir e administrar negócios mais inovadores e eficientes.
Nesta postagem, descrevemos como o Data & Intelligence Toolkit (CDIT) - ferramenta de conversão ETL da Cognizant pode ajudá-lo a converter automaticamente o código ETL legado em AWS Glue de forma rápida e eficaz. Também descrevemos as principais etapas envolvidas, os recursos suportados e seus benefícios.
Visão geral da solução
Cognizant Data & Intelligence Toolkit (CDIT): a ferramenta de conversão ETL automatiza a conversão de pipelines ETL e código de orquestração de ferramentas legadas para AWS Glue e Funções de etapa da AWS e elimina os processos manuais envolvidos na jornada de migração para a nuvem ETL de um cliente.
Ele vem com uma interface de usuário (IU) intuitiva. Você pode usar esses aceleradores selecionando a ferramenta ETL de origem e destino para conversão e, em seguida, fazendo upload de um arquivo XML do mapeamento ETL para ser convertido como entrada.
A ferramenta também apoia a monitorização contínua do progresso global e existem mecanismos de alerta em caso de falhas, erros ou problemas operacionais.
Cognizant Data & Intelligence Toolkit (CDIT): a ferramenta de conversão ETL usa internamente muitos serviços nativos da AWS, como Serviço de armazenamento simples da Amazon (Amazon S3) e Serviço de banco de dados relacional da Amazon (Amazon RDS) para armazenamento e gerenciamento de metadados; Amazon Elastic Compute Nuvem (Amazon EC2) e AWS Lambda Para processamento; Amazon CloudWatch, Serviço de gerenciamento de chaves AWS (AWS KMS) e Centro de identidade do AWS IAM (sucessor do AWS Single Sign-On) para monitoramento e segurança; e Formação da Nuvem AWS para gerenciamento de infraestrutura. O diagrama a seguir ilustra essa arquitetura.
Como usar CDIT: ferramenta de conversão ETL para migração ETL.
Cognizant Data & Intelligence Toolkit (CDIT): a ferramenta de conversão ETL oferece suporte às seguintes ferramentas ETL legadas como origem e à geração de scripts ETL do AWS Glue correspondentes em Python e Scala:
- informática
- DataStage
- SSIS
- Talend
Vejamos as etapas de migração com mais detalhes.
Avalie o processo ETL legado
Cognizant Data & Intelligence Toolkit (CDIT): a ferramenta de conversão de ETL permite avaliar em massa a porcentagem potencial de automação e a complexidade de um conjunto de trabalhos e fluxos de trabalho de ETL que estão no escopo de migração para o AWS Glue. A opção de avaliação ajuda você a entender que tipo de economia pode ser alcançada usando o Cognizant Data & Intelligence Toolkit (CDIT): ferramenta de conversão de ETL, a complexidade dos mapeamentos de ETL e a extensão da conversão manual necessária, se houver. Você pode fazer upload de um único mapeamento ETL ou de uma pasta contendo vários mapeamentos ETL como entrada para avaliação e gerar um relatório de avaliação, conforme mostrado na figura a seguir.
Converta o código ETL em AWS Glue
Para converter o código ETL legado, carregue o arquivo XML do mapeamento ETL como entrada para a ferramenta. As entradas do usuário são armazenadas no repositório interno de metadados da ferramenta e do Cognizant Data & Intelligence Toolkit (CDIT): a ferramenta de conversão ETL analisa esses arquivos de entrada XML e os divide em um modelo canônico patenteado, que é então projetado para o AWS Glue de destino scripts em Python ou Scala. A captura de tela a seguir mostra um exemplo do Cognizant Data & Intelligence Toolkit (CDIT): ETL Conversion Tool GUI e Console de saída painel.
Se alguma parte do trabalho ETL de entrada não puder ser convertida completamente no script equivalente do AWS Glue, ela será marcada entre linhas de comentários na saída para que possa ser corrigida manualmente.
Converter o fluxo de trabalho em Step Functions
A próxima etapa lógica após a conversão dos trabalhos ETL legados é orquestrar a execução desses trabalhos na ordem lógica. Cognizant Data & Intelligence Toolkit (CDIT): a ferramenta de conversão ETL permite automatizar a conversão de fluxos de trabalho ETL locais, convertendo-os em fluxos de trabalho correspondentes do Step Functions. A figura a seguir ilustra um exemplo de fluxo de trabalho de entrada da Informatica.
A conversão do fluxo de trabalho segue um padrão semelhante ao do mapeamento ETL. Arquivos XML para fluxos de trabalho ETL são carregados como entrada e Cognizant Data & Intelligence Toolkit (CDIT): ferramenta de conversão ETL que gera o arquivo JSON Step Functions equivalente com base nos dados do arquivo XML de entrada.
Benefícios de usar o Cognizant Data & Intelligence Toolkit (CDIT): Ferramenta de conversão ETL
A seguir estão os principais benefícios do uso do Cognizant Data & Intelligence Toolkit (CDIT): Ferramenta de conversão de ETL para automatizar a conversão de ETL herdada:
- Redução de custos – Você pode reduzir o esforço geral de migração em até 80% automatizando a conversão de ETL e fluxos de trabalho para AWS Glue e Step Functions
- Melhor planejamento e implementação – Você pode avaliar o escopo do ETL e determinar a porcentagem de automação, a complexidade e os padrões não suportados antes do início do projeto, resultando em estimativas e cronogramas precisos
- plenitude – Cognizant Data & Intelligence Toolkit (CDIT): A ferramenta de conversão ETL oferece uma solução com suporte para várias ferramentas ETL legadas, como Informatica, DataStage, Talend e muito mais.
- Melhor experiência do cliente – Você pode atingir as metas de migração perfeitamente, sem erros causados pela conversão manual e com alta porcentagem de automação
Estudo de caso: Cognizant Data & Intelligence Toolkit (CDIT): implementação proposta da ferramenta de conversão ETL
Uma grande empresa de seguros e anuidades com sede nos EUA queria migrar seu processo ETL legado da Informatica para o AWS Glue como parte de sua estratégia de migração para a nuvem.
Como parte desse compromisso, a Cognizant ajudou o cliente a migrar com sucesso seus trabalhos e fluxos de trabalho de ETL de aquisição e integração de dados baseados na Informatica para a AWS. Uma prova de conceito (PoC) usando o Cognizant Data & Intelligence Toolkit (CDIT): a ferramenta de conversão ETL foi concluída primeiro para mostrar e validar os recursos de automação.
Cognizant Data & Intelligence Toolkit (CDIT): a ferramenta de conversão ETL foi usada para automatizar a conversão de mais de 300 mapeamentos e fluxos de trabalho da Informatica em trabalhos equivalentes do AWS Glue e fluxos de trabalho do Step Functions, respectivamente. Como resultado, o cliente conseguiu migrar todo o código ETL legado para a AWS conforme planejado e retirar o aplicativo legado.
A seguir estão os principais destaques deste envolvimento:
- Migração de mais de 300 trabalhos legados de ETL da Informatica para AWS Glue
- Conversão automatizada de mais de 6,000 transformações de ETL legado para AWS Glue
- 85% de automação alcançada usando CDIT: ETL Conversion Tool
- O cliente economizou taxas de licenciamento e retirou seu aplicativo legado conforme planejado
Conclusão
Nesta postagem, discutimos como a migração de processos ETL legados para a nuvem é fundamental para o sucesso de uma jornada de migração para a nuvem. Cognizant Data & Intelligence Toolkit (CDIT): a ferramenta de conversão ETL permite que você execute uma avaliação do processo ETL existente para derivar complexidade e porcentagem de automação para melhor estimativa e planejamento. Também discutimos as tecnologias ETL suportadas pelo Cognizant Data & Intelligence Toolkit (CDIT): ETL Conversion Tool e como os trabalhos ETL podem ser convertidos em scripts AWS Glue correspondentes. Por fim, demonstramos como usar fluxos de trabalho ETL existentes para gerar automaticamente trabalhos de orquestração correspondentes do Step Functions.
Para saber mais, entre em contato com a Cognizant.
Sobre os autores
Deepak Singh é arquiteto de soluções sênior na Amazon Web Services com mais de 20 anos de experiência em dados e AIA. Ele gosta de trabalhar com parceiros e clientes da AWS na criação de soluções analíticas escaláveis para seus resultados de negócios. Quando não está no trabalho, ele adora passar tempo com a família ou explorar novas tecnologias em análise e espaço de IA.
Piyush Patra é arquiteto de soluções de parceiros na Amazon Web Services, onde apoia parceiros em suas jornadas de análise e é líder global em programas estratégicos de modernização e migração de patrimônio de dados para parceiros.
Govind Mohan é diretor associado da Cognizant com mais de 18 anos de experiência em dados e análises. Ele ajudou a projetar e implementar vários projetos de migração de dados em grande escala, lift & shift de aplicativos e modernização de legados e trabalha em estreita colaboração com os clientes para acelerar a jornada de modernização da nuvem aproveitando a plataforma Cognizant Data and Intelligence Toolkit (CDIT).
Kausik Dhar é líder em tecnologia com mais de 23 anos de experiência em TI – focada principalmente em dados e análises, modernização de dados, desenvolvimento de aplicativos, gerenciamento de entrega e arquitetura de soluções. Ele desempenhou um papel fundamental na orientação de clientes no projeto e execução de dados em grande escala e migrações de processos, além de liderar implementações de nuvem bem-sucedidas. Kausik possui experiência na formulação de estratégias de migração para programas complexos e na construção habil de arquitetura de data lake/Lakehouse empregando uma ampla gama de ferramentas e tecnologias.
- Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
- PlatoData.Network Gerativa Vertical Ai. Capacite-se. Acesse aqui.
- PlatoAiStream. Inteligência Web3. Conhecimento Amplificado. Acesse aqui.
- PlatãoESG. Carbono Tecnologia Limpa, Energia, Ambiente, Solar, Gestão de resíduos. Acesse aqui.
- PlatoHealth. Inteligência em Biotecnologia e Ensaios Clínicos. Acesse aqui.
- Fonte: https://aws.amazon.com/blogs/big-data/automate-legacy-etl-conversion-to-aws-glue-using-cognizant-data-and-intelligence-toolkit-cdit-etl-conversion-tool/
- :tem
- :é
- :não
- :onde
- 000
- 100
- 220
- 23
- 300
- a
- Capaz
- acelerando
- aceleradores
- precisão
- preciso
- Alcançar
- alcançado
- adquirir
- aquisição
- Adição
- Vantagem
- Depois de
- AI
- AIA
- Todos os Produtos
- tb
- Apesar
- Amazon
- Amazon EC2
- Amazon RDS
- Amazon Web Services
- an
- Análises
- analítica
- e
- qualquer
- Aplicação
- Desenvolvimento de Aplicações
- abordagem
- arquitetura
- SOMOS
- Ordem
- AS
- avaliar
- avaliação
- Jurídico
- associado
- At
- automatizar
- automatiza
- automaticamente
- automatizando
- Automação
- AWS
- Cola AWS
- baseado
- BE
- antes
- Benefícios
- Melhor
- entre
- Blog
- ambos
- quebra
- Trazendo
- construir
- Prédio
- negócio
- negócios
- mas a
- by
- CAN
- capacidades
- causado
- clientes
- de perto
- Na nuvem
- código
- conhecedor
- vem
- comentar
- Empresas
- Empresa
- Efetuado
- completamente
- integrações
- complexidade
- Computar
- conceito
- cônsul
- construção
- contínuo
- Conversão
- converter
- convertido
- conversão
- Correspondente
- Custo
- crítico
- cliente
- Clientes
- dados,
- data warehouse
- armazéns de dados
- banco de dados
- Entrega
- demonstraram
- descreve
- Design
- concepção
- detalhe
- Determinar
- Desenvolvimento
- Diretor
- discutido
- down
- efetivamente
- eficiente
- esforço
- elimina
- eliminando
- empregando
- permite
- end-to-end
- COMPROMETIMENTO
- engenharia
- enriquecer
- visionar
- Equivalente
- erro
- erros
- propriedade
- Éter (ETH)
- Evento
- exemplo
- executando
- existente
- vasta experiência
- experiência
- Explorando
- extensão
- extrato
- família
- mais rápido
- Funcionalidades
- Taxas
- Figura
- Envie o
- Arquivos
- Primeiro nome
- fixado
- Foco
- focado
- seguinte
- segue
- Escolha
- formulação
- para a frente
- da
- funções
- gerar
- gera
- gerando
- Global
- Objetivos
- Ter
- ter
- he
- ajudar
- ajudou
- ajuda
- Alta
- destaques
- Como funciona o dobrador de carta de canal
- Como Negociar
- http
- HTTPS
- humano
- IAM
- Identidade
- if
- ilustra
- executar
- implementação
- implementações
- in
- Infraestrutura
- Iniciativa
- inovadores
- entrada
- inputs
- com seguro
- integração
- Inteligência
- Interface
- interno
- internamente
- para dentro
- intuitivo
- envolvido
- questões
- IT
- ESTÁ
- Trabalho
- Empregos
- viagem
- Viagens
- jpg
- json
- Chave
- Tipo
- grande
- em grande escala
- por último
- mais recente
- conduzir
- líder
- APRENDER
- Legado
- Permite
- aproveitando
- Licenciamento
- como
- linhas
- carregar
- lógico
- mais
- olhar
- lote
- ama
- a Principal
- de grupos
- manual
- manualmente
- muitos
- mapeamento
- mercado
- mecanismos
- metadados
- migrado
- migrando
- migração
- modelo
- modernização
- monitoração
- mais
- muito
- múltiplo
- nativo
- necessidade
- necessário
- Novo
- Novas tecnologias
- Próximo
- não
- número
- of
- oferecer
- Oferece
- on
- ONE
- só
- operacional
- Opção
- or
- orquestração
- ordem
- Fora
- resultados
- saída
- Acima de
- global
- parte
- parceiro
- Parceiros
- patenteado
- padrão
- padrões
- percentagem
- realizar
- essencial
- Lugar
- planejado
- planejamento
- plataforma
- platão
- Inteligência de Dados Platão
- PlatãoData
- desempenhado
- desempenha
- por favor
- PoC
- Publique
- potencial
- premier
- principalmente
- processo
- processos
- em processamento
- Programas
- Progresso
- projeto
- projetos
- prova
- prova de conceito
- proposto
- fornecendo
- Python
- rapidamente
- alcançar
- reduzir
- Denunciar
- repositório
- respectivamente
- resultar
- resultando
- reescrevendo
- Risco
- Tipo
- Execute
- Salvar
- salvo
- poupança
- Scala
- escalável
- escopo
- escrita
- Scripts
- sem problemas
- segurança
- visto
- selecionando
- senior
- Serviços
- conjunto
- vários
- mudança
- mostrar
- mostrando
- Shows
- semelhante
- simples
- solteiro
- So
- solução
- Soluções
- fonte
- Espaço
- encabeçando
- Passar
- começo
- Passo
- Passos
- armazenamento
- armazenadas
- Estratégico
- estratégias
- Estratégia
- Estudo
- sucesso
- bem sucedido
- entraram com sucesso
- tal
- ajuda
- Suportado
- suportes
- Tire
- Target
- Tecnologias
- Tecnologia
- do que
- que
- A
- A fonte
- deles
- Eles
- então
- Este
- isto
- Através da
- camada
- tempo
- para
- ferramenta
- kit de ferramentas
- ferramentas
- para
- tradicional
- Transformar
- transformações
- ui
- compreender
- carregado
- Upload
- usar
- usava
- Utilizador
- Interface de Usuário
- usos
- utilização
- VALIDAR
- visto
- querido
- Armazém
- foi
- we
- web
- serviços web
- O Quê
- quando
- qual
- Largo
- de
- sem
- Atividades:
- de gestão de documentos
- fluxos de trabalho
- trabalhar
- trabalho
- XML
- ano
- anos
- Você
- zefirnet