Cet article de blog est co-écrit avec Govind Mohan et Kausik Dhar de Cognizant.
La migration des entrepôts de données sur site vers le cloud n'est plus considérée comme une option mais comme une nécessité pour les entreprises afin de réduire les coûts et de profiter de ce que les dernières technologies ont à offrir. Même si l’on s’est beaucoup concentré sur la migration des données des entrepôts de données existants vers le cloud et sur de multiples outils pour soutenir cette initiative, les données ne représentent qu’une partie du parcours. La migration réussie des processus ETL (extraction, transformation et chargement) existants qui acquièrent, enrichissent et transforment les données joue un rôle clé dans le succès de toute migration d'entrepôt de données de bout en bout vers le cloud.
L'approche traditionnelle consistant à réécrire manuellement un grand nombre de processus ETL vers des technologies cloud natives telles que Colle AWS prend du temps et peut être sujet à des erreurs humaines. Cognizant Data & Intelligence Toolkit (CDIT) – L'outil de conversion ETL automatise ce processus, apportant plus de prévisibilité et de précision, éliminant le risque associé à la conversion manuelle et offrant un délai de commercialisation plus rapide pour les clients.
Cognizant est un Partenaire de services AWS Premier Tier avec plusieurs compétences AWS. Grâce à son approche consultative basée sur l'industrie, Cognizant aide ses clients à imaginer, créer et gérer des entreprises plus innovantes et plus efficaces.
Dans cet article, nous décrivons comment l'outil de conversion ETL Data & Intelligence Toolkit (CDIT) de Cognizant peut vous aider à convertir automatiquement le code ETL existant en AWS Glue, rapidement et efficacement. Nous décrivons également les principales étapes impliquées, les fonctionnalités prises en charge et leurs avantages.
Vue d'ensemble de la solution
Cognizant Data & Intelligence Toolkit (CDIT) : l'outil de conversion ETL automatise la conversion des pipelines ETL et du code d'orchestration des outils existants vers AWS Glue et Fonctions d'étape AWS et élimine les processus manuels impliqués dans le parcours de migration ETL vers le cloud d'un client.
Il est livré avec une interface utilisateur (UI) intuitive. Vous pouvez utiliser ces accélérateurs en sélectionnant l'outil ETL source et cible pour la conversion, puis en téléchargeant un fichier XML du mappage ETL à convertir en entrée.
L'outil prend également en charge la surveillance continue des progrès globaux et des mécanismes d'alerte sont en place en cas de pannes, d'erreurs ou de problèmes opérationnels.
Cognizant Data & Intelligence Toolkit (CDIT) : l'outil de conversion ETL utilise en interne de nombreux services AWS natifs, tels que Service de stockage simple Amazon (Amazon S3) et Service de base de données relationnelle Amazon (Amazon RDS) pour le stockage et la gestion des métadonnées ; Cloud de calcul élastique Amazon (Amazon EC2) et AWS Lambda pour traitement; Amazon Cloud Watch, Service de gestion des clés AWS (AWS KMS) et Centre d'identité AWS IAM (successeur d'AWS Single Sign-On) pour la surveillance et la sécurité ; et AWS CloudFormation pour la gestion des infrastructures. Le diagramme suivant illustre cette architecture.
Comment utiliser CDIT : outil de conversion ETL pour la migration ETL.
Cognizant Data & Intelligence Toolkit (CDIT) : l'outil de conversion ETL prend en charge les anciens outils ETL suivants en tant que source et prend en charge la génération des scripts ETL AWS Glue correspondants dans Python et Scala :
- informatique
- Étape de données
- SSIS
- Talend
Examinons les étapes de migration plus en détail.
Évaluer le processus ETL existant
Cognizant Data & Intelligence Toolkit (CDIT) : l'outil de conversion ETL vous permet d'évaluer en masse le pourcentage d'automatisation potentiel et la complexité d'un ensemble de tâches et de flux de travail ETL susceptibles d'être migrés vers AWS Glue. L'option d'évaluation vous aide à comprendre quel type d'économie peut être réalisé à l'aide de Cognizant Data & Intelligence Toolkit (CDIT) : outil de conversion ETL, la complexité des mappages ETL et l'étendue de la conversion manuelle nécessaire, le cas échéant. Vous pouvez télécharger un seul mappage ETL ou un dossier contenant plusieurs mappages ETL comme entrée pour l'évaluation et générer un rapport d'évaluation, comme illustré dans la figure suivante.
Convertir le code ETL en AWS Glue
Pour convertir le code ETL existant, vous téléchargez le fichier XML du mappage ETL en entrée de l'outil. Les entrées utilisateur sont stockées dans le référentiel de métadonnées interne de l'outil et de Cognizant Data & Intelligence Toolkit (CDIT) : l'outil de conversion ETL analyse ces fichiers d'entrée XML et les décompose en un modèle canonique breveté, qui est ensuite intégré dans l'AWS Glue cible. scripts en Python ou Scala. La capture d'écran suivante montre un exemple de Cognizant Data & Intelligence Toolkit (CDIT) : interface graphique de l'outil de conversion ETL et Console de sortie vitre.
Si une partie de la tâche ETL d'entrée ne peut pas être entièrement convertie en script AWS Glue équivalent, elle est marquée entre les lignes de commentaires dans la sortie afin qu'elle puisse être corrigée manuellement.
Convertir le flux de travail en Step Functions
La prochaine étape logique après la conversion des tâches ETL héritées consiste à orchestrer l'exécution de ces tâches dans l'ordre logique. Cognizant Data & Intelligence Toolkit (CDIT) : l'outil de conversion ETL vous permet d'automatiser la conversion des flux de travail ETL sur site en les convertissant en flux de travail Step Functions correspondants. La figure suivante illustre un exemple de flux de travail Informatica d'entrée.
La conversion du workflow suit le modèle similaire à celui du mappage ETL. Les fichiers XML pour les flux de travail ETL sont téléchargés en entrée et Cognizant Data & Intelligence Toolkit (CDIT) : outil de conversion ETL, il génère le fichier JSON Step Functions équivalent en fonction des données du fichier XML d'entrée.
Avantages de l'utilisation de Cognizant Data & Intelligence Toolkit (CDIT) : outil de conversion ETL
Voici les principaux avantages de l'utilisation de Cognizant Data & Intelligence Toolkit (CDIT) : Outil de conversion ETL pour automatiser la conversion ETL existante :
- Réduction des coûts – Vous pouvez réduire l'effort global de migration jusqu'à 80 % en automatisant la conversion des ETL et des flux de travail vers AWS Glue et Step Functions.
- Meilleure planification et mise en œuvre – Vous pouvez évaluer la portée de l'ETL et déterminer le pourcentage d'automatisation, la complexité et les modèles non pris en charge avant le début du projet, ce qui permet d'obtenir une estimation et des délais précis.
- état complet – Cognizant Data & Intelligence Toolkit (CDIT) : l'outil de conversion ETL offre une solution prenant en charge plusieurs outils ETL existants tels que Informatica, DataStage, Talend, etc.
- expérience client améliorée – Vous pouvez atteindre vos objectifs de migration de manière transparente, sans erreurs causées par une conversion manuelle et avec un pourcentage d'automatisation élevé
Étude de cas : Cognizant Data & Intelligence Toolkit (CDIT) : mise en œuvre proposée de l'outil de conversion ETL
Une grande société d'assurance et de rentes basée aux États-Unis souhaitait migrer son ancien processus ETL d'Informatica vers AWS Glue dans le cadre de sa stratégie de migration vers le cloud.
Dans le cadre de cet engagement, Cognizant a aidé le client à migrer avec succès ses tâches et flux de travail ETL d'acquisition et d'intégration de données basés sur Informatica vers AWS. Une preuve de concept (PoC) à l'aide de Cognizant Data & Intelligence Toolkit (CDIT) : l'outil de conversion ETL a été réalisé en premier pour présenter et valider les capacités d'automatisation.
Cognizant Data & Intelligence Toolkit (CDIT) : l'outil de conversion ETL a été utilisé pour automatiser la conversion de plus de 300 mappages et flux de travail Informatica en tâches AWS Glue et flux de travail Step Functions équivalents, respectivement. En conséquence, le client a pu migrer tout le code ETL existant vers AWS comme prévu et retirer l'application existante.
Voici les points saillants de cet engagement :
- Migration de plus de 300 tâches ETL Informatica héritées vers AWS Glue
- Conversion automatisée de plus de 6,000 XNUMX transformations de l'ancien ETL vers AWS Glue
- 85 % d'automatisation réalisée grâce au CDIT : outil de conversion ETL
- Le client a économisé ses frais de licence et a retiré son ancienne application comme prévu.
Conclusion
Dans cet article, nous avons expliqué en quoi la migration des processus ETL existants vers le cloud est essentielle au succès d'un parcours de migration vers le cloud. Cognizant Data & Intelligence Toolkit (CDIT) : l'outil de conversion ETL vous permet d'effectuer une évaluation du processus ETL existant pour en déduire la complexité et le pourcentage d'automatisation pour une meilleure estimation et planification. Nous avons également discuté des technologies ETL prises en charge par Cognizant Data & Intelligence Toolkit (CDIT) : outil de conversion ETL et de la façon dont les tâches ETL peuvent être converties en scripts AWS Glue correspondants. Enfin, nous avons montré comment utiliser les workflows ETL existants pour générer automatiquement les tâches d'orchestration Step Functions correspondantes.
Pour en savoir plus, veuillez contacter Cognizant.
À propos des auteurs
Deepak Sing est un architecte de solutions senior chez Amazon Web Services avec plus de 20 ans d'expérience dans les données et l'AIA. Il aime travailler avec les partenaires et les clients AWS sur la création de solutions analytiques évolutives pour leurs résultats commerciaux. Lorsqu'il n'est pas au travail, il aime passer du temps avec sa famille ou explorer de nouvelles technologies dans le domaine de l'analyse et de l'IA.
Piyush Patra est architecte de solutions partenaires chez Amazon Web Services, où il soutient les partenaires dans leurs parcours d'analyse et est le responsable mondial des programmes de partenariat stratégiques de modernisation et de migration du patrimoine de données.
Govind Mohan est directeur associé chez Cognizant avec plus de 18 ans d'expérience dans le domaine des données et de l'analyse. Il a contribué à la conception et à la mise en œuvre de plusieurs projets de migration de données à grande échelle, de lift & shift d'applications et de modernisation d'héritage et travaille en étroite collaboration avec les clients pour accélérer le parcours de modernisation du cloud. en tirant parti de la plateforme Cognizant Data and Intelligence Toolkit (CDIT).
Kausik Dhar est un leader technologique possédant plus de 23 ans d'expérience en informatique, principalement axée sur les données et l'analyse, la modernisation des données, le développement d'applications, la gestion de la livraison et l'architecture de solutions. Il a joué un rôle central en guidant les clients dans la conception et l'exécution de migrations de données et de processus à grande échelle, en plus de diriger des implémentations cloud réussies. Kausik possède une expertise dans la formulation de stratégies de migration pour des programmes complexes et dans la construction habile d'une architecture de lac de données/Lakehouse en utilisant un large éventail d'outils et de technologies.
- Contenu propulsé par le référencement et distribution de relations publiques. Soyez amplifié aujourd'hui.
- PlatoData.Network Ai générative verticale. Autonomisez-vous. Accéder ici.
- PlatoAiStream. Intelligence Web3. Connaissance Amplifiée. Accéder ici.
- PlatonESG. Carbone, Technologie propre, Énergie, Environnement, Solaire, La gestion des déchets. Accéder ici.
- PlatoHealth. Veille biotechnologique et essais cliniques. Accéder ici.
- La source: https://aws.amazon.com/blogs/big-data/automate-legacy-etl-conversion-to-aws-glue-using-cognizant-data-and-intelligence-toolkit-cdit-etl-conversion-tool/
- :possède
- :est
- :ne pas
- :où
- 000
- 100
- 220
- 23
- 300
- a
- Capable
- accélérer
- accélérateurs
- précision
- Avec cette connaissance vient le pouvoir de prendre
- atteindre
- atteint
- acquérir
- acquisition
- ajout
- Avantage
- Après
- AI
- AIA
- Tous
- aussi
- Bien que
- Amazon
- Amazon EC2
- Amazon RDS
- Amazon Web Services
- an
- Analytique
- analytique
- ainsi que le
- tous
- Application
- Le développement d'applications
- une approche
- architecture
- SONT
- tableau
- AS
- Evaluer
- Évaluation de risque climatique
- Associé(e)
- associé
- At
- automatiser
- Automates
- automatiquement
- automatiser
- Automation
- AWS
- Colle AWS
- basé
- BE
- before
- avantages.
- Améliorée
- jusqu'à XNUMX fois
- Blog
- tous les deux
- pauses
- Apporter
- construire
- Développement
- la performance des entreprises
- entreprises
- mais
- by
- CAN
- capacités
- causé
- CLIENTS
- étroitement
- le cloud
- code
- compétent
- vient
- commentaire
- Sociétés
- Société
- Complété
- complètement
- complexe
- complexité
- calcul
- concept
- Console
- la construction
- continu
- Conversion
- convertir
- converti
- conversion
- Correspondant
- Prix
- critique
- des clients
- Clients
- données
- entrepôt de données
- entrepôts de données
- Base de données
- page de livraison.
- démontré
- décrire
- Conception
- conception
- détail
- Déterminer
- Développement
- Directeur
- discuté
- down
- de manière efficace
- efficace
- effort
- élimine
- l'élimination
- employant
- permet
- end-to-end
- participation
- conçu
- enrichir
- envisager
- Équivalent
- erreur
- Erreurs
- biens
- Ether (ETH)
- événement
- exemple
- exécution
- existant
- d'experience
- nous a permis de concevoir
- Explorer
- ampleur
- extrait
- famille
- plus rapide
- Fonctionnalités:
- Frais
- Figure
- Déposez votre dernière attestation
- Fichiers
- Prénom
- fixé
- Focus
- concentré
- Abonnement
- suit
- Pour
- formuler
- Avant
- De
- fonctions
- générer
- génère
- générateur
- Global
- Objectifs
- Vous avez
- ayant
- he
- vous aider
- a aidé
- aide
- Haute
- Faits saillants
- Comment
- How To
- http
- HTTPS
- humain
- IAM
- Identite
- if
- illustre
- Mettre en oeuvre
- la mise en oeuvre
- implémentations
- in
- Infrastructure
- initiative
- technologie innovante
- contribution
- entrées
- Assurance
- l'intégration
- Intelligence
- Interfaces
- interne
- intérieurement
- développement
- intuitif
- impliqué
- vous aider à faire face aux problèmes qui vous perturbent
- IT
- SES
- Emploi
- Emplois
- chemin
- Voyages
- jpg
- json
- ACTIVITES
- Genre
- gros
- grande échelle
- enfin
- Nouveautés
- conduire
- leader
- APPRENTISSAGE
- Legacy
- Allons-y
- en tirant parti
- Licence
- comme
- lignes
- charge
- logique
- plus long
- Style
- Lot
- aime
- Entrée
- gestion
- Manuel
- manuellement
- de nombreuses
- cartographie
- Marché
- mécanismes
- Métadonnées
- émigrer
- migrer
- migration
- modèle
- modernisation
- Stack monitoring
- PLUS
- beaucoup
- plusieurs
- indigène
- une nécessité
- nécessaire
- Nouveauté
- Les nouvelles technologies
- next
- aucune
- nombre
- of
- code
- Offres Speciales
- on
- ONE
- uniquement
- opérationnel
- Option
- or
- orchestration
- de commander
- ande
- les résultats
- sortie
- plus de
- global
- partie
- les partenaires
- partenaires,
- contribution
- Patron de Couture
- motifs
- pourcentage
- effectuer
- pivot
- Place
- prévu
- et la planification de votre patrimoine
- plateforme
- Platon
- Intelligence des données Platon
- PlatonDonnées
- joué
- joue
- veuillez cliquer
- PoC
- Post
- défaillances
- premier
- qui se déroulent
- processus
- les process
- traitement
- Programmes
- Progrès
- Projet
- projets
- preuve
- preuve de concept
- proposé
- aportando
- Python
- vite.
- nous joindre
- réduire
- rapport
- dépôt
- respectivement
- résultat
- résultant
- réécriture
- Analyse
- Rôle
- Courir
- Épargnez
- sauvé
- économie
- Scala
- évolutive
- portée
- scénario
- scripts
- de façon transparente
- sécurité
- vu
- la sélection
- supérieur
- Services
- set
- plusieurs
- décalage
- vitrine
- montré
- Spectacles
- similaires
- étapes
- unique
- So
- sur mesure
- Solutions
- Identifier
- Space
- le fer de lance
- Dépenses
- Commencer
- étapes
- Étapes
- storage
- stockée
- Stratégique
- les stratégies
- de Marketing
- Étude
- succès
- réussi
- Avec succès
- tel
- Support
- Appareils
- Les soutiens
- Prenez
- Target
- Les technologies
- Technologie
- que
- qui
- La
- La Source
- leur
- Les
- puis
- Ces
- this
- Avec
- étage
- fiable
- à
- outil
- Boîte à outils
- les outils
- vers
- traditionnel
- Transformer
- transformations
- ui
- comprendre
- téléchargé
- Téléchargement
- utilisé
- d'utiliser
- Utilisateur
- Interface utilisateur
- Usages
- en utilisant
- VALIDER
- vu
- voulu
- Entrepots
- était
- we
- web
- services Web
- Quoi
- quand
- qui
- large
- comprenant
- sans
- activités principales
- workflow
- workflows
- de travail
- vos contrats
- XML
- an
- années
- you
- zéphyrnet