Deze blogpost is geschreven in samenwerking met Govind Mohan en Kausik Dhar van Cognizant.
Het migreren van lokale datawarehouses naar de cloud wordt niet langer gezien als een optie, maar als een noodzaak voor bedrijven om kosten te besparen en te profiteren van wat de nieuwste technologie te bieden heeft. Hoewel we veel aandacht hebben gezien voor het migreren van gegevens van oudere datawarehouses naar de cloud en meerdere tools om dit initiatief te ondersteunen, vormen gegevens slechts een deel van het traject. Succesvolle migratie van oudere ETL-processen (Extract, Transform en Load) die de gegevens verwerven, verrijken en transformeren, speelt een sleutelrol in het succes van elke end-to-end datawarehouse-migratie naar de cloud.
De traditionele aanpak waarbij een groot aantal ETL-processen handmatig wordt herschreven naar cloud-native technologieën zoals AWS lijm is tijdrovend en kan gevoelig zijn voor menselijke fouten. Cognizant Data & Intelligence Toolkit (CDIT) – ETL Conversion Tool automatiseert dit proces, zorgt voor meer voorspelbaarheid en nauwkeurigheid, elimineert het risico dat gepaard gaat met handmatige conversie en zorgt voor een snellere time-to-market voor klanten.
Cognizant is een AWS Premier Tier Services-partner met verschillende AWS-competenties. Met zijn op de sector gebaseerde, adviserende aanpak helpt Cognizant klanten bij het bedenken, bouwen en runnen van meer innovatieve en efficiënte bedrijven.
In dit bericht beschrijven we hoe Cognizant's Data & Intelligence Toolkit (CDIT) - ETL Conversion Tool u kan helpen oude ETL-code snel en effectief automatisch naar AWS Glue te converteren. We beschrijven ook de belangrijkste betrokken stappen, de ondersteunde functies en hun voordelen.
Overzicht oplossingen
Cognizant Data & Intelligence Toolkit (CDIT): ETL Conversion Tool automatiseert de conversie van ETL-pijplijnen en orkestratiecode van oudere tools naar AWS Glue en AWS Stap Functies en elimineert de handmatige processen die betrokken zijn bij het ETL-cloudmigratietraject van een klant.
Het wordt geleverd met een intuïtieve gebruikersinterface (UI). U kunt deze versnellers gebruiken door de bron- en doel-ETL-tool voor conversie te selecteren en vervolgens een XML-bestand met de te converteren ETL-toewijzing als invoer te uploaden.
De tool ondersteunt ook continue monitoring van de algehele voortgang en er zijn waarschuwingsmechanismen aanwezig in het geval van eventuele storingen, fouten of operationele problemen.
Cognizant Data & Intelligence Toolkit (CDIT): ETL Conversion Tool maakt intern gebruik van veel native AWS-services, zoals Amazon eenvoudige opslagservice (Amazon S3) en Amazon relationele databaseservice (Amazon RDS) voor opslag en metadatabeheer; Amazon Elastic Compute-cloud (Amazon EC2) en AWS Lambda om te verwerken; Amazon Cloud Watch, AWS Sleutelbeheerservice (AWS KMS), en AWS IAM Identiteitscentrum (opvolger van AWS Single Sign-On) voor monitoring en beveiliging; En AWS CloudFormatie voor infrastructuurbeheer. Het volgende diagram illustreert deze architectuur.
Hoe CDIT te gebruiken: ETL-conversietool voor ETL-migratie.
Cognizant Data & Intelligence Toolkit (CDIT): ETL Conversion Tool ondersteunt de volgende oudere ETL-tools als bron en ondersteunt het genereren van overeenkomstige AWS Glue ETL-scripts in zowel Python als Scala:
- Informatica
- DataStage
- SSIS
- Talend
Laten we de migratiestappen in meer detail bekijken.
Beoordeel het oude ETL-proces
Cognizant Data & Intelligence Toolkit (CDIT): Met de ETL Conversion Tool kunt u in bulk het potentiële automatiseringspercentage en de complexiteit beoordelen van een reeks ETL-taken en workflows die in aanmerking komen voor migratie naar AWS Glue. De beoordelingsoptie helpt u te begrijpen welke besparing kan worden bereikt met behulp van de Cognizant Data & Intelligence Toolkit (CDIT): ETL Conversion Tool, de complexiteit van de ETL-toewijzingen en de mate van eventuele handmatige conversie die nodig is. U kunt een enkele ETL-toewijzing of een map met meerdere ETL-toewijzingen uploaden als invoer voor de beoordeling en een beoordelingsrapport genereren, zoals weergegeven in de volgende afbeelding.
Converteer de ETL-code naar AWS Glue
Om oudere ETL-code te converteren, uploadt u het XML-bestand van de ETL-mapping als invoer in de tool. Gebruikersinvoer wordt opgeslagen in de interne metadatarepository van de tool en Cognizant Data & Intelligence Toolkit (CDIT): ETL Conversion Tool parseert deze XML-invoerbestanden en splitst ze op in een gepatenteerd canoniek model, dat vervolgens wordt doorgestuurd naar de doel-AWS Glue scripts in Python of Scala. De volgende schermafbeelding toont een voorbeeld van de Cognizant Data & Intelligence Toolkit (CDIT): ETL Conversion Tool GUI en Uitvoerconsole brood.
Als een deel van de invoer-ETL-taak niet volledig kan worden geconverteerd naar het equivalente AWS Glue-script, wordt het getagd tussen commentaarregels in de uitvoer, zodat het handmatig kan worden hersteld.
Converteer de workflow naar stapfuncties
De volgende logische stap na het converteren van de oudere ETL-taken is het organiseren van de uitvoering van deze taken in de logische volgorde. Cognizant Data & Intelligence Toolkit (CDIT): Met de ETL Conversion Tool kunt u de conversie van lokale ETL-workflows automatiseren door deze te converteren naar overeenkomstige Step Functions-workflows. De volgende afbeelding illustreert een voorbeeld van een Informatica-invoerworkflow.
Workflowconversie volgt hetzelfde patroon als dat van de ETL-toewijzing. XML-bestanden voor ETL-workflows worden geüpload als invoer en Cognizant Data & Intelligence Toolkit (CDIT): ETL Conversion Tool, het genereert het equivalente Step Functions JSON-bestand op basis van de ingevoerde XML-bestandsgegevens.
Voordelen van het gebruik van Cognizant Data & Intelligence Toolkit (CDIT): ETL-conversietool
Dit zijn de belangrijkste voordelen van het gebruik van Cognizant Data & Intelligence Toolkit (CDIT): ETL Conversion Tool om oudere ETL-conversie te automatiseren:
- Kostenreductie – U kunt de totale migratie-inspanning met maar liefst 80% verminderen door de conversie van ETL en workflows naar AWS Glue- en Step-functies te automatiseren
- Betere planning en uitvoering – U kunt vóór de start van het project de ETL-scope beoordelen en het automatiseringspercentage, de complexiteit en niet-ondersteunde patronen bepalen, wat resulteert in nauwkeurige schattingen en tijdlijnen
- Volledigheid – Cognizant Data & Intelligence Toolkit (CDIT): ETL Conversion Tool biedt één oplossing met ondersteuning voor meerdere oudere ETL-tools zoals Informatica, DataStage, Talend en meer.
- Verbeterde klantervaring – U kunt migratiedoelen naadloos bereiken zonder fouten veroorzaakt door handmatige conversie en met een hoog automatiseringspercentage
Casestudy: Cognizant Data & Intelligence Toolkit (CDIT): voorgestelde implementatie van ETL-conversietool
Een grote Amerikaanse verzekerings- en lijfrentemaatschappij wilde hun oude ETL-proces in Informatica migreren naar AWS Glue als onderdeel van hun cloudmigratiestrategie.
Als onderdeel van deze opdracht hielp Cognizant de klant met succes bij de migratie van hun op Informatica gebaseerde data-acquisitie en integratie-ETL-taken en -workflows naar AWS. Een proof of concept (PoC) met behulp van Cognizant Data & Intelligence Toolkit (CDIT): ETL Conversion Tool werd eerst voltooid om de automatiseringsmogelijkheden te demonstreren en te valideren.
Cognizant Data & Intelligence Toolkit (CDIT): ETL Conversion Tool werd gebruikt om de conversie van meer dan 300 Informatica-toewijzingen en workflows naar respectievelijk gelijkwaardige AWS Glue-jobs en Step Functions-workflows te automatiseren. Als gevolg hiervan kon de klant alle verouderde ETL-code zoals gepland naar AWS migreren en de verouderde applicatie buiten gebruik stellen.
De volgende zijn de belangrijkste hoogtepunten uit deze betrokkenheid:
- Migratie van meer dan 300 oudere Informatica ETL-taken naar AWS Glue
- Geautomatiseerde conversie van meer dan 6,000 transformaties van oudere ETL naar AWS Glue
- 85% automatisering bereikt met behulp van CDIT: ETL Conversion Tool
- De klant bespaarde licentiekosten en stopte zijn oude applicatie zoals gepland
Conclusie
In dit bericht hebben we besproken hoe het migreren van oudere ETL-processen naar de cloud cruciaal is voor het succes van een cloudmigratietraject. Cognizant Data & Intelligence Toolkit (CDIT): Met de ETL-conversietool kunt u een beoordeling van het bestaande ETL-proces uitvoeren om de complexiteit en het automatiseringspercentage af te leiden voor een betere schatting en planning. We hebben ook de ETL-technologieën besproken die worden ondersteund door Cognizant Data & Intelligence Toolkit (CDIT): ETL Conversion Tool en hoe ETL-taken kunnen worden geconverteerd naar overeenkomstige AWS Glue-scripts. Ten slotte hebben we gedemonstreerd hoe u bestaande ETL-workflows kunt gebruiken om automatisch overeenkomstige Step Functions-orkestratietaken te genereren.
Neem voor meer informatie contact op met Cognizant.
Over de auteurs
Deepak Singh is een Senior Solutions Architect bij Amazon Web Services met meer dan 20 jaar ervaring in Data & AIA. Hij werkt graag samen met AWS-partners en klanten aan het bouwen van schaalbare analytische oplossingen voor hun bedrijfsresultaten. Als hij niet aan het werk is, brengt hij graag tijd door met zijn gezin of onderzoekt hij nieuwe technologieën op het gebied van analyse en AI.
Pijoesj Patra is een Partner Solutions Architect bij Amazon Web Services, waar hij partners ondersteunt bij hun Analytics-trajecten en de wereldwijde leiding heeft over strategische Data Estate Modernization- en Migration-partnerprogramma's.
Govind Mohan is Associate Director bij Cognizant met meer dan 18 jaar ervaring op het gebied van data en analytics. Hij heeft geholpen bij het ontwerpen en implementeren van meerdere grootschalige datamigratie-, applicatielift & shift- en legacy-moderniseringsprojecten en werkt nauw samen met klanten bij het versnellen van het cloudmoderniseringstraject gebruik te maken van het Cognizant Data and Intelligence Toolkit (CDIT)-platform.
Kausik Dhar is een technologieleider met meer dan 23 jaar IT-ervaring, voornamelijk gericht op data en analyse, datamodernisering, applicatieontwikkeling, leveringsbeheer en oplossingsarchitectuur. Hij heeft een cruciale rol gespeeld bij het begeleiden van klanten bij het ontwerpen en uitvoeren van grootschalige data- en procesmigraties, naast het leiden van succesvolle cloudimplementaties. Kausik beschikt over expertise in het formuleren van migratiestrategieën voor complexe programma's en het vakkundig construeren van data lake/Lakehouse-architectuur met behulp van een breed scala aan tools en technologieën.
- Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
- PlatoData.Network Verticale generatieve AI. Versterk jezelf. Toegang hier.
- PlatoAiStream. Web3-intelligentie. Kennis versterkt. Toegang hier.
- PlatoESG. carbon, CleanTech, Energie, Milieu, Zonne, Afvalbeheer. Toegang hier.
- Plato Gezondheid. Intelligentie op het gebied van biotech en klinische proeven. Toegang hier.
- Bron: https://aws.amazon.com/blogs/big-data/automate-legacy-etl-conversion-to-aws-glue-using-cognizant-data-and-intelligence-toolkit-cdit-etl-conversion-tool/
- : heeft
- :is
- :niet
- :waar
- 000
- 100
- 220
- 23
- 300
- a
- in staat
- versnellen
- versnellers
- nauwkeurigheid
- accuraat
- Bereiken
- bereikt
- verwerven
- acquisitie
- toevoeging
- Voordeel
- Na
- AI
- AIA
- Alles
- ook
- Hoewel
- Amazone
- Amazon EC2
- Amazon RDS
- Amazon Web Services
- an
- Analytisch
- analytics
- en
- elke
- Aanvraag
- Application Development
- nadering
- architectuur
- ZIJN
- reeks
- AS
- schatten
- beoordeling
- Associëren
- geassocieerd
- At
- automatiseren
- automaten
- webmaster.
- automatiseren
- Automatisering
- AWS
- AWS lijm
- gebaseerde
- BE
- vaardigheden
- betekent
- Betere
- tussen
- Blog
- zowel
- breaks
- Bringing
- bouw
- Gebouw
- bedrijfsdeskundigen
- ondernemingen
- maar
- by
- CAN
- mogelijkheden
- veroorzaakt
- klanten
- van nabij
- Cloud
- code
- cognizant
- komt
- commentaar
- Bedrijven
- afstand
- Voltooid
- compleet
- complex
- ingewikkeldheid
- Berekenen
- concept
- troosten
- construeren
- doorlopend
- Camper ombouw
- converteren
- geconverteerd
- het omzetten van
- Overeenkomend
- Kosten
- kritisch
- klant
- Klanten
- gegevens
- datawarehouse
- data warehouses
- Database
- levering
- gedemonstreerd
- beschrijven
- Design
- ontwerpen
- detail
- Bepalen
- Ontwikkeling
- Director
- besproken
- beneden
- effectief
- doeltreffend
- inspanning
- elimineert
- elimineren
- gebruik
- maakt
- eind tot eind
- engagement
- ontworpen
- verrijken
- voor ogen
- Gelijkwaardig
- fout
- fouten
- vastgoed
- Ether (ETH)
- Event
- voorbeeld
- uitvoeren
- bestaand
- ervaring
- expertise
- Verkennen
- omvang
- extract
- familie
- sneller
- Voordelen
- vergoedingen
- Figuur
- Dien in
- Bestanden
- Voornaam*
- vast
- Focus
- gericht
- volgend
- volgt
- Voor
- formuleren
- Naar voren
- oppompen van
- functies
- voortbrengen
- genereert
- het genereren van
- Globaal
- Doelen
- Hebben
- met
- he
- hulp
- geholpen
- helpt
- Hoge
- highlights
- Hoe
- How To
- http
- HTTPS
- menselijk
- IAM
- Identiteit
- if
- illustreert
- uitvoeren
- uitvoering
- implementaties
- in
- Infrastructuur
- initiatief
- innovatieve
- invoer
- ingangen
- verzekering
- integratie
- Intelligentie
- Interface
- intern
- inwendig
- in
- intuïtief
- betrokken zijn
- problemen
- IT
- HAAR
- Jobomschrijving:
- Vacatures
- Journeys
- jpg
- json
- sleutel
- Soort
- Groot
- grootschalig
- tot slot
- laatste
- leiden
- leider
- LEARN
- Nalatenschap
- Laten we
- leveraging
- Licenties
- als
- lijnen
- laden
- logisch
- langer
- Kijk
- lot
- houdt
- Hoofd
- management
- handboek
- handmatig
- veel
- in kaart brengen
- Markt
- mechanismen
- Metadata
- trekken
- migreren
- migratie
- model
- modernisering
- Grensverkeer
- meer
- veel
- meervoudig
- inheemse
- noodzaak
- nodig
- New
- Nieuwe technologieën
- volgende
- geen
- aantal
- of
- bieden
- Aanbod
- on
- EEN
- Slechts
- operationele
- Keuze
- or
- orkestratie
- bestellen
- uit
- resultaten
- uitgang
- over
- totaal
- deel
- partner
- partners
- innovatief
- Patronen
- patronen
- percentage
- uitvoeren
- centraal
- plaats
- gepland
- planning
- platform
- Plato
- Plato gegevensintelligentie
- PlatoData
- gespeeld
- speelt
- dan
- PoC
- Post
- potentieel
- premier
- in de eerste plaats
- processen
- verwerking
- Programma's
- Voortgang
- project
- projecten
- bewijs
- proof of concept voor
- voorgestelde
- het verstrekken van
- Python
- snel
- bereiken
- verminderen
- verslag
- bewaarplaats
- respectievelijk
- resultaat
- verkregen
- herschrijven
- Risico
- Rol
- lopen
- Bespaar
- gered
- besparing
- Scala
- schaalbare
- omvang
- script
- scripts
- naadloos
- veiligheid
- gezien
- selecteren
- senior
- Diensten
- reeks
- verscheidene
- verschuiving
- showcase
- getoond
- Shows
- gelijk
- Eenvoudig
- single
- So
- oplossing
- Oplossingen
- bron
- Tussenruimte
- een toonaangevende rol
- Uitgaven
- begin
- Stap voor
- Stappen
- mediaopslag
- opgeslagen
- strategisch
- strategieën
- Strategie
- Studie
- succes
- geslaagd
- Met goed gevolg
- dergelijk
- ondersteuning
- ondersteunde
- steunen
- Nemen
- doelwit
- Technologies
- Technologie
- neem contact
- dat
- De
- De Bron
- hun
- Ze
- harte
- Deze
- dit
- Door
- rij
- niet de tijd of
- naar
- tools
- toolkit
- tools
- in de richting van
- traditioneel
- Transformeren
- transformaties
- ui
- begrijpen
- geüpload
- Uploaden
- .
- gebruikt
- Gebruiker
- User Interface
- toepassingen
- gebruik
- BEVESTIG
- bekeken
- gezocht
- Magazijn
- was
- we
- web
- webservices
- Wat
- wanneer
- welke
- breed
- Met
- zonder
- Mijn werk
- workflow
- workflows
- werkzaam
- Bedrijven
- XML
- jaar
- jaar
- u
- zephyrnet