Dette blogindlæg er skrevet sammen med Govind Mohan og Kausik Dhar fra Cognizant.
Migrering af lokale datavarehuse til skyen ses ikke længere som en mulighed, men en nødvendighed for virksomheder at spare omkostninger og drage fordel af, hvad den nyeste teknologi har at tilbyde. Selvom vi har set meget fokus på at migrere data fra ældre datavarehuse til skyen og flere værktøjer til at understøtte dette initiativ, er data kun en del af rejsen. Succesfuld migrering af ETL-processer (legacy extract, transform and load), der erhverver, beriger og transformerer dataene, spiller en nøglerolle i succesen med enhver end-to-end datavarehusmigrering til skyen.
Den traditionelle tilgang til manuelt at omskrive et stort antal ETL-processer til cloud-native teknologier som AWS Lim er tidskrævende og kan være tilbøjelig til menneskelige fejl. Cognizant Data & Intelligence Toolkit (CDIT) – ETL Conversion Tool automatiserer denne proces, hvilket bringer mere forudsigelighed og nøjagtighed ind, eliminerer risikoen forbundet med manuel konvertering og giver kunderne hurtigere time to market.
Cognizant er en AWS Premier Tier Services Partner med flere AWS-kompetencer. Med sin branchebaserede, rådgivende tilgang hjælper Cognizant kunder med at forestille sig, bygge og drive mere innovative og effektive virksomheder.
I dette indlæg beskriver vi, hvordan Cognizants Data & Intelligence Toolkit (CDIT) - ETL Conversion Tool kan hjælpe dig med automatisk at konvertere ældre ETL-kode til AWS Glue hurtigt og effektivt. Vi beskriver også de vigtigste involverede trin, de understøttede funktioner og deres fordele.
Løsningsoversigt
Cognizant Data & Intelligence Toolkit (CDIT): ETL Conversion Tool automatiserer konvertering af ETL pipelines og orkestreringskode fra ældre værktøjer til AWS Glue og AWS-trinfunktioner og eliminerer de manuelle processer, der er involveret i en kundes ETL cloud-migreringsrejse.
Den leveres med en intuitiv brugergrænseflade (UI). Du kan bruge disse acceleratorer ved at vælge kilde- og mål-ETL-værktøjet til konvertering og derefter uploade en XML-fil af ETL-tilknytningen, der skal konverteres som input.
Værktøjet understøtter også løbende overvågning af det overordnede fremskridt, og alarmeringsmekanismer er på plads i tilfælde af fejl, fejl eller driftsproblemer.
Cognizant Data & Intelligence Toolkit (CDIT): ETL Conversion Tool bruger internt mange native AWS-tjenester, som f.eks. Amazon Simple Storage Service (Amazon S3) og Amazon Relationel Database Service (Amazon RDS) til opbevaring og metadatastyring; Amazon Elastic Compute Cloud (Amazon EC2) og AWS Lambda til forarbejdning; amazoncloudwatch, AWS Key Management Service (AWS KMS), og AWS IAM Identity Center (efterfølger til AWS Single Sign-On) til overvågning og sikkerhed; og AWS CloudFormation til infrastrukturstyring. Følgende diagram illustrerer denne arkitektur.
Sådan bruges CDIT: ETL-konverteringsværktøj til ETL-migrering.
Cognizant Data & Intelligence Toolkit (CDIT): ETL Conversion Tool understøtter følgende ældre ETL-værktøjer som kilde og understøtter generering af tilsvarende AWS Glue ETL-scripts i både Python og Scala:
- computer
- DataStage
- SSIS
- Talent
Lad os se mere detaljeret på migreringstrinene.
Vurder den gamle ETL-proces
Cognizant Data & Intelligence Toolkit (CDIT): ETL Conversion Tool giver dig mulighed for i bulk at vurdere den potentielle automatiseringsprocent og kompleksitet af et sæt ETL-job og arbejdsgange, der er i mulighed for migrering til AWS Glue. Vurderingsmuligheden hjælper dig med at forstå, hvilken form for besparelse der kan opnås ved hjælp af Cognizant Data & Intelligence Toolkit (CDIT): ETL Conversion Tool, kompleksiteten af ETL-kortlægningerne og omfanget af nødvendig manuel konvertering, hvis nogen. Du kan uploade en enkelt ETL-kortlægning eller en mappe, der indeholder flere ETL-kortlægninger som input til vurdering og generere en vurderingsrapport, som vist i følgende figur.
Konverter ETL-koden til AWS Glue
For at konvertere ældre ETL-kode uploader du XML-filen for ETL-tilknytningen som input til værktøjet. Brugerinput gemmes i det interne metadatalager i værktøjet og Cognizant Data & Intelligence Toolkit (CDIT): ETL Conversion Tool parser disse XML-inputfiler og opdeler dem til en patenteret kanonisk model, som derefter videreudvikles i mål-AWS Glue scripts i Python eller Scala. Følgende skærmbillede viser et eksempel på Cognizant Data & Intelligence Toolkit (CDIT): ETL Conversion Tool GUI og Udgangskonsol rude.
Hvis en del af input-ETL-jobbet ikke kunne konverteres fuldstændigt til det tilsvarende AWS Glue-script, er det tagget mellem kommentarlinjer i outputtet, så det kan repareres manuelt.
Konverter arbejdsgangen til Trinfunktioner
Det næste logiske trin efter konvertering af de ældre ETL-job er at orkestrere kørslen af disse job i den logiske rækkefølge. Cognizant Data & Intelligence Toolkit (CDIT): ETL Conversion Tool lader dig automatisere konverteringen af lokale ETL-arbejdsgange ved at konvertere dem til tilsvarende Step Functions-arbejdsgange. Følgende figur illustrerer et eksempel på en Informatica-arbejdsgang.
Workflow-konvertering følger det samme mønster som ETL-kortlægningen. XML-filer til ETL-arbejdsgange uploades som input og Cognizant Data & Intelligence Toolkit (CDIT): ETL Conversion Tool det genererer den tilsvarende Step Functions JSON-fil baseret på input XML-fildata.
Fordele ved at bruge Cognizant Data & Intelligence Toolkit (CDIT): ETL Conversion Tool
Følgende er de vigtigste fordele ved at bruge Cognizant Data & Intelligence Toolkit (CDIT): ETL Conversion Tool til at automatisere ældre ETL-konvertering:
- Omkostningsreduktion – Du kan reducere den samlede migreringsindsats med så meget som 80 % ved at automatisere konverteringen af ETL og arbejdsgange til AWS Glue and Step Functions
- Bedre planlægning og implementering – Du kan vurdere ETL-omfanget og bestemme automatiseringsprocent, kompleksitet og ikke-understøttede mønstre før projektets start, hvilket resulterer i nøjagtige estimeringer og tidslinjer
- Fuldstændighed – Cognizant Data & Intelligence Toolkit (CDIT): ETL Conversion Tool tilbyder én løsning med understøttelse af flere ældre ETL-værktøjer som Informatica, DataStage, Talend og mere.
- Forbedret kundeoplevelse – Du kan opnå migreringsmål problemfrit uden fejl forårsaget af manuel konvertering og med høj automatiseringsprocent
Casestudie: Cognizant Data & Intelligence Toolkit (CDIT): ETL Conversion Tool foreslået implementering
Et stort USA-baseret forsikrings- og livrenteselskab ønskede at migrere deres gamle ETL-proces i Informatica til AWS Glue som en del af deres cloud-migreringsstrategi.
Som en del af dette engagement hjalp Cognizant kunden med at migrere deres Informatica-baserede dataindsamling og integration ETL-job og arbejdsgange til AWS. Et proof of concept (PoC) ved hjælp af Cognizant Data & Intelligence Toolkit (CDIT): ETL Conversion Tool blev færdiggjort først for at fremvise og validere automatiseringsmuligheder.
Cognizant Data & Intelligence Toolkit (CDIT): ETL Conversion Tool blev brugt til at automatisere konverteringen af over 300 Informatica-kortlægninger og arbejdsgange til henholdsvis tilsvarende AWS Glue-job og Step Functions-arbejdsgange. Som et resultat var kunden i stand til at migrere al ældre ETL-kode til AWS som planlagt og trække den gamle applikation tilbage.
Følgende er de vigtigste højdepunkter fra dette engagement:
- Migrering af over 300 ældre Informatica ETL-job til AWS Glue
- Automatiseret konvertering af over 6,000 transformationer fra legacy ETL til AWS Glue
- 85 % automatisering opnået ved hjælp af CDIT: ETL Conversion Tool
- Kunden sparede licensgebyrer og trak deres gamle ansøgning tilbage som planlagt
Konklusion
I dette indlæg diskuterede vi, hvordan migrering af ældre ETL-processer til skyen er afgørende for succesen af en cloud-migreringsrejse. Cognizant Data & Intelligence Toolkit (CDIT): ETL Conversion Tool giver dig mulighed for at udføre en vurdering af den eksisterende ETL-proces for at udlede kompleksitet og automatiseringsprocent for bedre estimering og planlægning. Vi diskuterede også ETL-teknologierne understøttet af Cognizant Data & Intelligence Toolkit (CDIT): ETL Conversion Tool og hvordan ETL-job kan konverteres til tilsvarende AWS Glue-scripts. Til sidst demonstrerede vi, hvordan man bruger eksisterende ETL-arbejdsgange til automatisk at generere tilsvarende Step Functions-orkestreringsjob.
For at lære mere, kontakt venligst Cognizant.
Om forfatterne
Deepak Singh er Senior Solutions Architect hos Amazon Web Services med 20+ års erfaring inden for data og AIA. Han nyder at arbejde med AWS-partnere og kunder om at bygge skalerbare analytiske løsninger til deres forretningsresultater. Når han ikke er på arbejde, elsker han at tilbringe tid med familien eller udforske nye teknologier inden for analyse og kunstig intelligens.
Piyush Patra er Partner Solutions Architect hos Amazon Web Services, hvor han støtter partnere med deres Analytics-rejser og er den globale leder for strategiske Data Estate Modernization og Migration partnerprogrammer.
Govind Mohan er Associate Director hos Cognizant med over 18 års erfaring inden for data- og analyserum, han har hjulpet med at designe og implementere adskillige storskala datamigrering, applikationsløft og -skift og ældre moderniseringsprojekter og arbejder tæt sammen med kunderne for at accelerere cloud-moderniseringsrejsen udnyttelse af Cognizant Data and Intelligence Toolkit (CDIT) platform.
Kausik Dhar er en teknologisk leder med mere end 23 års IT-erfaring – primært med fokus på Data & Analytics, Data Modernisering, Applikationsudvikling, Delivery Management og Solution Architecture. Han har spillet en central rolle i at vejlede kunder gennem design og eksekvering af data- og procesmigreringer i stor skala, foruden at stå i spidsen for succesrige cloudimplementeringer. Kausik besidder ekspertise i at formulere migrationsstrategier for komplekse programmer og dygtigt konstruere data lake/Lakehouse-arkitektur ved at anvende en bred vifte af værktøjer og teknologier.
- SEO Powered Content & PR Distribution. Bliv forstærket i dag.
- PlatoData.Network Vertical Generative Ai. Styrk dig selv. Adgang her.
- PlatoAiStream. Web3 intelligens. Viden forstærket. Adgang her.
- PlatoESG. Kulstof, CleanTech, Energi, Miljø, Solenergi, Affaldshåndtering. Adgang her.
- PlatoHealth. Bioteknologiske og kliniske forsøgs intelligens. Adgang her.
- Kilde: https://aws.amazon.com/blogs/big-data/automate-legacy-etl-conversion-to-aws-glue-using-cognizant-data-and-intelligence-toolkit-cdit-etl-conversion-tool/
- :har
- :er
- :ikke
- :hvor
- 000
- 100
- 220
- 23
- 300
- a
- I stand
- accelererende
- acceleratorer
- nøjagtighed
- præcis
- opnå
- opnået
- erhverve
- erhvervelse
- Desuden
- Fordel
- Efter
- AI
- AIA
- Alle
- også
- Skønt
- Amazon
- Amazon EC2
- Amazon RDS
- Amazon Web Services
- an
- Analytisk
- analytics
- ,
- enhver
- Anvendelse
- Application Development
- tilgang
- arkitektur
- ER
- Array
- AS
- vurdere
- vurdering
- Associate
- forbundet
- At
- automatisere
- automater
- automatisk
- Automatisering
- Automation
- AWS
- AWS Lim
- baseret
- BE
- før
- fordele
- Bedre
- mellem
- Blog
- både
- pauser
- Bringe
- bygge
- Bygning
- virksomhed
- virksomheder
- men
- by
- CAN
- kapaciteter
- forårsagede
- kunder
- nøje
- Cloud
- kode
- bevidste
- kommer
- KOMMENTAR
- Virksomheder
- selskab
- Afsluttet
- fuldstændig
- komplekse
- kompleksitet
- Compute
- Konceptet
- Konsol
- konstruere
- kontinuerlig
- Konvertering
- konvertere
- konverteret
- konvertering af
- Tilsvarende
- Koste
- kritisk
- kunde
- Kunder
- data
- datalager
- datavarehuse
- Database
- levering
- demonstreret
- beskrive
- Design
- designe
- detail
- Bestem
- Udvikling
- Direktør
- drøftet
- ned
- effektivt
- effektiv
- indsats
- eliminerer
- eliminere
- anvendelse
- muliggør
- ende til ende
- engagement
- manipuleret
- berige
- envision
- Ækvivalent
- fejl
- fejl
- ejendom
- Ether (ETH)
- begivenhed
- eksempel
- udførelse
- eksisterende
- erfaring
- ekspertise
- Udforskning
- udstrækning
- ekstrakt
- familie
- hurtigere
- Funktionalitet
- Gebyrer
- Figur
- File (Felt)
- Filer
- Fornavn
- fast
- Fokus
- fokuserede
- efter
- følger
- Til
- formulering
- Videresend
- fra
- funktioner
- generere
- genererer
- generere
- Global
- Mål
- Have
- have
- he
- hjælpe
- hjulpet
- hjælper
- Høj
- højdepunkter
- Hvordan
- How To
- http
- HTTPS
- menneskelig
- IAM
- Identity
- if
- illustrerer
- gennemføre
- implementering
- implementeringer
- in
- Infrastruktur
- initiativ
- innovativ
- indgang
- indgange
- forsikring
- integration
- Intelligens
- grænseflade
- interne
- internt
- ind
- intuitiv
- involverede
- spørgsmål
- IT
- ITS
- Job
- Karriere
- rejse
- Journeys
- jpg
- json
- Nøgle
- Venlig
- stor
- storstilet
- endelig
- seneste
- føre
- leder
- LÆR
- Legacy
- Lets
- løftestang
- Licenser
- ligesom
- linjer
- belastning
- logisk
- længere
- Se
- Lot
- elsker
- Main
- ledelse
- manuel
- manuelt
- mange
- kortlægning
- Marked
- mekanismer
- Metadata
- migrere
- migrere
- migration
- model
- modernisering
- overvågning
- mere
- meget
- flere
- indfødte
- nødvendighed
- behov
- Ny
- Nye teknologier
- næste
- ingen
- nummer
- of
- tilbyde
- Tilbud
- on
- ONE
- kun
- operationelle
- Option
- or
- orkestrering
- ordrer
- ud
- udfald
- output
- i løbet af
- samlet
- del
- partner
- partnere
- patenteret
- Mønster
- mønstre
- procentdel
- udføre
- afgørende
- Place
- planlagt
- planlægning
- perron
- plato
- Platon Data Intelligence
- PlatoData
- spillet
- spiller
- Vær venlig
- PoC
- Indlæg
- potentiale
- premier
- primært
- behandle
- Processer
- forarbejdning
- Programmer
- Progress
- projekt
- projekter
- bevis
- Bevis for koncept
- foreslog
- leverer
- Python
- hurtigt
- nå
- reducere
- indberette
- Repository
- henholdsvis
- resultere
- resulterer
- omskrivning
- Risiko
- roller
- Kør
- Gem
- gemt
- besparelse
- Scala
- skalerbar
- rækkevidde
- script
- scripts
- problemfrit
- sikkerhed
- set
- udvælgelse
- senior
- Tjenester
- sæt
- flere
- skifte
- udstillingsvindue
- vist
- Shows
- lignende
- Simpelt
- enkelt
- So
- løsninger
- Løsninger
- Kilde
- Space
- spydspids
- udgifterne
- starte
- Trin
- Steps
- opbevaring
- opbevaret
- Strategisk
- strategier
- Strategi
- Studere
- succes
- vellykket
- Succesfuld
- sådan
- support
- Understøttet
- Understøtter
- Tag
- mål
- Teknologier
- Teknologier
- end
- at
- The Source
- deres
- Them
- derefter
- Disse
- denne
- Gennem
- tier
- tid
- til
- værktøj
- toolkit
- værktøjer
- mod
- traditionelle
- Transform
- transformationer
- ui
- forstå
- uploadet
- Uploading
- brug
- anvendte
- Bruger
- Brugergrænseflade
- bruger
- ved brug af
- VALIDATE
- set
- ønskede
- Warehouse
- var
- we
- web
- webservices
- Hvad
- hvornår
- som
- bred
- med
- uden
- Arbejde
- workflow
- arbejdsgange
- arbejder
- virker
- XML
- år
- år
- dig
- zephyrnet