Det här blogginlägget är skrivet tillsammans med Govind Mohan och Kausik Dhar från Cognizant.
Att migrera lokala datalager till molnet ses inte längre som ett alternativ utan en nödvändighet för företag att spara kostnader och dra nytta av vad den senaste tekniken har att erbjuda. Även om vi har sett mycket fokus på att migrera data från äldre datalager till molnet och flera verktyg för att stödja detta initiativ, är data bara en del av resan. Framgångsrik migrering av äldre extrahera, transformera och ladda (ETL) processer som förvärvar, berikar och transformerar data spelar en nyckelroll för framgången för all datalagermigrering till molnet.
Den traditionella metoden att manuellt skriva om ett stort antal ETL-processer till molnbaserade teknologier som AWS-lim är tidskrävande och kan vara utsatt för mänskliga fel. Cognizant Data & Intelligence Toolkit (CDIT) – ETL Conversion Tool automatiserar denna process, ger mer förutsägbarhet och noggrannhet, eliminerar risken förknippad med manuell konvertering och ger kunderna snabbare tid till marknaden.
Cognizant är en AWS Premier Tier Services Partner med flera AWS-kompetenser. Med sitt branschbaserade, konsultativa tillvägagångssätt hjälper Cognizant kunder att föreställa sig, bygga och driva mer innovativa och effektiva företag.
I det här inlägget beskriver vi hur Cognizants Data & Intelligence Toolkit (CDIT) - ETL Conversion Tool kan hjälpa dig att automatiskt konvertera äldre ETL-kod till AWS Glue snabbt och effektivt. Vi beskriver också de viktigaste stegen, de funktioner som stöds och deras fördelar.
Lösningsöversikt
Cognizant Data & Intelligence Toolkit (CDIT): ETL Conversion Tool automatiserar konvertering av ETL-pipelines och orkestreringskod från äldre verktyg till AWS Glue och AWS stegfunktioner och eliminerar de manuella processer som ingår i en kunds ETL-molnmigreringsresa.
Den levereras med ett intuitivt användargränssnitt (UI). Du kan använda dessa acceleratorer genom att välja käll- och mål-ETL-verktyget för konvertering och sedan ladda upp en XML-fil av ETL-mappningen som ska konverteras som indata.
Verktyget stöder också kontinuerlig övervakning av de övergripande framstegen, och varningsmekanismer finns på plats i händelse av fel, fel eller driftsproblem.
Cognizant Data & Intelligence Toolkit (CDIT): ETL Conversion Tool använder internt många inbyggda AWS-tjänster, som t.ex. Amazon enkel lagringstjänst (Amazon S3) och Amazon Relational Databas Service (Amazon RDS) för lagring och metadatahantering; Amazon Elastic Compute Cloud (Amazon EC2) och AWS Lambda för bearbetning; amazoncloudwatch, AWS nyckelhanteringstjänst (AWS KMS), och Aws iam identitetscenter (efterträdare till AWS Single Sign-On) för övervakning och säkerhet; och AWS molnformation för infrastrukturförvaltning. Följande diagram illustrerar denna arkitektur.
Hur man använder CDIT: ETL Conversion Tool för ETL-migrering.
Cognizant Data & Intelligence Toolkit (CDIT): ETL Conversion Tool stöder följande äldre ETL-verktyg som källa och stöder generering av motsvarande AWS Glue ETL-skript i både Python och Scala:
- Informatik
- DataStage
- SSIS
- Talang
Låt oss titta på migreringsstegen mer i detalj.
Bedöm den äldre ETL-processen
Cognizant Data & Intelligence Toolkit (CDIT): ETL Conversion Tool gör det möjligt för dig att i bulk bedöma den potentiella automatiseringsprocenten och komplexiteten för en uppsättning ETL-jobb och arbetsflöden som är i utrymme för migrering till AWS Glue. Bedömningsalternativet hjälper dig att förstå vilken typ av besparing som kan uppnås med Cognizant Data & Intelligence Toolkit (CDIT): ETL Conversion Tool, komplexiteten i ETL-mappningarna och omfattningen av manuell konvertering som behövs, om någon. Du kan ladda upp en enda ETL-mappning eller en mapp som innehåller flera ETL-mappningar som indata för bedömning och generera en bedömningsrapport, som visas i följande figur.
Konvertera ETL-koden till AWS Glue
För att konvertera äldre ETL-kod laddar du upp XML-filen för ETL-mappningen som indata till verktyget. Användarinmatningar lagras i verktygets interna metadatalager och Cognizant Data & Intelligence Toolkit (CDIT): ETL Conversion Tool analyserar dessa XML-indatafiler och bryter ner dem till en patenterad kanonisk modell, som sedan vidarekonstrueras i mål AWS Glue skript i Python eller Scala. Följande skärmdump visar ett exempel på Cognizant Data & Intelligence Toolkit (CDIT): ETL Conversion Tool GUI och Utgångskonsol rutan.
Om någon del av indata-ETL-jobbet inte kunde konverteras helt till motsvarande AWS Glue-skript, taggas det mellan kommentarsrader i utdata så att det kan fixas manuellt.
Konvertera arbetsflödet till Stegfunktioner
Nästa logiska steg efter att ha konverterat de äldre ETL-jobben är att orkestrera körningen av dessa jobb i den logiska ordningen. Cognizant Data & Intelligence Toolkit (CDIT): ETL Conversion Tool låter dig automatisera konverteringen av lokala ETL-arbetsflöden genom att konvertera dem till motsvarande Step Functions-arbetsflöden. Följande figur illustrerar ett exempel på ett Informatica-arbetsflöde.
Arbetsflödeskonvertering följer samma mönster som ETL-mappningen. XML-filer för ETL-arbetsflöden laddas upp som indata och Cognizant Data & Intelligence Toolkit (CDIT): ETL Conversion Tool det genererar motsvarande Step Functions JSON-fil baserat på XML-filens indata.
Fördelar med att använda Cognizant Data & Intelligence Toolkit (CDIT): ETL Conversion Tool
Följande är de viktigaste fördelarna med att använda Cognizant Data & Intelligence Toolkit (CDIT): ETL Conversion Tool för att automatisera äldre ETL-konvertering:
- Kostnadsminskning – Du kan minska den totala migreringsansträngningen med så mycket som 80 % genom att automatisera konverteringen av ETL och arbetsflöden till AWS Glue and Step Functions
- Bättre planering och genomförande – Du kan bedöma ETL-omfattningen och bestämma automatiseringsprocent, komplexitet och mönster som inte stöds innan projektet startar, vilket resulterar i exakta uppskattningar och tidslinjer
- Fullständighet – Cognizant Data & Intelligence Toolkit (CDIT): ETL Conversion Tool erbjuder en lösning med stöd för flera äldre ETL-verktyg som Informatica, DataStage, Talend och mer.
- Förbättrad kundupplevelse – Du kan uppnå migreringsmål sömlöst utan fel orsakade av manuell konvertering och med hög automatiseringsprocent
Fallstudie: Cognizant Data & Intelligence Toolkit (CDIT): ETL Conversion Tool föreslagen implementering
Ett stort USA-baserat försäkrings- och livräntabolag ville migrera sin äldre ETL-process i Informatica till AWS Glue som en del av sin molnmigreringsstrategi.
Som en del av detta engagemang hjälpte Cognizant kunden att framgångsrikt migrera deras Informatica-baserade datainsamling och integration ETL-jobb och arbetsflöden till AWS. Ett proof of concept (PoC) med hjälp av Cognizant Data & Intelligence Toolkit (CDIT): ETL Conversion Tool färdigställdes först för att visa upp och validera automatiseringsmöjligheter.
Cognizant Data & Intelligence Toolkit (CDIT): ETL Conversion Tool användes för att automatisera konverteringen av över 300 Informatica-mappningar och arbetsflöden till motsvarande AWS Glue-jobb respektive Step Functions-arbetsflöden. Som ett resultat kunde kunden migrera all äldre ETL-kod till AWS som planerat och dra tillbaka den äldre applikationen.
Följande är viktiga höjdpunkter från detta engagemang:
- Migrering av över 300 äldre Informatica ETL-jobb till AWS Glue
- Automatiserad konvertering av över 6,000 XNUMX transformationer från äldre ETL till AWS Glue
- 85 % automatisering uppnås med CDIT: ETL Conversion Tool
- Kunden sparade licensavgifter och drog tillbaka sin äldre applikation som planerat
Slutsats
I det här inlägget diskuterade vi hur migrering av äldre ETL-processer till molnet är avgörande för framgången för en molnmigreringsresa. Cognizant Data & Intelligence Toolkit (CDIT): ETL Conversion Tool gör att du kan utföra en bedömning av den befintliga ETL-processen för att härleda komplexitet och automatiseringsprocent för bättre uppskattning och planering. Vi diskuterade också ETL-teknikerna som stöds av Cognizant Data & Intelligence Toolkit (CDIT): ETL Conversion Tool och hur ETL-jobb kan konverteras till motsvarande AWS Glue-skript. Slutligen visade vi hur man använder befintliga ETL-arbetsflöden för att automatiskt generera motsvarande Step Functions-orkestreringsjobb.
Kontakta Cognizant om du vill veta mer.
Om författarna
Deepak Singh är senior lösningsarkitekt på Amazon Web Services med 20+ års erfarenhet av data och AIA. Han tycker om att arbeta med AWS-partners och kunder för att bygga skalbara analytiska lösningar för deras affärsresultat. När han inte är på jobbet älskar han att umgås med familjen eller utforska ny teknik inom analys och AI-utrymme.
Piyush Patra är en Partner Solutions Architect på Amazon Web Services där han stöttar partners med deras Analytics-resor och är den globala ledaren för strategiska Data Estate Modernization och Migration partnerprogram.
Govind Mohan är en Associate Director med Cognizant med över 18 års erfarenhet inom data- och analysutrymme, han har hjälpt till att designa och implementera flera storskaliga datamigreringsprojekt, applikationslyft och -skift och äldre moderniseringsprojekt och arbetar nära kunderna för att påskynda molnmoderniseringsresan utnyttja plattformen Cognizant Data and Intelligence Toolkit (CDIT).
Kausik Dhar är en teknikledare med mer än 23 års IT-erfarenhet – främst inriktad på data och analys, datamodernisering, applikationsutveckling, leveranshantering och lösningsarkitektur. Han har spelat en avgörande roll i att vägleda kunder genom att designa och utföra storskaliga data- och processmigreringar, förutom att leda framgångsrika molnimplementeringar. Kausik besitter expertis i att formulera migrationsstrategier för komplexa program och skickligt konstruera data lake/Lakehouse-arkitektur med användning av ett brett utbud av verktyg och teknologier.
- SEO-drivet innehåll och PR-distribution. Bli förstärkt idag.
- PlatoData.Network Vertical Generative Ai. Styrka dig själv. Tillgång här.
- PlatoAiStream. Web3 Intelligence. Kunskap förstärkt. Tillgång här.
- Platoesg. Kol, CleanTech, Energi, Miljö, Sol, Avfallshantering. Tillgång här.
- PlatoHealth. Biotech och kliniska prövningar Intelligence. Tillgång här.
- Källa: https://aws.amazon.com/blogs/big-data/automate-legacy-etl-conversion-to-aws-glue-using-cognizant-data-and-intelligence-toolkit-cdit-etl-conversion-tool/
- : har
- :är
- :inte
- :var
- 000
- 100
- 220
- 23
- 300
- a
- Able
- accelererande
- acceleratorer
- noggrannhet
- exakt
- Uppnå
- uppnås
- förvärva
- förvärv
- Dessutom
- Fördel
- Efter
- AI
- AIA
- Alla
- också
- Även
- amason
- Amazon EC2
- Amazon RDS
- Amazon Web Services
- an
- Analytisk
- analytics
- och
- vilken som helst
- Ansökan
- Application Development
- tillvägagångssätt
- arkitektur
- ÄR
- array
- AS
- bedöma
- bedömning
- Associate
- associerad
- At
- automatisera
- automatiserar
- automatiskt
- automatisera
- Automation
- AWS
- AWS-lim
- baserat
- BE
- innan
- Fördelarna
- Bättre
- mellan
- Blogg
- båda
- raster
- Föra
- SLUTRESULTAT
- Byggnad
- företag
- företag
- men
- by
- KAN
- kapacitet
- orsakas
- klienter
- nära
- cloud
- koda
- cognizant
- kommer
- kommentar
- Företag
- företag
- Avslutade
- fullständigt
- komplex
- Komplexiteten
- Compute
- begrepp
- Konsol
- konstruera
- kontinuerlig
- Konvertering
- konvertera
- konverterad
- omvandling
- Motsvarande
- Pris
- kritisk
- kund
- Kunder
- datum
- datalagret
- datalager
- Databas
- leverans
- demonstreras
- beskriva
- Designa
- design
- detalj
- Bestämma
- Utveckling
- Direktör
- diskuteras
- ner
- effektivt
- effektiv
- ansträngning
- eliminerar
- eliminera
- utnyttjande
- möjliggör
- början till slut
- ingrepp
- engineered
- berika
- envision
- Motsvarande
- fel
- fel
- fastigheter
- Eter (ETH)
- händelse
- exempel
- exekvera
- befintliga
- erfarenhet
- expertis
- Utforska
- utsträckning
- extrahera
- familj
- snabbare
- Funktioner
- avgifter
- Figur
- Fil
- Filer
- Förnamn
- fixerad
- Fokus
- fokuserade
- efter
- följer
- För
- formulering
- Framåt
- från
- funktioner
- generera
- genererar
- generera
- Välgörenhet
- Mål
- Har
- har
- he
- hjälpa
- hjälpte
- hjälper
- Hög
- höjdpunkter
- Hur ser din drömresa ut
- How To
- http
- HTTPS
- humant
- IAM
- Identitet
- if
- illustrerar
- genomföra
- genomförande
- implementeringar
- in
- Infrastruktur
- Initiativ
- innovativa
- ingång
- ingångar
- försäkring
- integrering
- Intelligens
- Gränssnitt
- inre
- invändigt
- in
- intuitiv
- involverade
- problem
- IT
- DESS
- Jobb
- Lediga jobb
- resa
- Journeys
- jpg
- json
- Nyckel
- Snäll
- Large
- storskalig
- slutligen
- senaste
- leda
- ledare
- LÄRA SIG
- Legacy
- Lets
- hävstångs
- Licens
- tycka om
- rader
- läsa in
- logisk
- längre
- se
- Lot
- älskar
- Huvudsida
- ledning
- manuell
- manuellt
- många
- kartläggning
- marknad
- mekanismer
- metadata
- migrera
- migrerande
- migration
- modell
- modernisering
- övervakning
- mer
- mycket
- multipel
- nativ
- nödvändighet
- behövs
- Nya
- Ny teknik
- Nästa
- Nej
- antal
- of
- erbjudanden
- Erbjudanden
- on
- ONE
- endast
- operativa
- Alternativet
- or
- orkestrering
- beställa
- ut
- utfall
- produktion
- över
- övergripande
- del
- partnern
- partner
- patenterad
- Mönster
- mönster
- procentuell
- utföra
- svängbara
- Plats
- planeras
- planering
- plattform
- plato
- Platon Data Intelligence
- PlatonData
- spelat
- spelar
- snälla du
- PoC
- Inlägg
- potentiell
- Premier
- primärt
- process
- processer
- bearbetning
- Program
- Framsteg
- projektet
- projekt
- bevis
- bevis på koncept
- föreslagen
- tillhandahålla
- Python
- snabbt
- nå
- minska
- rapport
- Repository
- respektive
- resultera
- resulterande
- omskrivning
- Risk
- Roll
- Körning
- Save
- sparade
- sparande
- Skala
- skalbar
- omfattning
- skript
- skript
- sömlöst
- säkerhet
- sett
- väljer
- senior
- Tjänster
- in
- flera
- skifta
- visa
- visas
- Visar
- liknande
- Enkelt
- enda
- So
- lösning
- Lösningar
- Källa
- Utrymme
- spetsen
- Spendera
- starta
- Steg
- Steg
- förvaring
- lagras
- Strategisk
- strategier
- Strategi
- Läsa på
- framgång
- framgångsrik
- Framgångsrikt
- sådana
- stödja
- Som stöds
- Stöder
- Ta
- Målet
- Tekniken
- Teknologi
- än
- den där
- Smakämnen
- källan
- deras
- Dem
- sedan
- Dessa
- detta
- Genom
- djur
- tid
- till
- verktyg
- toolkit
- verktyg
- mot
- traditionell
- Förvandla
- transformationer
- ui
- förstå
- uppladdad
- uppladdning
- användning
- Begagnade
- Användare
- Användargränssnitt
- användningar
- med hjälp av
- BEKRÄFTA
- ses
- ville
- Warehouse
- var
- we
- webb
- webbservice
- Vad
- när
- som
- bred
- med
- utan
- Arbete
- arbetsflöde
- arbetsflöden
- arbetssätt
- fungerar
- XML
- år
- år
- dig
- zephyrnet