Această postare pe blog este scrisă împreună cu Govind Mohan și Kausik Dhar de la Cognizant.
Migrarea depozitelor de date on-premise la cloud nu mai este privită ca o opțiune, ci o necesitate pentru companii pentru a economisi costuri și pentru a profita de ceea ce are de oferit cea mai recentă tehnologie. Deși am observat o mare atenție către migrarea datelor din depozitele de date vechi în cloud și mai multe instrumente pentru a sprijini această inițiativă, datele sunt doar o parte a călătoriei. Migrarea cu succes a proceselor moștenite de extragere, transformare și încărcare (ETL) care achiziționează, îmbogățesc și transformă datele joacă un rol cheie în succesul oricărei migrări end-to-end de depozit de date către cloud.
Abordarea tradițională de rescrie manuală a unui număr mare de procese ETL în tehnologiile cloud-native precum AWS Adeziv este consumator de timp și poate fi predispus la erori umane. Cognizant Data & Intelligence Toolkit (CDIT) – Instrumentul de conversie ETL automatizează acest proces, aducând mai multă predictibilitate și acuratețe, eliminând riscul asociat conversiei manuale și oferind clienților un timp mai rapid de lansare pe piață.
Știutor este o Partener AWS Premier Tier Services cu mai multe competențe AWS. Cu abordarea consultativă bazată pe industrie, Cognizant îi ajută pe clienți să-și imagineze, să construiască și să conducă afaceri mai inovatoare și mai eficiente.
În această postare, descriem modul în care Cognizant’s Data & Intelligence Toolkit (CDIT) – Instrumentul de conversie ETL vă poate ajuta să convertiți automat codul ETL vechi în AWS Glue rapid și eficient. De asemenea, descriem pașii principali implicați, caracteristicile acceptate și beneficiile acestora.
Prezentare generală a soluțiilor
Cognizant Data & Intelligence Toolkit (CDIT): Instrumentul de conversie ETL automatizează conversia conductelor ETL și a codului de orchestrare din instrumentele vechi la AWS Glue și Funcții pas AWS și elimină procesele manuale implicate în călătoria de migrare în cloud ETL a unui client.
Vine cu o interfață de utilizator intuitivă (UI). Puteți utiliza aceste acceleratoare selectând instrumentul ETL sursă și țintă pentru conversie și apoi încărcând un fișier XML al maparii ETL care urmează să fie convertit ca intrare.
Instrumentul sprijină, de asemenea, monitorizarea continuă a progresului general, iar mecanismele de alertă sunt în vigoare în cazul oricăror defecțiuni, erori sau probleme operaționale.
Cognizant Data & Intelligence Toolkit (CDIT): Instrumentul de conversie ETL utilizează intern multe servicii AWS native, cum ar fi Serviciul Amazon de stocare simplă (Amazon S3) și Serviciul de baze de date relaționale Amazon (Amazon RDS) pentru stocare și gestionarea metadatelor; Cloud Elastic de calcul Amazon (Amazon EC2) și AWS Lambdas pentru procesare; Amazon CloudWatch, AWS Service Management Service (AWS KMS) și Centrul de identitate AWS IAM (succesorul AWS Single Sign-On) pentru monitorizare și securitate; și Formarea AWS Cloud pentru managementul infrastructurii. Următoarea diagramă ilustrează această arhitectură.
Cum se utilizează CDIT: Instrumentul de conversie ETL pentru migrarea ETL.
Cognizant Data & Intelligence Toolkit (CDIT): Instrumentul de conversie ETL acceptă următoarele instrumente ETL vechi ca sursă și acceptă generarea de scripturi ETL AWS Glue corespunzătoare atât în Python, cât și în Scala:
- Informatică
- DataStage
- SSIS
- Talend
Să ne uităm la pașii de migrare mai detaliat.
Evaluați procesul ETL moștenit
Cognizant Data & Intelligence Toolkit (CDIT): Instrumentul de conversie ETL vă permite să evaluați în bloc procentul potențial de automatizare și complexitatea unui set de joburi și fluxuri de lucru ETL care sunt în domeniul de aplicare pentru migrarea la AWS Glue. Opțiunea de evaluare vă ajută să înțelegeți ce fel de economisire poate fi realizată folosind Cognizant Data & Intelligence Toolkit (CDIT): Instrumentul de conversie ETL, complexitatea mapărilor ETL și gradul de conversie manuală necesară, dacă este cazul. Puteți încărca o singură mapare ETL sau un folder care conține mai multe mapări ETL ca intrare pentru evaluare și puteți genera un raport de evaluare, așa cum se arată în figura următoare.
Convertiți codul ETL în AWS Glue
Pentru a converti codul ETL vechi, încărcați fișierul XML al mapării ETL ca intrare în instrument. Intrările utilizatorului sunt stocate în depozitul intern de metadate al instrumentului și Cognizant Data & Intelligence Toolkit (CDIT): Instrumentul de conversie ETL analizează aceste fișiere de intrare XML și le descompune într-un model canonic patentat, care este apoi proiectat în AWS Glue țintă. scripturi în Python sau Scala. Următoarea captură de ecran arată un exemplu de Cognizant Data & Intelligence Toolkit (CDIT): ETL Conversion Tool GUI și Consola de ieșire panoul.
Dacă orice parte a sarcinii ETL de intrare nu a putut fi convertită complet în scriptul AWS Glue echivalent, este etichetată între liniile de comentariu din rezultat, astfel încât să poată fi remediată manual.
Convertiți fluxul de lucru în Funcții pas
Următorul pas logic după convertirea joburilor ETL moștenite este orchestrarea rulării acestor joburi în ordinea logică. Cognizant Data & Intelligence Toolkit (CDIT): Instrumentul de conversie ETL vă permite să automatizați conversia fluxurilor de lucru ETL la nivel local, transformându-le în fluxurile de lucru Step Functions corespunzătoare. Următoarea figură ilustrează un exemplu de flux de lucru Informatica de intrare.
Conversia fluxului de lucru urmează modelul similar cu cel al mapării ETL. Fișierele XML pentru fluxurile de lucru ETL sunt încărcate ca intrare și Cognizant Data & Intelligence Toolkit (CDIT): Instrumentul de conversie ETL generează fișierul JSON Step Functions echivalent pe baza datelor din fișierul XML de intrare.
Beneficiile utilizării Cognizant Data & Intelligence Toolkit (CDIT): Instrumentul de conversie ETL
Următoarele sunt beneficiile cheie ale utilizării Cognizant Data & Intelligence Toolkit (CDIT): Instrumentul de conversie ETL pentru automatizarea conversiei ETL vechi:
- Reducerea costurilor – Puteți reduce efortul general de migrare cu până la 80% prin automatizarea conversiei ETL și a fluxurilor de lucru în AWS Glue și Funcții Step
- O mai bună planificare și implementare – Puteți evalua sfera ETL și puteți determina procentul de automatizare, complexitatea și modelele neacceptate înainte de începerea proiectului, rezultând o estimare precisă și calendare.
- deplinătate – Cognizant Data & Intelligence Toolkit (CDIT): Instrumentul de conversie ETL oferă o soluție cu suport pentru mai multe instrumente ETL vechi, cum ar fi Informatica, DataStage, Talend și multe altele.
- Experiență îmbunătățită a clienților – Puteți atinge obiectivele de migrare fără probleme, fără erori cauzate de conversia manuală și cu un procent ridicat de automatizare
Studiu de caz: Cognizant Data & Intelligence Toolkit (CDIT): implementarea propusă de ETL Conversion Tool
O mare companie de asigurări și anuități din SUA a dorit să-și migreze procesul ETL moștenit din Informatica la AWS Glue, ca parte a strategiei sale de migrare în cloud.
Ca parte a acestui angajament, Cognizant a ajutat clientul să-și migreze cu succes joburile și fluxurile de lucru ETL de achiziție și integrare de date bazate pe Informatica către AWS. O dovadă a conceptului (PoC) folosind Cognizant Data & Intelligence Toolkit (CDIT): Instrumentul de conversie ETL a fost finalizat mai întâi pentru a prezenta și valida capabilitățile de automatizare.
Cognizant Data & Intelligence Toolkit (CDIT): Instrumentul de conversie ETL a fost folosit pentru a automatiza conversia a peste 300 de mapări și fluxuri de lucru Informatica în joburi AWS Glue și, respectiv, fluxuri de lucru Step Functions echivalente. Drept urmare, clientul a putut să migreze tot codul ETL vechi la AWS conform planificării și să retragă aplicația moștenită.
Următoarele sunt punctele cheie din această angajament:
- Migrarea a peste 300 de joburi vechi Informatica ETL la AWS Glue
- Conversie automată a peste 6,000 de transformări de la ETL moștenit la AWS Glue
- Automatizare de 85% realizată folosind CDIT: Instrumentul de conversie ETL
- Clientul a economisit taxele de licență și și-a retras aplicația moștenită așa cum era planificat
Concluzie
În această postare, am discutat despre modul în care migrarea proceselor ETL moștenite în cloud este esențială pentru succesul unei călătorii de migrare în cloud. Cognizant Data & Intelligence Toolkit (CDIT): Instrumentul de conversie ETL vă permite să efectuați o evaluare a procesului ETL existent pentru a obține complexitatea și procentul de automatizare pentru o estimare și o planificare mai bune. Am discutat, de asemenea, despre tehnologiile ETL acceptate de Cognizant Data & Intelligence Toolkit (CDIT): Instrumentul de conversie ETL și despre modul în care joburile ETL pot fi convertite în scripturile AWS Glue corespunzătoare. În cele din urmă, am demonstrat cum să folosim fluxurile de lucru ETL existente pentru a genera automat joburile de orchestrare Step Functions corespunzătoare.
Pentru a afla mai multe, contactați Cognizant.
Despre Autori
Deepak Singh este arhitect senior de soluții la Amazon Web Services cu peste 20 de ani de experiență în date și AIA. Îi place să lucreze cu partenerii și clienții AWS la construirea de soluții analitice scalabile pentru rezultatele lor de afaceri. Când nu este la serviciu, îi place să petreacă timpul cu familia sau să exploreze noi tehnologii în spațiul de analiză și AI.
Piyush Patra este arhitect de soluții pentru parteneri la Amazon Web Services, unde sprijină partenerii în călătoriile lor Analytics și este liderul global pentru programele strategice pentru partenerii de migrare și modernizare a patrimoniului de date.
Govind Mohan este director asociat la Cognizant cu peste 18 ani de experiență în spațiul de date și analiză, el a ajutat la proiectarea și implementarea mai multor proiecte de migrare a datelor la scară largă, de lift & shift a aplicațiilor și de modernizare a moștenirii și lucrează îndeaproape cu clienții în accelerarea călătoriei de modernizare a cloud-ului. utilizând platforma Cognizant Data and Intelligence Toolkit (CDIT).
Kausik Dhar este un lider tehnologic cu mai mult de 23 de ani de experiență IT – concentrat în primul rând pe date și analize, modernizarea datelor, dezvoltarea aplicațiilor, managementul livrării și arhitectura soluțiilor. El a jucat un rol esențial în ghidarea clienților prin proiectarea și execuția migrațiilor pe scară largă a datelor și proceselor, pe lângă conducerea implementărilor de succes în cloud. Kausik deține experiență în formularea strategiilor de migrare pentru programe complexe și în construirea abil de arhitectură lac de date/Lakehouse, folosind o gamă largă de instrumente și tehnologii.
- Distribuție de conținut bazat pe SEO și PR. Amplifică-te astăzi.
- PlatoData.Network Vertical Generative Ai. Împuterniciți-vă. Accesați Aici.
- PlatoAiStream. Web3 Intelligence. Cunoștințe amplificate. Accesați Aici.
- PlatoESG. carbon, CleanTech, Energie, Mediu inconjurator, Solar, Managementul deșeurilor. Accesați Aici.
- PlatoHealth. Biotehnologie și Inteligență pentru studii clinice. Accesați Aici.
- Sursa: https://aws.amazon.com/blogs/big-data/automate-legacy-etl-conversion-to-aws-glue-using-cognizant-data-and-intelligence-toolkit-cdit-etl-conversion-tool/
- :are
- :este
- :nu
- :Unde
- 000
- 100
- 220
- 23
- 300
- a
- Capabil
- accelerarea
- acceleratoare
- precizie
- precis
- Obține
- realizat
- dobândi
- achiziție
- plus
- Avantaj
- După
- AI
- AIA
- TOATE
- de asemenea
- Cu toate ca
- Amazon
- Amazon EC2
- Amazon RDS
- Amazon Web Services
- an
- Analitic
- Google Analytics
- și
- Orice
- aplicație
- Dezvoltare de Aplicații
- abordare
- arhitectură
- SUNT
- Mulțime
- AS
- evalua
- evaluare
- Avocat Colaborator
- asociate
- At
- automatizarea
- automate
- în mod automat
- automatizarea
- Automatizare
- AWS
- AWS Adeziv
- bazat
- BE
- înainte
- Beneficiile
- Mai bine
- între
- Blog
- atât
- pauze
- Aducere
- construi
- Clădire
- afaceri
- întreprinderi
- dar
- by
- CAN
- capacități
- cauzată
- clientii
- îndeaproape
- Cloud
- cod
- știutor
- vine
- comentariu
- Companii
- companie
- Terminat
- complet
- complex
- complexitate
- Calcula
- concept
- Consoleze
- construirea
- continuu
- Convertire
- converti
- convertit
- de conversie a
- Corespunzător
- A costat
- critic
- client
- clienţii care
- de date
- depozit de date
- depozite de date
- Baza de date
- livrare
- demonstrat
- descrie
- Amenajări
- proiect
- detaliu
- Determina
- Dezvoltare
- Director
- discutat
- jos
- în mod eficient
- eficient
- efort
- elimină
- eliminarea
- angajarea
- permite
- un capăt la altul
- angajament
- inginerie
- îmbogăți
- imagina
- Echivalent
- eroare
- Erori
- bunuri
- Eter (ETH)
- eveniment
- exemplu
- executând
- existent
- experienţă
- expertiză
- Explorarea
- măsură
- extrage
- familie
- mai repede
- DESCRIERE
- Taxe
- Figura
- Fișier
- Fişiere
- First
- fixată
- Concentra
- concentrat
- următor
- urmează
- Pentru
- formulând
- Înainte
- din
- funcții
- genera
- generează
- generator
- Caritate
- Goluri
- Avea
- având în
- he
- ajutor
- a ajutat
- ajută
- Înalt
- highlights-uri
- Cum
- Cum Pentru a
- http
- HTTPS
- uman
- IAM
- Identitate
- if
- ilustrează
- punerea în aplicare a
- implementarea
- implementările
- in
- Infrastructură
- Inițiativă
- inovatoare
- intrare
- intrări
- asigurare
- integrare
- Inteligență
- interfaţă
- intern
- intern
- în
- intuitiv
- implicat
- probleme de
- IT
- ESTE
- Loc de munca
- Locuri de munca
- călătorie
- călătoriile
- jpg
- JSON
- Cheie
- Copil
- mare
- pe scară largă
- în cele din urmă
- Ultimele
- conduce
- lider
- AFLAȚI
- Moştenire
- Permite
- efectului de pârghie
- de licențiere
- ca
- linii
- încărca
- logic
- mai lung
- Uite
- Lot
- iubeste
- Principal
- administrare
- manual
- manual
- multe
- cartografiere
- Piață
- mecanisme
- Metadata
- migra
- Migrarea
- migrațiune
- model
- modernizare
- Monitorizarea
- mai mult
- mult
- multiplu
- nativ
- necesitate
- necesar
- Nou
- Noi tehnologii
- următor
- Nu.
- număr
- of
- oferi
- promoții
- on
- ONE
- afară
- operațional
- Opțiune
- or
- orchestrație
- comandă
- afară
- rezultate
- producție
- peste
- global
- parte
- partener
- parteneri
- patentat
- Model
- modele
- procent
- efectua
- pivot
- Loc
- planificat
- planificare
- platformă
- Plato
- Informații despre date Platon
- PlatoData
- a jucat
- joacă
- "vă rog"
- PoC
- Post
- potenţial
- premier
- în primul rând
- proces
- procese
- prelucrare
- Programe
- Progres
- proiect
- Proiecte
- dovadă
- dovada de concept
- propus
- furnizarea
- Piton
- repede
- ajunge
- reduce
- raportează
- depozit
- respectiv
- rezultat
- rezultând
- rescrierea
- Risc
- Rol
- Alerga
- Economisiți
- salvate
- economisire
- Scala
- scalabil
- domeniu
- scenariu
- script-uri
- perfect
- securitate
- văzut
- selectarea
- senior
- Servicii
- set
- câteva
- schimbare
- prezenta
- indicat
- Emisiuni
- asemănător
- simplu
- singur
- So
- soluţie
- soluţii
- Sursă
- Spaţiu
- varful de lance
- Cheltuire
- Începe
- Pas
- paşi
- depozitare
- stocate
- Strategic
- strategii
- Strategie
- Studiu
- succes
- de succes
- Reușit
- astfel de
- a sustine
- Suportat
- Sprijină
- Lua
- Ţintă
- Tehnologii
- Tehnologia
- decât
- acea
- Sursa
- lor
- Lor
- apoi
- Acestea
- acest
- Prin
- Nivelul
- timp
- la
- instrument
- Toolkit
- Unelte
- spre
- tradiţional
- Transforma
- transformări
- ui
- înţelege
- încărcat
- Se încarcă
- utilizare
- utilizat
- Utilizator
- User Interface
- utilizări
- folosind
- VALIDA
- vizualizate
- dorit
- Depozit
- a fost
- we
- web
- servicii web
- Ce
- cand
- care
- larg
- cu
- fără
- Apartamente
- flux de lucru
- fluxuri de lucru
- de lucru
- fabrică
- XML
- an
- ani
- tu
- zephyrnet