Ta objava v spletnem dnevniku je napisana skupaj z Govindom Mohanom in Kausikom Dharom iz Cognizanta.
Selitev lokalnih podatkovnih skladišč v oblak ni več obravnavana kot možnost, temveč kot nuja za podjetja, da prihranijo stroške in izkoristijo prednosti, ki jih ponuja najnovejša tehnologija. Čeprav smo opazili veliko osredotočenosti na selitev podatkov iz podedovanih podatkovnih skladišč v oblak in več orodij za podporo te pobude, so podatki le del poti. Uspešna selitev podedovanih procesov ekstrahiranja, preoblikovanja in nalaganja (ETL), ki pridobijo, obogatijo in preoblikujejo podatke, igra ključno vlogo pri uspehu katere koli migracije podatkovnega skladišča od konca do konca v oblak.
Tradicionalni pristop ročnega prepisovanja velikega števila procesov ETL v izvorne tehnologije v oblaku, kot je AWS lepilo je zamuden in je lahko nagnjen k človeški napaki. Cognizant Data & Intelligence Toolkit (CDIT) – orodje za pretvorbo ETL avtomatizira ta proces, prinaša več predvidljivosti in natančnosti, odpravlja tveganje, povezano z ročno pretvorbo, in strankam zagotavlja hitrejši čas do trga.
Spozna je AWS Premier Tier Services Partner z več kompetencami AWS. S svojim svetovalnim pristopom, ki temelji na industriji, Cognizant strankam pomaga zamisliti, zgraditi in voditi bolj inovativna in učinkovita podjetja.
V tej objavi opisujemo, kako vam lahko Cognizant's Data & Intelligence Toolkit (CDIT) - orodje za pretvorbo ETL pomaga hitro in učinkovito samodejno pretvoriti podedovano kodo ETL v AWS Glue. Opisujemo tudi glavne vključene korake, podprte funkcije in njihove prednosti.
Pregled rešitev
Cognizant Data & Intelligence Toolkit (CDIT): orodje za pretvorbo ETL avtomatizira pretvorbo cevovodov ETL in kode za orkestracijo iz podedovanih orodij v AWS Glue in Korak funkcije AWS in odpravlja ročne postopke, vključene v strankino migracijsko pot ETL v oblak.
Na voljo je z intuitivnim uporabniškim vmesnikom (UI). Te pospeševalnike lahko uporabite tako, da izberete izvorno in ciljno orodje ETL za pretvorbo in nato naložite datoteko XML preslikave ETL, ki jo želite pretvoriti kot vhod.
Orodje podpira tudi stalno spremljanje celotnega napredka, vzpostavljeni pa so tudi mehanizmi opozarjanja v primeru kakršnih koli okvar, napak ali težav pri delovanju.
Cognizant Data & Intelligence Toolkit (CDIT): orodje za pretvorbo ETL interno uporablja številne domače storitve AWS, kot je npr. Preprosta storitev shranjevanja Amazon (Amazon S3) in Služba za relacijske baze podatkov Amazon (Amazon RDS) za shranjevanje in upravljanje metapodatkov; Amazonski elastični računalniški oblak (Amazon EC2) in AWS Lambda za predelavo; amazoncloudwatch, AWS Service Key Management (AWS KMS) in AWS IAM Identity Center (naslednik AWS Single Sign-On) za nadzor in varnost; in Oblikovanje oblaka AWS za upravljanje infrastrukture. Naslednji diagram ponazarja to arhitekturo.
Kako uporabljati CDIT: orodje za pretvorbo ETL za migracijo ETL.
Cognizant Data & Intelligence Toolkit (CDIT): Orodje za pretvorbo ETL podpira naslednja podedovana orodja ETL kot vir in podpira generiranje ustreznih skriptov ETL AWS Glue v Pythonu in Scali:
- računalnik
- DataStage
- SSIS
- Talend
Oglejmo si korake selitve podrobneje.
Ocenite podedovani postopek ETL
Cognizant Data & Intelligence Toolkit (CDIT): Orodje za pretvorbo ETL vam omogoča, da v velikem obsegu ocenite potencialni odstotek avtomatizacije in kompleksnost nabora opravil ETL in delovnih tokov, ki so v obsegu za migracijo na AWS Glue. Možnost ocenjevanja vam pomaga razumeti, kakšne prihranke je mogoče doseči z uporabo Cognizant Data & Intelligence Toolkit (CDIT): orodje za pretvorbo ETL, kompleksnost preslikav ETL in obseg potrebne ročne pretvorbe, če sploh. Naložite lahko eno samo preslikavo ETL ali mapo, ki vsebuje več preslikav ETL, kot vhod za oceno in ustvarite poročilo o oceni, kot je prikazano na naslednji sliki.
Pretvorite kodo ETL v AWS Glue
Če želite pretvoriti podedovano kodo ETL, naložite datoteko XML preslikave ETL kot vhod v orodje. Uporabniški vnosi so shranjeni v notranjem repozitoriju metapodatkov orodja in Cognizant Data & Intelligence Toolkit (CDIT): Orodje za pretvorbo ETL razčleni te vhodne datoteke XML in jih razdeli na patentiran kanonični model, ki se nato naprej oblikuje v ciljno lepilo AWS skripte v Pythonu ali Scali. Naslednji posnetek zaslona prikazuje primer orodja Cognizant Data & Intelligence Toolkit (CDIT): ETL Conversion Tool GUI in Izhodna konzola okno.
Če katerega koli dela vhodnega opravila ETL ni bilo mogoče popolnoma pretvoriti v enakovreden skript AWS Glue, je označen med vrsticami komentarjev v izhodu, tako da ga je mogoče ročno popraviti.
Pretvorite potek dela v funkcije korakov
Naslednji logični korak po pretvorbi podedovanih opravil ETL je orkestracija izvajanja teh opravil v logičnem vrstnem redu. Cognizant Data & Intelligence Toolkit (CDIT): Orodje za pretvorbo ETL vam omogoča avtomatizacijo pretvorbe delovnih tokov ETL na mestu uporabe tako, da jih pretvorite v ustrezne delovne tokove funkcij korakov. Naslednja slika ponazarja vzorčni potek dela Informatica za vnos.
Pretvorba poteka dela sledi podobnemu vzorcu kot preslikava ETL. Datoteke XML za poteke dela ETL so naložene kot vhod in Cognizant Data & Intelligence Toolkit (CDIT): orodje za pretvorbo ETL ustvari enakovredno datoteko JSON s funkcijami korakov na podlagi vhodnih podatkov datoteke XML.
Prednosti uporabe orodja Cognizant Data & Intelligence Toolkit (CDIT): orodje za pretvorbo ETL
Sledijo ključne prednosti uporabe orodja Cognizant Data & Intelligence Toolkit (CDIT): Orodje za pretvorbo ETL za avtomatizacijo pretvorbe starega ETL:
- Zmanjšanje cene – Z avtomatizacijo pretvorbe ETL in delovnih tokov v AWS Glue and Step Functions lahko zmanjšate celoten napor pri selitvi za kar 80 %.
- Boljše načrtovanje in izvedba – Ocenite lahko obseg ETL in določite odstotek avtomatizacije, zapletenost in nepodprte vzorce pred začetkom projekta, kar ima za posledico natančno oceno in časovnice
- Popolnost – Cognizant Data & Intelligence Toolkit (CDIT): orodje za pretvorbo ETL ponuja eno rešitev s podporo za več podedovanih orodij ETL, kot so Informatica, DataStage, Talend in druga.
- Izboljšana uporabniška izkušnja – Cilje migracije lahko brezhibno dosežete brez napak, ki jih povzroči ročna pretvorba, in z visokim odstotkom avtomatizacije
Študija primera: Cognizant Data & Intelligence Toolkit (CDIT): predlagana izvedba orodja za pretvorbo ETL
Veliko zavarovalniško in rentno podjetje s sedežem v ZDA je želelo svoj stari proces ETL v Informatici preseliti v AWS Glue kot del svoje strategije migracije v oblak.
Kot del tega sodelovanja je Cognizant stranki pomagal uspešno prenesti njihova opravila in poteke dela ETL za pridobivanje podatkov in integracijo Informatica v AWS. Dokaz koncepta (PoC) z uporabo orodja Cognizant Data & Intelligence Toolkit (CDIT): Orodje za pretvorbo ETL je bilo najprej dokončano za predstavitev in potrditev zmožnosti avtomatizacije.
Cognizant Data & Intelligence Toolkit (CDIT): Orodje za pretvorbo ETL je bilo uporabljeno za avtomatizacijo pretvorbe več kot 300 preslikav in delovnih tokov Informatica v enakovredna opravila AWS Glue oziroma delovne tokove funkcij Step Functions. Posledično je stranka lahko preselila vso podedovano kodo ETL v AWS, kot je bilo načrtovano, in umaknila podedovano aplikacijo.
Sledijo ključni poudarki tega sodelovanja:
- Selitev več kot 300 podedovanih opravil Informatica ETL na AWS Glue
- Samodejna pretvorba več kot 6,000 transformacij iz podedovanega ETL v AWS Glue
- 85-odstotna avtomatizacija, dosežena z uporabo CDIT: orodje za pretvorbo ETL
- Stranka je prihranila licenčne stroške in svojo podedovano aplikacijo umaknila, kot je bilo načrtovano
zaključek
V tej objavi smo razpravljali o tem, kako je selitev podedovanih procesov ETL v oblak ključna za uspeh migracije v oblak. Cognizant Data & Intelligence Toolkit (CDIT): Orodje za pretvorbo ETL vam omogoča, da izvedete oceno obstoječega procesa ETL, da izpeljete kompleksnost in odstotek avtomatizacije za boljše ocenjevanje in načrtovanje. Razpravljali smo tudi o tehnologijah ETL, ki jih podpira Cognizant Data & Intelligence Toolkit (CDIT): ETL Conversion Tool in o tem, kako je mogoče ETL opravila pretvoriti v ustrezne skripte AWS Glue. Nazadnje smo pokazali, kako uporabiti obstoječe poteke dela ETL za samodejno ustvarjanje ustreznih opravil orkestracije funkcij koraka.
Če želite izvedeti več, se obrnite na Cognizant.
O avtorjih
Deepak Singh je višji arhitekt rešitev pri Amazon Web Services z več kot 20-letnimi izkušnjami na področju podatkov in AIA. Uživa v sodelovanju s partnerji in strankami AWS pri gradnji razširljivih analitičnih rešitev za njihove poslovne rezultate. Ko ni v službi, rad preživlja čas z družino ali raziskuje nove tehnologije v analitiki in prostoru umetne inteligence.
Piyush Patra je arhitekt partnerskih rešitev pri Amazon Web Services, kjer podpira partnerje pri njihovih poteh v zvezi z analitiko, in je globalni vodja za strateške partnerske programe za modernizacijo podatkovnega zemljišča in migracijo.
Govind Mohan je pridruženi direktor pri Cognizantu z več kot 18-letnimi izkušnjami na področju podatkov in analitike, pomagal je oblikovati in izvajati več obsežnih migracij podatkov, dvig in premik aplikacij ter projekte posodobitve starejših in tesno sodeluje s strankami pri pospeševanju poti modernizacije oblaka izkoriščanje platforme Cognizant Data and Intelligence Toolkit (CDIT).
Kausik Dhar je tehnološki vodja z več kot 23-letnimi IT izkušnjami – osredotočen predvsem na podatke in analitiko, posodobitev podatkov, razvoj aplikacij, upravljanje dostave in arhitekturo rešitev. Imel je ključno vlogo pri usmerjanju strank pri načrtovanju in izvajanju obsežnih migracij podatkov in procesov, poleg tega pa je vodil uspešne implementacije v oblaku. Kausik ima strokovno znanje in izkušnje pri oblikovanju migracijskih strategij za kompleksne programe in spretno konstruira arhitekturo podatkovnega jezera/Lakehouse z uporabo širokega nabora orodij in tehnologij.
- Distribucija vsebine in PR s pomočjo SEO. Okrepite se še danes.
- PlatoData.Network Vertical Generative Ai. Opolnomočite se. Dostopite tukaj.
- PlatoAiStream. Web3 Intelligence. Razširjeno znanje. Dostopite tukaj.
- PlatoESG. Ogljik, CleanTech, Energija, Okolje, sončna energija, Ravnanje z odpadki. Dostopite tukaj.
- PlatoHealth. Obveščanje o biotehnologiji in kliničnih preskušanjih. Dostopite tukaj.
- vir: https://aws.amazon.com/blogs/big-data/automate-legacy-etl-conversion-to-aws-glue-using-cognizant-data-and-intelligence-toolkit-cdit-etl-conversion-tool/
- :ima
- : je
- :ne
- :kje
- 000
- 100
- 220
- 23
- 300
- a
- Sposobna
- pospeševanje
- pospeševalniki
- natančnost
- natančna
- Doseči
- doseže
- pridobiti
- pridobitev
- Poleg tega
- Prednost
- po
- AI
- AIA
- vsi
- Prav tako
- Čeprav
- Amazon
- Amazon EC2
- Amazon RDS
- Amazon Web Services
- an
- Analitično
- analitika
- in
- kaj
- uporaba
- Razvoj aplikacij
- pristop
- Arhitektura
- SE
- Array
- AS
- oceniti
- ocenjevanje
- Sodelavec
- povezan
- At
- avtomatizirati
- avtomatizira
- samodejno
- avtomatizacija
- Avtomatizacija
- AWS
- AWS lepilo
- temeljijo
- BE
- pred
- Prednosti
- Boljše
- med
- Blog
- tako
- odmori
- Predložitev
- izgradnjo
- Building
- poslovni
- podjetja
- vendar
- by
- CAN
- Zmogljivosti
- povzročilo
- stranke
- tesno
- Cloud
- Koda
- poznavalec
- prihaja
- komentar
- Podjetja
- podjetje
- Končana
- popolnoma
- kompleksna
- kompleksnost
- Izračunajte
- Koncept
- Konzole
- gradnjo
- neprekinjeno
- Pretvorba
- pretvorbo
- pretvori
- pretvorbo
- Ustrezno
- strošek
- kritično
- stranka
- Stranke, ki so
- datum
- podatkovno skladišče
- skladišča podatkov
- Baze podatkov
- dostava
- Dokazano
- opisati
- Oblikovanje
- oblikovanje
- Podatki
- Ugotovite,
- Razvoj
- Direktor
- razpravljali
- navzdol
- učinkovito
- učinkovite
- prizadevanje
- odpravlja
- odstranjevanje
- zaposlovanja
- omogoča
- konec koncev
- sodelovanje
- inženirstva
- obogatiti
- predvidevanje
- Enakovredna
- Napaka
- napake
- nepremičnine
- Eter (ETH)
- Event
- Primer
- izvršitve
- obstoječih
- izkušnje
- strokovno znanje
- Raziskovati
- obseg
- ekstrakt
- družina
- hitreje
- Lastnosti
- pristojbine
- Slika
- file
- datoteke
- prva
- Všita
- Osredotočite
- osredotočena
- po
- sledi
- za
- oblikovanje
- Naprej
- iz
- funkcije
- ustvarjajo
- ustvarja
- ustvarjajo
- Globalno
- Cilji
- Imajo
- ob
- he
- pomoč
- pomagal
- Pomaga
- visoka
- Poudarki
- Kako
- Kako
- http
- HTTPS
- človeškega
- IAM
- identiteta
- if
- ponazarja
- izvajati
- Izvajanje
- izvedbe
- in
- Infrastruktura
- pobuda
- inovativne
- vhod
- vhodi
- zavarovanje
- integracija
- Intelligence
- vmesnik
- notranji
- interno
- v
- intuitivno
- vključeni
- Vprašanja
- IT
- ITS
- Job
- Delovna mesta
- Potovanje
- Potovanja
- jpg
- json
- Ključne
- Otrok
- velika
- obsežne
- nazadnje
- Zadnji
- vodi
- Vodja
- UČITE
- Legacy
- Lets
- vzvod
- licenciranje
- kot
- linije
- obremenitev
- logično
- več
- Poglej
- Sklop
- ljubi
- Glavne
- upravljanje
- Navodilo
- ročno
- več
- kartiranje
- Tržna
- Mehanizmi
- metapodatki
- selitev
- selitev
- migracije
- Model
- modernizacija
- spremljanje
- več
- veliko
- več
- materni
- nujnost
- potrebna
- Novo
- Nove tehnologije
- Naslednja
- št
- Številka
- of
- ponudba
- Ponudbe
- on
- ONE
- samo
- operativno
- Možnost
- or
- orkestracijo
- Da
- ven
- rezultatov
- izhod
- več
- Splošni
- del
- partner
- partnerji
- patentiran
- Vzorec
- vzorci
- odstotek
- opravlja
- ključno
- Kraj
- načrtovano
- načrtovanje
- platforma
- platon
- Platonova podatkovna inteligenca
- PlatoData
- igral
- igra
- prosim
- PoC
- Prispevek
- potencial
- premier
- v prvi vrsti
- Postopek
- Procesi
- obravnavati
- programi
- Napredek
- Projekt
- projekti
- dokazilo
- dokaz koncepta
- predlagano
- zagotavljanje
- Python
- hitro
- dosežejo
- zmanjša
- poročilo
- Skladišče
- oziroma
- povzroči
- rezultat
- prepisovanje
- Tveganje
- vloga
- Run
- Shrani
- shranjena
- shranjevanje
- Lestvica
- razširljive
- Obseg
- script
- skripte
- brez težav
- varnost
- videl
- izbiranje
- višji
- Storitve
- nastavite
- več
- premik
- predstavitev
- pokazale
- Razstave
- Podoben
- Enostavno
- sam
- So
- Rešitev
- rešitve
- vir
- Vesolje
- prednjači
- Poraba
- Začetek
- Korak
- Koraki
- shranjevanje
- shranjeni
- Strateško
- strategije
- Strategija
- študija
- uspeh
- uspešno
- Uspešno
- taka
- podpora
- Podprti
- Podpira
- Bodite
- ciljna
- Tehnologije
- Tehnologija
- kot
- da
- O
- Vir
- njihove
- Njih
- POTEM
- te
- ta
- skozi
- živali
- čas
- do
- orodje
- Orodje
- orodja
- proti
- tradicionalna
- Transform
- transformacije
- ui
- razumeli
- naložili
- Prenos
- uporaba
- Rabljeni
- uporabnik
- Uporabniški vmesnik
- uporablja
- uporabo
- POTRDI
- gledano
- hotel
- Skladišče
- je
- we
- web
- spletne storitve
- Kaj
- kdaj
- ki
- široka
- z
- brez
- delo
- potek dela
- delovnih tokov
- deluje
- deluje
- XML
- leto
- let
- jo
- zefirnet