Tämä blogiviesti on kirjoitettu yhdessä Cognizantin Govind Mohanin ja Kausik Dharin kanssa.
Paikallisten tietovarastojen siirtämistä pilveen ei pidetä enää vaihtoehtona, vaan yritysten välttämättömyyteen säästää kustannuksia ja hyödyntää uusimman teknologian tarjoamia ominaisuuksia. Vaikka olemme nähneet paljon keskittyneen tiedon siirtämiseen vanhoista tietovarastoista pilveen ja useisiin työkaluihin, jotka tukevat tätä aloitetta, data on vain osa matkaa. Dataa hankkivien, rikastuttavien ja muuntavien ETL-prosessien onnistunut siirto on avainasemassa minkä tahansa päästä päähän -tietovaraston pilveen siirtymisen onnistumisessa.
Perinteinen lähestymistapa, jossa suuri määrä ETL-prosesseja kirjoitetaan manuaalisesti uudelleen pilvipohjaisiin teknologioihin, kuten AWS-liima on aikaa vievää ja voi olla altis inhimillisille virheille. Cognizant Data & Intelligence Toolkit (CDIT) – ETL-muunnostyökalu automatisoi tämän prosessin, mikä lisää ennustettavuutta ja tarkkuutta, eliminoi manuaaliseen muuntamiseen liittyvät riskit ja nopeuttaa asiakkaiden markkinoilletuloa.
Tietoinen On AWS Premier Tier Services -kumppani useiden AWS-kompetenssien kanssa. Cognizantin toimialaan perustuva konsultoiva lähestymistapa auttaa asiakkaita suunnittelemaan, rakentamaan ja pyörittämään innovatiivisempia ja tehokkaampia yrityksiä.
Tässä viestissä kuvailemme, kuinka Cognizantin Data & Intelligence Toolkit (CDIT)-ETL-muunnostyökalu voi auttaa sinua muuttamaan vanhan ETL-koodin automaattisesti AWS-liimaksi nopeasti ja tehokkaasti. Kuvaamme myös tärkeimmät vaiheet, tuetut ominaisuudet ja niiden edut.
Ratkaisun yleiskatsaus
Cognizant Data & Intelligence Toolkit (CDIT): ETL-muunnostyökalu automatisoi ETL-putkien ja orkestrointikoodin muuntamisen vanhoista työkaluista AWS-liimaan ja AWS-vaihetoiminnot ja poistaa manuaaliset prosessit, jotka liittyvät asiakkaan ETL-pilvisiirtomatkaan.
Sen mukana tulee intuitiivinen käyttöliittymä (UI). Voit käyttää näitä kiihdyttimiä valitsemalla lähde- ja kohde-ETL-työkalun muuntamista varten ja lataamalla sitten syötteeksi muunnettavan ETL-kartoituksen XML-tiedoston.
Työkalu tukee myös jatkuvaa yleisen edistymisen seurantaa, ja hälytysmekanismit ovat käytössä mahdollisten vikojen, virheiden tai toimintaongelmien varalta.
Cognizant Data & Intelligence Toolkit (CDIT): ETL Conversion Tool käyttää sisäisesti monia alkuperäisiä AWS-palveluita, kuten Amazonin yksinkertainen tallennuspalvelu (Amazon S3) ja Amazon Relational Database -palvelu (Amazon RDS) tallennus- ja metatietojen hallintaan; Amazonin elastinen laskentapilvi (Amazon EC2) ja AWS Lambda käsittelyyn; amazonin pilvikello, AWS-avainhallintapalvelu (AWS KMS) ja AWS IAM Identity Center (AWS Single Sign-Onin seuraaja) valvontaa ja turvallisuutta varten; ja AWS-pilven muodostuminen infrastruktuurin hallintaan. Seuraava kaavio havainnollistaa tätä arkkitehtuuria.
CDIT:n käyttö: ETL-muunnostyökalu ETL-siirtymiseen.
Cognizant Data & Intelligence Toolkit (CDIT): ETL Conversion Tool tukee seuraavia vanhoja ETL-työkaluja lähteenä ja tukee vastaavien AWS Glue ETL -skriptien luomista sekä Pythonissa että Scalassa:
- tietokone
- DataStage
- SSIS
- Talend
Katsotaanpa siirron vaiheita yksityiskohtaisemmin.
Arvioi vanhaa ETL-prosessia
Cognizant Data & Intelligence Toolkit (CDIT): ETL-muunnostyökalun avulla voit arvioida massassa AWS-liimaan siirrettävien ETL-töiden ja -työnkulkujen mahdollista automaatioprosenttia ja monimutkaisuutta. Arviointivaihtoehto auttaa ymmärtämään, millaista säästöä voidaan saavuttaa käyttämällä Cognizant Data & Intelligence Toolkit (CDIT): ETL Conversion Tool -työkalua, ETL-kartoitusten monimutkaisuutta ja tarvittaessa manuaalisen muuntamisen laajuutta. Voit ladata yhden ETL-kartoituksen tai kansion, joka sisältää useita ETL-kartoituksia, syötteenä arviointia varten ja luoda arviointiraportin seuraavan kuvan mukaisesti.
Muunna ETL-koodi AWS-liimaksi
Jos haluat muuntaa vanhan ETL-koodin, lataa ETL-kartoituksen XML-tiedosto syötteeksi työkaluun. Käyttäjän syötteet tallennetaan työkalun ja Cognizant Data & Intelligence Toolkit (CDIT) -työkalun sisäiseen metatietovarastoon: ETL Conversion Tool jäsentää nämä XML-syötetiedostot ja jakaa ne patentoiduksi kanoniseksi malliksi, joka sitten muotoillaan kohde-AWS-liimaan. komentosarjat Pythonissa tai Scalassa. Seuraavassa kuvakaappauksessa on esimerkki Cognizant Data & Intelligence Toolkit (CDIT) -työkalusta: ETL Conversion Tool GUI ja Tulostuskonsoli ruudussa.
Jos jotakin syötetyn ETL-työn osaa ei voitu muuntaa kokonaan vastaavaksi AWS Glue -skriptiksi, se merkitään tulosteen kommenttirivien väliin, jotta se voidaan korjata manuaalisesti.
Muunna työnkulku vaihefunktioiksi
Seuraava looginen vaihe vanhojen ETL-töiden muuntamisen jälkeen on organisoida näiden töiden ajo loogisessa järjestyksessä. Cognizant Data & Intelligence Toolkit (CDIT): ETL-muunnostyökalun avulla voit automatisoida paikallisten ETL-työnkulkujen muuntamisen muuntamalla ne vastaaviksi Step Functions -työnkuluiksi. Seuraava kuva havainnollistaa esimerkkisyötteen Informatican työnkulkua.
Työnkulun muunnos noudattaa samanlaista kaavaa kuin ETL-kartoitus. ETL-työnkulkujen XML-tiedostot ladataan syötteenä ja Cognizant Data & Intelligence Toolkit (CDIT): ETL-muunnostyökalu luo vastaavan Step Functions -JSON-tiedoston syötettyjen XML-tiedostotietojen perusteella.
Cognizant Data & Intelligence Toolkit (CDIT) -työkalun käytön edut: ETL Conversion Tool
Seuraavat ovat Cognizant Data & Intelligence Toolkitin (CDIT) käytön tärkeimmät edut: ETL-muunnostyökalu, joka automatisoi vanhan ETL-muunnoksen:
- Kustannusten vähentäminen – Voit vähentää kokonaissiirtoa jopa 80 % automatisoimalla ETL:n ja työnkulkujen muuntamisen AWS-liima- ja askeltoimintoihin.
- Parempi suunnittelu ja toteutus – Voit arvioida ETL:n laajuuden ja määrittää automaatioprosentin, monimutkaisuuden ja ei-tuetut kuviot ennen projektin alkua, mikä johtaa tarkaan arvioon ja aikatauluihin.
- täydellisyys – Cognizant Data & Intelligence Toolkit (CDIT): ETL Conversion Tool tarjoaa yhden ratkaisun, joka tukee useita vanhoja ETL-työkaluja, kuten Informatica, DataStage, Talend ja paljon muuta.
- Parempi asiakaskokemus – Voit saavuttaa siirtotavoitteet saumattomasti ilman manuaalisen muuntamisen aiheuttamia virheitä ja korkealla automaatioprosentilla
Tapaustutkimus: Cognizant Data & Intelligence Toolkit (CDIT): ETL Conversion Toolin ehdotettu toteutus
Suuri yhdysvaltalainen vakuutus- ja annuiteettiyhtiö halusi siirtää Informatican vanhan ETL-prosessinsa AWS Glueen osana pilvisiirtostrategiaansa.
Osana tätä toimeksiantoa Cognizant auttoi asiakasta siirtämään Informaticaan perustuvat tiedonkeruu- ja integrointityöt ja -työnkulut AWS:ään. Concept of Concept (PoC) käyttämällä Cognizant Data & Intelligence Toolkit (CDIT) -työkalua: ETL Conversion Tool valmistui ensimmäisenä esittelemään ja vahvistamaan automaatiovalmiuksia.
Cognizant Data & Intelligence Toolkit (CDIT): ETL Conversion Tool -työkalua käytettiin automatisoimaan yli 300 Informatica-kartoituksen ja -työnkulkua vastaaviksi AWS-liimatöiksi ja Step Functions -työnkuluiksi. Tämän seurauksena asiakas pystyi siirtämään kaiken vanhan ETL-koodin AWS:ään suunnitellusti ja poistamaan vanhan sovelluksen käytöstä.
Seuraavat ovat tämän sitoumuksen tärkeimmät kohokohdat:
- Yli 300 vanhan Informatica ETL -työn siirto AWS Glueen
- Yli 6,000 XNUMX muunnoksen automaattinen muunnos vanhasta ETL:stä AWS-liimaan
- 85 % automaatio saavutetaan käyttämällä CDIT:tä: ETL Conversion Tool
- Asiakas säästi lisenssimaksut ja poisti vanhan sovelluksensa suunnitelmien mukaisesti
Yhteenveto
Tässä viestissä keskustelimme siitä, kuinka vanhojen ETL-prosessien siirtäminen pilveen on kriittistä pilvisiirtomatkan onnistumiselle. Cognizant Data & Intelligence Toolkit (CDIT): ETL-muunnostyökalun avulla voit arvioida olemassa olevaa ETL-prosessia monimutkaisuuden ja automaatioprosentin johtamiseksi arvioinnin ja suunnittelun parantamiseksi. Keskustelimme myös Cognizant Data & Intelligence Toolkit (CDIT): ETL Conversion Toolin tukemista ETL-tekniikoista ja siitä, kuinka ETL-työt voidaan muuntaa vastaaviksi AWS Glue -skripteiksi. Lopuksi osoitimme, kuinka olemassa olevia ETL-työnkulkuja käytetään vastaavien Step Functions -orkesteritöiden automaattiseen luomiseen.
Jos haluat lisätietoja, ota yhteyttä Cognizantiin.
Tietoja Tekijät
Deepak Singh on Amazon Web Servicesin vanhempi ratkaisuarkkitehti, jolla on yli 20 vuoden kokemus Data & AIA:sta. Hän nauttii työskentelystä AWS-kumppaneiden ja asiakkaiden kanssa skaalautuvien analyyttisten ratkaisujen rakentamisessa heidän liiketoimintansa tuloksia varten. Kun hän ei ole töissä, hän rakastaa viettää aikaa perheen kanssa tai tutkia uusia teknologioita analytiikan ja tekoälyn avaruudessa.
Piyush Patra on kumppaniratkaisuarkkitehti Amazon Web Servicesissä, jossa hän tukee kumppaneita heidän Analytics-matkoissaan ja on globaali johtaja strategisissa Data Estate Modernization- ja Migration -kumppaniohjelmissa.
Govind Mohan on Cognizantin apulaisjohtaja, jolla on yli 18 vuoden kokemus data- ja analytiikkaavaruudesta, hän on auttanut suunnittelemaan ja toteuttamaan useita laajamittaisia tiedonsiirto-, sovellusten nosto- ja muutosprojekteja sekä vanhojen modernisointiprojekteja ja tekee läheistä yhteistyötä asiakkaiden kanssa nopeuttaakseen pilven modernisointia. hyödyntämällä Cognizant Data and Intelligence Toolkit (CDIT) -alustaa.
Kausik Dhar on teknologiajohtaja, jolla on yli 23 vuoden IT-kokemus – keskittyen ensisijaisesti dataan ja analytiikkaan, tietojen modernisointiin, sovelluskehitykseen, toimitushallintaan ja ratkaisuarkkitehtuuriin. Hänellä on ollut keskeinen rooli asiakkaiden ohjaamisessa laajamittaisten data- ja prosessimigraatioiden suunnittelussa ja toteuttamisessa sekä onnistuneiden pilvi-toteutusten kärjessä. Kausikilla on asiantuntemusta monimutkaisten ohjelmien migraatiostrategioiden muotoilussa ja data Lake/Lakehouse -arkkitehtuurin taitavasti rakentamisessa käyttämällä laajaa valikoimaa työkaluja ja teknologioita.
- SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
- PlatoData.Network Vertical Generatiivinen Ai. Vahvista itseäsi. Pääsy tästä.
- PlatoAiStream. Web3 Intelligence. Tietoa laajennettu. Pääsy tästä.
- PlatoESG. hiili, CleanTech, energia, ympäristö, Aurinko, Jätehuolto. Pääsy tästä.
- PlatonHealth. Biotekniikan ja kliinisten kokeiden älykkyys. Pääsy tästä.
- Lähde: https://aws.amazon.com/blogs/big-data/automate-legacy-etl-conversion-to-aws-glue-using-cognizant-data-and-intelligence-toolkit-cdit-etl-conversion-tool/
- :on
- :On
- :ei
- :missä
- 000
- 100
- 220
- 23
- 300
- a
- pystyy
- kiihtyvä
- kiihdyttimiä
- tarkkuus
- tarkka
- Saavuttaa
- saavutettu
- hankkia
- hankinta
- Lisäksi
- Etu
- Jälkeen
- AI
- AIA
- Kaikki
- Myös
- Vaikka
- Amazon
- Amazon EC2
- Amazon RDS
- Amazon Web Services
- an
- analyyttinen
- Analytics
- ja
- Kaikki
- Hakemus
- Application Development
- lähestymistapa
- arkkitehtuuri
- OVAT
- Ryhmä
- AS
- arvioida
- arviointi
- Työtoveri
- liittyvä
- At
- automatisoida
- automaatti
- automaattisesti
- automatisointi
- Automaatio
- AWS
- AWS-liima
- perustua
- BE
- ennen
- Hyödyt
- Paremmin
- välillä
- Blogi
- sekä
- taukoja
- Tuominen
- rakentaa
- Rakentaminen
- liiketoiminta
- yritykset
- mutta
- by
- CAN
- kyvyt
- aiheutti
- asiakkaat
- tarkasti
- pilvi
- koodi
- tietoinen
- tulee
- kommentti
- Yritykset
- yritys
- Valmistunut
- täysin
- monimutkainen
- monimutkaisuus
- Laskea
- käsite
- Console
- rakentamalla
- jatkuva
- Muuntaminen
- muuntaa
- muunnetaan
- muuntaminen
- vastaava
- Hinta
- kriittinen
- asiakas
- Asiakkaat
- tiedot
- tietovarasto
- tietovarastot
- tietokanta
- toimitus
- osoittivat
- kuvata
- Malli
- suunnittelu
- yksityiskohta
- Määrittää
- Kehitys
- Johtaja
- keskusteltiin
- alas
- tehokkaasti
- tehokas
- vaivaa
- eliminoi
- poistamalla
- käyttämällä
- mahdollistaa
- päittäin
- sitoumus
- suunniteltu
- rikastuttaa
- kuvitella
- Vastaava
- virhe
- virheet
- omaisuus
- Eetteri (ETH)
- tapahtuma
- esimerkki
- täytäntöönpanosta
- olemassa
- experience
- asiantuntemus
- Tutkiminen
- laajuus
- uute
- perhe
- nopeampi
- Ominaisuudet
- Maksut
- Kuva
- filee
- Asiakirjat
- Etunimi
- kiinteä
- Keskittää
- keskityttiin
- jälkeen
- seuraa
- varten
- muotoilu
- Eteenpäin
- alkaen
- tehtävät
- tuottaa
- synnyttää
- tuottaa
- Global
- Tavoitteet
- Olla
- ottaa
- he
- auttaa
- auttanut
- auttaa
- Korkea
- raidat
- Miten
- Miten
- http
- HTTPS
- ihmisen
- IAM
- Identiteetti
- if
- havainnollistaa
- toteuttaa
- täytäntöönpano
- toteutukset
- in
- Infrastruktuuri
- aloite
- innovatiivinen
- panos
- tuloa
- vakuutus
- integraatio
- Älykkyys
- liitäntä
- sisäinen
- sisäisesti
- tulee
- intuitiivinen
- osallistuva
- kysymykset
- IT
- SEN
- Job
- Työpaikat
- matka
- matkat
- jpg
- json
- avain
- laji
- suuri
- laaja
- lopuksi
- uusin
- johtaa
- johtaja
- OPPIA
- Perintö
- Lets
- vipuvaikutuksen
- Licensing
- pitää
- linjat
- kuormitus
- looginen
- kauemmin
- katso
- Erä
- rakastaa
- tärkein
- johto
- manuaalinen
- käsin
- monet
- kartoitus
- markkinat
- mekanismit
- Metadata
- vaeltaa
- siirtyvät
- muutto
- malli
- modernisointi
- seuranta
- lisää
- paljon
- moninkertainen
- syntyperäinen
- välttämättömyys
- tarvitaan
- Uusi
- Uudet teknologiat
- seuraava
- Nro
- numero
- of
- kampanja
- Tarjoukset
- on
- ONE
- vain
- toiminta-
- Vaihtoehto
- or
- orkestrointi
- tilata
- ulos
- tuloksiin
- ulostulo
- yli
- yleinen
- osa
- kumppani
- kumppani
- patentoitu
- Kuvio
- kuviot
- osuus
- suorittaa
- keskeinen
- Paikka
- suunnitteilla
- suunnittelu
- foorumi
- Platon
- Platonin tietotieto
- PlatonData
- pelataan
- soittaa
- Ole hyvä
- PoC
- Kirje
- mahdollinen
- johtava
- pääasiallisesti
- prosessi
- Prosessit
- käsittely
- Ohjelmat
- Edistyminen
- projekti
- hankkeet
- todiste
- todiste käsitteestä
- ehdotettu
- tarjoamalla
- Python
- nopeasti
- tavoittaa
- vähentää
- raportti
- säilytyspaikka
- vastaavasti
- johtua
- Saatu ja
- kirjoittamasta
- Riski
- Rooli
- ajaa
- Säästä
- tallennettu
- tallentaa
- Scala
- skaalautuva
- laajuus
- käsikirjoitus
- skriptejä
- saumattomasti
- turvallisuus
- nähneet
- valitsemalla
- vanhempi
- Palvelut
- setti
- useat
- siirtää
- näyteikkuna
- esitetty
- Näytä
- samankaltainen
- Yksinkertainen
- single
- So
- ratkaisu
- Ratkaisumme
- lähde
- Tila
- kärjessä
- menot
- Alkaa
- Vaihe
- Askeleet
- Levytila
- tallennettu
- Strateginen
- strategiat
- Strategia
- tutkimus
- menestys
- onnistunut
- Onnistuneesti
- niin
- tuki
- Tuetut
- Tukee
- ottaa
- Kohde
- Technologies
- Elektroniikka
- kuin
- että
- -
- Lähde
- heidän
- Niitä
- sitten
- Nämä
- tätä
- Kautta
- porras
- aika
- että
- työkalu
- työkalupakki
- työkalut
- kohti
- perinteinen
- Muuttaa
- muunnokset
- ui
- ymmärtää
- ladattu
- Ladataan
- käyttää
- käytetty
- käyttäjä
- Käyttöliittymä
- käyttötarkoituksiin
- käyttämällä
- VAHVISTA
- katsottu
- halusi
- Varasto
- oli
- we
- verkko
- verkkopalvelut
- Mitä
- kun
- joka
- leveä
- with
- ilman
- Referenssit
- työnkulku
- työnkulkuja
- työskentely
- toimii
- XML
- vuosi
- vuotta
- te
- zephyrnet