Ezt a blogbejegyzést Govind Mohannal és Kausik Dharral közösen írták a Cognizanttól.
A helyszíni adattárházak felhőbe való migrálását már nem lehetőségnek tekintik, hanem szükségszerűségnek tekintik a vállalatok számára, hogy költséget takarítsanak meg, és kihasználják a legújabb technológia nyújtotta előnyöket. Noha nagy hangsúlyt fektettünk az adatoknak a régebbi adattárházakból a felhőbe való migrálására, és számos eszköz támogatja ezt a kezdeményezést, az adatok csak egy részét képezik az útnak. Az adatokat megszerző, gazdagító és átalakító örökölt kivonat, átalakítás és betöltés (ETL) folyamatok sikeres migrációja kulcsszerepet játszik a teljes adattárház-migráció sikerében a felhőbe.
A hagyományos megközelítés nagyszámú ETL-folyamat kézi átírása olyan felhő-natív technológiákra, mint pl AWS ragasztó időigényes, és hajlamos lehet az emberi hibákra. Cognizant Data & Intelligence Toolkit (CDIT) – Az ETL konvertáló eszköz automatizálja ezt a folyamatot, nagyobb kiszámíthatóságot és pontosságot biztosít, kiküszöböli a kézi konverzióhoz kapcsolódó kockázatokat, és gyorsabb piacra lépési időt biztosít az ügyfelek számára.
tudomással bíró egy AWS Premier Tier Services partner több AWS-kompetenciával. Ipari alapú, konzultatív megközelítésével a Cognizant segít az ügyfeleknek innovatívabb és hatékonyabb vállalkozások elképzelésében, felépítésében és működtetésében.
Ebben a bejegyzésben leírjuk, hogy a Cognizant Data & Intelligence Toolkit (CDIT)-ETL konvertáló eszköze hogyan segíthet a régi ETL-kódok automatikus konvertálásában AWS ragasztóvá gyorsan és hatékonyan. Leírjuk a főbb lépéseket, a támogatott szolgáltatásokat és azok előnyeit is.
Megoldás áttekintése
Cognizant Data & Intelligence Toolkit (CDIT): Az ETL-konverziós eszköz automatizálja az ETL-folyamatokat és a hangszerelési kódot a régi eszközökről AWS ragasztóvá és AWS lépésfunkciók és kiküszöböli az ügyfél ETL felhőalapú migrációs útjában szereplő manuális folyamatokat.
Intuitív felhasználói felülettel (UI) érkezik. Ezeket a gyorsítókat úgy használhatja, hogy kiválasztja a forrás- és cél-ETL-eszközt a konverzióhoz, majd bemenetként feltölti az ETL-leképezés XML-fájlját.
Az eszköz az általános előrehaladás folyamatos nyomon követését is támogatja, és riasztási mechanizmusok állnak rendelkezésre bármilyen meghibásodás, hiba vagy működési probléma esetén.
Cognizant Data & Intelligence Toolkit (CDIT): Az ETL Conversion Tool belsőleg számos natív AWS-szolgáltatást használ, mint pl. Amazon egyszerű tárolási szolgáltatás (Amazon S3) és Amazon Relációs adatbázis-szolgáltatás (Amazon RDS) tároláshoz és metaadatkezeléshez; Amazon rugalmas számítási felhő (Amazon EC2) és AWS Lambda feldolgozásra; amazonfelhőóra, AWS kulcskezelési szolgáltatás (AWS KMS), és AWS IAM Identity Center (az AWS Single Sign-On utódja) a felügyelet és a biztonság érdekében; és AWS felhőképződés az infrastruktúra kezeléséhez. A következő diagram ezt az architektúrát szemlélteti.
A CDIT használata: ETL-konverziós eszköz az ETL-áttelepítéshez.
Cognizant Data & Intelligence Toolkit (CDIT): Az ETL konvertáló eszköz a következő örökölt ETL-eszközöket támogatja forrásként, és támogatja a megfelelő AWS Glue ETL-szkriptek létrehozását Pythonban és Scalában egyaránt:
- Informatikai
- DataStage
- SSIS
- Talend
Nézzük meg részletesebben az átállás lépéseit.
Értékelje az örökölt ETL folyamatot
Cognizant Data & Intelligence Toolkit (CDIT): Az ETL-konverziós eszköz lehetővé teszi, hogy tömegesen felmérje az AWS Glue-re való áttelepítésre váró ETL-feladatok és munkafolyamatok lehetséges automatizálási százalékát és összetettségét. Az értékelési lehetőség segít megérteni, hogy milyen megtakarítás érhető el a Cognizant Data & Intelligence Toolkit (CDIT): ETL Conversion Tool használatával, az ETL-leképezések összetettsége és a manuális átalakítás mértéke, ha van ilyen. Feltölthet egyetlen ETL-leképezést vagy több ETL-leképezést tartalmazó mappát az értékelés bemeneteként, és készíthet értékelési jelentést, amint az a következő ábrán látható.
Alakítsa át az ETL kódot AWS Glue-ra
A régi ETL-kód konvertálásához töltse fel az ETL-leképezés XML-fájlját bemenetként az eszközbe. A felhasználói bemenetek az eszköz és a Cognizant Data & Intelligence Toolkit (CDIT) belső metaadattárában tárolódnak: Az ETL Conversion Tool elemzi ezeket az XML bemeneti fájlokat, és lebontja őket egy szabadalmaztatott kanonikus modellre, amelyet aztán továbbfejlesztenek a cél AWS ragasztóba. szkriptek Pythonban vagy Scalában. A következő képernyőkép a Cognizant Data & Intelligence Toolkit (CDIT) példáját mutatja be: ETL Conversion Tool GUI és Kimeneti konzol ablaktábla.
Ha a bemeneti ETL-feladat bármely része nem konvertálható teljesen az egyenértékű AWS Glue-szkriptre, akkor azt a kimenet megjegyzéssorai közé címkézzük, hogy manuálisan javítható legyen.
Alakítsa át a munkafolyamatot lépésfüggvényekké
A következő logikus lépés az örökölt ETL-jobok átalakítása után ezeknek a joboknak a futtatásának logikai sorrendben történő összehangolása. Cognizant Data & Intelligence Toolkit (CDIT): Az ETL-konverziós eszköz segítségével automatizálhatja a helyszíni ETL-munkafolyamatok konvertálását azáltal, hogy azokat megfelelő lépésfüggvény-munkafolyamatokká alakítja át. A következő ábra egy minta bemeneti Informatika munkafolyamatot mutat be.
A munkafolyamat-konverzió az ETL-leképezéshez hasonló mintát követ. Az ETL-munkafolyamatok XML-fájljai bemenetként kerülnek feltöltésre, és a Cognizant Data & Intelligence Toolkit (CDIT): az ETL-konverziós eszköz az egyenértékű Step Functions JSON-fájlt állítja elő a bemeneti XML-fájl adatai alapján.
A Cognizant Data & Intelligence Toolkit (CDIT): ETL konvertáló eszköz használatának előnyei
A Cognizant Data & Intelligence Toolkit (CDIT) használatának fő előnyei a következők: ETL-konverziós eszköz a régi ETL-konverzió automatizálására:
- Költségcsökkentés – Akár 80%-kal is csökkentheti a teljes migrációs erőfeszítést, ha automatizálja az ETL-t és a munkafolyamatokat AWS ragasztó- és lépésfunkciókra.
- Jobb tervezés és megvalósítás – A projekt megkezdése előtt felmérheti az ETL hatókörét, és meghatározhatja az automatizálás százalékos arányát, összetettségét és a nem támogatott mintákat, ami pontos becslést és ütemtervet eredményez.
- Teljesség – Cognizant Data & Intelligence Toolkit (CDIT): Az ETL Conversion Tool egyetlen megoldást kínál több régi ETL eszköz támogatásával, mint például az Informatica, DataStage, Talend és még sok más.
- Javított vásárlói élmény – A migrációs célokat zökkenőmentesen, kézi átalakítás okozta hibák nélkül és magas automatizálási arány mellett érheti el
Esettanulmány: Cognizant Data & Intelligence Toolkit (CDIT): ETL Conversion Tool javasolt megvalósítás
Egy nagy amerikai székhelyű biztosítási és járadékkal foglalkozó vállalat a felhőalapú migrációs stratégiája részeként az Informaticában használt ETL-folyamatát az AWS Glue-ba kívánta migrálni.
Ennek a megbízásnak a részeként a Cognizant segített az ügyfeleknek az Informatica alapú adatgyűjtési és integrációs ETL-feladatok és munkafolyamatok sikeres migrálásában az AWS-be. A Cognizant Data & Intelligence Toolkit (CDIT) segítségével elkészített koncepció (PoC) próbája: az ETL Conversion Tool készült először az automatizálási képességek bemutatására és érvényesítésére.
Cognizant Data & Intelligence Toolkit (CDIT): Az ETL konvertáló eszközt több mint 300 informatikai leképezés és munkafolyamat egyenértékű AWS ragasztófeladatokká, illetve Step Functions munkafolyamatokká történő konvertálására használták. Ennek eredményeként az ügyfél a terveknek megfelelően áttelepítette az összes régi ETL-kódot az AWS-re, és megszüntette a régi alkalmazást.
Az alábbiak a legfontosabb kiemelések ennek az elköteleződésből:
- Több mint 300 örökölt Informatica ETL feladat migrálása az AWS Glue-ba
- Több mint 6,000 átalakítás automatikus konvertálása a régi ETL-ből AWS ragasztóvá
- 85%-os automatizálás érhető el a CDIT: ETL Conversion Tool segítségével
- Az ügyfél megtakarította a licencdíjakat, és a terveknek megfelelően visszavonta a régi alkalmazását
Következtetés
Ebben a bejegyzésben megvitattuk, hogy a régebbi ETL-folyamatok felhőbe költöztetése létfontosságú a felhőbeli migrációs út sikere szempontjából. Cognizant Data & Intelligence Toolkit (CDIT): Az ETL-konverziós eszköz lehetővé teszi a meglévő ETL-folyamat értékelésének elvégzését a bonyolultság és az automatizálási százalék meghatározásához a jobb becslés és tervezés érdekében. Megvitattuk a Cognizant Data & Intelligence Toolkit (CDIT) által támogatott ETL-technológiákat is: ETL-konverziós eszközt, valamint azt, hogy az ETL-feladatok hogyan konvertálhatók megfelelő AWS-ragasztó-szkriptekké. Végül bemutattuk, hogyan használhatók a meglévő ETL-munkafolyamatok a megfelelő Step Functions hangszerelési feladatok automatikus generálására.
További információért forduljon a Cognizanthoz.
A szerzőkről
Deepak Singh az Amazon Web Services vezető megoldástervezője, több mint 20 éves tapasztalattal az adatok és az AIA területén. Élvezi az AWS-partnerekkel és ügyfelekkel való együttműködést az üzleti eredményeik skálázható elemzési megoldásainak kidolgozásán. Amikor nem dolgozik, szereti a családjával tölteni az idejét, vagy új technológiákat felfedezni az analitika és a mesterséges intelligencia terén.
Piyush Patra Partner Solutions Architect az Amazon Web Servicesnél, ahol támogatja a partnereket az analitikai útjaik során, és globális vezető szerepet tölt be a stratégiai adatbirtok-modernizációs és migrációs partnerprogramokban.
Govind Mohan a Cognizant társigazgatója, több mint 18 éves tapasztalattal az adat- és elemzési terület területén, segített több nagyszabású adatmigrációs, alkalmazás-emelési és -váltási, valamint örökölt modernizációs projekt tervezésében és megvalósításában, és szorosan együttműködik az ügyfelekkel a felhőalapú modernizációs út felgyorsításában. kihasználva a Cognizant Data and Intelligence Toolkit (CDIT) platformot.
Kausik Dhar egy technológiai vezető, aki több mint 23 éves informatikai tapasztalattal rendelkezik – elsősorban az adatokra és elemzésekre, az adatmodernizálásra, az alkalmazásfejlesztésre, a kézbesítés-menedzsmentre és a megoldásarchitektúrára összpontosít. Kulcsfontosságú szerepet játszott abban, hogy az ügyfeleket a nagyszabású adat- és folyamatmigrációk tervezésében és végrehajtásában irányítsa, a sikeres felhőmegvalósítások éllovasa mellett. Kausik szakértelemmel rendelkezik a komplex programok migrációs stratégiáinak megfogalmazásában és a Data Lake/Lakehouse architektúra ügyes felépítésében, eszközök és technológiák széles skáláját alkalmazva.
- SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
- PlatoData.Network Vertical Generative Ai. Erősítse meg magát. Hozzáférés itt.
- PlatoAiStream. Web3 Intelligence. Felerősített tudás. Hozzáférés itt.
- PlatoESG. Carbon, CleanTech, Energia, Környezet, Nap, Hulladékgazdálkodás. Hozzáférés itt.
- PlatoHealth. Biotechnológiai és klinikai vizsgálatok intelligencia. Hozzáférés itt.
- Forrás: https://aws.amazon.com/blogs/big-data/automate-legacy-etl-conversion-to-aws-glue-using-cognizant-data-and-intelligence-toolkit-cdit-etl-conversion-tool/
- :van
- :is
- :nem
- :ahol
- 000
- 100
- 220
- 23
- 300
- a
- Képes
- gyorsuló
- gyorsítók
- pontosság
- pontos
- Elérése
- elért
- szerez
- beszerzés
- mellett
- Előny
- Után
- AI
- AIA
- Minden termék
- Is
- Bár
- amazon
- Amazon EC2
- Amazon RDS
- Az Amazon Web Services
- an
- Analitikai
- analitika
- és a
- bármilyen
- Alkalmazás
- Application Development
- megközelítés
- építészet
- VANNAK
- Sor
- AS
- értékeli
- értékelés
- Társult
- társult
- At
- automatizált
- automaták
- automatikusan
- automatizálás
- Automatizálás
- AWS
- AWS ragasztó
- alapján
- BE
- előtt
- Előnyök
- Jobb
- között
- Blog
- mindkét
- szünetek
- Bringing
- épít
- Épület
- üzleti
- vállalkozások
- de
- by
- TUD
- képességek
- okozott
- ügyfél részére
- szorosan
- felhő
- kód
- megismerő
- jön
- megjegyzés
- Companies
- vállalat
- Befejezett
- teljesen
- bonyolult
- bonyolultság
- Kiszámít
- koncepció
- Konzol
- építése
- folyamatos
- Átalakítás
- megtérít
- átalakított
- konvertáló
- Megfelelő
- Költség
- kritikai
- vevő
- Ügyfelek
- dátum
- adattárház
- adattárházak
- adatbázis
- kézbesítés
- igazolták
- leírni
- Design
- tervezés
- részlet
- Határozzuk meg
- Fejlesztés
- Igazgató
- tárgyalt
- le-
- hatékonyan
- hatékony
- erőfeszítés
- megszünteti
- megszüntetése
- foglalkoztatás
- lehetővé teszi
- végtől végig
- eljegyzés
- manipulált
- gazdagítják
- felidézi vminek a képét
- Egyenértékű
- hiba
- hibák
- birtok
- Eter (ETH)
- esemény
- példa
- végrehajtó
- létező
- tapasztalat
- szakvélemény
- Feltárása
- mérték
- kivonat
- család
- gyorsabb
- Jellemzők
- díjak
- Ábra
- filé
- Fájlok
- vezetéknév
- rögzített
- Összpontosít
- összpontosított
- következő
- következik
- A
- megfogalmazása
- Előre
- ból ből
- funkciók
- generál
- generál
- generáló
- Globális
- Célok
- Legyen
- tekintettel
- he
- segít
- segített
- segít
- Magas
- kiemeli
- Hogyan
- How To
- http
- HTTPS
- emberi
- IAM
- Identitás
- if
- illusztrálja
- végre
- végrehajtás
- megvalósítások
- in
- Infrastruktúra
- Kezdeményezés
- újító
- bemenet
- bemenet
- biztosítás
- integráció
- Intelligencia
- Felület
- belső
- belsőleg
- bele
- intuitív
- részt
- kérdések
- IT
- ITS
- Munka
- Állások
- utazás
- Journeys
- jpg
- json
- Kulcs
- Kedves
- nagy
- nagyarányú
- végül
- legutolsó
- vezet
- vezető
- TANUL
- Örökség
- Lets
- erőfölény
- Engedélyezés
- mint
- vonalak
- kiszámításának
- logikus
- hosszabb
- néz
- Sok
- szeret
- Fő
- vezetés
- kézikönyv
- kézzel
- sok
- térképészet
- piacára
- mechanizmusok
- Metaadatok
- vándorol
- vándorló
- elvándorlás
- modell
- korszerűsítés
- ellenőrzés
- több
- sok
- többszörös
- bennszülött
- szükségesség
- szükséges
- Új
- Új technológiák
- következő
- nem
- szám
- of
- ajánlat
- Ajánlatok
- on
- ONE
- csak
- operatív
- opció
- or
- hangszerelés
- érdekében
- ki
- eredmények
- teljesítmény
- felett
- átfogó
- rész
- partner
- partnerek
- szabadalmaztatott
- Mintás
- minták
- százalék
- teljesít
- döntő
- Hely
- tervezett
- tervezés
- emelvény
- Plató
- Platón adatintelligencia
- PlatoData
- játszott
- játszik
- kérem
- PoC
- állás
- potenciális
- miniszterelnök
- elsősorban
- folyamat
- Folyamatok
- feldolgozás
- Programok
- Haladás
- program
- projektek
- bizonyíték
- bizonyíték a koncepcióra
- javasolt
- amely
- Piton
- gyorsan
- el
- csökkenteni
- jelentést
- raktár
- illetőleg
- eredményez
- kapott
- átírás
- Kockázat
- Szerep
- futás
- Megtakarítás
- mentett
- megtakarítás
- Scala
- skálázható
- hatálya
- forgatókönyv
- szkriptek
- zökkenőmentesen
- biztonság
- látott
- kiválasztása
- idősebb
- Szolgáltatások
- készlet
- számos
- váltás
- kirakat
- mutatott
- Műsorok
- hasonló
- Egyszerű
- egyetlen
- So
- megoldások
- Megoldások
- forrás
- Hely
- vezetőiként
- Költési
- kezdet
- Lépés
- Lépései
- tárolás
- memorizált
- Stratégiai
- stratégiák
- Stratégia
- Tanulmány
- siker
- sikeres
- sikeresen
- ilyen
- támogatás
- Támogatott
- Támogatja
- Vesz
- cél
- Technologies
- Technológia
- mint
- hogy
- A
- The Source
- azok
- Őket
- akkor
- Ezek
- ezt
- Keresztül
- tier
- idő
- nak nek
- szerszám
- eszköztár
- szerszámok
- felé
- hagyományos
- Átalakítás
- transzformációk
- ui
- megért
- feltöltve
- Feltöltés
- használ
- használt
- használó
- felhasználói felület
- használ
- segítségével
- ÉRVÉNYESÍT
- megtekinthető
- kívánatos
- Raktár
- volt
- we
- háló
- webes szolgáltatások
- Mit
- amikor
- ami
- széles
- val vel
- nélkül
- Munka
- munkafolyamat
- munkafolyamatok
- dolgozó
- művek
- XML
- év
- év
- te
- zephyrnet