Ten post na blogu został napisany wspólnie z Govindem Mohanem i Kausikiem Dharem z Cognizant.
Migracja lokalnych hurtowni danych do chmury nie jest już postrzegana jako opcja, ale dla firm konieczność zaoszczędzenia kosztów i wykorzystania najnowszych technologii. Chociaż zauważyliśmy, że duży nacisk położono na migrację danych ze starszych hurtowni danych do chmury i udostępniono wiele narzędzi wspierających tę inicjatywę, dane to tylko część całej podróży. Pomyślna migracja starszych procesów wyodrębniania, przekształcania i ładowania (ETL), które gromadzą, wzbogacają i przekształcają dane, odgrywa kluczową rolę w powodzeniu każdej kompleksowej migracji hurtowni danych do chmury.
Tradycyjne podejście polegające na ręcznym przepisaniu dużej liczby procesów ETL na technologie natywne w chmurze, takie jak Klej AWS jest czasochłonne i może być podatne na błędy ludzkie. Cognizant Data & Intelligence Toolkit (CDIT) – narzędzie ETL Conversion Tool automatyzuje ten proces, zapewniając większą przewidywalność i dokładność, eliminując ryzyko związane z ręczną konwersją i zapewniając klientom szybszy czas wprowadzenia produktu na rynek.
Kompetentny jest Partner usługowy AWS Premier Tier z kilkoma kompetencjami AWS. Dzięki branżowemu podejściu doradczemu Cognizant pomaga klientom planować, budować i prowadzić bardziej innowacyjne i wydajne przedsiębiorstwa.
W tym poście opisujemy, jak narzędzie Cognizant Data & Intelligence Toolkit (CDIT) – narzędzie do konwersji ETL może pomóc w szybkiej i skutecznej automatycznej konwersji starszego kodu ETL na klej AWS. Opisujemy także główne etapy, obsługiwane funkcje i wynikające z nich zalety.
Omówienie rozwiązania
Cognizant Data & Intelligence Toolkit (CDIT): Narzędzie ETL Conversion Tool automatyzuje konwersję potoków ETL i kodu orkiestracji ze starszych narzędzi do AWS Glue i Funkcje kroków AWS i eliminuje ręczne procesy związane z migracją klienta do chmury ETL.
Posiada intuicyjny interfejs użytkownika (UI). Można używać tych akceleratorów, wybierając źródłowe i docelowe narzędzie ETL do konwersji, a następnie przesyłając plik XML z mapowaniem ETL do konwersji jako dane wejściowe.
Narzędzie umożliwia także ciągłe monitorowanie całościowego postępu, a także posiada mechanizmy ostrzegania w przypadku jakichkolwiek awarii, błędów czy problemów eksploatacyjnych.
Cognizant Data & Intelligence Toolkit (CDIT): Narzędzie ETL Conversion Tool wewnętrznie korzysta z wielu natywnych usług AWS, takich jak Usługa Amazon Simple Storage (Amazon S3) i Usługa relacyjnych baz danych Amazon (Amazon RDS) do przechowywania danych i zarządzania metadanymi; Elastyczna chmura obliczeniowa Amazon (Amazon EC2) i AWS Lambda do przetworzenia; Amazon Cloud Watch, Usługa zarządzania kluczami AWS (AWS KMS) i Centrum tożsamości AWS IAM (następca AWS Single Sign-On) do monitorowania i bezpieczeństwa; I Tworzenie chmury AWS za zarządzanie infrastrukturą. Poniższy diagram ilustruje tę architekturę.
Jak korzystać z CDIT: Narzędzie konwersji ETL do migracji ETL.
Cognizant Data & Intelligence Toolkit (CDIT): Narzędzie do konwersji ETL obsługuje następujące starsze narzędzia ETL jako źródło i obsługuje generowanie odpowiednich skryptów ETL AWS Glue w Pythonie i Scali:
- Informatyka
- DataStage
- SSIS
- Taland
Przyjrzyjmy się bardziej szczegółowo etapom migracji.
Oceń dotychczasowy proces ETL
Cognizant Data & Intelligence Toolkit (CDIT): Narzędzie do konwersji ETL umożliwia zbiorczą ocenę potencjalnego procentu automatyzacji i złożoności zestawu zadań i przepływów pracy ETL, które podlegają migracji do AWS Glue. Opcja oceny pomaga zrozumieć, jaki rodzaj oszczędności można osiągnąć przy użyciu zestawu narzędzi Cognizant Data & Intelligence Toolkit (CDIT): narzędzie konwersji ETL, złożoność mapowań ETL oraz zakres potrzebnej ręcznej konwersji, jeśli taka istnieje. Można przesłać pojedyncze mapowanie ETL lub folder zawierający wiele mapowań ETL jako dane wejściowe do oceny i wygenerować raport z oceny, jak pokazano na poniższym rysunku.
Konwertuj kod ETL na klej AWS
Aby przekonwertować starszy kod ETL, należy przesłać plik XML mapowania ETL jako dane wejściowe do narzędzia. Dane wejściowe użytkownika są przechowywane w wewnętrznym repozytorium metadanych narzędzia oraz w zestawie narzędzi Cognizant Data & Intelligence Toolkit (CDIT): Narzędzie konwersji ETL analizuje te pliki wejściowe XML i dzieli je na opatentowany model kanoniczny, który jest następnie przekształcany w docelowy klej AWS skrypty w Pythonie lub Scali. Poniższy zrzut ekranu przedstawia przykład zestawu narzędzi Cognizant Data & Intelligence Toolkit (CDIT): GUI narzędzia ETL Conversion Tool i Konsola wyjściowa szkło.
Jeśli jakakolwiek część wejściowego zadania ETL nie może zostać całkowicie przekonwertowana na odpowiedni skrypt AWS Glue, zostaje ona oznaczona pomiędzy wierszami komentarza w wynikach, aby można było ją naprawić ręcznie.
Konwertuj przepływ pracy na funkcje kroków
Następnym logicznym krokiem po konwersji starszych zadań ETL jest zaaranżowanie uruchamiania tych zadań w logicznej kolejności. Cognizant Data & Intelligence Toolkit (CDIT): Narzędzie do konwersji ETL umożliwia automatyzację konwersji lokalnych przepływów pracy ETL poprzez konwersję ich do odpowiednich przepływów pracy funkcji kroku. Poniższy rysunek ilustruje przykładowy przepływ pracy w programie Informatica.
Konwersja przepływu pracy przebiega według podobnego wzorca jak w przypadku mapowania ETL. Pliki XML dla przepływów pracy ETL są przesyłane jako dane wejściowe, a zestaw narzędzi Cognizant Data & Intelligence Toolkit (CDIT): Narzędzie konwersji ETL generuje równoważny plik JSON funkcji krokowych w oparciu o wejściowe dane pliku XML.
Korzyści z używania Cognizant Data & Intelligence Toolkit (CDIT): Narzędzie do konwersji ETL
Poniżej przedstawiono najważniejsze zalety korzystania z zestawu Cognizant Data & Intelligence Toolkit (CDIT): Narzędzie konwersji ETL do automatyzacji starszej konwersji ETL:
- Redukcja kosztów – Możesz zmniejszyć ogólny wysiłek związany z migracją nawet o 80%, automatyzując konwersję ETL i przepływów pracy do funkcji klejenia i kroków AWS
- Lepsze planowanie i wdrażanie – Możesz ocenić zakres ETL i określić procent automatyzacji, złożoność i nieobsługiwane wzorce przed rozpoczęciem projektu, co skutkuje dokładnym oszacowaniem i harmonogramem
- Kompletność – Cognizant Data & Intelligence Toolkit (CDIT): Narzędzie do konwersji ETL oferuje jedno rozwiązanie z obsługą wielu starszych narzędzi ETL, takich jak Informatica, DataStage, Talend i innych.
- Poprawione wrażenia klientów – Możesz płynnie osiągnąć cele migracji, bez błędów spowodowanych ręczną konwersją i przy wysokim stopniu automatyzacji
Studium przypadku: Zestaw narzędzi Cognizant Data & Intelligence Toolkit (CDIT): proponowane wdrożenie narzędzia konwersji ETL
Duża amerykańska firma zajmująca się ubezpieczeniami i rentami chciała przenieść swój dotychczasowy proces ETL w Informatica do AWS Glue w ramach swojej strategii migracji do chmury.
W ramach tego zaangażowania firma Cognizant pomogła klientowi pomyślnie przeprowadzić migrację zadań i przepływów pracy ETL w oparciu o Informaticę do AWS. Weryfikacja koncepcji (PoC) przy użyciu zestawu narzędzi Cognizant Data & Intelligence Toolkit (CDIT): Narzędzie konwersji ETL zostało ukończone jako pierwsze w celu zaprezentowania i sprawdzenia możliwości automatyzacji.
Cognizant Data & Intelligence Toolkit (CDIT): Narzędzie ETL Conversion Tool zostało użyte do zautomatyzowania konwersji ponad 300 mapowań i przepływów pracy Informatica do równoważnych, odpowiednio zadań AWS Glue i przepływów pracy Step Functions. W rezultacie klient mógł zgodnie z planem przeprowadzić migrację całego starszego kodu ETL do AWS i wycofać starszą aplikację.
Oto najważniejsze wnioski z tego zaangażowania:
- Migracja ponad 300 starszych zadań ETL Informatica do AWS Glue
- Zautomatyzowana konwersja ponad 6,000 transformacji ze starszego ETL na klej AWS
- 85% automatyzacji osiągnięte przy użyciu narzędzia CDIT: ETL Conversion Tool
- Klient zaoszczędził na opłatach licencyjnych i zgodnie z planem wycofał starszą aplikację
Wnioski
W tym poście omówiliśmy, jak migracja starszych procesów ETL do chmury ma kluczowe znaczenie dla powodzenia migracji do chmury. Cognizant Data & Intelligence Toolkit (CDIT): Narzędzie do konwersji ETL umożliwia przeprowadzenie oceny istniejącego procesu ETL w celu uzyskania procentu złożoności i automatyzacji w celu lepszego szacowania i planowania. Omówiliśmy także technologie ETL obsługiwane przez Cognizant Data & Intelligence Toolkit (CDIT): ETL Conversion Tool oraz sposób, w jaki zadania ETL można konwertować na odpowiednie skrypty AWS Glue. Na koniec zademonstrowaliśmy, jak wykorzystać istniejące przepływy pracy ETL do automatycznego generowania odpowiednich zadań orkiestracji funkcji kroku.
Aby dowiedzieć się więcej, skontaktuj się z Cognizant.
O autorach
Deepaka Singha jest starszym architektem rozwiązań w Amazon Web Services z ponad 20-letnim doświadczeniem w obszarze danych i AIA. Lubi pracować z partnerami i klientami AWS nad budowaniem skalowalnych rozwiązań analitycznych dla ich wyników biznesowych. Kiedy nie jest w pracy, uwielbia spędzać czas z rodziną lub odkrywać nowe technologie w obszarze analityki i przestrzeni AI.
Piyush Patra jest architektem rozwiązań dla partnerów w Amazon Web Services, gdzie wspiera partnerów w ich podróżach analitycznych i jest globalnym liderem strategicznych programów partnerskich w zakresie modernizacji i migracji zasobów danych.
Govinda Mohana jest zastępcą dyrektora w firmie Cognizant z ponad 18-letnim doświadczeniem w przestrzeni danych i analityki. Pomógł zaprojektować i wdrożyć wiele projektów migracji danych na dużą skalę, podnoszenia i zmiany aplikacji oraz modernizacji starszych rozwiązań, a także blisko współpracuje z klientami w przyspieszaniu procesu modernizacji chmury wykorzystując platformę Cognizant Data and Intelligence Toolkit (CDIT).
Kausik Dhar jest liderem technologii z ponad 23-letnim doświadczeniem w IT – skupionym głównie na danych i analityce, modernizacji danych, tworzeniu aplikacji, zarządzaniu dostawami i architekturze rozwiązań. Odegrał kluczową rolę w prowadzeniu klientów przez proces projektowania i przeprowadzania migracji danych i procesów na dużą skalę, a także kierował pomyślnymi wdrożeniami w chmurze. Kausik posiada wiedzę w zakresie formułowania strategii migracji dla złożonych programów i umiejętnego konstruowania architektury Data Lake/Lakehouse z wykorzystaniem szerokiej gamy narzędzi i technologii.
- Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
- PlatoData.Network Pionowe generatywne AI. Wzmocnij się. Dostęp tutaj.
- PlatoAiStream. Inteligencja Web3. Wiedza wzmocniona. Dostęp tutaj.
- PlatonESG. Węgiel Czysta technologia, Energia, Środowisko, Słoneczny, Gospodarowanie odpadami. Dostęp tutaj.
- Platon Zdrowie. Inteligencja w zakresie biotechnologii i badań klinicznych. Dostęp tutaj.
- Źródło: https://aws.amazon.com/blogs/big-data/automate-legacy-etl-conversion-to-aws-glue-using-cognizant-data-and-intelligence-toolkit-cdit-etl-conversion-tool/
- :ma
- :Jest
- :nie
- :Gdzie
- 000
- 100
- 220
- 23
- 300
- a
- Zdolny
- przyspieszenie
- akceleratory
- precyzja
- dokładny
- Osiągać
- osiągnięty
- nabyć
- nabycie
- dodatek
- Korzyść
- Po
- AI
- AIA
- Wszystkie kategorie
- również
- Chociaż
- Amazonka
- Amazon EC2
- Amazon RDS
- Amazon Web Services
- an
- Analityczny
- analityka
- i
- każdy
- Zastosowanie
- Application Development
- podejście
- architektura
- SĄ
- Szyk
- AS
- oszacować
- oszacowanie
- Współpracownik
- powiązany
- At
- zautomatyzować
- automaty
- automatycznie
- automatyzacja
- Automatyzacja
- AWS
- Klej AWS
- na podstawie
- BE
- zanim
- Korzyści
- Ulepsz Swój
- pomiędzy
- Blog
- obie
- przerwy
- Bringing
- budować
- Budowanie
- biznes
- biznes
- ale
- by
- CAN
- możliwości
- powodowany
- klientów
- dokładnie
- Chmura
- kod
- kompetentny
- byliśmy spójni, od początku
- komentarz
- Firmy
- sukcesy firma
- Zakończony
- całkowicie
- kompleks
- kompleksowość
- obliczać
- pojęcie
- Konsola
- budowy
- ciągły
- Konwersja
- konwertować
- przeliczone
- 轉換
- Odpowiedni
- Koszty:
- krytyczny
- klient
- Klientów
- dane
- hurtownia danych
- magazyn danych
- Baza danych
- dostawa
- wykazać
- opisać
- Wnętrze
- projektowanie
- detal
- Ustalać
- oprogramowania
- Dyrektor
- omówione
- na dół
- faktycznie
- wydajny
- wysiłek
- eliminuje
- eliminując
- zatrudniający
- Umożliwia
- koniec końców
- zaręczynowy
- zaprojektowane
- wzbogacać
- wyobrażać sobie
- Równoważny
- błąd
- Błędy
- majątek
- Eter (ETH)
- wydarzenie
- przykład
- wykonywania
- Przede wszystkim system został opracowany
- doświadczenie
- ekspertyza
- Exploring
- stopień
- wyciąg
- członków Twojej rodziny
- szybciej
- Korzyści
- Opłaty
- Postać
- filet
- Akta
- i terminów, a
- ustalony
- Skupiać
- koncentruje
- następujący
- następujący sposób
- W razie zamówieenia projektu
- formułowanie
- Naprzód
- od
- Funkcje
- Generować
- generuje
- generujący
- Globalne
- Gole
- Have
- mający
- he
- pomoc
- pomógł
- pomaga
- Wysoki
- pasemka
- W jaki sposób
- How To
- http
- HTTPS
- człowiek
- IAM
- tożsamość
- if
- ilustruje
- wdrożenia
- realizacja
- wdrożenia
- in
- Infrastruktura
- inicjatywa
- Innowacyjny
- wkład
- Wejścia
- ubezpieczenie
- integracja
- Inteligencja
- Interfejs
- wewnętrzny
- wewnętrznie
- najnowszych
- intuicyjny
- zaangażowany
- problemy
- IT
- JEGO
- Praca
- Oferty pracy
- podróż
- Podróże
- jpg
- json
- Klawisz
- Uprzejmy
- duży
- na dużą skalę
- w końcu
- firmy
- prowadzić
- lider
- UCZYĆ SIĘ
- Dziedzictwo
- pozwala
- lewarowanie
- Koncesjonowanie
- lubić
- linie
- załadować
- logiczny
- dłużej
- Popatrz
- Partia
- kocha
- Główny
- i konserwacjami
- podręcznik
- ręcznie
- wiele
- mapowanie
- rynek
- Mechanizmy
- Metadane
- migrować
- migracja
- migracja
- model
- modernizacja
- monitorowanie
- jeszcze
- dużo
- wielokrotność
- rodzimy
- konieczność
- potrzebne
- Nowości
- Nowe technologie
- Następny
- Nie
- numer
- of
- oferta
- Oferty
- on
- ONE
- tylko
- operacyjny
- Option
- or
- orkiestracja
- zamówienie
- na zewnątrz
- wyniki
- wydajność
- koniec
- ogólny
- część
- partnerem
- wzmacniacz
- patentowany
- Wzór
- wzory
- procent
- wykonać
- kluczowy
- Miejsce
- planowany
- planowanie
- Platforma
- plato
- Analiza danych Platona
- PlatoDane
- grał
- odgrywa
- Proszę
- PoC
- Post
- potencjał
- premier
- głównie
- wygląda tak
- procesów
- przetwarzanie
- Programy
- Postęp
- projekt
- projektowanie
- dowód
- dowód koncepcji
- zaproponowane
- że
- Python
- szybko
- dosięgnąć
- zmniejszyć
- raport
- składnica
- odpowiednio
- dalsze
- wynikły
- przepisanie
- Ryzyko
- Rola
- run
- Zapisz
- zapisywane
- oszczędność
- Scala
- skalowalny
- zakres
- scenariusz
- skrypty
- płynnie
- bezpieczeństwo
- widziany
- wybierając
- senior
- Usługi
- zestaw
- kilka
- przesunięcie
- prezentacja
- pokazane
- Targi
- podobny
- Prosty
- pojedynczy
- So
- rozwiązanie
- Rozwiązania
- Źródło
- Typ przestrzeni
- pionierem
- Spędzanie
- początek
- Ewolucja krok po kroku
- Cel
- przechowywanie
- przechowywany
- Strategiczny
- strategie
- Strategia
- Badanie
- sukces
- udany
- Z powodzeniem
- taki
- wsparcie
- Utrzymany
- podpory
- Brać
- cel
- Technologies
- Technologia
- niż
- że
- Połączenia
- Źródło
- ich
- Im
- następnie
- Te
- to
- Przez
- poziom
- czas
- do
- narzędzie
- Zestaw narzędzi
- narzędzia
- w kierunku
- tradycyjny
- Przekształcać
- przemiany
- ui
- zrozumieć
- przesłanych
- Uploading
- posługiwać się
- używany
- Użytkownik
- Interfejs użytkownika
- zastosowania
- za pomocą
- UPRAWOMOCNIĆ
- oglądany "
- poszukiwany
- Magazyn
- była
- we
- sieć
- usługi internetowe
- Co
- jeśli chodzi o komunikację i motywację
- który
- szeroki
- w
- bez
- Praca
- workflow
- przepływów pracy
- pracujący
- działa
- XML
- rok
- lat
- ty
- zefirnet