Dieser Blogbeitrag wurde gemeinsam mit Govind Mohan und Kausik Dhar von Cognizant verfasst.
Die Migration lokaler Data Warehouses in die Cloud wird für Unternehmen nicht mehr als Option, sondern als Notwendigkeit angesehen, um Kosten zu sparen und die Vorteile der neuesten Technologie zu nutzen. Obwohl wir einen großen Fokus auf die Migration von Daten aus alten Data Warehouses in die Cloud und mehrere Tools zur Unterstützung dieser Initiative gesehen haben, sind Daten nur ein Teil des Weges. Die erfolgreiche Migration veralteter Prozesse zum Extrahieren, Transformieren und Laden (ETL), die die Daten erfassen, anreichern und transformieren, spielt eine Schlüsselrolle für den Erfolg jeder End-to-End-Data-Warehouse-Migration in die Cloud.
Der traditionelle Ansatz, eine große Anzahl von ETL-Prozessen manuell auf Cloud-native Technologien wie umzuschreiben AWS-Kleber ist zeitaufwändig und kann anfällig für menschliches Versagen sein. Cognizant Data & Intelligence Toolkit (CDIT) – Das ETL-Konvertierungstool automatisiert diesen Prozess, sorgt für mehr Vorhersehbarkeit und Genauigkeit, eliminiert das mit der manuellen Konvertierung verbundene Risiko und sorgt für eine schnellere Markteinführung für Kunden.
Wissend ist ein AWS Premier Tier Services-Partner mit mehreren AWS-Kompetenzen. Mit seinem branchenbasierten Beratungsansatz unterstützt Cognizant seine Kunden bei der Planung, dem Aufbau und der Führung innovativerer und effizienterer Unternehmen.
In diesem Beitrag beschreiben wir, wie das Data & Intelligence Toolkit (CDIT) – ETL Conversion Tool von Cognizant Ihnen dabei helfen kann, älteren ETL-Code schnell und effektiv automatisch in AWS Glue zu konvertieren. Außerdem beschreiben wir die wichtigsten Schritte, die unterstützten Funktionen und ihre Vorteile.
Lösungsüberblick
Cognizant Data & Intelligence Toolkit (CDIT): Das ETL-Konvertierungstool automatisiert die Konvertierung von ETL-Pipelines und Orchestrierungscode von Legacy-Tools in AWS Glue und AWS Step-Funktionen und eliminiert die manuellen Prozesse, die mit der ETL-Cloud-Migration eines Kunden verbunden sind.
Es verfügt über eine intuitive Benutzeroberfläche (UI). Sie können diese Beschleuniger verwenden, indem Sie das Quell- und Ziel-ETL-Tool für die Konvertierung auswählen und dann eine XML-Datei der zu konvertierenden ETL-Zuordnung als Eingabe hochladen.
Das Tool unterstützt außerdem die kontinuierliche Überwachung des Gesamtfortschritts und es sind Warnmechanismen für den Fall von Ausfällen, Fehlern oder Betriebsproblemen vorhanden.
Cognizant Data & Intelligence Toolkit (CDIT): Das ETL Conversion Tool nutzt intern viele native AWS-Dienste, wie z Amazon Simple Storage-Service (Amazon S3) und Relationaler Amazon-Datenbankdienst (Amazon RDS) für Speicher- und Metadatenverwaltung; Amazon Elastic Compute-Cloud (Amazon EC2) und AWS Lambda zum Bearbeiten; Amazon CloudWatch, AWS-Schlüsselverwaltungsservice (AWS KMS) und AWS IAM Identity Center (Nachfolger von AWS Single Sign-On) für Überwachung und Sicherheit; Und AWS CloudFormation für das Infrastrukturmanagement. Das folgende Diagramm veranschaulicht diese Architektur.
So verwenden Sie CDIT: ETL Conversion Tool für die ETL-Migration.
Cognizant Data & Intelligence Toolkit (CDIT): Das ETL Conversion Tool unterstützt die folgenden älteren ETL-Tools als Quelle und unterstützt die Generierung entsprechender AWS Glue ETL-Skripte in Python und Scala:
- Informatik
- DataStage
- SSIS
- Talend
Schauen wir uns die Migrationsschritte genauer an.
Bewerten Sie den alten ETL-Prozess
Cognizant Data & Intelligence Toolkit (CDIT): Mit dem ETL-Konvertierungstool können Sie den potenziellen Automatisierungsprozentsatz und die Komplexität einer Reihe von ETL-Jobs und -Workflows, die für die Migration zu AWS Glue vorgesehen sind, in großen Mengen bewerten. Die Bewertungsoption hilft Ihnen zu verstehen, welche Art von Einsparungen mit dem ETL-Konvertierungstool des Cognizant Data & Intelligence Toolkit (CDIT) erzielt werden können, wie komplex die ETL-Zuordnungen sind und in welchem Umfang ggf. eine manuelle Konvertierung erforderlich ist. Sie können eine einzelne ETL-Zuordnung oder einen Ordner mit mehreren ETL-Zuordnungen als Eingabe für die Bewertung hochladen und einen Bewertungsbericht erstellen, wie in der folgenden Abbildung dargestellt.
Konvertieren Sie den ETL-Code in AWS Glue
Um älteren ETL-Code zu konvertieren, laden Sie die XML-Datei der ETL-Zuordnung als Eingabe in das Tool hoch. Benutzereingaben werden im internen Metadaten-Repository des Tools und des Cognizant Data & Intelligence Toolkit (CDIT) gespeichert: Das ETL Conversion Tool analysiert diese XML-Eingabedateien und zerlegt sie in ein patentiertes kanonisches Modell, das dann in den Ziel-AWS Glue weitergeleitet wird Skripte in Python oder Scala. Der folgende Screenshot zeigt ein Beispiel für das Cognizant Data & Intelligence Toolkit (CDIT): ETL Conversion Tool GUI und Ausgabekonsole Feld.
Wenn ein Teil des ETL-Eingabeauftrags nicht vollständig in das entsprechende AWS Glue-Skript konvertiert werden konnte, wird er zwischen Kommentarzeilen in der Ausgabe markiert, damit er manuell behoben werden kann.
Konvertieren Sie den Workflow in Schrittfunktionen
Der nächste logische Schritt nach der Konvertierung der alten ETL-Jobs besteht darin, die Ausführung dieser Jobs in der logischen Reihenfolge zu orchestrieren. Cognizant Data & Intelligence Toolkit (CDIT): Mit dem ETL Conversion Tool können Sie die Konvertierung lokaler ETL-Workflows automatisieren, indem Sie sie in entsprechende Step Functions-Workflows konvertieren. Die folgende Abbildung zeigt einen Beispiel-Informatica-Eingabeworkflow.
Die Workflow-Konvertierung folgt einem ähnlichen Muster wie das ETL-Mapping. XML-Dateien für ETL-Workflows werden als Eingabe hochgeladen und Cognizant Data & Intelligence Toolkit (CDIT): ETL-Konvertierungstool generiert die entsprechende Step Functions-JSON-Datei basierend auf den eingegebenen XML-Dateidaten.
Vorteile der Verwendung des Cognizant Data & Intelligence Toolkit (CDIT): ETL-Konvertierungstool
Im Folgenden sind die Hauptvorteile der Verwendung des Cognizant Data & Intelligence Toolkit (CDIT) aufgeführt: ETL-Konvertierungstool zur Automatisierung der Legacy-ETL-Konvertierung:
- Kostenreduktion – Sie können den gesamten Migrationsaufwand um bis zu 80 % reduzieren, indem Sie die Konvertierung von ETL und Workflows in AWS Glue und Step Functions automatisieren
- Bessere Planung und Umsetzung – Sie können den ETL-Umfang bewerten und den Automatisierungsgrad, die Komplexität und nicht unterstützte Muster vor Beginn des Projekts bestimmen, was zu genauen Schätzungen und Zeitplänen führt
- Vollständigkeit – Cognizant Data & Intelligence Toolkit (CDIT): Das ETL Conversion Tool bietet eine Lösung mit Unterstützung für mehrere ältere ETL-Tools wie Informatica, DataStage, Talend und mehr.
- Verbesserte Kundenerfahrung – Sie können Migrationsziele nahtlos ohne Fehler durch manuelle Konvertierung und mit hohem Automatisierungsgrad erreichen
Fallstudie: Cognizant Data & Intelligence Toolkit (CDIT): Vorgeschlagene Implementierung des ETL-Konvertierungstools
Ein großes US-amerikanisches Versicherungs- und Rentenversicherungsunternehmen wollte im Rahmen seiner Cloud-Migrationsstrategie seinen alten ETL-Prozess in Informatica auf AWS Glue migrieren.
Im Rahmen dieses Engagements unterstützte Cognizant den Kunden bei der erfolgreichen Migration seiner auf Informatica basierenden ETL-Jobs und -Workflows zur Datenerfassung und -integration nach AWS. Zunächst wurde ein Proof of Concept (PoC) mit dem Cognizant Data & Intelligence Toolkit (CDIT): ETL Conversion Tool fertiggestellt, um Automatisierungsfunktionen zu demonstrieren und zu validieren.
Cognizant Data & Intelligence Toolkit (CDIT): Das ETL Conversion Tool wurde verwendet, um die Konvertierung von über 300 Informatica-Zuordnungen und -Workflows in entsprechende AWS Glue-Jobs bzw. Step Functions-Workflows zu automatisieren. Dadurch konnte der Kunde wie geplant den gesamten Legacy-ETL-Code zu AWS migrieren und die Legacy-Anwendung außer Betrieb nehmen.
Im Folgenden sind die wichtigsten Highlights dieses Engagements aufgeführt:
- Migration von über 300 älteren Informatica ETL-Jobs zu AWS Glue
- Automatisierte Konvertierung von über 6,000 Transformationen von Legacy-ETL zu AWS Glue
- 85 % Automatisierung erreicht mit CDIT: ETL Conversion Tool
- Der Kunde sparte Lizenzgebühren und stellte seine Altanwendung wie geplant ein
Zusammenfassung
In diesem Beitrag haben wir besprochen, wie wichtig die Migration älterer ETL-Prozesse in die Cloud für den Erfolg einer Cloud-Migration ist. Cognizant Data & Intelligence Toolkit (CDIT): Mit dem ETL-Konvertierungstool können Sie eine Bewertung des bestehenden ETL-Prozesses durchführen, um Komplexität und Automatisierungsprozentsatz für eine bessere Schätzung und Planung abzuleiten. Wir haben auch die vom Cognizant Data & Intelligence Toolkit (CDIT) unterstützten ETL-Technologien besprochen: ETL Conversion Tool und wie ETL-Jobs in entsprechende AWS Glue-Skripte konvertiert werden können. Abschließend haben wir gezeigt, wie Sie vorhandene ETL-Workflows nutzen können, um automatisch entsprechende Step Functions-Orchestrierungsjobs zu generieren.
Um mehr zu erfahren, wenden Sie sich bitte an Cognizant.
Über die Autoren
Deepak Singh ist Senior Solutions Architect bei Amazon Web Services mit mehr als 20 Jahren Erfahrung in Daten und AIA. Er genießt es, mit AWS-Partnern und Kunden an der Entwicklung skalierbarer Analyselösungen für deren Geschäftsergebnisse zu arbeiten. Wenn er nicht bei der Arbeit ist, verbringt er gerne Zeit mit der Familie oder erforscht neue Technologien im Bereich Analytik und KI.
Piyush Patra ist Partner Solutions Architect bei Amazon Web Services, wo er Partner bei ihren Analytics-Reisen unterstützt und der globale Leiter für strategische Partnerprogramme zur Modernisierung und Migration von Datenbeständen ist.
Govind Mohan ist Associate Director bei Cognizant und verfügt über mehr als 18 Jahre Erfahrung im Daten- und Analysebereich. Er hat bei der Konzeption und Implementierung mehrerer groß angelegter Datenmigrations-, Anwendungs-Lift & Shift- und Legacy-Modernisierungsprojekte geholfen und arbeitet eng mit Kunden zusammen, um die Cloud-Modernisierung zu beschleunigen Nutzung der Cognizant Data and Intelligence Toolkit (CDIT)-Plattform.
Kausik Dhar ist ein Technologieführer mit mehr als 23 Jahren IT-Erfahrung – hauptsächlich mit Schwerpunkt auf Daten und Analysen, Datenmodernisierung, Anwendungsentwicklung, Bereitstellungsmanagement und Lösungsarchitektur. Er hat eine entscheidende Rolle dabei gespielt, Kunden bei der Konzeption und Durchführung groß angelegter Daten- und Prozessmigrationen zu begleiten und außerdem erfolgreiche Cloud-Implementierungen voranzutreiben. Kausik verfügt über Fachkenntnisse in der Formulierung von Migrationsstrategien für komplexe Programme und im geschickten Aufbau einer Data Lake/Lakehouse-Architektur unter Einsatz einer breiten Palette von Tools und Technologien.
- SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
- PlatoData.Network Vertikale generative KI. Motiviere dich selbst. Hier zugreifen.
- PlatoAiStream. Web3-Intelligenz. Wissen verstärkt. Hier zugreifen.
- PlatoESG. Kohlenstoff, CleanTech, Energie, Umwelt, Solar, Abfallwirtschaft. Hier zugreifen.
- PlatoHealth. Informationen zu Biotechnologie und klinischen Studien. Hier zugreifen.
- Quelle: https://aws.amazon.com/blogs/big-data/automate-legacy-etl-conversion-to-aws-glue-using-cognizant-data-and-intelligence-toolkit-cdit-etl-conversion-tool/
- :hast
- :Ist
- :nicht
- :Wo
- 000
- 100
- 220
- 23
- 300
- a
- Fähig
- beschleunigend
- Beschleuniger
- Genauigkeit
- genau
- Erreichen
- erreicht
- erwerben
- Erwerb
- Zusatz
- Vorteil
- Nach der
- AI
- AIA
- Alle
- ebenfalls
- Obwohl
- Amazon
- Amazon EC2
- Amazon RDS
- Amazon Web Services
- an
- Analytische
- Analytik
- und
- jedem
- Anwendung
- Anwendungsentwicklung
- Ansatz
- Architektur
- SIND
- Feld
- AS
- beurteilen
- Bewertung
- Partnerschaftsräte
- damit verbundenen
- At
- automatisieren
- Automatisches Erfassen:
- Im Prinzip so, wie Sie es von Google Maps kennen.
- automatisieren
- Automation
- AWS
- AWS-Kleber
- basierend
- BE
- Bevor
- Vorteile
- Besser
- zwischen
- Blog
- beide
- geht kaputt
- Bringing
- bauen
- Building
- Geschäft
- Unternehmen
- aber
- by
- CAN
- Fähigkeiten
- verursacht
- Kunden
- eng
- Cloud
- Code
- wissend
- kommt
- Kommentar
- Unternehmen
- Unternehmen
- Abgeschlossene Verkäufe
- uneingeschränkt
- Komplex
- Komplexität
- Berechnen
- konzept
- Konsul (Console)
- Bau
- kontinuierlich
- Umwandlung (Conversion)
- verkaufen
- umgewandelt
- Umwandlung
- Dazugehörigen
- Kosten
- kritischem
- Kunde
- Kunden
- technische Daten
- Data Warehouse
- Data Warehouse
- Datenbase
- Lieferanten
- Synergie
- beschreiben
- Design
- Entwerfen
- Detail
- Bestimmen
- Entwicklung
- Direktor
- diskutiert
- nach unten
- effektiv
- effizient
- Anstrengung
- eliminiert
- eliminieren
- anstellen
- ermöglicht
- End-to-End
- Engagement
- entwickelt
- bereichern
- vorstellen
- Äquivalent
- Fehler
- Fehler
- Sommer
- Äther (ETH)
- Event
- Beispiel
- Ausführung
- vorhandenen
- ERFAHRUNGEN
- Expertise
- Möglichkeiten sondieren
- Umfang
- Extrakt
- Familie
- beschleunigt
- Eigenschaften
- Honorare
- Abbildung
- Reichen Sie das
- Mappen
- Vorname
- fixiert
- Setzen Sie mit Achtsamkeit
- konzentriert
- Folgende
- folgt
- Aussichten für
- formulieren
- vorwärts
- für
- Funktionen
- erzeugen
- erzeugt
- Erzeugung
- Global
- Ziele
- Haben
- mit
- he
- Hilfe
- dazu beigetragen,
- hilft
- GUTE
- Highlights
- Ultraschall
- Hilfe
- http
- HTTPS
- human
- IAM
- Identitätsschutz
- if
- zeigt
- implementieren
- Implementierung
- Realisierungen
- in
- Infrastruktur
- Initiative
- innovativ
- Varianten des Eingangssignals:
- Eingänge
- Versicherung
- Integration
- Intelligenz
- Schnittstelle
- intern
- innen
- in
- intuitiv
- beteiligt
- Probleme
- IT
- SEINE
- Job
- Jobs
- Reise
- Reisen
- jpg
- JSON
- Wesentliche
- Art
- grosse
- großflächig
- zuletzt
- neueste
- führen
- Führer
- LERNEN
- Legacy
- Lasst uns
- Nutzung
- Lizenzierung
- Gefällt mir
- Linien
- Belastung
- logisch
- länger
- aussehen
- Los
- liebt
- Main
- Management
- manuell
- manuell
- viele
- Mapping
- Markt
- Mechanismen
- Metadaten
- migriert
- Migration
- Migration
- Modell
- Modernisierung
- Überwachung
- mehr
- viel
- mehrere
- nativen
- Notwendigkeit
- erforderlich
- Neu
- Neue Technologien
- weiter
- nicht
- Anzahl
- of
- bieten
- Angebote
- on
- EINEM
- einzige
- Betriebs-
- Option
- or
- Orchesterbearbeitung
- Auftrag
- Ergebnisse
- Möglichkeiten für das Ausgangssignal:
- übrig
- Gesamt-
- Teil
- Partner
- patentiert
- Schnittmuster
- Muster
- Prozentsatz
- ausführen
- zentrale
- Ort
- geplant
- Planung
- Plattform
- Plato
- Datenintelligenz von Plato
- PlatoData
- gespielt
- spielt
- Bitte
- PoC
- Post
- Potenzial
- Premier
- in erster Linie
- Prozessdefinierung
- anpassen
- Verarbeitung
- Programme
- Fortschritt
- Projekt
- Projekte
- Beweis
- Proof of Concept
- vorgeschlage
- Bereitstellung
- Python
- schnell
- erreichen
- Veteran
- berichten
- Quelle
- beziehungsweise
- Folge
- was zu
- Umschreibung
- Risiko
- Rollen
- Führen Sie
- Speichern
- Gerettet
- Einsparung
- Scala
- skalierbaren
- Umfang
- Skript
- Skripte
- nahtlos
- Sicherheitdienst
- gesehen
- Auswahl
- Senior
- Lösungen
- kompensieren
- mehrere
- verschieben
- Vitrine
- gezeigt
- Konzerte
- ähnlich
- Einfacher
- Single
- So
- Lösung
- Lösungen
- Quelle
- Raumfahrt
- Speerspitze
- Ausgabe
- Anfang
- Schritt
- Shritte
- Lagerung
- gelagert
- Strategisch
- Strategien
- Strategie
- Studie
- Erfolg
- erfolgreich
- Erfolgreich
- so
- Support
- Unterstützte
- Unterstützt
- Nehmen
- Target
- Technologies
- Technologie
- als
- zur Verbesserung der Gesundheitsgerechtigkeit
- Das
- Die Quelle
- ihr
- Sie
- dann
- Diese
- fehlen uns die Worte.
- Durch
- Tier
- Zeit
- zu
- Werkzeug
- Toolkit
- Werkzeuge
- gegenüber
- traditionell
- Transformieren
- Transformationen
- ui
- verstehen
- hochgeladen
- Uploading
- -
- benutzt
- Mitglied
- Benutzerschnittstelle
- verwendet
- Verwendung von
- BESTÄTIGEN
- angesehen
- wollte
- Warehouse
- wurde
- we
- Netz
- Web-Services
- Was
- wann
- welche
- breit
- mit
- ohne
- Arbeiten
- Arbeitsablauf.
- Workflows
- arbeiten,
- Werk
- XML
- Jahr
- Jahr
- U
- Zephyrnet