Esta publicación de blog está coescrita con Govind Mohan y Kausik Dhar de Cognizant.
La migración de los almacenes de datos locales a la nube ya no se considera una opción, sino una necesidad para que las empresas ahorren costos y aprovechen lo que ofrece la última tecnología. Aunque hemos visto mucha atención hacia la migración de datos desde almacenes de datos heredados a la nube y múltiples herramientas para respaldar esta iniciativa, los datos son solo una parte del viaje. La migración exitosa de los procesos heredados de extracción, transformación y carga (ETL) que adquieren, enriquecen y transforman los datos desempeña un papel clave en el éxito de cualquier migración de un almacén de datos de un extremo a otro a la nube.
El enfoque tradicional de reescribir manualmente una gran cantidad de procesos ETL en tecnologías nativas de la nube como Pegamento AWS lleva mucho tiempo y puede ser propenso a errores humanos. Cognizant Data & Intelligence Toolkit (CDIT): la herramienta de conversión ETL automatiza este proceso, brindando más previsibilidad y precisión, eliminando el riesgo asociado con la conversión manual y brindando un tiempo de comercialización más rápido para los clientes.
Competente es un Socio de servicios de nivel Premier de AWS con varias competencias de AWS. Con su enfoque consultivo basado en la industria, Cognizant ayuda a los clientes a imaginar, construir y administrar negocios más innovadores y eficientes.
En esta publicación, describimos cómo el kit de herramientas de inteligencia y datos (CDIT): herramienta de conversión ETL de Cognizant puede ayudarlo a convertir automáticamente código ETL heredado a AWS Glue de manera rápida y efectiva. También describimos los principales pasos a seguir, las funciones admitidas y sus beneficios.
Resumen de la solución
Cognizant Data & Intelligence Toolkit (CDIT): la herramienta de conversión ETL automatiza la conversión de canalizaciones ETL y código de orquestación de herramientas heredadas a AWS Glue y Funciones de paso de AWS y elimina los procesos manuales involucrados en el viaje de migración a la nube ETL de un cliente.
Viene con una interfaz de usuario intuitiva (UI). Puede utilizar estos aceleradores seleccionando la herramienta ETL de origen y de destino para la conversión y luego cargando un archivo XML de la asignación ETL para convertirlo como entrada.
La herramienta también admite el monitoreo continuo del progreso general y cuenta con mecanismos de alerta en caso de fallas, errores o problemas operativos.
Kit de herramientas de inteligencia y datos de Cognizant (CDIT): la herramienta de conversión ETL utiliza internamente muchos servicios nativos de AWS, como Servicio de almacenamiento simple de Amazon (Amazon S3) y Servicio de base de datos relacional de Amazon (Amazon RDS) para almacenamiento y gestión de metadatos; Nube informática elástica de Amazon (Amazon EC2) y AWS Lambda para procesar; Reloj en la nube de Amazon, Servicio de administración de claves de AWS (AWS KMS), y Centro de identidad de AWS IAM (sucesor de AWS Single Sign-On) para monitoreo y seguridad; y Formación en la nube de AWS para la gestión de infraestructuras. El siguiente diagrama ilustra esta arquitectura.
Cómo utilizar CDIT: herramienta de conversión ETL para migración ETL.
Kit de herramientas de inteligencia y datos de Cognizant (CDIT): la herramienta de conversión ETL admite las siguientes herramientas ETL heredadas como fuente y admite la generación de scripts ETL de AWS Glue correspondientes tanto en Python como en Scala:
- informática
- Etapa de Datos
- SSIS
- Talend
Veamos los pasos de la migración con más detalle.
Evaluar el proceso ETL heredado
Kit de herramientas de inteligencia y datos de Cognizant (CDIT): la herramienta de conversión de ETL le permite evaluar de forma masiva el porcentaje de automatización potencial y la complejidad de un conjunto de trabajos y flujos de trabajo de ETL que están dentro del alcance de la migración a AWS Glue. La opción de evaluación le ayuda a comprender qué tipo de ahorro se puede lograr utilizando Cognizant Data & Intelligence Toolkit (CDIT): herramienta de conversión ETL, la complejidad de las asignaciones de ETL y el alcance de la conversión manual necesaria, si corresponde. Puede cargar una única asignación ETL o una carpeta que contenga varias asignaciones ETL como entrada para la evaluación y generar un informe de evaluación, como se muestra en la siguiente figura.
Convierta el código ETL a AWS Glue
Para convertir código ETL heredado, cargue el archivo XML de la asignación ETL como entrada a la herramienta. Las entradas del usuario se almacenan en el repositorio interno de metadatos de la herramienta y Cognizant Data & Intelligence Toolkit (CDIT): la herramienta de conversión ETL analiza estos archivos de entrada XML y los descompone en un modelo canónico patentado, que luego se diseña en el AWS Glue de destino. scripts en Python o Scala. La siguiente captura de pantalla muestra un ejemplo del kit de herramientas de inteligencia y datos de Cognizant (CDIT): GUI de la herramienta de conversión ETL y Consola de salida cristal.
Si alguna parte del trabajo ETL de entrada no se pudo convertir completamente al script de AWS Glue equivalente, se etiqueta entre líneas de comentarios en la salida para que se pueda corregir manualmente.
Convierta el flujo de trabajo a funciones de pasos
El siguiente paso lógico después de convertir los trabajos ETL heredados es organizar la ejecución de estos trabajos en el orden lógico. Kit de herramientas de inteligencia y datos de Cognizant (CDIT): la herramienta de conversión ETL le permite automatizar la conversión de flujos de trabajo ETL locales convirtiéndolos en flujos de trabajo de Step Functions correspondientes. La siguiente figura ilustra un ejemplo de flujo de trabajo de entrada de Informatica.
La conversión del flujo de trabajo sigue un patrón similar al del mapeo ETL. Los archivos XML para flujos de trabajo ETL se cargan como entrada y Cognizant Data & Intelligence Toolkit (CDIT): herramienta de conversión ETL genera el archivo JSON de Step Functions equivalente en función de los datos del archivo XML de entrada.
Beneficios de utilizar Cognizant Data & Intelligence Toolkit (CDIT): herramienta de conversión ETL
Los siguientes son los beneficios clave de utilizar Cognizant Data & Intelligence Toolkit (CDIT): Herramienta de conversión ETL para automatizar la conversión ETL heredada:
- Reducción de costes – Puede reducir el esfuerzo general de migración hasta en un 80 % automatizando la conversión de ETL y flujos de trabajo a AWS Glue y Step Functions.
- Mejor planificación e implementación – Puede evaluar el alcance de ETL y determinar el porcentaje de automatización, la complejidad y los patrones no admitidos antes del inicio del proyecto, lo que da como resultado estimaciones y plazos precisos.
- Integridad – Cognizant Data & Intelligence Toolkit (CDIT): la herramienta de conversión ETL ofrece una solución compatible con múltiples herramientas ETL heredadas como Informatica, DataStage, Talend y más.
- Mejora de la experiencia del cliente – Puede lograr los objetivos de migración sin problemas, sin errores causados por la conversión manual y con un alto porcentaje de automatización.
Estudio de caso: Cognizant Data & Intelligence Toolkit (CDIT): implementación propuesta de la herramienta de conversión ETL
Una gran empresa de seguros y anualidades con sede en EE. UU. quería migrar su proceso ETL heredado en Informatica a AWS Glue como parte de su estrategia de migración a la nube.
Como parte de este compromiso, Cognizant ayudó al cliente a migrar con éxito sus trabajos y flujos de trabajo ETL de integración y adquisición de datos basados en Informatica a AWS. Primero se completó una prueba de concepto (PoC) utilizando Cognizant Data & Intelligence Toolkit (CDIT): la herramienta de conversión ETL para mostrar y validar las capacidades de automatización.
Kit de herramientas de inteligencia y datos de Cognizant (CDIT): la herramienta de conversión ETL se utilizó para automatizar la conversión de más de 300 asignaciones y flujos de trabajo de Informatica a trabajos equivalentes de AWS Glue y flujos de trabajo de Step Functions, respectivamente. Como resultado, el cliente pudo migrar todo el código ETL heredado a AWS según lo planeado y retirar la aplicación heredada.
Los siguientes son los aspectos más destacados de este compromiso:
- Migración de más de 300 trabajos ETL heredados de Informatica a AWS Glue
- Conversión automatizada de más de 6,000 transformaciones de ETL heredado a AWS Glue
- 85% de automatización lograda usando CDIT: herramienta de conversión ETL
- El cliente ahorró tarifas de licencia y retiró su aplicación heredada según lo planeado.
Conclusión
En esta publicación, analizamos cómo la migración de procesos ETL heredados a la nube es fundamental para el éxito de un viaje de migración a la nube. Kit de herramientas de inteligencia y datos de Cognizant (CDIT): la herramienta de conversión ETL le permite realizar una evaluación del proceso ETL existente para derivar la complejidad y el porcentaje de automatización para una mejor estimación y planificación. También analizamos las tecnologías ETL compatibles con Cognizant Data & Intelligence Toolkit (CDIT): herramienta de conversión ETL y cómo los trabajos ETL se pueden convertir a los scripts de AWS Glue correspondientes. Por último, demostramos cómo utilizar los flujos de trabajo ETL existentes para generar automáticamente los trabajos de orquestación de Step Functions correspondientes.
Para obtener más información, comuníquese con Cognizant.
Acerca de los autores
deepak singh es arquitecto senior de soluciones en Amazon Web Services con más de 20 años de experiencia en datos y AIA. Le gusta trabajar con socios y clientes de AWS en la creación de soluciones analíticas escalables para sus resultados comerciales. Cuando no está en el trabajo, le encanta pasar tiempo con la familia o explorar nuevas tecnologías en el ámbito del análisis y la inteligencia artificial.
Piyush Patra es arquitecto de soluciones de socios en Amazon Web Services, donde apoya a los socios en sus recorridos analíticos y es el líder global de los programas estratégicos de socios de modernización y migración de datos.
govind mohan es director asociado de Cognizant con más de 18 años de experiencia en el espacio de datos y análisis, ha ayudado a diseñar e implementar múltiples proyectos de migración de datos a gran escala, elevación y cambio de aplicaciones y modernización heredada y trabaja en estrecha colaboración con los clientes para acelerar el viaje de modernización de la nube. aprovechando la plataforma Cognizant Data and Intelligence Toolkit (CDIT).
Kausik Dhar es un líder tecnológico con más de 23 años de experiencia en TI, centrado principalmente en datos y análisis, modernización de datos, desarrollo de aplicaciones, gestión de entrega y arquitectura de soluciones. Ha desempeñado un papel fundamental al guiar a los clientes a través del diseño y la ejecución de migraciones de procesos y datos a gran escala, además de encabezar implementaciones exitosas en la nube. Kausik posee experiencia en la formulación de estrategias de migración para programas complejos y en la construcción hábil de arquitectura de lago de datos/Lakehouse empleando una amplia gama de herramientas y tecnologías.
- Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
- PlatoData.Network Vertical Generativo Ai. Empodérate. Accede Aquí.
- PlatoAiStream. Inteligencia Web3. Conocimiento amplificado. Accede Aquí.
- PlatoESG. Carbón, tecnología limpia, Energía, Ambiente, Solar, Gestión de residuos. Accede Aquí.
- PlatoSalud. Inteligencia en Biotecnología y Ensayos Clínicos. Accede Aquí.
- Fuente: https://aws.amazon.com/blogs/big-data/automate-legacy-etl-conversion-to-aws-glue-using-cognizant-data-and-intelligence-toolkit-cdit-etl-conversion-tool/
- :posee
- :es
- :no
- :dónde
- 000
- 100
- 220
- 23
- 300
- a
- Poder
- acelerador
- aceleradores
- la exactitud
- preciso
- Lograr
- alcanzado
- adquirir
- adquisición
- adición
- Ventaja
- Después
- AI
- AFP
- Todos
- también
- Aunque
- Amazon
- Amazon EC2
- RDS de Amazon
- Amazon Web Services
- an
- Pruebas analíticas
- Analytics
- y
- cualquier
- Aplicación
- Desarrollo de aplicaciones
- enfoque
- arquitectura
- somos
- Formación
- AS
- evaluar
- evaluación
- Consejos
- asociado
- At
- automatizado
- automatiza
- automáticamente
- automatizar
- Automatización
- AWS
- Pegamento AWS
- basado
- BE
- antes
- beneficios
- mejores
- entre
- Blog
- ambas
- rompe
- Trayendo
- build
- Construir la
- negocios
- pero
- by
- PUEDEN
- capacidades
- causado
- clientes
- de cerca
- Soluciones
- código
- competente
- proviene
- comentario
- Empresas
- compañía
- Completado
- completamente
- integraciones
- complejidad
- Calcular
- concepto
- Consola
- construcción
- continuo
- Conversión
- convertir
- convertido
- la conversión de
- Correspondiente
- Cost
- crítico
- cliente
- Clientes
- datos
- almacenamiento de datos
- almacenes de datos
- Base de datos
- entrega
- demostrado
- describir
- Diseño
- diseño
- detalle
- Determinar
- Desarrollo
- Director
- discutido
- DE INSCRIPCIÓN
- de manera eficaz
- eficiente
- esfuerzo
- elimina
- eliminando
- empleando
- permite
- de extremo a extremo
- de su negocio.
- ingeniería
- enriquecer
- imaginar
- Equivalente a
- error
- Errores
- inmuebles
- Éter (ETH)
- Evento
- ejemplo
- ejecución
- existente
- experience
- Experiencia
- Explorar
- grado
- extraerlos
- familia
- más rápida
- Caracteristicas
- Costes
- Figura
- Archive
- archivos
- Nombre
- fijas
- Focus
- centrado
- siguiendo
- siguiente
- formulando
- adelante
- Desde
- funciones
- generar
- genera
- la generación de
- Buscar
- Goals
- Tienen
- es
- he
- ayuda
- ayudado
- ayuda
- Alta
- destacados
- Cómo
- Como Hacer
- http
- HTTPS
- humana
- AMI
- Identidad
- if
- ilustra
- implementar
- implementación
- implementaciones
- in
- EN LA MINA
- Iniciativa
- originales
- Las opciones de entrada
- entradas
- aseguradora
- integración
- Intelligence
- Interfaz
- interno
- internamente
- dentro
- intuitivo
- involucra
- cuestiones
- IT
- SUS
- Trabajos
- Empleo
- Viajes
- jpg
- json
- Clave
- Tipo
- large
- Gran escala
- Finalmente
- más reciente
- Lead
- líder
- APRENDE:
- Legado
- Permíteme
- aprovechando
- Licencias
- como
- líneas
- carga
- lógico
- por más tiempo
- Mira
- Lote
- ama
- Inicio
- Management
- manual
- a mano
- muchos
- cartografía
- Mercado
- los mecanismos de
- metadatos
- migrado
- migrar
- migración
- modelo
- modernización
- monitoreo
- más,
- mucho más
- múltiples
- nativo
- necesidad
- Nuevo
- Nuevas tecnologías
- Next
- no
- número
- of
- LANZAMIENTO
- Ofertas
- on
- ONE
- , solamente
- operativos.
- Optión
- or
- orquestación
- solicite
- salir
- resultados
- salida
- Más de
- total
- parte
- Socio
- socios
- patentado
- Patrón de Costura
- .
- porcentaje
- realizar
- esencial
- Colocar
- planificado
- planificar
- plataforma
- Platón
- Inteligencia de datos de Platón
- PlatónDatos
- jugado
- juega
- Por favor
- PoC
- Publicación
- posible
- primer ministro
- las cuales
- en costes
- tratamiento
- Programas
- Progreso
- proyecto
- proyecta
- prueba
- prueba de concepto
- propuesto
- proporcionando
- Python
- con rapidez
- en comunicarse
- reducir
- reporte
- repositorio
- respectivamente
- resultado
- resultante
- reescritura
- Riesgo
- Función
- Ejecutar
- Guardar
- salvado
- ahorro
- Scala
- escalable
- alcance
- guión
- guiones
- sin problemas
- EN LINEA
- visto
- seleccionar
- mayor
- Servicios
- set
- Varios
- Turno
- mostrar
- mostrado
- Shows
- similares
- sencillos
- soltero
- So
- a medida
- Soluciones
- Fuente
- Espacio
- encabezando
- Gastos
- comienzo
- paso
- pasos
- STORAGE
- almacenados
- Estratégico
- estrategias
- Estrategia
- ESTUDIO
- comercial
- exitosos
- Con éxito
- tal
- SOPORTE
- Soportado
- soportes
- ¡Prepárate!
- Target
- Tecnologías
- Tecnología
- que
- esa
- El proyecto
- La Fuente
- su
- Les
- luego
- Estas
- así
- A través de esta formación, el personal docente y administrativo de escuelas y universidades estará preparado para manejar los recursos disponibles que derivan de la diversidad cultural de sus estudiantes. Además, un mejor y mayor entendimiento sobre estas diferencias y similitudes culturales permitirá alcanzar los objetivos de inclusión previstos.
- nivel
- equipo
- a
- del IRS
- caja de herramientas
- hacia
- tradicional
- Transformar
- transformaciones
- ui
- entender
- subido
- ¿Cómo subir tu libro?
- utilizan el
- usado
- Usuario
- Interfaz de usuario
- usos
- usando
- VALIDAR
- visto
- deseado
- Manejo de
- fue
- we
- web
- servicios web
- ¿
- cuando
- que
- amplio
- sin
- Actividades:
- flujo de trabajo
- flujos de trabajo
- trabajando
- funciona
- XML
- año
- años
- Usted
- zephyrnet