Entender las herramientas ETL como una organización centrada en datos

La ETL El proceso se define como el movimiento de datos desde su origen al almacenamiento de destino (normalmente un almacén de datos) para su uso futuro en informes y análisis. Los datos se extraen inicialmente de una amplia gama de fuentes antes de transformarlos y convertirlos a un formato específico según los requisitos comerciales.

ETL es uno de los procesos más integrales requeridos por los casos de uso de Business Intelligence y Analytics, ya que se basa en los datos almacenados en Data Warehouses para crear informes y visualizaciones. Esto ayuda a crear estrategias efectivas que pueden proporcionar conocimientos prácticos y operativos. 

Comprensión del proceso ETL

Antes de que entiendas que es la herramienta ETL, primero debe comprender el proceso ETL.

• Extraer: En este paso, los datos se extraen de una amplia gama de fuentes presentes en diferentes formatos como archivos planos, archivos Hadoop, XML, JSON, etc. Los datos extraídos se almacenan en un área de ensayo donde se llevan a cabo más transformaciones. Por lo tanto, los datos se verifican minuciosamente antes de cargarlos en un almacén de datos. Necesitará un mapa de datos entre el origen y el destino porque el proceso ETL necesita interactuar con varios sistemas a lo largo del camino. 
• Transformar: Este paso se considera el paso más importante del proceso ETL. Hay dos tipos de transformaciones que se pueden llevar a cabo en los datos: transformaciones básicas como consolidación, filtrado, limpieza de datos y estandarizaciones o transformaciones avanzadas como duplicación, reestructuración de claves y uso de búsquedas para fusionar datos.
• Carga: En este paso, se cargan los datos transformados en el almacén de datos, donde se pueden aprovechar para generar varios informes y tomar decisiones analíticas clave.

Tipos de herramientas ETL

Estos son los diferentes tipos de herramientas ETL que puede aprovechar para su negocio:

Herramientas ETL de código abierto

Durante la última década, los desarrolladores de software han creado varios productos ETL de código abierto. Estos productos son de uso gratuito y su código fuente está disponible gratuitamente. Esto le permite mejorar o ampliar sus capacidades. Las herramientas de código abierto pueden variar considerablemente en cuanto a integraciones, calidad, adopción, facilidad de uso y disponibilidad de soporte. Muchas herramientas ETL de código abierto albergan una interfaz gráfica para ejecutar y diseñar Data Pipelines.

Aquí hay algunos de los mejores Open Source Herramientas ETL en el mercado:

• Hadoop: Hadoop se distingue como una plataforma de Computación Distribuida de propósito general. Se puede utilizar para manipular, almacenar y analizar datos de cualquier estructura. Hadoop es un ecosistema complejo de proyectos de código abierto, que comprende más de 20 tecnologías diferentes. Los proyectos como MapReduce, Pig y Spark se utilizan para realizar tareas ETL clave.  
• Estudio abierto de Talend: Talend Open Studio es una de las herramientas ETL de código abierto más populares del mercado. Genera código Java para las canalizaciones de datos en lugar de ejecutar configuraciones de canalización a través de un motor ETL. Este enfoque único le otorga un par de ventajas de rendimiento.
• Integración de datos de Pentaho (PDI): Pentaho Data Integration es bien conocido en el mercado por su interfaz gráfica, Spoon. PDI puede generar archivos XML para representar Pipelines y ejecutar esos Pipelines a través de su motor ETL.

Herramientas ETL de software empresarial

Existen numerosas empresas de software que dan soporte y venden productos de software ETL comerciales. Estos productos han existido durante bastante tiempo y, en general, tienen una funcionalidad y una adopción maduras. Todos los productos proporcionan interfaces gráficas para ejecutar y diseñar ETL Pipelines y conectarse a bases de datos relacionales.

Estas son algunas de las mejores herramientas ETL de software empresarial del mercado:

• Etapa de datos de IBM Infosphere: DataStage es un producto ETL maduro que presenta sólidas capacidades para trabajar con computadoras mainframe. Se considera una "herramienta costosa y compleja de licenciar" que a menudo se superpone con otros productos de esta categoría.
• Integrador de datos de Oracle: El producto ETL de Oracle ha estado en el mercado durante varios años. Utiliza una arquitectura fundamentalmente única de otros productos ETL. A diferencia de realizar transformaciones en la propia herramienta ETL utilizando recursos de hardware y un proceso dedicado, Oracle Data Integrator mueve primero los datos al destino. Luego realiza transformaciones utilizando el clúster de Hadoop o las características de la base de datos. 
• Informática PowerCenter: Informatica PowerCenter es aprovechado por varias grandes empresas y es bien considerado por los analistas de la industria. Forma parte de un conjunto de productos más amplio, incluido como la plataforma de Informatica. Estos productos están centrados en TI pero son bastante caros. Informatica se considera menos madura que otros productos del mercado para fuentes no estructuradas y semiestructuradas. 

Herramientas ETL basadas en la nube

Herramientas ETL basadas en la nube tienen la ventaja de proporcionar integraciones sólidas con otros servicios en la nube, precios basados ​​en el uso y elasticidad. Estas soluciones también son propietarias y funcionan solo dentro del marco del proveedor de la nube. En pocas palabras, las herramientas ETL basadas en la nube no se pueden utilizar en la plataforma de un proveedor de nube diferente.

Aquí están algunas de las mejores herramientas ETL basadas en la nube del mercado:

• Datos de Hevo: Una plataforma de canalización de datos sin código completamente administrada como Hevo Data lo ayuda a integrar datos de Más de 100 fuentes de datos (incluidas más de 30 fuentes de datos gratuitas) a un destino de su elección en tiempo real y sin esfuerzo. Hevo con su curva de aprendizaje mínima se puede configurar en solo unos minutos, lo que permite a los usuarios cargar datos sin tener que comprometer el rendimiento. Su fuerte integración con enésimas fuentes permite a los usuarios traer datos de diferentes tipos de manera fluida sin tener que codificar una sola línea.
• Fábrica de datos de Azure: Este es un servicio completamente administrado que se conecta a una amplia gama de fuentes locales y en la nube. Puede transformar, copiar y enriquecer fácilmente los datos y, finalmente, escribirlos en los servicios de datos de Azure como destino. Azure Data Factory también admite Spark, Hadoop y Machine Learning como pasos de transformación.  
• Tubería de datos de AWS: AWS Data Pipeline se puede utilizar para programar actividades de procesamiento regulares, como transformaciones SQL, scripts personalizados, aplicaciones MapReduce y copia de datos distribuida. También es capaz de ejecutarlos en múltiples destinos como RDS, DynamoDB y Amazon S3.

Conclusión

Este blog habla sobre los conceptos básicos de ETL y herramientas ETL. También da una idea de algunas de las mejores herramientas ETL del mercado que pertenecen a cada categoría de herramientas ETL.

Fuente: https://www.smartdatacollective.com/understanding-etl-tools-as-data-centric-organization/