Así como los proveedores confían en el correo de EE. UU. o UPS para hacer llegar sus productos a los clientes, los trabajadores cuentan con canalizaciones de datos para entregar la información que necesitan para obtener información comercial y tomar decisiones. Esta red de canales de datos, que opera en segundo plano, distribuye datos procesados a través de sistemas informáticos, un marco y una función esenciales para cualquier basada en datos negocio.
El valor de conectar sistemas de datos con canalizaciones continúa creciendo a medida que las empresas necesitan consumir muchos datos de transmisión más rápido, servidos en varios formatos. Por lo tanto, los gerentes que entienden las canalizaciones de datos a un alto nivel pueden mover mejor los datos sin procesar hacia la información que se ve en los tableros o informes, de la manera más económica.
¿Qué son las canalizaciones de datos?
Las canalizaciones de datos describen elementos de procesamiento de datos conectadas en serie, con la salida de datos de un canal actuando como entrada para el siguiente. Estos conductos comienzan en la fuente, donde los sistemas lo incorporan cambiándolo o replicándolo y moviéndolo a un nuevo destino.
Los programas de computadora crean, modifican, transforman o empaquetan sus entradas en un formato más producto de datos refinados en ese nuevo lugar. Luego, otro sistema informático puede tomar las salidas de datos procesados, en su canal de datos, como entradas.
Los datos continúan a lo largo de cada conexión y a través de diferentes procesos y canalizaciones de limpieza hasta que alcanzan un estado consumible. Luego, los empleados lo usan en el trabajo, o esos datos se almacenan en un repositorio, como un almacenamiento de datos.
Además de transportar datos, algunos conductos limpian, convierten y transforman los datos a medida que se mueven a través de ellos, de forma similar a cómo el tracto digestivo de una persona descompone los alimentos. Otros canales de datos recopilan y analizan datos sobre la red de tuberías de toda la organización, lo que proporciona un control de extremo a extremo de su estado, también conocido como observabilidad de datos.
¿Por qué las empresas utilizan canalizaciones de datos?
Las empresas encuentran buenas canalizaciones de datos escalables, flexibles, mantenibles y rápidas. Las canalizaciones de datos automatizadas, creadas y administradas por algoritmos, pueden aparecer o retirarse cuando sea necesario. Además, las canalizaciones de datos pueden redirigir los datos a otros conductos evitando un atasco de datos y transportándolos rápidamente.
Las canalizaciones de datos contribuyen a diferentes Administración de datos necesidades en toda la empresa. Los ejemplos incluyen:
- Integración de datos: Conectores que empaquetan y transportan datos de un sistema a otro e incluyen procesamiento por lotes y basado en eventos de flujos de datos
- Calidad de datos/Gobierno de datos: Conductos que definen y hacen cumplir las reglas de calidad de datos según las políticas corporativas y las regulaciones de la industria para la salida de datos
- Catalogación de datos/Gestión de metadatos: Canalizaciones que conectan y escanean metadatos para todo tipo de bases de datos y brindan contexto de datos empresariales
- Privacidad de datos: Canales que detectar datos confidenciales y protegerse contra infracciones
Tres desafíos que enfrentan las organizaciones
Las organizaciones que aprovechan las canalizaciones de datos enfrentan al menos tres desafíos: complejidad, mayores costos y seguridad.
Complejidad
Los ingenieros deben adjuntar o cambiar las canalizaciones de datos a medida que cambian los requisitos de datos comerciales, lo que aumenta la complejidad del uso y mantenimiento de los canales. Además, los empleados necesitan mover datos a través de entornos de nube híbrida interconectados, incluidos los locales disponibles públicamente, como Microsoft Azure.
Manejo de muchos diferentes la computación en nube Las ubicaciones agregan frustraciones con las canalizaciones de datos debido a los desafíos para escalar la red de canalización de datos. Cuando los ingenieros no diseñan de manera competente, los datos se canalizan a través de una organización, el movimiento de datos se ralentiza o los empleados no obtienen los datos que necesitan y deben hacer más. limpieza de datos.
Gur Steif, presidente de automatización de negocios digitales en BMC Software, habla sobre cómo lucha de las corporaciones para integrar un intrincado sistema de tuberías en sus aplicaciones críticas. En consecuencia, las empresas deberán invertir en plataformas de orquestación de flujo de trabajo de datos que mantengan el flujo de datos y requieran soluciones sofisticadas. operaciones de datos conocimiento.
Costos incrementados
A medida que surgen nuevas tecnologías de datos, las empresas se enfrentan aumento de los costos para modernizar cada una de sus canalizaciones de datos para adaptarse. Además, las empresas deben gastar más en el mantenimiento de tuberías y en el avance del conocimiento técnico.
Otra fuente de costos se origina en cambios realizados por ingenieros río arriba, más cerca de la fuente. A veces, estos desarrolladores no pueden ver directamente las ramificaciones de su código, rompiendo al menos un proceso de datos a medida que los datos viajan por las tuberías.
Seguridad de Datos
Los ingenieros deben garantizar la seguridad de los datos para el cumplimiento a medida que los datos fluyen por diferentes canales de datos hacia las audiencias. Por ejemplo, los contadores de la empresa pueden necesitar información confidencial de la tarjeta de crédito enviada a través de canalizaciones que no deberían ir al personal de servicio al cliente.
Por lo tanto, los riesgos de seguridad aumentan si los ingenieros no tienen una forma de ver los datos a medida que fluyen por la tubería. Ponemon Research señala que 63% de los analistas de seguridad mencionan la falta de visibilidad de la red y la infraestructura como un factor estresante.
Prácticas recomendadas para el uso de canalizaciones de datos
El uso de canalizaciones de datos requiere lograr un delicado equilibrio para hacer que los datos necesarios sean accesibles para los usuarios lo más rápido posible al menor costo de creación y mantenimiento. Ciertamente, las empresas deben elegir la mejor Arquitectura de datos con canalizaciones de datos seguras, ágiles y operativamente sólidas.
Además, las empresas deben tener en cuenta lo siguiente:
- Tecnologías de inteligencia artificial y aprendizaje automático (ML): Las organizaciones confiarán en ML para identificar patrones de flujo de datos, optimizando mejor el flujo de datos en todas las partes de la organización. Además, los buenos servicios de ML harán que el flujo de datos sea más eficiente al facilitar las canalizaciones de datos de autointegración, reparación y ajuste. Para 2025, los modelos de IA reemplazarán hasta 60% de los existentes, incluidos aquellos con canalizaciones de datos basadas en datos tradicionales.
- Observabilidad de los datos: Observabilidad de datos proporciona a los ingenieros una supervisión holística de toda la red de canalización de datos, incluida su orquestación. Con la ayuda de la observación de datos, los ingenieros saben cómo funcionan las canalizaciones de datos y qué cambiar, corregir o eliminar.
- Gestión de metadatos: Obtener una buena observabilidad de los datos requiere hacer el mejor uso de los metadatos, también conocidos como datos que describen datos. En consecuencia, las empresas aplicarán un gestión de metadatos estructura para combinar los metadatos activos existentes con los emergentes para obtener la automatización, el conocimiento y el compromiso deseados en todas las canalizaciones de datos.
Herramientas que ayudan a administrar las canalizaciones de datos
Las empresas dependen de las herramientas de canalización de datos para ayudar a construir, implementar y mantener conexiones de datos. Estos recursos mueven datos de múltiples fuentes a destinos de manera más eficiente, apoyando procesos de extremo a extremo.
Si bien algunas empresas planean desarrollar y mantener herramientas internas especializadas, pueden agotar los recursos de las organizaciones para administrarlas, especialmente cuando los datos circulan en entornos de múltiples nubes. Como resultado, algunas empresas recurrirán a proveedores externos para ahorrar estos costos.
Las herramientas de canalización de datos de terceros vienen en dos versiones. Algunos genéricos recopilan, procesan y entregan datos a través de varios servicios en la nube. Ejemplos incluyen:
- Pegamento AWS: Una plataforma de bajo código, extracción, transformación y carga (ETL) sin servidor que tiene un repositorio central de metadatos y usa aprendizaje automático para deduplicar y limpiar datos
- Factoría de datos de Azure: Un servicio para orquestar el movimiento de datos y transformar datos entre Recursos de Azure, utilizando la observabilidad de los datos, metadatosy máquina de aprendizaje
- Nubera: Servicios de datos que manejan datos en varias nubes empresariales, agilizan la replicación de datos y usan a no ser que – una herramienta de integración de datos rápida, fácil y segura
- Fusión de datos en la nube de Google: Un producto de alta gama y la base de la integración de datos de Google que incluye observabilidad de datos y metadatos de integración.
- Servidor de información de IBM para IBM Cloud Pak for Data: Un servidor con capacidades de integración, calidad y gobierno de datos, utilizando capacidades de ML
- Servidor de información de IBM Infosphere: Un servicio gestionado en cualquier nube o autogestionado para una infraestructura de cliente que utiliza ML
- Informática: Una plataforma de datos inteligente que incluye conectividad nativa, ingestión, calidad, gobernanza, catalogación a través de metadatos de toda la empresa, privacidad y gestión de datos maestros en múltiples nubes.
- Talendo: Un ecosistema de datos completo que es independiente de la nube e incorpora ML en toda su estructura de datos
Otras herramientas se especializan en preparar y empaquetar datos para la entrega:
- cincotran: Una canalización de datos de baja configuración, sin configuración y sin mantenimiento que extrae datos de fuentes operativas y los entrega a un almacén en la nube moderno
- Matillón: Una plataforma ETL dinámica que realiza ajustes en tiempo real si los procesos de datos tardan demasiado o fallan
- Aloma: Una herramienta de canalización de datos de Google para facilitar el control y la visibilidad de los procesos de datos automatizados
- Puntada: Una herramienta de almacén de datos y ETL, junto con Talend, que mueve y gestiona datos de múltiples fuentes
A nivel empresarial, las empresas utilizarán al menos un recurso de canalización de datos genéricos que abarque servicios en múltiples nubes y otro especializado para manejar las complejidades de la preparación de datos.
Conclusión
Cualquier arquitectura de datos moderna requiere una red de canalización de datos para mover los datos de su estado original a uno utilizable. Las canalizaciones de datos brindan la flexibilidad y la velocidad para transportar mejor los datos para satisfacer las necesidades comerciales y de administración de datos.
Si bien las canalizaciones de datos ejecutadas de manera deficiente conducen a una mayor complejidad, costos y riesgos de seguridad, la implementación de una buena arquitectura de datos con buenas herramientas de datos maximiza el potencial de las canalizaciones de datos en toda la organización.
As Chris Gladwin, cofundador y director ejecutivo de Ocient, notas, las canalizaciones de datos se volverán más esenciales para ingerir bien una amplia variedad de datos. El futuro trae mejoras en la canalización de datos con una integración de datos más sofisticada que es más fácil de administrar.
Imagen utilizada bajo licencia de Shutterstock.com
- Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
- Platoblockchain. Inteligencia del Metaverso Web3. Conocimiento amplificado. Accede Aquí.
- Fuente: https://www.dataversity.net/data-pipelines-an-overview/
- a
- Sobre nosotros
- accesible
- a través de
- lector activo
- adaptar
- adición
- Adicionalmente
- Añade
- ajustes
- en contra
- ágil
- AI
- algoritmos
- Todos
- Amazon
- Analistas
- analizar
- y
- e infraestructura
- Otra
- Aparecer
- aplicaciones
- Aplicá
- arquitectura
- adjuntar
- audiencias
- Confirmación de Viaje
- Automatización
- Hoy Disponibles
- evitar
- AWS
- Azure
- fondo
- Balance
- porque
- a las que has recomendado
- MEJOR
- mejores
- BMC
- Ruptura
- rompe
- Trae
- build
- construido
- negocios
- llamar al
- no puede
- capacidades
- tarjeta
- central
- ceo
- ciertamente
- retos
- el cambio
- Channel
- canales
- Elige
- más cerca
- Soluciones
- servicios en la nube
- Co-founder
- código
- recoger
- combinar
- cómo
- Empresas
- compañía
- complejidad
- compliance
- computadora
- Conectarse
- Conectándote
- conexión
- Conexiones
- Conectividad
- En consecuencia
- Considerar
- consumir
- continúa
- contribuir
- control
- convertir
- Sector empresarial
- Cost
- Precio
- Para crear
- creado
- creación
- crédito
- .
- crítico
- cliente
- Servicio al Cliente
- Clientes
- datos
- integración de datos
- datos de gestión
- Plataforma de datos
- Preparación de datos
- proceso de datos
- calidad de los datos
- seguridad de datos
- almacenamiento de datos
- bases de datos
- VERSIDAD DE DATOS
- decisiones
- entregamos
- entrega
- entrega
- desplegar
- destino
- desarrolladores
- el desarrollo
- una experiencia diferente
- digital
- directamente
- DE INSCRIPCIÓN
- lugar de trabajo dinámico
- cada una
- más fácil
- ecosistema
- eficiente
- eficiente.
- emergentes
- personas
- de extremo a extremo
- de su negocio.
- certificados
- garantizar
- Empresa
- empresas
- Todo
- ambientes
- especialmente
- esencial
- Éter (ETH)
- ejemplo
- ejemplos
- existente
- extraerlos
- Cara
- enfrentado
- facilitando
- personal
- FALLO
- RÁPIDO
- más rápida
- Encuentre
- Fijar
- Flexibilidad
- flexible
- de tus señales
- Fluido
- Flujos
- siguiendo
- Comida
- Fundación
- Marco conceptual
- en
- Frustraciones
- función
- funcionamiento
- Además
- fusión
- futuras
- Obtén
- Gartner
- obtener
- conseguir
- Donar
- Go
- candidato
- bienes
- gobierno
- Gobierno
- Crecer
- encargarse de
- Salud
- ayuda
- Alta
- holístico
- Cómo
- HTML
- HTTPS
- Híbrido
- nube híbrida
- IBM
- Nube de IBM
- Identifique
- implementación
- mejoras
- in
- incluir
- incluye
- Incluye
- aumentado
- creciente
- energético
- información
- EN LA MINA
- Las opciones de entrada
- penetración
- Insights
- integración
- De Operación
- entrelazando
- interno
- complejidades
- Invertir
- IT
- Trabajos
- Guardar
- Saber
- especialistas
- conocido
- Falta
- Lead
- aprendizaje
- Nivel
- aprovechando
- Licencia
- carga
- .
- Largo
- Baja
- máquina
- máquina de aprendizaje
- mantener
- Mantenible
- un mejor mantenimiento.
- para lograr
- HACE
- Realizar
- gestionan
- gestionado
- Management
- Managers
- gestiona
- muchos
- dominar
- max-ancho
- maximiza
- Conoce a
- metadatos
- Microsoft
- microsoft Azure
- ML
- modelos
- Moderno
- modernizar
- modificar
- monitoreo
- más,
- más eficiente
- MEJOR DE TU
- movimiento
- movimiento
- se mueve
- emocionante
- múltiples
- nativo
- necesario
- ¿ Necesita ayuda
- del sistema,
- Nuevo
- Next
- Notas
- ONE
- funcionamiento
- operativos.
- orquestación
- organización
- para las fiestas.
- Otro
- Supervisión
- visión de conjunto
- paquete
- embalaje
- emparejado
- partes
- .
- industrial
- plan
- plataforma
- Plataformas
- Platón
- Inteligencia de datos de Platón
- PlatónDatos
- políticas
- posible
- posible
- prácticas
- preparación
- presidente
- política de privacidad
- en costes
- tratamiento
- Producto
- Programas
- proteger
- proporcionar
- proporciona un
- proporcionando
- en público
- calidad
- con rapidez
- Crudo
- datos en bruto
- alcances
- en tiempo real
- reglamentos
- reemplazar
- replicación
- Informes
- repositorio
- exigir
- Requisitos
- requiere
- la investigación
- Recurso
- Recursos
- resultado
- riesgos
- robusto
- reglas
- Guardar
- escalable
- la ampliación
- escanear
- seguro
- EN LINEA
- los riesgos de seguridad
- sensible
- Sin servidor
- de coches
- Servicios
- Varios
- CAMBIANDO
- tienes
- Shutterstock
- similares
- disminuye
- So
- Software
- algo
- sofisticado
- Fuente
- Fuentes
- se extiende
- especializarse
- especializado
- velocidad
- pasar
- Spot
- Staff
- comienzo
- Estado
- almacenados
- en streaming
- aerodinamizar
- estructura
- Apoyar
- te
- Todas las funciones a su disposición
- ¡Prepárate!
- Discursos
- Técnico
- Tecnologías
- El
- El futuro de las
- la información
- La Fuente
- su
- terceros.
- Tres
- A través de esta formación, el personal docente y administrativo de escuelas y universidades estará preparado para manejar los recursos disponibles que derivan de la diversidad cultural de sus estudiantes. Además, un mejor y mayor entendimiento sobre estas diferencias y similitudes culturales permitirá alcanzar los objetivos de inclusión previstos.
- a lo largo de
- a
- demasiado
- del IRS
- hacia
- tradicional
- Transformar
- transformadora
- transporte
- transportando
- viajes
- GIRO
- tipos
- nosotros
- bajo
- entender
- UPS
- utilizan el
- usuarios
- propuesta de
- variedad
- diversos
- vendedores
- Ver
- la visibilidad
- Manejo de
- ¿
- QUIENES
- amplio
- seguirá
- los trabajadores.
- flujo de trabajo
- zephyrnet