Tendencias de datos para 2024: del intercambio colaborativo de datos a operaciones impulsadas por IA - DATAVERSITY

Reeditado por Platón

seguidores: 0

En el panorama de datos en rápida evolución, comprender las tendencias emergentes y adoptar los avances tecnológicos son clave para mantenerse a la vanguardia. A medida que nos acercamos a 2024, este artículo explora las tendencias de datos que definirán el panorama estratégico para el próximo año.

Tendencia: un enfoque en los datos SHaring y DATA Ccolaboración

Mejorar el intercambio de datos y la colaboración segura entre las partes se está convirtiendo en un área clave. Empresas como Snowflake y Databricks están adoptando esta idea y está ganando terreno en varias industrias.

En la última década, transformación digital ha llevado a la ruptura de los procesos y sistemas de negocios en partes más pequeñas. Algunas de esas piezas permanecen dentro de la empresa, mientras que otras se subcontratan a proveedores externos, creando un ecosistema complejo. Por ejemplo, los esfuerzos de transformación digital del procesamiento de pagos global ahora pueden afectar a 10 o 15 empresas, y los datos se distribuyen entre todas estas diferentes partes. Es necesario integrar datos de múltiples proveedores para poder verlos de manera integral, y esto es un desafío.

Por lo tanto, los productos de datos se construyen cada vez más en torno a la idea de fusionar datos de diferentes partes. Se espera que esta tendencia continúe durante los próximos años y muchos productos de datos se construirán en torno a este proceso.

Tendencia: el auge de la malla de datos

El concepto de malla de datos ha ganado fuerza en los últimos tres años. Pone en primer plano dos componentes clave. En primer lugar, introduce la idea de “datos como producto”, que implica empaquetar datos en un formato reconocible y bien definido que pueda usarse en forma de autoservicio, sin la participación directa del productor de datos. Este concepto incluye no sólo datos sin procesar sino también modelos analíticos, como los utilizados para la pérdida de clientes o la prevención del fraude.

En segundo lugar, el uso de plataformas de autoservicio para producir productos de datos, no para inteligencia empresarial, permite a varias unidades de negocio crear productos de datos sin la necesidad de plataformas de datos independientes. Esto reduce los costos y aumenta la eficiencia.

Los principales proveedores de tecnología, incluidos servicios en la nube como Azure y AWS, se están poniendo al día y ofrecen soluciones para gestionar plataformas de análisis y datos distribuidos en forma de malla de datos. Esto ayuda a conectar datos a través de varias plataformas y tecnologías, proporcionando una vista centralizada del panorama de datos.

Tendencia: los LLM desempeñarán un papel crucial en la mejora de la ingeniería y las operaciones de datos

La IA generativa y los modelos de lenguaje grande (LLM) tienen el potencial de transformar el espacio de datos. Esta transformación incluye la implementación de modelos GenAI dentro de las infraestructuras de datos existentes para tareas como ingeniería y operaciones de datos.

Aún más interesante es el potencial de estas tecnologías para resolver tareas rudimentarias, como la creación de perfiles, el modelado y la integración de datos, la racionalización de procesos y la mejora de la calidad de los datos. Se espera que los LLM desempeñen un papel crucial en la mejora de la ingeniería y las operaciones de datos.

Tendencia: las empresas invertirán en herramientas de descubrimiento de datos y catálogos de datos

La gobernanza de datos ha evolucionado en los últimos años. Anteriormente, se centraba en proteger los datos y gestionar el riesgo, pero desde entonces ha pasado a hacer que los datos estén ampliamente disponibles y al mismo tiempo minimizar los riesgos. El concepto de datos como producto es el mayor cambio, porque transfiere la responsabilidad a los equipos que producen, poseen o sirven los datos.

Las empresas están invirtiendo en herramientas de descubrimiento de datos y catálogos de datos para ganar visibilidad de sus datos, incluidas sus fuentes, propiedad, estructura y calidad. La gobernanza de datos ahora implica hacer que los datos sean visibles, detectables, reutilizables y útiles.

Tendencia: creciente énfasis en la calidad de los datos

La observabilidad de los datos ha ganado popularidad en los últimos dos o tres años, impulsada por el mayor uso del análisis de datos y la necesidad de calidad de los datos. Ofrece una comprensión granular de los datos en tiempo de ejecución, lo que ayuda a las organizaciones a rastrear el flujo de datos e identificar problemas de calidad de datos, problemas operativos y cambios en los sistemas de datos. Proporciona mucho valor a los ingenieros y al personal operativo en términos de visibilidad y comprensión de lo que está sucediendo.

Han surgido herramientas de observabilidad de datos como Monte Carlo y Soda para satisfacer la creciente demanda de una mejor calidad de los datos y eficiencia operativa.

Otro aspecto de esta tendencia es la creciente inversión en análisis de datos. En el ámbito del análisis de datos, el valor obtenido depende en gran medida de la calidad de los datos que se analizan. Como resultado, las organizaciones están poniendo mayor énfasis en la calidad de los datos. Durante este proceso, resulta evidente que muchos problemas de calidad de los datos no se derivan de la ausencia de reglas comerciales o reglas de validación bien definidas para los datos. En cambio, los problemas a menudo se originan en discrepancias operativas, como cambios realizados por personas o inexactitudes en los datos recibidos de los proveedores, entre otros desafíos operativos.

Estas son cinco de las tendencias de datos más importantes a tener en cuenta en 2024. ¿Cuáles agregarías a la lista?