Tendances des données 2024 : du partage collaboratif de données aux opérations basées sur l'IA - DATAVERSITY

Republié par Platon

Suiveurs: 0

Dans un paysage de données en évolution rapide, comprendre les tendances émergentes et adopter les avancées technologiques sont essentiels pour garder une longueur d’avance. À l'approche de 2024, cet article explore les tendances en matière de données qui définiront le paysage stratégique pour l'année à venir.

Tendance : l'accent est mis sur les données Sharing ainsi que Data Ccollaboration

L'amélioration du partage de données et la collaboration sécurisée des données entre les parties deviennent un domaine clé. Des entreprises comme Snowflake et Databricks adoptent cette idée et elle gagne du terrain dans divers secteurs.

Durant la dernière décennie, transformation numérique a conduit à la décomposition des processus et systèmes métier en éléments plus petits. Certains de ces éléments restent au sein de l'entreprise, tandis que d'autres sont sous-traités à des fournisseurs externes, créant ainsi un écosystème complexe. Par exemple, les efforts de transformation numérique du traitement des paiements mondiaux peuvent désormais toucher 10 ou 15 entreprises, et les données sont réparties entre toutes ces différentes parties. Les données de plusieurs fournisseurs doivent être intégrées afin d'être vues de manière globale, ce qui constitue un défi.

Ainsi, les produits de données sont de plus en plus construits autour de l'idée de fusionner les données entre différentes parties. Cette tendance devrait se poursuivre au cours des prochaines années et de nombreux produits de données seront construits autour de ce processus.

Tendance : l'essor du maillage de données

La notion de maillage de données a gagné du terrain au cours des trois dernières années. Il met en avant deux éléments clés. Premièrement, il introduit l'idée de « données en tant que produit », qui implique de regrouper les données dans un format bien défini et découvrable qui peut être utilisé en libre-service, sans implication directe du producteur de données. Ce concept inclut non seulement des données brutes, mais également des modèles analytiques, tels que ceux utilisés pour la désabonnement des clients ou la prévention de la fraude.

Deuxièmement, l'utilisation de plates-formes en libre-service pour produire des produits de données, et non pour la business intelligence, permet à diverses unités commerciales de créer des produits de données sans avoir besoin de plates-formes de données distinctes. Cela réduit les coûts et augmente l'efficacité.

Les principaux fournisseurs de technologies, notamment les services cloud comme Azure et AWS, rattrapent leur retard et proposent des solutions pour gérer les plates-formes de données et d'analyse distribuées de manière maillée. Cela permet de connecter les données sur diverses plates-formes et technologies, offrant ainsi une vue centralisée du paysage des données.

Tendance : les LLM joueront un rôle crucial dans l'amélioration de l'ingénierie des données et des opérations de données

L'IA générative et les grands modèles linguistiques (LLM) ont le potentiel de transformer l'espace des données. Cette transformation comprend le déploiement de modèles GenAI au sein des infrastructures de données existantes pour des tâches telles que l'ingénierie des données et les opérations de données.

Plus intéressant encore est le potentiel de ces technologies pour résoudre des tâches rudimentaires, telles que le profilage, la modélisation et l'intégration de données, la rationalisation des processus et l'amélioration de la qualité des données. Les LLM devraient jouer un rôle crucial dans l'amélioration de l'ingénierie et des opérations de données.

Tendance : les entreprises investiront dans des outils de découverte de données et des catalogues de données

La gouvernance des données a évolué ces dernières années. Auparavant, elle se concentrait sur la sécurisation des données et la gestion des risques, mais elle s'est depuis orientée vers la mise à disposition des données à grande échelle tout en minimisant les risques. Le concept de données en tant que produit est le changement le plus important, car il transfère la responsabilité aux équipes qui produisent, possèdent ou servent les données.

Les entreprises investissent dans des outils de découverte de données et des catalogues de données pour gagner en visibilité sur leurs données, notamment sur leurs sources, leur propriété, leur structure et leur qualité. La gouvernance des données implique désormais de rendre les données visibles, détectables, réutilisables et utiles.

Tendance : accent croissant sur la qualité des données

L'observabilité des données a gagné en popularité au cours des deux ou trois dernières années, en raison de l'utilisation accrue de l'analyse des données et du besoin de qualité des données. Il offre une compréhension granulaire des données au moment de l'exécution, aidant les organisations à suivre le flux de données et à identifier les problèmes de qualité des données, les problèmes opérationnels et les modifications apportées aux systèmes de données. Il apporte beaucoup de valeur aux ingénieurs et aux opérationnels en termes de visibilité et de compréhension de ce qui se passe.

Des outils d'observabilité des données tels que Monte Carlo et Soda ont vu le jour pour répondre à la demande croissante d'amélioration de la qualité des données et de l'efficacité opérationnelle.

Un autre aspect de cette tendance est l'investissement croissant dans l'analyse des données. Dans le domaine de l’analyse des données, la valeur dérivée dépend fortement de la qualité des données analysées. En conséquence, les organisations accordent davantage d'importance à la qualité des données. Au cours de ce processus, il devient évident que de nombreux problèmes de qualité des données ne proviennent pas de l'absence de règles métier ou de règles de validation bien définies pour les données. Au lieu de cela, les problèmes proviennent souvent de divergences opérationnelles, telles que des modifications apportées par des individus ou des inexactitudes dans les données reçues des fournisseurs, entre autres défis opérationnels.

Ce sont cinq des tendances de données les plus importantes dont il faudra être conscient en 2024. Lesquelles ajouteriez-vous à la liste ?