Évaluation de la qualité des données : mesurer le succès - DATAVERSITY

Évaluation de la qualité des données : mesurer le succès – DATAVERSITY

Horodatage: 27 septembre 2023 3:35 AM
Nœud source: 2903188
évaluation de la qualité des donnéesévaluation de la qualité des données

L’objectif d’une évaluation de la qualité des données n’est pas seulement d’identifier les données incorrectes mais également d’estimer les dommages causés aux processus de l’entreprise et de mettre en œuvre des actions correctives. De nombreuses grandes entreprises ont du mal à maintenir la qualité de leurs données. 

Il est important de se rappeler que les données ne sont pas toujours stockées et statiques, mais sont utilisées périodiquement. Après avoir été créées, les données sont téléchargées, ajustées, reformatées, échangées et même détruites. 

Si elle n’est pas effectuée correctement, chaque action risque d’avoir un impact négatif sur la qualité des données. À son tour, une mauvaise qualité des données peut entraîner des goulots d’étranglement et affecter souvent négativement les décisions prises par une organisation. Sans un système de mesure adéquat, des données de mauvaise qualité risquent de ne jamais être détectées ou corrigées.

De nombreuses entreprises ne savent pas qu’elles rencontrent des problèmes de qualité des données. L’évaluation de la qualité des données constitue une partie modeste mais très importante de l’optimisation de l’efficacité d’une entreprise. Les problèmes liés à la qualité des données peuvent être d’abord remarqués par les opérations commerciales de l’organisation ou par son service informatique. Les premières étapes de la réalisation d’une évaluation de la qualité des données peuvent être considérées comme une « phase de sensibilisation ». 

Une évaluation de la qualité des données soutient l'élaboration d'un stratégie de données, et une stratégie de données bien organisée alignera les données, soutenant les objectifs, les valeurs et les cibles de l'entreprise.

Profilage des données et évaluation de la qualité des donnéess

Le profilage des données est souvent considéré comme une étape préliminaire à la réalisation d’une évaluation de la qualité des données, alors que certaines personnes pensent que les deux devraient être effectués simultanément. Profilage des données traite de la compréhension de la structure des données, ainsi que de leur contenu et de leurs interrelations. Une évaluation de la qualité des données, quant à elle, évalue et identifie les problèmes de données d’une organisation ainsi que les conséquences de ces problèmes.

Mesures utiles d’évaluation de la qualité des données

Les mesures d’évaluation de la qualité des données mesurent, entre autres, la pertinence, la fiabilité, l’exactitude et la cohérence des données d’une organisation. En fonction du type d’industrie et des objectifs d’une entreprise, des mesures spécifiques peuvent être nécessaires pour déterminer si les données de l’organisation répondent à ses exigences de qualité. Mesurer la qualité des données, comprendre comment les métriques de données sont utilisées et comment fonctionnent les outils et les meilleures pratiques est une étape nécessaire pour devenir un data-driven <b>cadre formel de Gestion de Crise</b> 

Les mesures de base de la qualité des données incluent :

Pertinence: Les données peuvent être de haute qualité, mais inutiles pour aider l’organisation à atteindre ses objectifs. Par exemple, une entreprise axée sur la vente de bottes personnalisées serait intéressée par des données d'expédition utiles, mais ne serait pas intéressée par une liste de personnes recherchant des produits pour réparer des bottes. Stocker des données dans le vague espoir qu’elles seront pertinentes plus tard est une erreur courante. Métaplan propose un logiciel de mesure de la pertinence.  

Exactitude: Souvent considérée comme la mesure la plus importante de la qualité des données, l'exactitude doit être mesurée par la documentation de la source ou par une autre technique de confirmation indépendante. La mesure de précision inclut également les changements d’état des données lorsqu’ils se produisent en temps réel.

Opportunité: Les données obsolètes vont d’inutiles à potentiellement dommageables. Par exemple, les données de contact des clients qui ne sont jamais mises à jour nuiront aux campagnes marketing et à la publicité. Il est également possible d’expédier des produits à une ancienne adresse qui n’est plus correcte. Une bonne affaire nécessite que toutes les données soient mises à jour pour des processus commerciaux fluides et efficaces.

Complétude: L'exhaustivité des données est normalement déterminée en décidant si chacune des entrées de données est une entrée de données « complète ». Les données incomplètes ne parviennent souvent pas à fournir des informations commerciales utiles. Dans de nombreuses situations, le processus d'évaluation de l'exhaustivité est une mesure subjective effectuée par un professionnel des données et non par un logiciel de qualité des données.

Intégrité: Intégrité des données décrit l'exactitude, la cohérence et l'exhaustivité globales des données tout au long de leur cycle de vie. L'intégrité des données est également associée à la sécurité des données en termes de conformité réglementaire en matière de confidentialité et de sécurité personnelles.

Cohérence: Différentes versions des mêmes données peuvent rendre les activités commerciales confuses. Les données et les informations doivent être cohérentes dans tous les systèmes de l’entreprise pour éviter toute confusion. Heureusement, un logiciel est disponible, de sorte que chaque version des données n'a pas besoin d'être comparée manuellement. (Données de base et sa gestion est une option permettant de centraliser les données utilisées de manière répétitive et d'éviter les versions multiples.)

Préparation à l'évaluation 

Une évaluation de la qualité des données se déroulera plus efficacement et fournira de meilleurs résultats si une liste de préoccupations et d'objectifs est créée avant l'évaluation. Lors de la création de cette liste, soyez conscient des objectifs à long terme de l’organisation, tout en énumérant les objectifs à court terme. Par exemple, l’objectif à long terme consistant à rendre l’entreprise plus efficace peut être décomposé en objectifs plus petits, comme réparer le système afin que les bonnes personnes reçoivent les bonnes factures et que toutes les adresses des clients soient correctes, etc. 

Cette liste peut également être présentée à un conseil d'administration comme justification pour lancer et payer un logiciel d'évaluation de la qualité des données ou pour embaucher un entrepreneur pour effectuer l'évaluation. Les étapes de base pour créer la liste sont présentées ci-dessous.

  • Commencez par dresser une liste des problèmes de qualité des données survenus au cours de la dernière année.
  • Passez une semaine ou deux à observer le flux de données et déterminez ce qui semble discutable et pourquoi.
  • Partagez vos observations avec d'autres managers et membres du personnel, obtenez des commentaires et ajustez les résultats en utilisant les commentaires.
  • Examinez la liste des problèmes de qualité des données et déterminez quelles sont les priorités les plus élevées, en fonction de leur impact sur les revenus.
  • Réécrivez la liste pour que les priorités soient répertoriées en premier. (Cette liste peut être mise à la disposition du conseil d'administration et du prestataire d'évaluation de la qualité des données une fois que la portée a été établie.)
  • Établir la portée – quelles données seront examinées lors de l’évaluation ?
  • Déterminez qui utilise les données et examinez leur comportement d'utilisation des données avant et après l'évaluation pour déterminer s'ils doivent apporter des modifications.

Plateformes d'évaluation de la qualité des données

Effectuer manuellement une évaluation de la qualité des données nécessite tellement d’efforts que la plupart des responsables ne l’approuveraient jamais. Heureusement, il existe des plateformes et des solutions de qualité des données. Certains adoptent une approche holistique, tandis que d’autres se concentrent sur certaines plateformes ou outils. Les plateformes d’évaluation de la qualité des données peuvent aider les organisations à relever les défis croissants auxquels elles sont confrontées en matière de données. 

À mesure que l'utilisation des services de cloud computing et d'edge computing se développe, les organisations peuvent utiliser des plateformes d'évaluation de la qualité des données pour analyser, gérer et nettoyer les données provenant de différentes sources telles que le courrier électronique, les médias sociaux et l'Internet des objets. Certaines plateformes d'évaluation (qui incluent des tableaux de bord) sont décrites ci-dessous.

TLa plateforme Erwin Data Intelligence utilise des outils de découverte basés sur l'IA et le ML pour détecter les modèles de données et créera des règles métier pour l'évaluation de la qualité des données. La plateforme d'intelligence de données Erwin automatise l'évaluation de la qualité des données, fournit une observabilité continue des données et comprend des tableaux de bord détaillés.

La plateforme d'observabilité des données d'entreprise d'Acceldata s'intègre bien à diverses technologies et fonctionne bien avec les environnements publics, hybrides et multi-cloud. Il fournit un tableau de bord de qualité des données très efficace et utilise des algorithmes d'automatisation d'apprentissage automatique pour vous aider à maximiser l'efficacité de vos données. La plateforme Acceldata détectera et corrigera les problèmes au début du pipeline de données, en les isolant avant qu'ils n'affectent les analyses en aval.

IBM Infosphere Information Server for Data Quality Platform fournit une large gamme d'outils de qualité des données pour faciliter l'analyse et la surveillance continue de la qualité des données. La plateforme IBM nettoiera et normalisera les données tout en analysant et en surveillant la qualité des données afin de réduire les données incorrectes ou incohérentes.

DataMatch Enterprise de Data Ladder dispose d'une architecture flexible qui fournit une variété d'outils permettant de nettoyer et de standardiser les données. Il peut être intégré à la plupart des systèmes et est facile à utiliser. DataMatch Entreprise est un outil de qualité des données en libre-service qui peut identifier les anomalies de base. Il mesure l’exactitude, l’exhaustivité, l’actualité, etc. Il effectue également un nettoyage, une mise en correspondance et une fusion détaillés des données.

Intellectyx agit en tant qu'entrepreneur pour une variété de services de données, notamment en fournissant des évaluations et des solutions sur la qualité des données. Leur processus :

  • Identifier les besoins de l'entreprise
  • Définir des métriques de qualité des données
  • Évaluation de la qualité actuelle des données
  • Élaborer un plan d’amélioration

OpenRefine n'est pas une plateforme d'évaluation de la qualité des données, mais il s'agit d'un outil open source gratuit, puissant, conçu pour fonctionner avec des données désordonnées. L'outil nettoiera les données et les transformera dans le format approprié. Les données sont nettoyées sur votre système informatique, plutôt que sur un cloud de blanchiment de données. 

Le rapport d'évaluation

Les rapports d'évaluation de la qualité des données sont normalement conçus pour décrire les résultats de l'évaluation, ainsi que les observations et les recommandations. Le rapport comprend toutes les anomalies qui ont eu un impact critique sur l'organisation, ainsi que les solutions pour identifier et éliminer ces anomalies. 

Le rapport doit inclure :

  • Résumé analytique : une introduction combinée à une brève description du rapport
  • Principales conclusions : problèmes liés au flux de données et leur impact sur l'entreprise
  • Le processus utilisé : Décrire le logiciel et le processus. (Si un entrepreneur a été retenu, le rapport relève de sa responsabilité)
  • Notes et notes globales (par numéro)
  • Recommandations (par numéro)
  • Problèmes ouverts : tout problème non résolu
  • Une conclusion : Les résultats attendus sur l'entreprise lorsque les changements seront effectués, et des observations ou conseils concernant les problèmes non résolus

Image utilisée sous licence de Shutterstock.com

Horodatage:

Plus de DATAVERSITÉ