了解不良数据的影响 - DATAVERSITY

由柏拉图重新发布

关注： 0

您知道数据质量差的成本吗？下面，我将探讨数据可观察性的重要性、它如何减轻不良数据的风险以及衡量其投资回报率的方法。通过了解不良数据的影响并实施有效的策略，组织可以最大限度地发挥其数据质量计划的优势。

数据已成为现代决策不可或缺的一部分，因此，数据质量对于确保业务利益相关者做出准确的结论至关重要。

但每个现代数据领导者都会告诉您一个问题：数据质量管理很困难。这需要时间和精力。此外，投资回报率（ROI）通常难以衡量。

不良数据有多糟糕？

错误的数据可能会导致重大的财务损失。 Gartner 估计，每年，糟糕的数据质量会给组织带来平均 12.9 百万美元。在2022年， Unity软件报告称，其收入损失 110 亿美元，市值损失 4.2 亿美元。该公司表示：“从大客户那里获取不良数据的后果。”同样，不良数据也会导致 Equifax公司，一家上市信用报告机构，向贷方发送不准确的信用评分百万的客户。最近，一次数据事件对英国和爱尔兰的空中交通造成了巨大干扰。据悉，超过2,000个航班被取消，导致数十万旅客滞留，航空公司累计财务损失估计达126.5亿美元。

不良数据的影响

数据是每个现代企业的核心。数据团队的主要职责是构建和维护为内部和外部客户提供服务的数据产品，同时允许组织扩展并实现其目标。

在确保组织的数据计划取得成功时，数据团队的一些基线期望可以总结如下：

运行时间： 数据是一种服务，因此确保数据在需要时可用是关键。
安全性： 遵守法规（例如 GDPR 或 HIPAA）。该团队负责实施保护敏感信息和维护数据隐私的措施和做法。
值得信赖: 数据和数据平台。其中一部分涉及正常运行时间，但也涉及传统意义上的数据质量和准确性。
规模： 数据平台应允许可扩展性，以适应不断增长的数据量、用例数量和业务需求。
创新： 数据应该推动创新，在这个领域，数据团队必须以身作则，将创新带入数据实践内外，这一点非常重要。

通过数据可观测性实现数据质量

数据可观测性是一种主动监控和维护数据整个生命周期健康状况的解决方案。通过实施日志记录、跟踪和监控技术，组织可以了解数据流，快速识别和解决数据质量问题，并防止分析仪表板中断。数据素养涉及数据的获取、解释和交流，对于决策者有效地将数据转化为业务价值至关重要。培养数据驱动的文化并投资正确的工具是通过数据可观测性实现数据质量的关键步骤。

量化数据可观测性的投资回报率

衡量数据可观测性的投资回报率有助于企业领导者了解与投资此实践相关的价值和收益。几个可量化的指标可以作为评估不良数据成本的起点，包括每年事件的发生率或数量、检测时间和解决时间。

的影响数据质量问题可能会根据业务运营的规模和复杂性而有所不同。为了评估损害并为数据可观测性解决方案建立强有力的案例，我们提出了五个关键指标，数据从业者可以轻松实施和监控这些指标，并可用于在内部支持案例：

事件的数量和频率： 虽然有些公司可能每天都会遇到数据事件，但其他公司可能几天甚至几周都没有发生过数据事件。事件的严重性可能会有所不同，从“轻微”事件（例如链接到多年来无人使用的仪表板的过时数据）到导致服务器过度充电并最终崩溃的数据重复问题（真实的故事，Netflix 2016）。我们发现它通常与：数据平台的规模和复杂性、公司的行业（某些行业本质上比其他行业的数据更成熟）、数据架构类型（集中式、分散式、混合式）等有关。记录事件将给出更好地了解下次发生事件时要寻找什么，重复的事件通常是一个很好的指标，表明背后的某些事情需要更密切的关注。
事件分类： 并非所有数据事件的严重程度都相同；有些可能是轻微的并且很容易缓解，而另一些则可能会产生严重的后果。记录事件的严重性对于确保适当升级和确定优先级非常重要。这就是数据沿袭可以发挥作用的地方，因为它可以评估事件的下游影响，以更好地了解严重性。与首席执行官最喜欢的仪表板、生产数据库或重要数据产品相关的事件可能具有很高的重要性。
平均检测时间 (MTTD)： 当谈到建立对数据和数据团队的信任时，每个数据从业者的噩梦就是业务利益相关者首先发现数据质量问题。它确实会损害团队的信誉和公司真正成为数据驱动型的能力。当您开始记录事件并对它们的严重性进行分类时，跟踪它们的检测方式以及数据团队确认它们所需的时间也很重要。该指标可以很好地表明您的事件管理的稳健性，但减少该指标也意味着您可以降低事件可能造成更大损害的风险。
平均解决时间 (MTTR)： 事件被报告后会发生什么？ MTTR 是从意识到数据事件到解决它所花费的平均时间。解决时间很大程度上受到事件的严重性和数据平台的复杂性的影响，这就是为什么我们在此框架中考虑平均值的原因。
平均投产时间 (MTTP) 是发布新数据产品所需的平均时间，或者换句话说，是数据产品的平均上市时间。这可能是分析师“清理”数据科学模型的数据所花费的时间。事实上，根据 “福布斯”其中，数据准备约占数据科学家工作的80%。在我们希望将数据视为产品的世界中，提高数据质量可以对缩短上市时间产生直接影响。

除了上述可量化的指标之外，在考虑不良数据的成本时，还值得考虑其他不太容易量化但同样重要的指标。

信任的侵蚀： 数据中和数据团队。在我看来，这是不良数据最危险的后果，它可能会导致更大的问题，例如数据团队的更替或对公司数据驱动和跟上不断发展的数字环境的能力失去信任。而一旦信任被打破，就很难恢复。在之前的经验中，我接触过一些数据消费者，他们宁愿不使用数据，而宁愿在非常不稳定的股票交易环境中依赖“经验”和“直觉”，而不是在知道数据很可能不准确的情况下使用数据。

生产力损失： 如果数据不好，团队就被迫在出现错误时进行纠正和纠正。这种持续不断的救火不仅让人筋疲力尽，而且还会适得其反。本来可以花在战略规划和增长计划上的宝贵时间却被浪费在故障排除上，从而将资源从更关键的任务上转移开来。

监管和声誉风险： 财务报告错误或个人数据处理不当可能会导致高昂的罚款和法律纠纷。处理合规性问题会严重消耗生产力，更不用说它们带来的财务负担了。

经营业绩不佳： 除了降低数据团队的生产力之外，不良数据还会阻碍整体业务绩效，因为公司在客户面前的数字准备度和可信度方面举步维艰，并且容易受到外部威胁。

数据质量问题可能会导致各种问题，包括失去对数据的信任、团队生产力和士气下降、不遵守法规以及决策质量下降。部门或业务单位内的孤立数据使得获得组织数据环境的整体视图变得具有挑战性。这可能会导致决策无效、阻碍数据文化并危及对 GDPR 和 HIPAA 等法规的遵守。此外，数据团队可能会因花费过多时间解决数据问题而感到沮丧，从而对他们的工作满意度产生负面影响，并可能导致员工流失。

1x10x100 规则

1x10x100 规则是事件管理中广泛认可的原则，它强调与不良数据质量相关的成本不断上升。根据这一规则，在入口点解决数据质量问题的成本大约是原始成本的 1 倍。如果问题未被发现并在系统内传播，则成本会增加到大约 10 倍，其中涉及纠正和补救工作。然而，如果糟糕的数据质量到达最终用户或决策阶段，由于运营中断、机会丧失和客户不满意等重大业务后果，成本可能会飙升至初始费用的 100 倍。这条规则强调了不良数据质量的指数级影响，因此组织投资数据可观察性至关重要，这有助于在问题发生时更接近根本原因而不是下游。

结论

数据质量问题严重影响业务，导致资源浪费和机会错失。投资数据可观察性对于预防和减轻与不良数据相关的风险至关重要。通过利用可量化指标并考虑不可量化因素，组织可以衡量数据可观察性的投资回报率并向决策者展示其价值。确保数据信任、促进有效的领域决策、遵守法规以及培养满意的数据团队都是最大化数据质量计划效益的关键方面。拥抱数据可观测性是一项战略投资，可在当今数据驱动的世界中保障数据的准确性、可靠性和利用率。

建立丰富的可观察性实践的组织可以更清楚地了解其交织的环境，这意味着更少的中断、更快的问题解决、对应用程序可靠性的更大信心，并最终带来更多的收入和更满意的客户。