IBM Databand：异常检测的自学习 – IBM 博客

大约一年前，IBM 在一次时间敏感的并购数据流中遇到了数据验证问题。在努力解决问题的过程中，我们面临着多项挑战，包括故障排除、识别问题、修复数据流、更改下游数据管道以及执行自动化工作流程的临时运行。

使用 Databand 提高数据分辨率和监控效率

在解决眼前的问题后，回顾性分析显示，适当的数据验证和智能监控可能会减轻痛苦并加快解决时间。 IBM 不是仅仅为眼前的问题开发定制解决方案，而是寻求一种广泛适用的数据验证解决方案，不仅能够处理这种情况，而且能够处理潜在的被忽视的问题。  

就在那时，我发现了我们最近收购的一款产品：用于数据可观察性的 IBM® Databand®。与具有基于规则的监控或数百个定制开发的监控脚本的传统监控工具不同，Databand 提供自学习监控。它观察过去的数据行为并识别超过特定阈值的偏差。这种机器学习功能使用户能够以最少的规则配置和异常检测来监控数据，即使他们对数据或其行为模式的了解有限。

通过Databand的自学习监控优化数据流可观测性

Databand 会考虑数据流的历史行为并标记可疑活动，同时警告用户。 IBM 将 Databand 集成到我们的数据流中，其中包含 100 多个管道。它为所有运行和管道提供了易于观察的状态更新，更重要的是，突出显示了故障。这使我们能够集中精力并加速数据流事件的修复。

用于数据可观测性的 Databand 使用自学习来监控以下内容：  

• 架构更改： 当检测到架构更改时，Databand 在仪表板上对其进行标记并发送警报。任何处理数据的人都可能遇到过数据源发生架构更改的情况，例如添加或删除列。这些变化会影响工作流程，进而影响下游数据管道处理，从而产生连锁反应。 Databand 可以分析模式历史记录，并及时向我们发出任何异常警报，防止潜在的中断。
• 服务级别协议 (SLA) 影响： Databand 显示数据沿袭并识别受数据管道故障影响的下游数据管道。如果为数据交付定义了 SLA，则警报有助于识别和维护 SLA 合规性。
• 性能和运行时异常：Databand 监视数据管道运行的持续时间并学习检测异常情况，并在必要时对其进行标记。用户无需了解管道的持续时间； Databand 从其历史数据中学习。
• 状态： Databand 监控运行状态，包括运行是否失败、取消或成功。
• 数据验证： Databand 观察一段时间内的数据值范围，并在检测到异常时发送警报。这包括典型的统计数据，例如平均值、标准差、最小值、最大值和四分位数。

用于增强数据管道的变革性数据带警报

用户可以使用 Databand 用户界面设置警报，该界面并不复杂，并具有直观的仪表板，可监控和支持工作流程。它通过有向无环图提供深入的可见性，这在处理许多数据管道时非常有用。这一一体化系统使支持团队能够专注于需要关注的领域，从而加快交付速度。

IBM Enterprise Data 的并购使我们能够通过 Databand 增强我们的数据管道，并且我们没有回头。我们很高兴为您提供这款变革性的软件，它可以帮助您更早地识别数据事件、更快地解决问题并为企业提供更可靠的数据。

通过持续的数据可观察性提供可靠的数据

阅读 Gartner 报告