选择数据管道测试自动化工具（第 2 部分） - DATAVERSITY

由柏拉图重新发布

关注： 0

In 第一部分在这篇博文中，我们描述了为什么数据管道测试工具的开发人员面临许多挑战（技术的复杂性、数据结构和格式的多样性以及支持不同 CI/CD 管道的需要）。描述了管道开发人员所需的超过 15 种不同类别的测试工具。

第二部分深入研究了这些复杂性，并强调了阻碍通用测试工具应用于各种领域的复杂性。数据管道。然后，我们概述了如何找到单独的数据管道测试工具和框架来满足您的需求。

考虑数据管道测试工具框架的选项

在选择自动化测试工具来支持其多样化的数据管道测试需求时，数据管道所有者面临的挑战有哪些现实解决方案？

数据管理系统的多样性和复杂性使得为数据管道选择自动化测试工具变得具有挑战性。然而，实用的解决方案可以帮助数据管道所有者做出明智的选择。

模块化工具框架： 不要选择单一的整体工具，而是考虑允许即插即用功能的模块化框架。这些框架使管道所有者能够集成针对每种独特技术或要求定制的特定测试模块或插件。 好处： 提供适应各种技术的灵活性，并且可以随着管道组件的发展或变化而轻松扩展。
混合工具选择： 不要寻求一种工具来完成所有工作，而是使用专用工具的组合。例如，使用一种专用于实时数据流验证的工具，使用另一种工具进行批处理验证。 好处： 利用专业工具的优势可确保全面覆盖并深入了解特定的管道组件。
持续集成和持续部署（CI/CD）集成： 选择无缝集成到现有 CI/CD 管道的测试工具。这确保了自动化测试成为开发和部署周期的常规部分。 好处： 有助于及早发现问题、简化部署以及在整个开发生命周期中进行一致的测试。
社区和供应商支持： 优先考虑拥有强大社区或供应商支持的工具。活跃的论坛、定期更新、广泛的文档和快速响应的客户支持可能至关重要，特别是在面临独特的挑战或适应新技术时。 好处： 确保工具的使用寿命、及时的帮助以及从开发人员和用户那里获取知识和解决方案。
试点测试和迭代评估： 在做出长期承诺之前，请使用潜在工具对数据管道的代表性子集进行试点测试。这种直接评估可以深入了解工具的功能、限制以及与特定管道技术的兼容性。 好处： 降低使用可能不太合适的工具的风险，确保所选解决方案与管道的独特需求紧密结合。

整合解决方案提供了一种解决工具选择困境的结构化方法，使数据管道所有者能够做出满足其当前需求的选择，并且在面对未来技术发展时通常保持适应性和高效性。

对于每个类别，错误检测都至关重要。数据处理中的故障或差异可能会导致严重的下游问题，可能会损害依赖数据的业务决策或系统操作。

数据管道工作流程包含许多操作，从提取和转换到加载、验证和监控。因此，设计了各种自动化测试工具来满足这些工作流程的各个阶段和需求。

规划测试自动化解决方案的路径

在选择工具时，确保它们符合您当前和近期的需求至关重要。选择一种比您当前需要的功能更强大的工具通常比选择一种您很快就会不再需要的工具更好。

定义测试目标： 找到每个潜在测试工具的用途：验证、回归、性能等。了解数据的范围和性质：结构化、非结构化、实时、批量。

定义测试要求： 定义测试工具所需的功能，然后决定所需的测试类型：单元测试、集成测试、端到端测试和负载测试。

对所需的特性和功能进行分类：

灵活性： 工具是否支持广泛的数据格式和来源？
可扩展性： 他们能否管理预期的数据量？
整合： 它们是否可以轻松地与您现有的系统（例如 CI/CD 工具、数据平台和警报系统）集成？
可用性： 工具是否易于使用，或者学习曲线是否陡峭？
社区和支持： 是否有强大的社区和/或官方支持？

概述报告和分析的要求：

最好的测试工具应该提供详细的日志和分析，以便轻松调试和理解测试结果
确定该工具的报告是否满足您团队的需求

描述您对可扩展性和定制的需求：

检查该工具是否允许您编写自定义插件或扩展
弄清楚是否可以轻松更改它以适应不断变化的需求

发现可用的工具

发现用于类似数据管道的开发人员工具需要研究、联网和实验。以下是帮助您找到这些工具的系统方法：

研究可用工具： 从广泛认可的数据管道测试工具开始，例如 Apache JMeter、Apache Airflow 的内置测试功能、Great Expectations 等。考虑与您当前的技术堆栈良好集成的工具。

行业论坛和社区：

数据工程论坛： 可以使用与数据源、转换和技术相关的关键字来搜索 Stack Overflow、Reddit 上的数据工程、GitHub 等网站。
会议记录： 浏览 Strata Data、Spark + AI Summit 等会议记录。通常，开发人员会展示他们的数据管道，您可以深入了解他们使用的工具。

网络：

聚会： 参加或参加本地数据工程或特定技术聚会。交互可以深入了解正在使用的工具。

研讨会和会议： 参加专注于数据工程的研讨会和会议。这些活动通常以案例研究为特色，讨论工具和方法。

供应商和产品网站： 许多工具供应商发布案例研究或用户故事。通过这些来了解他们的工具的使用方式和地点。

开源平台： 像 GitHub 或 GitLab 这样的平台可以成为一个宝库。搜索像您的管道这样的存储库，并研究它们正在使用的工具和技术。

行业报告： 行业应用分析报告调查（例如来自 Gartner、Forrester 和 O'Reilly 的调查）提供了对流行工具和技术的见解。

直接外展： 查找从事类似数据管道工作的公司或团队（通过博客和论文）并直接联系，表达您的共同兴趣并寻求建议。

供应商文件： 如果您使用特定的数据技术或平台（例如 AWS、Azure、Google Cloud），请查看其官方文档和博客，了解数据管道测试的最佳实践和推荐工具。

内部网络： 您的同事，尤其是在较大的组织中，可能有见解，或者可能认识有见解的人。

谷歌学术： 搜索学术和研究论文，例如， Google Scholar，然后输入相关关键字，例如“数据管道测试工具”、“数据管道测试框架”或“数据管道测试最佳实践”。

咨询公司： 专门从事数据工程或分析的咨询公司通常广泛接触跨行业的不同工具和最佳实践。

培训和在线课程： 在线平台提供数据工程课程。这些课程经常提到工具和最佳实践；您可以衡量哪些工具是流行的或新兴的。

行业博客和新闻通讯： 关注专注于数据工程或您感兴趣的特定技术的博客或时事通讯。他们经常讨论工具、其优缺点以及用例。加入与数据工程、数据管道或您的特定数据源（例如 Hadoop、Spark、Kafka）相关的在线社区和论坛。 Stack Overflow、Reddit 或专门论坛等网站经常讨论开发人员使用的工具和实践。

GitHub 和开源项目： 在 GitHub 存储库中搜索开源数据管道项目或相关工具。许多开发人员公开分享他们的项目，并在自述文件中提到他们使用的工具。

专业协会： 考虑加入与数据工程或数据科学相关的专业协会。他们经常提供资源、网络研讨会和交流机会，帮助您发现流行的工具。

人工智能聊天： 查询示例： “开发一个数据管道测试工具列表并描述每个工具。列出的工具是那些经常推荐用于数据管道项目的工具。工具应包括用于测试数据源和数据类型、数据转换、数据分析、数据提取、数据摄取和数据质量验证的工具。考虑工具供应商、Git-Hub 和开源提供的工具类型。=

工具比较平台： G2、Capterra 和 IT Central Station 等网站提供工具比较，包括用户评论。您通常可以通过阅读评论来推断使用这些工具的上下文。

结合使用上述方法并不断了解行业趋势，您可以了解类似数据管道的开发人员使用的测试工具。