正如供应商依靠美国邮政或 UPS 将货物送到客户手中一样,工作人员依靠数据管道来传递他们获得业务洞察力和做出决策所需的信息。 这种在后台运行的数据通道网络在计算机系统之间分发处理过的数据,这是任何应用程序的基本框架和功能 数据驱动 商业。
随着公司需要以各种格式更快地使用大量流数据,将数据系统与管道连接起来的价值不断增长。 因此,了解高层次数据管道的管理人员可以更经济地将原始数据转移到仪表板或报告上看到的信息。
什么是数据管道?
数据管道描述数据处理元素 串联连接的, 一个通道的数据输出作为下一个通道的输入。 这些管道从源头开始,系统通过移动或复制它并将其移动到新目的地来摄取它。
计算机程序创建、修改、转换或将其输入打包成一个更 精细化数据产品 在那个新地点。 然后,另一个计算机系统可以在其数据管道中将处理后的数据输出作为输入。
数据继续沿着每个连接并通过不同的清理过程和管道,直到达到可消耗状态。 然后员工在工作中使用它,或者将数据存储在存储库中,例如 数据仓库.
除了传输数据之外,一些管道还会在数据通过它们时清理、转换和转换数据,类似于人的消化道分解食物的方式。 其他数据通道收集和分析有关整个组织范围的管道网络的数据,提供对其健康状况的端到端监控,也称为 数据可观察性.
为什么公司使用数据管道?
公司发现良好的数据管道可扩展、灵活、可维护且快速。 由算法创建和管理的自动化数据管道可以在需要时出现或收回。 此外,数据管道可以将数据重新路由到其他管道,从而避免数据堵塞并快速传输数据。
数据管道有助于不同的关键 数据管理 整个企业的需求。 例子包括::
- 数据整合: 将数据从一个系统打包和传输到另一个系统的连接器,包括基于事件的数据流批处理
- 数据质量/数据政府: 根据公司政策和行业法规为数据输出定义和执行数据质量规则的管道
- 数据编目/元数据管理: 连接和扫描所有类型数据库的元数据并提供企业数据上下文的管道
- 资料私隐: 频道 检测敏感数据并防止泄露
组织面临的三大挑战
利用数据管道的组织至少面临三个挑战:复杂性、成本增加和安全性。
复杂
工程师必须随着业务数据需求的变化附加或更改数据管道,增加了使用和维护通道的复杂性。 此外,员工需要在互连的混合云环境中移动数据,包括公开可用的内部部署环境,如 Microsoft Azure。
处理许多不同的 云计算 由于扩展数据管道网络的挑战,位置增加了数据管道的挫败感。 当工程师无法胜任架构时,整个组织的数据通道、数据移动速度变慢,或者员工无法获得他们需要的数据,必须做额外的工作 数据清理.
BMC Software 数字业务自动化总裁 Gur Steif 谈到如何 企业斗争 将复杂的管道系统嵌入到他们的关键应用程序中。 因此,企业将需要投资数据工作流编排平台,以保持数据流动并需要复杂的 数据操作 知识的焦点
成本增加
随着更新的数据技术的出现,企业面临 成本增加 使他们的每个数据管道现代化以适应。 此外,公司必须在管道维护和提高技术知识方面投入更多资金。
另一个成本来源来自 所做的更改 由工程师上游,更接近源头。 有时,这些开发人员无法直接看到他们代码的后果,当数据沿着管道传输时,至少会破坏一个数据进程。
数据保障及安全
当数据沿着不同的数据通道流向受众时,工程师需要确保数据安全性以实现合规性。 例如,公司会计师可能需要通过不应发送给客户服务人员的管道发送敏感的信用卡信息。
因此,如果工程师无法在数据流经管道时查看数据,安全风险就会增加。 Ponemon Research 指出 63% 的安全分析师称缺乏对网络和基础设施的可见性是一个压力源。
使用数据管道的最佳实践
使用数据管道需要在以最低的创建和维护成本尽快让用户访问必要的数据方面取得微妙的平衡。 当然,企业需要选择最好的 数据架构 具有安全、敏捷且操作稳健的数据管道。
此外,公司需要考虑以下因素:
- 人工智能和机器学习 (ML) 技术: 组织将依靠 ML 来识别数据流模式,以最佳方式优化到组织所有部分的数据流。 此外,良好的 ML 服务将通过促进自集成、修复和调整数据管道来提高数据流的效率。 到 2025 年,人工智能模型将取代多达 60% 现有的,包括那些建立在传统数据上的数据管道。
- 数据可观察性: 数据可观察性 为工程师提供对整个数据管道网络的整体监督,包括其编排。 在数据可观察性的帮助下,工程师了解数据管道的运作方式以及需要更改、修复或修剪的内容。
- 元数据管理: 获得良好的数据可观察性需要充分利用元数据,也称为描述数据的数据。 因此,公司将申请 元数据管理 结构以将现有元数据与新兴的活动元数据相结合,以获得所需的跨数据管道的自动化、洞察力和参与度。
帮助管理数据管道的工具
企业依赖数据管道工具来帮助构建、部署和维护数据连接。 这些资源将数据从多个 源到目的地 更高效,支持端到端流程。
虽然一些企业计划开发和维护专门的内部工具,但他们可能会耗尽组织的资源来管理它们,尤其是当数据在多云环境中流通时。 因此,一些企业将求助于第三方供应商以节省这些成本。
第三方数据管道工具有两种形式。 一些通用的跨多个云服务收集、处理和交付数据。 例子包括:
- AWS 胶水: 具有中央元数据存储库和 使用机器学习 去重和清理数据
- Azure 数据工厂: 一种用于编排数据移动和在数据之间转换数据的服务 Azure 资源,使用数据可观察性, 元数据及 机器学习
- 云时代: 跨多个企业云处理数据、简化数据复制和使用的数据服务 镍铁 – 快速、简单、安全的数据集成工具
- 谷歌云数据融合: Google Data Integration 的高端产品和基础 包括 数据可观察性和集成元数据。
- 用于 IBM Cloud Pak for Data 的 IBM Information Server: 具有数据集成、质量和治理功能的服务器,使用 ML 功能
- IBM Infosphere 信息服务器: 任何云上的托管服务或为使用 ML 的客户基础设施自行管理
- 信息学: 一个智能数据平台,包括本地连接、摄取、质量、治理、通过企业范围的元数据进行编目、隐私和跨多个云的主数据管理
- 天赋: 一个独立于云的完整数据生态系统,并将 ML 嵌入到其整个数据结构中
其他专门为交付准备和打包数据的工具:
- 五程: 一个低设置、无需配置和无需维护的数据管道,可从操作源提取数据并将其交付到现代云仓库
- 马蒂林: 一个动态 ETL 平台,可以在数据处理时间过长或失败时进行实时调整
- 阿鲁玛: 来自 Google 的数据管道工具,用于更轻松地控制和查看自动化数据流程
- 缝: ETL 和数据仓库工具,与 Talend 搭配使用,可移动和管理来自多个来源的数据
在企业层面,企业将至少使用一种通用数据管道资源来跨越多个云的服务,以及另一种专门的数据管道资源来处理数据准备的复杂性。
结论
任何现代数据架构都需要数据管道网络将数据从其原始状态移动到可用状态。 数据管道提供了灵活性和速度来最好地传输数据以满足业务和数据管理需求。
虽然执行不当的数据管道会导致复杂性、成本和安全风险增加,但使用良好的数据工具实施良好的数据架构可以最大限度地发挥数据管道在整个组织中的潜力。
As Ocient 的联合创始人兼首席执行官 Chris Gladwin,注意,数据管道将变得更加重要,以便很好地摄取各种数据。 未来通过更易于管理的更复杂的数据集成带来数据管道的改进。
图片经Shutterstock.com许可使用
- SEO 支持的内容和 PR 分发。 今天得到放大。
- 柏拉图区块链。 Web3 元宇宙智能。 知识放大。 访问这里。
- Sumber: https://www.dataversity.net/data-pipelines-an-overview/
- a
- 关于
- 无障碍
- 横过
- 要积极。
- 适应
- 增加
- 另外
- 添加
- 调整
- 驳
- 敏捷
- AI
- 算法
- 所有类型
- Amazon
- 分析师
- 分析
- 和
- 和基础设施
- 另一个
- 出现
- 应用领域
- 使用
- 架构
- 连接
- 观众
- 自动化
- 自动化
- 可使用
- 避免
- AWS
- Azure
- 背景
- 当前余额
- 因为
- 成为
- 最佳
- 更好
- BMC
- 破坏
- 休息
- 带来
- 建立
- 建
- 商业
- 企业
- 呼叫
- 不能
- 能力
- 卡
- 中央
- CEO
- 当然
- 挑战
- 更改
- 渠道
- 通道
- 接近
- 云端技术
- 云服务
- 联合创始人
- 码
- 收集
- 结合
- 如何
- 公司
- 公司
- 复杂
- 符合
- 一台
- 分享链接
- 连接
- 地都
- 连接
- 连接方式
- 所以
- 考虑
- 消耗
- 继续
- 贡献
- 控制
- 兑换
- 公司
- 价格
- 成本
- 创建信息图
- 创建
- 创建
- 信用
- 信用卡
- 危急
- 顾客
- 客户服务
- 合作伙伴
- data
- 数据集成
- 数据管理
- 数据平台
- 资料准备
- 数据处理
- 数据质量
- 数据安全
- 数据仓库
- 数据库
- 数据多样性
- 决定
- 交付
- 提供
- 交货
- 部署
- 目的地
- 开发
- 发展
- 不同
- 数字
- 直接
- 向下
- 动态
- 每
- 更容易
- 生态系统
- 高效
- 有效
- 新兴经济体的新市场。
- 员工
- 端至端
- 订婚
- 工程师
- 确保
- 企业
- 企业
- 整个
- 环境中
- 特别
- 必要
- 醚(ETH)
- 例子
- 例子
- 现有
- 提取
- 面部彩妆
- 面临
- 促进
- 工厂
- 失败
- 高效率
- 快
- 找到最适合您的地方
- 固定
- 高度灵活
- 柔软
- 流
- 流动
- 流动
- 以下
- 食品
- 基金会
- 骨架
- 止
- 挫败感
- 功能
- 运作
- 此外
- 聚变
- 未来
- Gain增益
- Gartner公司
- 得到
- 越来越
- 给
- Go
- 非常好
- 货
- 谷歌
- 治理
- 政府
- 增长
- 处理
- 健康管理
- 帮助
- 高
- 整体
- 创新中心
- HTML
- HTTPS
- 杂交种
- 混合云
- IBM
- IBM Cloud
- 鉴定
- 实施
- 改善
- in
- 包括
- 包括
- 包含
- 增加
- 增加
- 行业中的应用:
- 信息
- 基础设施
- 输入
- 洞察
- 可行的洞见
- 积分
- 智能化
- 相互连接
- 内部
- 错综复杂
- 投资
- IT
- 工作
- 保持
- 知道
- 知识
- 已知
- 缺乏
- 铅
- 学习
- Level
- 借力
- 执照
- 加载
- 地点
- 长
- 低
- 机
- 机器学习
- 保持
- 可维护的
- 保养
- 使
- 制作
- 制作
- 管理
- 管理
- 颠覆性技术
- 经理
- 管理
- 许多
- 主
- 最大宽度
- 最大程度地增强
- 满足
- 元数据
- 微软
- 微软Azure
- ML
- 模型
- 现代
- 现代化
- 修改
- 监控
- 更多
- 更高效
- 最先进的
- 移动
- 运动
- 移动
- 移动
- 多
- 本地人
- 必要
- 需求
- 打印车票
- 需要
- 网络
- 全新
- 下页
- 一
- 操作
- 操作
- 管弦乐编曲
- 组织
- 组织
- 其他名称
- 疏忽
- 简介
- 包
- 包装
- 配对
- 部分
- 模式
- 管道
- 计划
- 平台
- 平台
- 柏拉图
- 柏拉图数据智能
- 柏拉图数据
- 政策
- 可能
- 潜力
- 做法
- 准备
- 总统
- 隐私
- 过程
- 过程
- 处理
- 产品
- 训练课程
- 保护
- 提供
- 提供
- 优
- 公然
- 质量
- 很快
- 原
- 原始数据
- 上游
- 实时的
- 法规
- 更换
- 复制
- 业务报告
- 知识库
- 要求
- 岗位要求
- 需要
- 研究
- 资源
- 资源
- 导致
- 风险
- 健壮
- 定位、竞价/采购和分析/优化数字媒体采购,但算法只不过是解决问题的操作和规则。
- 保存
- 可扩展性
- 缩放
- 浏览
- 安全
- 保安
- 安全风险
- 敏感
- 无服务器
- 服务
- 特色服务
- 几个
- 转换中
- 应该
- 存在Shutterstock
- 类似
- 减慢
- So
- 软件
- 一些
- 极致
- 来源
- 来源
- 跨度
- 专攻
- 专门
- 速度
- 花
- Spot
- 团队
- 开始
- 州/领地
- 存储
- 流
- 精简
- 结构体
- 支持
- 系统
- 产品
- 采取
- 会谈
- 文案
- 技术
- 未来
- 信息
- 其
- 第三方
- 三
- 通过
- 始终
- 至
- 也有
- 工具
- 工具
- 对于
- 传统
- 改造
- 转型
- 运输
- 传输
- 旅行
- 转
- 类型
- 我们
- 下
- 理解
- UPS
- 使用
- 用户
- 折扣值
- 各种
- 各个
- 厂商
- 查看
- 能见度
- 仓库保管
- 什么是
- WHO
- 宽
- 将
- 工人
- 工作流程
- 和风网