2024 年数据趋势:从协作数据共享到人工智能驱动的运营 - DATAVERSITY

2024 年数据趋势:从协作数据共享到人工智能驱动的运营 – DATAVERSITY

源节点: 3013137

在快速发展的数据领域,了解新兴趋势和拥抱技术进步是保持领先地位的关键。随着 2024 年的临近,本文探讨了将定义来年战略格局的数据趋势。

趋势:关注数据 Shar  DATA C合作

改善各方之间的数据共享和安全数据协作正在成为一个关键领域。像 Snowflake 和 Databricks 这样的公司正在接受这个想法,并且它在各个行业中都获得了广泛的关注。 

在过去的十年, 数字化改造 导致业务流程和系统分解为更小的部分。其中一些部分保留在公司内部,而另一些则外包给外部提供商,从而创建了一个复杂的生态系统。例如,全球支付处理的数字化转型工作现在可以涉及 10 或 15 家公司,并且数据分布在所有这些不同的各方中。需要整合来自多个提供商的数据才能全面查看,这是一个挑战。

因此,数据产品越来越多地围绕合并不同各方数据的想法而构建。预计这种趋势将在未来几年持续下去,许多数据产品将围绕这一过程构建。

趋势:数据网格的兴起

的概念 数据网格 在过去三年中获得了关注。它将两个关键组件带到了最前沿。首先,它引入了“数据作为产品”的理念,其中涉及以定义明确、可发现的格式打包数据,该格式可以以自助服务的方式使用,而无需数据生产者的直接参与。这个概念不仅包括原始数据,还包括分析模型,例如用于客户流失或预防欺诈的模型。

其次,使用自助服务平台来生产数据产品,而不是商业智能,使各个业务部门能够创建数据产品,而无需单独的数据平台。这降低了成本并提高了效率。

主要技术提供商(包括 Azure 和 AWS 等云服务)正在迎头赶上,并提供以数据网格方式管理分布式数据和分析平台的解决方案。这有助于跨各种平台和技术连接数据,提供数据格局的集中视图。

趋势:法学硕士将在增强数据工程和数据运营方面发挥关键作用

生成式人工智能和大型语言模型 (LLM) 有潜力改变数据空间。这种转变包括在现有数据基础设施中部署 GenAI 模型,以执行数据工程和数据操作等任务。 

更有趣的是这些技术有可能解决基本任务,例如分析、建模和集成数据、简化流程和提高数据质量。法学硕士预计将在增强数据工程和数据运营方面发挥至关重要的作用。

趋势:公司将投资数据发现工具和数据目录

数据治理在过去几年中不断发展。以前,它的重点是保护数据和管理风险,但后来转向使数据广泛可用,同时最大限度地降低风险。数据即产品的概念是最大的变化,因为它将责任转移给了生产、拥有或提供数据的团队。

公司正在投资数据发现工具和数据目录,以获得数据的可见性,包括其来源、所有权、结构和质量。数据治理现在涉及使数据可见、可发现、可重用和有用。 

趋势:越来越重视数据质量 

在数据分析的使用增加和对数据质量的需求的推动下,数据可观测性在过去两三年中越来越受欢迎。它提供对运行时数据的精细理解,帮助组织跟踪数据流并识别数据质量问题、操作问题和数据系统更改。它在可见性和对正在发生的情况的理解方面为工程师和操作人员提供了很多价值。

Monte Carlo 和 Soda 等数据观测工具的出现是为了满足对提高数据质量和运营效率不断增长的需求。

这一趋势的另一个方面是对数据分析的投资不断增加。在数据分析领域,所产生的价值在很大程度上取决于所分析数据的质量。因此,组织更加重视数据质量。在此过程中,很明显,许多数据质量问题并非源于缺乏明确定义的数据业务规则或验证规则。相反,问题通常源于运营差异,例如个人所做的更改或从提供商处收到的数据不准确以及其他运营挑战。

以下是 2024 年需要注意的五个最重要的数据趋势。您会添加哪些到列表中?

时间戳记:

更多来自 数据多样性