2024 年のデータ トレンド: 共同的なデータ共有から AI 主導の運用まで - DATAVERSITY

2024 年のデータ トレンド: 共同的なデータ共有から AI 主導の運用まで – DATAVERSITY

ソースノード: 3013137

急速に進化するデータ環境において、新たなトレンドを理解し、技術の進歩を受け入れることが、先を行く鍵となります。 2024 年が近づく中、この記事では、来年の戦略的展望を定義するデータのトレンドについて考察します。

トレンド: データ重視 Sヘリング および DATA Cオラボレーション

データ共有の改善と当事者間の安全なデータコラボレーションが重要な分野になりつつあります。 Snowflake や Databricks などの企業がこのアイデアを採用しており、さまざまな業界で注目を集めています。 

過去10年間、 デジタル変換 ビジネスプロセスとシステムがより小さな部分に分割されるようになりました。これらの部分の一部は社内に残りますが、その他は外部プロバイダーに委託され、複雑なエコシステムを形成します。たとえば、グローバルな決済処理のデジタル変革の取り組みは現在 10 ~ 15 社に及ぶ可能性があり、データはこれらすべてのさまざまな関係者に分散されています。複数のプロバイダからのデータを総合的に表示するには統合する必要があり、これが課題です。

そのため、さまざまな関係者間でデータを統合するというアイデアに基づいてデータ プロダクトが構築されることが増えています。この傾向は今後数年間続くと予想されており、多くのデータ プロダクトがこのプロセスを中心に構築されることになります。

トレンド: データメッシュの台頭

の概念 データメッシュ 過去 3 年間で注目を集めてきました。それは 2 つの重要なコンポーネントを最前線にもたらします。まず、「製品としてのデータ」という概念が導入されています。これには、データ作成者が直接関与することなくセルフサービス方式で使用できる、明確に定義された検出可能な形式でデータをパッケージ化することが含まれます。この概念には、生データだけでなく、顧客離れや不正防止に使用される分析モデルも含まれます。

次に、ビジネス インテリジェンスではなく、データ プロダクトの作成にセルフサービス プラットフォームを使用することで、さまざまなビジネス ユニットが個別のデータ プラットフォームを必要とせずにデータ プロダクトを作成できるようになります。これによりコストが削減され、効率が向上します。

Azure や AWS などのクラウド サービスを含む主要なテクノロジー プロバイダーが追いつき、分散データと分析プラットフォームをデータ メッシュ方式で管理するソリューションを提供しています。これにより、さまざまなプラットフォームやテクノロジー間でデータを接続し、データの状況を一元的に把握できるようになります。

トレンド: LLM はデータ エンジニアリングとデータ運用の強化において重要な役割を果たすようになる

生成 AI と大規模言語モデル (LLM) には、データ空間を変革する可能性があります。この変革には、データ エンジニアリングやデータ操作などのタスクのために既存のデータ インフラストラクチャ内に GenAI モデルを展開することが含まれます。 

さらに興味深いのは、これらのテクノロジーが、データのプロファイリング、モデリング、統合、プロセスの合理化、データ品質の向上などの基本的なタスクを解決できる可能性であることです。 LLM は、データ エンジニアリングとデータ運用の強化において重要な役割を果たすことが期待されています。

トレンド: 企業はデータ検出ツールとデータ カタログに投資します

データ ガバナンスはここ数年で進化してきました。以前はデータの保護とリスク管理に重点が置かれていましたが、その後はリスクを最小限に抑えながらデータを広く利用できるようにすることに移行しました。データとしての製品という概念は、データを生成、所有、提供するチームに責任が移されるため、最大の変化です。

企業は、ソース、所有権、構造、品質などのデータを可視化するために、データ検出ツールやデータ カタログに投資しています。現在、データ ガバナンスには、データを可視化、発見可能、再利用可能、そして有用なものにすることが含まれています。 

傾向: データ品質の重要性の高まり 

データ分析の利用の増加とデータ品質の必要性により、データ可観測性はここ 2 ~ 3 年で人気が高まっています。これにより、実行時のデータを詳細に理解できるようになり、組織がデータの流れを追跡し、データ品質の問題、運用上の問題、データ システムの変更を特定できるようになります。これは、何が起こっているかを可視化し、理解するという点で、エンジニアや運用担当者に多くの価値をもたらします。

Monte Carlo や Soda などのデータ可観測性ツールは、データ品質と運用効率の向上に対する需要の高まりに応えるために登場しました。

この傾向のもう 1 つの側面は、データ分析への投資の増加です。データ分析の領域では、得られる価値は分析されるデータの品質に大きく依存します。その結果、組織はデータ品質をより重視するようになりました。このプロセス中に、データ品質の問題の多くは、明確に定義されたビジネス ルールやデータの検証ルールの欠如に起因するものではないことが明らかになります。むしろ、問題は多くの場合、運用上の問題の中でも、個人による変更やプロバイダから受け取ったデータの不正確など、運用上の不一致から発生します。

これらは、2024 年に注意すべき最も重要な XNUMX つのデータ トレンドです。リストに追加するものはどれですか?

タイムスタンプ:

より多くの データバーシティ