ベンダーが商品を顧客に届けるために米国の郵便または UPS に依存しているように、従業員はビジネスの洞察を得て意思決定を行うために必要な情報を提供するためにデータ パイプラインを利用しています。 バックグラウンドで動作するこのデータ チャネルのネットワークは、処理されたデータをコンピュータ システム全体に分散します。 データ駆動型の ビジネス。
企業がさまざまな形式で提供される大量のストリーミング データをより高速に消費する必要があるため、データ システムをパイプラインに接続することの価値は高まり続けています。 したがって、データ パイプラインを高いレベルで理解している管理者は、生データをダッシュボードやレポートに表示される情報に、最も経済的に移動させることができます。
データ パイプラインとは
データ パイプラインはデータ処理要素を記述します 直列に接続されたXNUMX つのチャネルのデータ出力が次のチャネルの入力として機能します。 これらのコンジットはソースから始まり、システムはデータをシフトまたは複製して新しい宛先に移動することで取り込みます。
コンピューター プログラムは、入力をより多くの形式に作成、変更、変換、またはパッケージ化します。 洗練されたデータ製品 その新しい場所で。 次に、別のコンピュータ システムが、そのデータ パイプラインで、処理されたデータ出力を入力として取得する場合があります。
データは、消費可能な状態に達するまで、各接続に沿って、さまざまなクレンジング プロセスとパイプラインを通過し続けます。 次に、従業員がそれを仕事で使用するか、そのデータがリポジトリに保存されます。 データウェアハウス.
一部のコンジットは、データの転送に加えて、データが通過するときにデータのクリーニング、変換、および変換を行います。これは、人間の消化管が食物を分解するのと同様です。 他のデータ チャネルは、組織全体のパイプライン ネットワークに関するデータを収集および分析し、エンド ツー エンドの状態監視を提供します。 データの可観測性.
企業がデータ パイプラインを使用する理由
企業は、拡張性、柔軟性、保守性、高速性に優れたデータ パイプラインを見つけます。 アルゴリズムによって作成および管理される自動化されたデータ パイプラインは、必要に応じて表示または撤回できます。 また、データ パイプラインはデータを他のコンジットに再ルーティングして、データ ジャムを回避し、データを迅速に転送できます。
データ パイプラインは、さまざまな重要な問題に貢献します データ管理 企業全体のニーズ。 例としては、:
- データ統合: あるシステムから別のシステムにデータをパッケージ化して転送し、データ ストリームのイベントベースおよびバッチ処理を含むコネクタ
- データ品質/データ管理: データ出力に関する企業ポリシーおよび業界規制に従って、データ品質ルールを定義および実施するコンジット
- データのカタログ化/メタデータ管理: あらゆる種類のデータベースのメタデータを接続してスキャンし、エンタープライズ データ コンテキストを提供するパイプライン
- データのプライバシー: チャネル 機密データを検出し、侵害から保護する
組織が直面するXNUMXつの課題
データ パイプラインを活用している組織は、少なくとも XNUMX つの課題に直面しています。それは、複雑さ、コストの増加、およびセキュリティです。
複雑
エンジニアは、ビジネス データの要件が変化するにつれて、データ パイプラインを接続または変更する必要があり、チャネルの使用と維持の複雑さが増します。 さらに、従業員は、Microsoft Azure などの一般に公開されているオンプレミスの環境を含め、相互にリンクしているハイブリッド クラウド環境間でデータを移動する必要があります。
多種多様に対応 クラウドコンピューティング データ パイプライン ネットワークをスケーリングする際の課題により、場所によってデータ パイプラインにフラストレーションが追加されます。 エンジニアが有能に設計できなかった場合、組織全体のデータ チャネル、データの動きが遅くなった場合、または従業員が必要なデータを取得できず、追加の作業が必要になった場合 データクレンジング.
BMC Software のデジタル ビジネス オートメーション担当プレジデントである Gur Steif 氏は、次のように語っています。 企業闘争 複雑なパイプライン システムを重要なアプリケーションに組み込むことができます。 その結果、企業は、データの流れを維持し、高度な機能を必要とするデータ ワークフロー オーケストレーション プラットフォームに投資する必要があります。 データ運用 知識。
コストの増加
新しいデータ テクノロジーの出現に伴い、企業は次のような課題に直面しています。 コスト増 各データ パイプラインをモダナイズして適応させます。 さらに、企業は、パイプラインの保守と技術知識の向上により多くの費用を費やす必要があります。
コストのもう XNUMX つの原因は、 加えられた変更 ソースに近い上流のエンジニアによって。 場合によっては、これらの開発者はコードの影響を直接見ることができず、データがパイプラインを通過するときに少なくとも XNUMX つのデータ プロセスを中断します。
データセキュリティ
エンジニアは、データがさまざまなデータ チャネルを流れて視聴者に届くため、コンプライアンスのためにデータ セキュリティを確保する必要があります。 たとえば、会社の経理担当者は、パイプラインを介して送信される機密性の高いクレジット カード情報を必要とする場合がありますが、この情報は顧客サービス スタッフには渡されません。
そのため、エンジニアがパイプラインを流れるデータを表示する方法がないと、セキュリティ リスクが増大します。 Ponemon Research は次のように述べています。 視聴者の38%が のセキュリティ アナリストが、ネットワークとインフラストラクチャの可視性の欠如をストレッサーとして挙げています。
データ パイプラインを使用するためのベスト プラクティス
データ パイプラインを使用するには、作成と維持のコストを最小限に抑えながら、ユーザーが必要なデータにできるだけ早くアクセスできるようにするために、微妙なバランスを取る必要があります。 確かに、企業は最善のものを選択する必要があります データアーキテクチャ セキュアで機敏で、運用上堅牢なデータ パイプラインを使用します。
さらに、企業は次のことを考慮する必要があります。
- AI および機械学習 (ML) テクノロジー: 組織は ML に依存してデータ フロー パターンを特定し、組織のすべての部分へのデータ フローを最適化します。 さらに、優れた ML サービスは、データ パイプラインの自己統合、修復、および調整を促進することで、データ フローをより効率的にします。 2025 年までに、AI モデルは最大 視聴者の38%が これには、従来のデータに基づいて構築されたデータ パイプラインを備えたものも含まれます。
- データの可観測性: データの可観測性 オーケストレーションを含む、データ パイプライン ネットワーク全体の全体的な監視をエンジニアに提供します。 データの可観測性を活用することで、エンジニアはデータ パイプラインがどのように機能しているか、何を変更、修正、削除する必要があるかを把握できます。
- メタデータ管理: 優れたデータ可観測性を得るには、データを説明するデータとも呼ばれるメタデータを最大限に活用する必要があります。 その結果、企業は メタデータ管理 既存のアクティブなメタデータと新しいアクティブなメタデータを組み合わせて、データ パイプライン全体で必要な自動化、洞察、エンゲージメントを得る構造。
データ パイプラインの管理に役立つツール
企業は、データ接続の構築、デプロイ、および維持を支援するデータ パイプライン ツールに依存しています。 これらのリソースは複数からデータを移動します ソースから宛先へ より効率的に、エンドツーエンドのプロセスをサポートします。
一部の企業は専用の内部ツールの開発と維持を計画していますが、特にデータがマルチクラウド環境で循環する場合、それらを管理するために組織のリソースを浪費する可能性があります。 その結果、一部の企業は、これらのコストを節約するためにサードパーティ ベンダーに頼るようになります。
サードパーティのデータ パイプライン ツールには XNUMX つの種類があります。 一部の一般的なものは、複数のクラウド サービスにわたってデータを収集、処理、配信します。 例は次のとおりです。
- AWS 接着剤: 中央のメタデータ リポジトリと ML を使用 データの重複排除とクリーニング
- Azure データ ファクトリ: データ移動を調整し、データを変換するためのサービス Azureリソース、データ可観測性を使用して、 , 機械学習
- クラウデラ: 複数のエンタープライズ クラウド間でデータを処理し、データ レプリケーションを合理化し、使用するデータ サービス ニフィ – 高速、簡単、かつ安全なデータ統合ツール
- Google クラウド データ フュージョン: ハイエンド プロダクトであり、Google データ統合の基盤であり、 含ま データの可観測性と統合メタデータ。
- IBM Cloud Pak for Data 用の IBM Information Server: ML 機能を使用したデータ統合、品質、およびガバナンス機能を備えたサーバー
- IBM インフォスフィア情報サーバー: 任意のクラウド上のマネージド サービス、または ML を使用するお客様のインフラストラクチャ向けのセルフ マネージド サービス
- インフォマティカ: ネイティブ接続、取り込み、品質、ガバナンス、企業全体のメタデータによるカタログ化、プライバシー、および複数のクラウドにわたるマスター データ管理を含むインテリジェントなデータ プラットフォーム
- タレンド: クラウドに依存せず、データ ファブリック全体に ML を埋め込むデータ エコシステム全体
その他のツールは、配信用のデータの準備とパッケージ化に特化しています。
- ファイブトラン: 運用ソースからデータを取り出して最新のクラウド ウェアハウスに配信する、低セットアップ、構成不要、メンテナンス不要のデータ パイプライン
- マティリオン: データ プロセスに時間がかかりすぎたり失敗した場合にリアルタイムで調整を行う動的な ETL プラットフォーム
- アロマ: 自動化されたデータ プロセスの制御と可視化を容易にする Google のデータ パイプライン ツール
- ステッチ: 複数のソースからのデータを移動および管理する、Talend と組み合わせた ETL およびデータ ウェアハウス ツール
企業レベルでは、企業は、複数のクラウドにサービスをまたがる少なくとも XNUMX つの汎用データ パイプライン リソースと、複雑なデータ準備を処理する別の特殊なリソースを使用します。
まとめ
最新のデータ アーキテクチャでは、データを生の状態から使用可能な状態に移行するためのデータ パイプライン ネットワークが必要です。 データ パイプラインは、ビジネスおよびデータ管理のニーズを満たす最適なデータ転送の柔軟性と速度を提供します。
適切に実行されていないデータ パイプラインは、複雑さ、コスト、およびセキュリティ リスクの増加につながりますが、優れたデータ ツールを使用して優れたデータ アーキテクチャを実装すると、組織全体のデータ パイプラインの可能性が最大化されます。
As Ocient の共同創設者兼 CEO である Chris Gladwin は、次のように述べています。、メモ、さまざまなデータを適切に取り込むために、データ パイプラインがより重要になります。 将来的には、管理が容易な、より高度なデータ統合によるデータ パイプラインの改善がもたらされます。
Shutterstock.comからのライセンスに基づき使用されている画像
- SEO を活用したコンテンツと PR 配信。 今日増幅されます。
- Platoblockchain。 Web3メタバースインテリジェンス。 知識の増幅。 こちらからアクセスしてください。
- 情報源: https://www.dataversity.net/data-pipelines-an-overview/
- a
- 私たちについて
- アクセス可能な
- 越えて
- アクティブ
- 適応する
- 添加
- さらに
- 追加
- 調整
- に対して
- 使い勝手のいい
- AI
- アルゴリズム
- すべて
- Amazon
- アナリスト
- 分析します
- &
- とインフラ
- 別の
- 現れる
- 申し込む
- 建築
- アタッチ
- ヒアリング
- 自動化
- オートメーション
- 利用できます
- 回避
- AWS
- Azure
- 背景
- なぜなら
- になる
- BEST
- より良いです
- BMC
- 破壊
- 休憩
- もたらす
- ビルド
- 内蔵
- ビジネス
- ビジネス
- コール
- 機能
- カード
- 中央の
- 最高経営責任者(CEO)
- 確かに
- 課題
- 変化する
- チャネル
- チャンネル
- 選択する
- クローザー
- クラウド
- クラウドサービス
- 共同創設者
- コード
- 収集する
- 組み合わせる
- 来ます
- 企業
- 会社
- 複雑さ
- コンプライアンス
- コンピュータ
- お問合せ
- 接続する
- 接続
- Connections
- 接続性
- その結果
- 検討
- 消費する
- 続ける
- 貢献する
- コントロール
- 変換
- 企業
- 費用
- コスト
- 作ります
- 作成した
- 創造
- クレジット
- クレジットカード
- 重大な
- 顧客
- 顧客サービス
- Customers
- データ
- データ統合
- データ管理
- データの準備
- データ処理
- データ品質
- データセキュリティ
- データウェアハウス
- データベースを追加しました
- データバーシティ
- 決定
- 配信する
- 提供します
- 配達
- 展開します
- デスティネーション
- 開発者
- 開発
- 異なります
- デジタル
- 直接に
- ダウン
- ダイナミック
- 各
- 容易
- エコシステム
- 効率的な
- 効率良く
- 新興の
- 社員
- 端から端まで
- 婚約
- エンジニア
- 確保
- Enterprise
- 企業
- 全体
- 環境
- 特に
- 本質的な
- エーテル(ETH)
- 例
- 例
- 既存の
- エキス
- 顔
- 直面して
- 容易化する
- 工場
- フェイル
- スピーディー
- 速いです
- もう完成させ、ワークスペースに掲示しましたか?
- 修正する
- 柔軟性
- フレキシブル
- フロー
- 流れる
- 流れ
- フォロー中
- フード
- Foundation
- フレームワーク
- から
- 欲求不満
- function
- 機能します
- さらに
- 融合
- 未来
- 利得
- ガートナー
- 取得する
- 受け
- 与える
- Go
- 良い
- 商品
- でログイン
- ガバナンス
- 政府・公共機関
- 成長する
- ハンドル
- 健康
- 助けます
- ハイ
- 包括的な
- 認定条件
- HTML
- HTTPS
- ハイブリッド
- ハイブリッドクラウド
- IBM
- IBMクラウド
- 識別する
- 実装
- 改善
- in
- include
- 含ま
- 含めて
- 増加した
- の増加
- 産業を変えます
- 情報
- インフラ
- 洞察力
- 洞察
- 統合
- インテリジェント-
- インターリンク
- 内部
- 複雑さ
- 投資する
- IT
- ジョブ
- キープ
- 知っている
- 知識
- 既知の
- 欠如
- つながる
- 学習
- レベル
- 活用
- ライセンス
- 負荷
- 場所
- 長い
- ロー
- 機械
- 機械学習
- 維持する
- メンテナンス可能
- メンテナンス
- make
- 作る
- 作成
- 管理します
- マネージド
- 管理
- マネージャー
- 管理する
- 多くの
- マスター
- 最大幅
- 最大化する
- 大会
- Microsoft
- Microsoft Azure
- ML
- モデル
- モダン
- 近代化します
- 修正する
- モニタリング
- 他には?
- もっと効率的
- 最も
- 運動
- 移動
- 移動する
- の試合に
- ネイティブ
- 必要
- 必要
- 必要とされる
- ニーズ
- ネットワーク
- 新作
- 次の
- ノート
- ONE
- オペレーティング
- オペレーショナル
- 編成
- 組織
- 組織
- その他
- 見落とし
- 概要
- パッケージ
- 包装
- 対になった
- 部品
- パターン
- パイプライン
- 計画
- プラットフォーム
- プラットフォーム
- プラトン
- プラトンデータインテリジェンス
- プラトデータ
- ポリシー
- 可能
- 潜在的な
- プラクティス
- 準備中
- 社長
- プライバシー
- プロセス
- ラボレーション
- 処理
- プロダクト
- プログラム
- 守る
- 提供します
- は、大阪で
- 提供
- 公然と
- 品質
- すぐに
- Raw
- 生データ
- 達します
- への
- 規制
- replace
- レプリケーション
- レポート
- 倉庫
- 必要とする
- 要件
- 必要
- 研究
- リソースを追加する。
- リソース
- 結果
- リスク
- 堅牢な
- ルール
- Save
- ド電源のデ
- スケーリング
- スキャン
- 安全に
- セキュリティ
- セキュリティリスク
- 敏感な
- サーバレス
- サービス
- サービス
- いくつかの
- シフト
- すべき
- シャッター
- 同様の
- 遅くなります
- So
- ソフトウェア
- 一部
- 洗練された
- ソース
- ソース
- スパン
- 特化する
- 専門の
- スピード
- 過ごす
- Spot
- スタッフ
- start
- 都道府県
- 保存され
- ストリーミング
- 流線
- 構造
- 支援する
- システム
- 取る
- トーク
- 技術的
- テクノロジー
- 未来
- 情報
- ソース
- アプリ環境に合わせて
- サードパーティ
- 三
- 介して
- 全体
- 〜へ
- あまりに
- ツール
- 豊富なツール群
- に向かって
- 伝統的な
- 最適化の適用
- 変換
- 輸送
- 輸送
- 旅行
- 順番
- 私達
- 下
- わかる
- UPS
- つかいます
- users
- 値
- 多様
- さまざまな
- ベンダー
- 詳しく見る
- 視認性
- 倉庫
- この試験は
- 誰
- ワイド
- 意志
- 労働者
- ワークフロー
- ゼファーネット