著者による画像
データ ガバナンスと AI 疲労は 2 つの異なる概念のように聞こえますが、この 2 つの間には本質的なつながりがあります。よりよく理解するために、その定義から始めましょう。
これは、長い間データ業界の中核的な焦点でした。
でログイン 「データ ガバナンスは、データが安全で、プライベートで、正確で、利用可能で、使いやすいものであることを保証するために行うすべてのことです。それには、データの収集、保存、処理、廃棄の方法に適用される内部標準、つまりデータ ポリシーを設定することが含まれます。」
この定義が強調しているように、データ ガバナンスとはデータの管理、つまり AI モデルを駆動するエンジンのことです。
データ ガバナンスと AI の関連性の最初の兆候が現れ始めたので、それを AI 疲労と関連付けてみましょう。名前からそれがわかりますが、そのような疲労につながる理由を強調することで、投稿全体でこの用語を一貫して使用することができます。
組織、開発者、チームが直面する挫折や課題によって AI 疲労が始まり、価値の実現や AI システムの導入が失敗に終わることがよくあります。
それはほとんどの場合、AI の機能に対する非現実的な期待から始まります。 AI などの高度なテクノロジーの場合、主要な関係者は、AI の機能と可能性だけでなく、その限界とリスクについても調整する必要があります。
リスクについて話すと、倫理は後付けで考えられ、コンプライアンスに準拠していない AI イニシアチブの廃止につながると考えられています。
この投稿の前提である、AI 疲労の原因におけるデータ ガバナンスの役割について疑問に思っているはずです。
それが私たちが次に向かうところです。
AI 疲労は、導入前と導入後に大きく分類できます。まず、展開前に焦点を当てましょう。
導入前
概念実証 (PoC) から展開までの段階には、次のようなさまざまな要因が影響します。
- 私たちは何を解決しようとしているのでしょうか?
- なぜ今優先順位を付けることが切実な問題となるのでしょうか?
- どのようなデータが利用可能ですか?
- そもそもMLで解決できるのでしょうか?
- データにはパターンがあるのでしょうか?
- その現象は再現性があるのでしょうか?
- モデルのパフォーマンスを向上させる追加データは何ですか?
Image from
Freepik
ML アルゴリズムを使用して問題を最適に解決できると評価したら、データ サイエンス チームが探索的データ分析を実行します。この段階では、基礎となるデータ パターンの多くが明らかになり、特定のデータに信号が豊富であるかどうかが強調されます。また、アルゴリズムの学習プロセスを高速化するために設計された機能を作成するのにも役立ちます。
次に、チームは最初のベースライン モデルを構築しますが、多くの場合、それが許容レベルに達していないことがわかります。コイントスと同じくらいの出力をもつモデルには何の価値もありません。これは、ML モデルを構築する際の最初の挫折、別名教訓の 1 つです。
組織は、あるビジネス問題から別のビジネス問題に移り、疲労を引き起こす可能性があります。それでも、基礎となるデータに豊富な信号が含まれていない場合、AI アルゴリズムをその上に構築することはできません。モデルは、目に見えないデータを一般化するために、トレーニング データから統計的関連性を学習する必要があります。
導入後
トレーニングされたモデルが検証セットで有望な結果を示しているにもかかわらず、70% の精度などの適格なビジネス基準に沿って、モデルが実稼働環境で適切に実行できない場合、疲労が発生する可能性があります。
このタイプの AI 疲労は、導入後フェーズと呼ばれます。
パフォーマンスの低下にはさまざまな理由が考えられますが、モデルを悩ませる最も一般的な問題はデータ品質の低下です。重要な属性が存在しない場合、モデルがターゲットの応答を正確に予測する能力が制限されます。
トレーニング データではわずか 10% 欠落していた重要な特徴の 50 つが、運用データでは XNUMX% の確率で null になり、誤った予測につながる場合を考えてみましょう。このような繰り返しと、モデルの一貫したパフォーマンスを確保するための取り組みにより、データ サイエンティストやビジネス チームに疲労が蓄積し、その結果、データ パイプラインに対する信頼が失われ、プロジェクトへの投資がリスクにさらされます。
どちらのタイプの AI 疲労にも対処するには、堅牢なデータ ガバナンス対策が不可欠です。データが ML モデルの中核であることを考えると、信号が豊富でエラーがなく、高品質のデータが ML プロジェクトの成功には必須です。 AI 疲労に対処するには、データ ガバナンスに重点を置く必要があります。したがって、私たちは正しいデータ品質を確保するために厳密に取り組み、最先端のモデルを構築し、信頼できるビジネス洞察を提供するための基礎を築く必要があります。
データ品質
データガバナンスを成功させる鍵となるデータ品質は、機械学習アルゴリズムの重要な成功要因です。組織は、データ利用者にレポートを公開するなど、データ品質に投資する必要があります。データ サイエンス プロジェクトでは、低品質のデータがモデルに流入すると何が起こり、パフォーマンスの低下につながる可能性があることを考えてください。
チームはエラー分析中にのみデータ品質の問題を特定できますが、その問題が上流に送信されて修正されると、最終的にチーム間に疲労を引き起こすことになります。
明らかに、費やされる労力だけでなく、適切なデータがパイプインされ始めるまでに多くの時間が失われます。
したがって、このような時間のかかる反復を防ぐために、ソースでデータの問題を修正することを常にお勧めします。最終的に、公開されたデータ品質レポートは、データ サイエンス チーム (さらに言えば、他の下流ユーザーやデータ消費者) が受信データの許容可能な品質を理解できるようになります。
データの品質とガバナンスの対策がなければ、データ サイエンティストはデータの問題で過剰な負担を負い、モデルの失敗につながり、AI 疲労を引き起こすことになります。
この投稿では、AI 疲労が始まる 2 つの段階に焦点を当て、データ品質レポートなどのデータ ガバナンス対策がどのように信頼できる堅牢なモデルの構築を可能にするかを紹介しました。
データ ガバナンスを通じて強固な基盤を確立することで、組織はシームレスな AI 開発と導入に向けたロードマップを構築し、熱意を高めることができます。
この投稿では、AI 疲労に対処するさまざまな方法の全体的な概要を確実に提供するために、組織文化の役割も強調します。組織文化は、データ ガバナンスなどの他のベスト プラクティスと組み合わせることで、データ サイエンス チームが有意義な AI への貢献をより早く構築できるようになり、権限を与えられるようになります。もっと早く。
ヴィディ・チュー スケーラブルな機械学習システムを構築するために、製品、科学、エンジニアリングの交差点で働く AI ストラテジストであり、デジタル トランスフォーメーションのリーダーです。 彼女は受賞歴のあるイノベーション リーダーであり、作家であり、国際的な講演者でもあります。 彼女は、機械学習を民主化し、誰もがこの変革に参加できるよう専門用語を打ち破ることを使命としています。
- SEO を活用したコンテンツと PR 配信。 今日増幅されます。
- PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
- プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
- プラトンESG。 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
- プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
- 情報源: https://www.kdnuggets.com/can-data-governance-address-ai-fatigue?utm_source=rss&utm_medium=rss&utm_campaign=can-data-governance-address-ai-fatigue
- :持っている
- :は
- :not
- :どこ
- $UP
- a
- 能力
- 私たちについて
- ことができます。
- 正確な
- 正確にデジタル化
- NEW
- 住所
- アドレッシング
- 追加
- 十分に
- 養子縁組
- アドバイス
- AI
- AIモデル
- AIシステム
- 別名
- アルゴリズム
- アルゴリズム
- 整列する
- また
- 常に
- 間で
- an
- 分析
- および
- 別の
- どれか
- 申し込む
- です
- 発生します
- AS
- 団体
- At
- 属性
- 著者
- 利用できます
- 受賞歴のある
- 離れて
- 悪い
- ベースライン
- BE
- になる
- き
- BEST
- ベストプラクティス
- より良いです
- の間に
- 両言語で
- ブレーク
- 広く
- ビルド
- 建物
- 構築します
- ビジネス
- 焙煎が極度に未発達や過発達のコーヒーにて、クロロゲン酸の味わいへの影響は強くなり、金属を思わせる味わいと乾いたマウスフィールを感じさせます。
- by
- 呼ばれます
- 缶
- 機能
- できる
- キャリー
- 原因
- 課題
- コイン
- 組み合わせた
- コマンドと
- 説得力のある
- コンセプト
- コンセプト
- 懸念事項
- 信頼
- 接続
- 見なさ
- 整合性のある
- 一貫して
- 消費者
- 貢献する
- 貢献
- 貢献
- 基本
- 可能性
- 作ります
- 基準
- 重大な
- 重大な
- 文化
- データ
- データ分析
- データ品質
- データサイエンス
- 定義
- 配信する
- 民主化する
- 展開
- 開発者
- 開発
- 異なります
- デジタル
- do
- ありません
- 運転
- 原因
- 間に
- 努力
- 努力
- 出てくる
- 強調する
- エンパワー
- enable
- イネイブラー
- end
- エンジン
- 設計された
- エンジニアリング
- 確保
- 確実に
- 熱意
- 環境
- エラー
- 本質的な
- 確立
- エーテル(ETH)
- 倫理
- 評価
- 最終的に
- 誰も
- すべてのもの
- 期待
- 探索的データ分析
- 顔
- 要因
- 要因
- 失敗
- 速いです
- 疲労
- 特徴
- 発見
- 名
- 修正する
- 固定の
- フリップ
- フォーカス
- Foundation
- から
- 集まった
- 取得する
- 与えられた
- 与える
- 良い
- でログイン
- ガバナンス
- 下地
- 起こります
- 持ってる
- 見出し
- ことができます
- 高品質
- 強調表示された
- 強調表示
- ハイライト
- 包括的な
- 認定条件
- HTTPS
- i
- 識別する
- if
- 実装
- in
- 入ってくる
- 産業を変えます
- イニシアチブ
- 革新的手法
- 洞察
- 内部
- 世界全体
- 交差点
- に
- 本質的な
- 投資する
- インベストメント
- 関与
- 問題
- 問題
- IT
- 繰り返し
- ITS
- 専門用語
- ただ
- KDナゲット
- キー
- 敷設
- つながる
- リーダー
- 主要な
- リード
- LEARN
- 学習
- レッスン
- う
- レベル
- ような
- 制限
- 制限
- LINE
- LINK
- 長い
- 長い時間
- 失われた
- たくさん
- 機械
- 機械学習
- 製
- make
- 作る
- 管理する
- 多くの
- 問題
- 五月..
- 意味のある
- 措置
- ミディアム
- 行方不明
- ミッション
- ML
- MLアルゴリズム
- モデル
- 最も
- 主に
- しなければなりません
- 名
- 必要
- 次の
- いいえ
- 今
- of
- 頻繁に
- on
- ONE
- の
- or
- 組織の
- 組織
- その他
- 出力
- 概要
- 部
- パターン
- パターン
- 実行する
- パフォーマンス
- 実行
- 実行する
- 相
- 現象
- パイプ
- 場所
- プラトン
- プラトンデータインテリジェンス
- プラトデータ
- PoC
- 貧しいです
- の可能性
- ポスト
- プラクティス
- 正確に
- 精度
- 予測する
- 予測
- PLM platform.
- 防ぐ
- 優先順位をつける
- プライベート
- 問題
- プロセス
- 処理されました
- プロダクト
- 生産
- プロジェクト
- プロジェクト(実績作品)
- 有望
- 証明
- 概念実証
- 公表
- 出版
- 置く
- 予選
- 品質
- 品質データ
- 実現
- 理由は
- 繰り返し可能
- レポート
- 必要
- 応答
- 結果
- 富裕層
- 右
- 危険
- リスク
- ロードマップ
- 堅牢な
- 職種
- ド電源のデ
- 科学
- 科学
- 科学者たち
- シームレス
- 安全に
- 送信
- セッションに
- 後退
- セット
- 設定
- 彼女
- 表示
- シグナル
- サイン
- So
- 固体
- 解決する
- 解決します
- 洗練された
- 音
- ソース
- スピーカー
- スピード
- ステージ
- ステージ
- ステークホルダー
- start
- 開始
- 開始
- 最先端の
- 統計的
- まだ
- 保存され
- 戦略家
- 強い
- 成功
- 成功した
- そのような
- システム
- タックル
- ターゲット
- チーム
- チーム
- テクノロジー
- 期間
- それ
- アプリ環境に合わせて
- そこ。
- それによって
- 考える
- この
- しかし?
- 繁栄する
- 介して
- 全体
- 時間
- 時間がかかる
- 〜へ
- 訓練された
- トレーニング
- 変換
- 信頼できる
- しよう
- 2
- type
- 発見
- 根本的な
- わかる
- 理解する
- まで
- に
- us
- 使用可能な
- つかいます
- users
- 値
- ました
- 仕方..
- 方法
- we
- WELL
- この試験は
- いつ
- かどうか
- which
- while
- その
- 意志
- 不思議に思います
- 仕事
- ワーキング
- でしょう
- 貴社
- ゼファーネット