データの説明可能性: モデルの説明可能性に相当するもの - DATAVERSITY

データの説明可能性: モデルの説明可能性に相当するもの – DATAVERSITY

ソースノード: 2658143

今日、AI と ML はどこにでも存在します。 

みんなで遊んでるかどうか AI言語モデルを活用してコードのデバッグからデータの異常検出まで、 (最速 歴史に残る採用アプリ) または追加する最近の提案 信号機の XNUMX 番目の色 自動運転車への移行をより安全にするために、AI は私たちの生活に完全に浸透しました。 AI はかつてないほどアクセスしやすくなっているように見えますが、AI モデルの複雑さは飛躍的に増大しています。 

AI モデルは、ブラック ボックス モデルとホワイト ボックス モデルの主なカテゴリに分類されます。 ブラック ボックス モデルは説明なしに決定に達しますが、ホワイト ボックス モデルは、その結果を生成したルールに基づいて結果を提供します。 

私たちが完全な深層学習手法の世界に向けて歩み続けるにつれて、ほとんどの手法は主にブラック ボックス モデルに引き寄せられています。 

そのアプローチに問題はありますか? ブラック ボックス モデル (コンピューター ビジョンに組み込まれたモデルなど) を直接使用することはできません。 これはよくブラックボックス問題と呼ばれます。 ブラック ボックス モデルを再トレーニングするとユーザーはすぐに始めることができますが、モデルが複雑になるにつれて、モデルを解釈してブラック ボックス モデルの結果を理解することが難しくなります。

ブラックボックスの難題に対処する XNUMX つの戦術は、非常にオーダーメイドで説明可能なモデルを作成することです。 

しかし、これは世界が進んでいる方向ではありません。 

モデルの説明可能性が終わるとデータの説明可能性が始まる

説明可能性は、モデルの透明性、精度、公平性を向上させ、AI の信頼性も高めることができるため、非常に重要です。 モデルの説明可能性は従来のアプローチですが、現在では、データの説明可能性という新しいタイプの必要性も生じています。

モデルの説明可能性とは、最終結果を理解するためにアルゴリズムを理解することを意味します。 たとえば、腫瘍科で使用されるモデルが増殖が癌性であるかどうかをテストするように設計されている場合、医療提供者は最終結果を生み出す変数を理解する必要があります。 これは理論的には素晴らしいように聞こえますが、モデルの説明可能性はブラック ボックスの問題に完全には対応していません。 

モデルがますます複雑になるにつれて、ほとんどの実務者は、変換を正確に特定したり、モデルの内部層での計算を解釈したりすることができなくなります。 彼らは主に、自分たちが制御できるもの、つまりトレーニング データセットと観察対象、結果、予測尺度に依存しています。  

データ サイエンティストが数千枚の写真からコーヒー マグカップの写真を検出するモデルを構築する例を使用してみましょう。ただし、このモデルは、たとえばグラスやビール ジョッキの画像も検出し始めます。 ガラスやビールのジョッキはコーヒーのマグカップに似ているかもしれませんが、典型的な素材、色、不透明度、構造の比率など、明確な違いがあります。

モデルがより高い信頼性でコーヒーマグを検出するには、データ サイエンティストは次のような質問に対する答えを持っている必要があります。

  • モデルがマグカップの代わりに選んだ画像は何ですか? 
  • コーヒーマグの適切な例を十分に提供しなかったため、モデルが失敗したのでしょうか?
  • そのモデルは、私が達成しようとしていたことに対して十分に適しているでしょうか?
  • モデルに対する私の見解に異議を唱える必要がありますか?
  • モデルが失敗する原因は何であると最終的に判断できますか? 
  • モデルの新しい仮定を生成する必要がありますか?
  • そもそも、仕事に適したモデルを間違って選択しただけなのでしょうか?

ご覧のとおり、問題が発生するたびにこの種の洞察、理解、モデルの説明可能性を提供することは、非常に可能性が低いです。

データの説明可能性とは、 データ モデルの最終結果にどのように到達するかを理解するために、トレーニングとモデルへの入力に使用されます。 ML アルゴリズムがますます複雑になりますが、職業や業界全体でより広く使用されるようになると、コーヒーマグの例のように、データの説明可能性が一般的な問題を迅速に解明し、解決するための鍵として機能するようになります。

データの説明可能性による ML の公平性と透明性の向上

ML モデル内の公平性は注目のトピックですが、データの説明可能性を適用することでさらに注目を集めることができます。

なぜ話題になっているのでしょうか? AI のバイアスにより、あるグループに対して偏見のある結果が生じる可能性があります。 これについて最もよく文書化されているケースの XNUMX つは、人種使用例における偏見です。 例を見てみましょう。 

たとえば、大手の有名な消費者プラットフォームが新しいマーケティング ディレクターのポジションを募集しているとします。 毎日受け取る大量の履歴書に対処するために、人事部門は AI/ML モデルを導入し、主要な特徴や資格のある応募者を選択することで応募と採用のプロセスを合理化します。 

このタスクを実行し、各履歴書を識別してバケット化するために、モデルは主要な主要な特性を理解することによってそれを行います。 残念ながら、これは また これは、モデルが候補者の一般的な人種的偏見も暗黙的に検出できる可能性があることを意味します。 これは具体的にどのようにして起こるのでしょうか? 申請者プールに含まれる XNUMX つの人種の割合が少ない場合、マシンは、組織が別の人種または支配的なデータセットのメンバーを優先していると判断します。

モデルが失敗した場合、たとえそれが意図的でなかったとしても、企業はその失敗に対処する必要があります。 基本的に、モデルをデプロイした人は、モデルの使用を防御できなければなりません。

雇用と人種的偏見のケースでは、擁護者は、モデルをトレーニングするためのデータセットの使用、そのトレーニングに基づくモデルの最初の成功結果、および失敗について、怒っている一般大衆やアプリケーション プールに説明できなければなりません。コーナーケースを取り上げるモデルと、これがどのようにして意図しないデータの不均衡を引き起こし、最終的に人種的に偏ったフィルタリングプロセスを生み出したかについて説明します。

ほとんどの人にとって、AI のこの種の核心的な詳細、不均衡なデータセット、モデルのトレーニング、そしてデータの監視による最終的な失敗は、よく受け入れられず、理解されることさえありません。 しかし、この物語から何が理解され、心に残るのでしょうか? XYZ 社は、採用において人種的偏見を実践しています。 

このあまりにも一般的な例の教訓は、非常に賢いモデルによる意図しないミスが実際に起こり、人間に悪影響を及ぼし、悲惨な結果をもたらす可能性があるということです。 

データの説明可能性が私たちを導く場所

データの説明可能性とは、複雑な機械学習モデルの理解を介して結果を翻訳するのではなく、データを使用して予測と失敗を説明することです。

データの説明可能性は、テスト データの確認を組み合わせることで実現できます。 & モデルがそのデータから何を取得するかを理解すること。 これには、予測と予測ミスを正確に理解するための、過小評価されたデータ サンプル、過大評価されたサンプル (採用の例など)、モデルの検出の透明性の理解が含まれます。

データの説明可能性をこのように理解することで、モデルの精度と公平性が向上するだけでなく、モデルの高速化にも役立ちます。

私たちが複雑な AI および ML プログラムに依存し、日常生活に組み込んでいると、特に失敗や予測ミスに関して、ブラック ボックスの問題を解決することが重要になります。 

モデルの説明可能性は常に重要な役割を果たしますが、それには別のレイヤーが必要です。 モデルが何を見て何を読んでいるのかを理解することは、古典的なモデルの説明可能性では決してカバーされないため、データの説明可能性が必要です。

タイムスタンプ:

より多くの データバーシティ