まとめ
このコード パターンでは、Cortex Certifai Toolkit を使用してスキャンを作成し、IBM Watson Studio を使用して複数の予測モデルのパフォーマンスを評価する方法を学びます。
Description
AI モデルの説明可能性は難しいタスクですが、Cortex Certifai によって簡素化されます。 Cortex Certifai Tookit は、AI モデルの堅牢性、公平性、説明可能性を評価し、ユーザーがこれらの品質に関してさまざまなモデルまたはモデル バージョンを比較できるようにします。 Certifai は、機械学習モデルや予測モデルを含むあらゆるブラックボックス モデルに適用でき、さまざまな入力データ セットで動作します。
データ サイエンティストは、次のパラメーターについて評価するトレーニング済みモデルで構成されるモデル スキャン定義を作成できます。
- パフォーマンス指標 (精度など)
- ロバスト性: 新しいデータに対してモデルがどのように一般化されるか
- グループごとの公平性。データの偏りを測定します。
- 説明可能性: 各モデルに提供される説明を測定します。
- 説明。異なる結果を得るために、指定された制限付きでデータセットに発生する必要がある変更を表示します。
ビジネスの意思決定者は、視覚化とスコアによる評価の比較を確認して、ビジネス目標に最適なモデルを選択し、モデルが堅牢性、公平性、説明可能性のしきい値を満たしているかどうかを特定できます。 データサイエンティストは評価結果を分析に使用して、より信頼性の高い AI モデルを提供できます。
このコード パターンは、Certifai Toolkit を使用してスキャンを作成し、IBM Watson Studio プラットフォームを使用して複数の予測モデルのパフォーマンスを評価する方法を示しています。
Flow
- Sparkを搭載したIBMWatson Studioにログインし、IBM Cloud Object Storageを開始して、プロジェクトを作成します。
- .csvデータファイルをIBMCloud ObjectStorageにアップロードします。
- WatsonStudioノートブックにデータファイルをロードします。
- Cortex Certifai Toolkit を Watson Studio ノートブックにインストールします。
- XNUMXつの異なるタイプのユーザーのAIモデルの説明可能性と解釈可能性を視覚化してください。
説明書
詳細な手順については、 README ファイル。 これらの手順では、次の方法について説明します。
- IBM Cloudでアカウントを作成します。
- 新しいWatson Studioプロジェクトを作成します。
- データを追加します。
- ノートブックを作成します。
- データをDataFrameとして挿入します。
- ノートブックを実行します。
- 結果を分析します。