总结
在此代码模式中,学习如何使用Cortex Certifai Toolkit创建扫描以使用IBM Watson Studio评估多个预测模型的性能。
课程描述
AI模型的可解释性是一项艰巨的任务,Cortex Certifai使其变得更加简单。 Cortex Certifai Tookit评估AI模型的健壮性,公平性和可解释性,并允许用户比较这些质量的不同模型或模型版本。 Certifai可以应用于任何黑盒模型,包括机器学习模型和预测模型,并且可以与各种输入数据集一起使用。
数据科学家可以创建模型扫描定义,其中包括要评估以下参数的训练有素的模型:
- 性能指标(例如,准确性)
- 稳健性:模型如何概括新数据
- 分组公平,衡量数据偏差
- 可解释性,衡量每种模型提供的解释
- 说明,显示在具有给定限制的数据集中必须发生的更改才能获得不同的结果
业务决策者可以通过可视化和评分查看评估比较,以选择最佳的业务目标模型,并确定模型是否满足鲁棒性,公平性和可解释性的阈值。 数据科学家可以使用评估结果进行分析,以提供更可信赖的AI模型。
此代码模式演示了如何使用Certifai Toolkit来创建扫描,以使用IBM Watson Studio平台评估多个预测模型的性能。
自动化流程
- 登录到由Spark支持的IBM Watson Studio,启动IBM Cloud Object Storage,并创建一个项目。
- 将.csv数据文件上传到IBM Cloud Object Storage。
- 将数据文件加载到Watson Studio笔记本中。
- 在Watson Studio笔记本中安装Cortex Certifai工具包。
- 获得针对三种不同类型用户的AI模型的可解释性和可解释性的可视化。
说明
在中找到详细步骤 读我 文件。 这些步骤说明了如何:
- 使用IBM Cloud创建一个帐户。
- 创建一个新的Watson Studio项目。
- 添加数据。
- 创建笔记本。
- 将数据作为DataFrame插入。
- 运行笔记本。
- 分析结果。