Resumen
En este patrón de código, aprenda a usar Cortex Certifai Toolkit para crear escaneos para evaluar el desempeño de múltiples modelos predictivos usando IBM Watson Studio.
Descripción
La explicabilidad de los modelos de IA es una tarea difícil que Cortex Certifai simplifica. El Cortex Certifai Tookit evalúa los modelos de IA en cuanto a robustez, equidad y explicabilidad, y permite a los usuarios comparar diferentes modelos o versiones de modelos para estas cualidades. Certifai se puede aplicar a cualquier modelo de caja negra, incluidos los modelos de aprendizaje automático y los modelos predictivos, y funciona con una variedad de conjuntos de datos de entrada.
Los científicos de datos pueden crear definiciones de escaneo de modelos, que se componen de modelos entrenados que desea evaluar para los siguientes parámetros:
- Métrica de rendimiento (por ejemplo, precisión)
- Robustez: cómo se generaliza el modelo sobre nuevos datos
- Equidad por grupo, que mide el sesgo en los datos.
- Explicabilidad, que mide las explicaciones proporcionadas para cada modelo.
- Explicaciones, que muestran el cambio que debe ocurrir en un conjunto de datos con determinadas restricciones para obtener un resultado diferente.
Los tomadores de decisiones comerciales pueden ver la comparación de la evaluación a través de visualizaciones y puntajes para seleccionar los mejores modelos para los objetivos comerciales e identificar si los modelos cumplen con los umbrales de solidez, equidad y explicabilidad. Los científicos de datos pueden usar los resultados de la evaluación para el análisis a fin de proporcionar modelos de IA más confiables.
Este patrón de código demuestra cómo utilizar Certifai Toolkit para crear exploraciones para evaluar el rendimiento de varios modelos predictivos utilizando la plataforma IBM Watson Studio.
Flujo
- Inicie sesión en IBM Watson Studio con tecnología Spark, inicie IBM Cloud Object Storage y cree un proyecto.
- Cargue el archivo de datos .csv en IBM Cloud Object Storage.
- Cargue el archivo de datos en el cuaderno Watson Studio.
- Instale Cortex Certifai Toolkit en el portátil Watson Studio.
- Obtenga visualización para la explicabilidad e interpretabilidad del modelo de IA para los tres tipos diferentes de usuarios.
Instrucciones
Encuentre los pasos detallados en el README expediente. Esos pasos explican cómo:
- Cree una cuenta con IBM Cloud.
- Crea un nuevo proyecto de Watson Studio.
- Agregar datos.
- Crea el cuaderno.
- Inserte los datos como DataFrame.
- Ejecute el cuaderno.
- Analiza los resultados.
- Mi Cuenta
- AI
- análisis
- MEJOR
- Caja negra
- cuerpo
- el cambio
- Soluciones
- código
- contenido
- datos
- conjunto de datos
- Explicabilidad
- de tus señales
- Grupo procesos
- Cómo
- Como Hacer
- HTTPS
- IBM
- Nube de IBM
- IBM Watson
- Identifique
- Incluye
- APRENDE:
- aprendizaje
- máquina de aprendizaje
- modelo
- Almacenamiento de objetos
- Patrón de Costura
- actuación
- plataforma
- proyecto
- Resultados
- escanear
- los científicos
- set
- STORAGE
- usuarios
- Ver
- visualización
- Watson
- Estudio Watson
- funciona