Resumo
Neste padrão de código, aprenda como usar o Cortex Certifai Toolkit para criar varreduras para avaliar o desempenho de vários modelos preditivos usando o IBM Watson Studio.
Descrição
A explicabilidade dos modelos de IA é uma tarefa difícil e simplificada pelo Cortex Certifai. O Cortex Certifai Tookit avalia os modelos de IA quanto à robustez, justiça e explicabilidade, e permite aos usuários comparar diferentes modelos ou versões de modelo para essas qualidades. O Certifai pode ser aplicado a qualquer modelo de caixa preta, incluindo modelos de aprendizado de máquina e modelos preditivos, e funciona com uma variedade de conjuntos de dados de entrada.
Os cientistas de dados podem criar definições de varredura de modelo, que são compostas de modelos treinados que você deseja avaliar para os seguintes parâmetros:
- Métrica de desempenho (por exemplo, precisão)
- Robustez: como o modelo generaliza em novos dados
- Equidade por grupo, que mede o viés nos dados
- Explicabilidade, que mede as explicações fornecidas para cada modelo
- Explicações, que exibem a mudança que deve ocorrer em um conjunto de dados com determinadas restrições para obter um resultado diferente
Os tomadores de decisões de negócios podem visualizar a comparação de avaliação por meio de visualizações e pontuações para selecionar os melhores modelos para objetivos de negócios e para identificar se os modelos atendem aos limites de robustez, justiça e explicabilidade. Os cientistas de dados podem usar os resultados da avaliação para análise para fornecer modelos de IA mais confiáveis.
Este padrão de código demonstra como usar o Certifai Toolkit para criar varreduras para avaliar o desempenho de vários modelos preditivos usando a plataforma IBM Watson Studio.
Fluxo
- Efetue login no IBM Watson Studio desenvolvido com Spark, inicie o IBM Cloud Object Storage e crie um projeto.
- Faça upload do arquivo de dados .csv para o IBM Cloud Object Storage.
- Carregue o arquivo de dados no bloco de notas do Watson Studio.
- Instale o Cortex Certifai Toolkit no notebook Watson Studio.
- Obtenha visualização para explicabilidade e interpretabilidade do modelo de IA para os três diferentes tipos de usuários.
Instruções
Encontre as etapas detalhadas no README Arquivo. Essas etapas explicam como:
- Crie uma conta com IBM Cloud.
- Crie um novo projeto do Watson Studio.
- Adicione dados.
- Crie o bloco de notas.
- Insira os dados como DataFrame.
- Execute o notebook.
- Analise os resultados.
- Conta
- AI
- análise
- MELHOR
- Caixa preta
- corpo
- negócio
- alterar
- Na nuvem
- código
- conteúdo
- dados,
- conjunto de dados
- Explicação
- fluxo
- Grupo
- Como funciona o dobrador de carta de canal
- Como Negociar
- HTTPS
- IBM
- IBM Cloud
- IBM Watson
- identificar
- Incluindo
- APRENDER
- aprendizagem
- aprendizado de máquina
- modelo
- Armazenamento de objetos
- padrão
- atuação
- plataforma
- projeto
- Resultados
- digitalização
- cientistas
- conjunto
- armazenamento
- usuários
- Ver
- visualização
- Watson
- Estúdio Watson
- trabalho