Sammanfattning
I det här kodmönstret lär du dig hur du använder Cortex Certifai Toolkit för att skapa skanningar för att utvärdera prestandan hos flera prediktiva modeller med IBM Watson Studio.
Beskrivning
Förklarbarhet av AI-modeller är en svår uppgift som förenklas av Cortex Certifai. Cortex Certifai Tookit utvärderar AI-modeller för robusthet, rättvisa och förklarbarhet och tillåter användare att jämföra olika modeller eller modellversioner för dessa kvaliteter. Certifai kan tillämpas på alla blackbox-modeller inklusive maskininlärningsmodeller och prediktiva modeller, och fungerar med en mängd olika ingångsdata.
Dataforskare kan skapa definitioner för modellskanning, som består av utbildade modeller som du vill utvärdera för följande parametrar:
- Prestandamätvärde (till exempel Noggrannhet)
- Robusthet: Hur modellen generaliserar på nya data
- Rättvisa per grupp, som mäter bias i data
- Förklarbarhet, som mäter förklaringarna för varje modell
- Förklaringar som visar den förändring som måste ske i en datamängd med givna begränsningar för att få ett annat resultat
Affärsbeslutsfattare kan se utvärderingsjämförelsen genom visualiseringar och poäng för att välja de bästa modellerna för affärsmål och för att identifiera om modellerna uppfyller trösklarna för robusthet, rättvisa och förklarbarhet. Dataforskare kan använda utvärderingsresultaten för analys för att tillhandahålla mer pålitliga AI-modeller.
Detta kodmönster visar hur man använder Certifai Toolkit för att skapa skanningar för att utvärdera prestandan hos flera prediktiva modeller med hjälp av IBM Watson Studio-plattformen.
Flöde
- Logga in på IBM Watson Studio med Spark, initiera IBM Cloud Object Storage och skapa ett projekt.
- Ladda upp .csv-datafilen till IBM Cloud Object Storage.
- Ladda datafilen i anteckningsboken Watson Studio.
- Installera Cortex Certifai Toolkit i Watson Studio-anteckningsboken.
- Få visualisering för förklarbarhet och tolkning av AI-modellen för de tre olika typerna av användare.
Instruktioner
Hitta de detaljerade stegen i README fil. Dessa steg förklarar hur du:
- Skapa ett konto med IBM Cloud.
- Skapa ett nytt Watson Studio-projekt.
- Lägg till data.
- Skapa anteckningsboken.
- Infoga data som DataFrame.
- Kör anteckningsboken.
- Analysera resultaten.
- Konto
- AI
- analys
- BÄST
- Svart låda
- kropp
- företag
- byta
- cloud
- koda
- innehåll
- datum
- datauppsättning
- Förklarbarhet
- flöda
- Grupp
- Hur ser din drömresa ut
- How To
- HTTPS
- IBM
- IBM Cloud
- IBM Watson
- identifiera
- Inklusive
- LÄRA SIG
- inlärning
- maskininlärning
- modell
- Objektförvaring
- Mönster
- prestanda
- plattform
- projektet
- Resultat
- scanna
- vetenskapsmän
- in
- förvaring
- användare
- utsikt
- visualisering
- Watson
- Watson Studio
- fungerar