Oppsummering
I dette kodemønsteret kan du lære hvordan du bruker Cortex Certifai Toolkit til å lage skanninger for å evaluere ytelsen til flere prediktive modeller ved hjelp av IBM Watson Studio.
Beskrivelse
Forklarbarhet av AI-modeller er en vanskelig oppgave som blir enklere av Cortex Certifai. Cortex Certifai Tookit evaluerer AI-modeller for robusthet, rettferdighet og forklarbarhet, og lar brukerne sammenligne forskjellige modeller eller modellversjoner for disse kvalitetene. Certifai kan brukes på alle black-box-modeller, inkludert maskinlæringsmodeller og prediktive modeller, og fungerer med en rekke inngangssett.
Dataforskere kan lage definisjoner av modellskanning, som består av opplærte modeller som du vil evaluere for følgende parametere:
- Ytelsesberegning (for eksempel nøyaktighet)
- Robusthet: Hvordan modellen generaliserer på nye data
- Rettferdighet etter gruppe, som måler skjevheten i dataene
- Forklarbarhet, som måler forklaringene som gis for hver modell
- Forklaringer, som viser endringen som må skje i et datasett med gitte begrensninger for å oppnå et annet resultat
Forretnings beslutningstakere kan se sammenligningen av evaluering gjennom visualiseringer og score for å velge de beste modellene for forretningsmål og for å identifisere om modeller oppfyller terskler for robusthet, rettferdighet og forklarbarhet. Dataforskere kan bruke evalueringsresultatene til analyse for å gi mer pålitelige AI-modeller.
Dette kodemønsteret viser hvordan du bruker Certifai Toolkit til å lage skanninger for å evaluere ytelsen til flere prediktive modeller ved hjelp av IBM Watson Studio-plattformen.
Flow
- Logg deg på IBM Watson Studio drevet av Spark, start IBM Cloud Object Storage og opprett et prosjekt.
- Last opp .csv-datafilen til IBM Cloud Object Storage.
- Legg datafilen i notatboken Watson Studio.
- Installer Cortex Certifai Toolkit i notatboken Watson Studio.
- Få visualisering for forklarbarhet og tolkbarhet av AI-modellen for de tre forskjellige typene brukere.
Instruksjoner
Finn de detaljerte trinnene i README fil. Disse trinnene forklarer hvordan du:
- Opprett en konto med IBM Cloud.
- Lag et nytt Watson Studio-prosjekt.
- Legg til data.
- Lag notatboken.
- Sett inn dataene som DataFrame.
- Kjør notatboken.
- Analyser resultatene.
- Logg inn
- AI
- analyse
- BEST
- Svart boks
- kroppen
- virksomhet
- endring
- Cloud
- kode
- innhold
- dato
- datasett
- Forklarbarhet
- flyten
- Gruppe
- Hvordan
- Hvordan
- HTTPS
- IBM
- IBM Cloud
- IBM Watson
- identifisere
- Inkludert
- LÆRE
- læring
- maskinlæring
- modell
- Objektlagring
- Mønster
- ytelse
- plattform
- prosjekt
- Resultater
- skanne
- forskere
- sett
- lagring
- Brukere
- Se
- visualisering
- Watson
- Watson Studio
- virker