Samengevat
In dit codepatroon leert u hoe u de Cortex Certifai Toolkit gebruikt om scans te maken om de prestaties van meerdere voorspellende modellen te evalueren met behulp van IBM Watson Studio.
Omschrijving
Uitlegbaarheid van AI-modellen is een moeilijke taak die eenvoudiger wordt gemaakt door Cortex Certifai. De Cortex Certifai Tookit evalueert AI-modellen op robuustheid, eerlijkheid en uitlegbaarheid, en stelt gebruikers in staat verschillende modellen of modelversies voor deze kwaliteiten te vergelijken. Certifai kan worden toegepast op elk black-box-model, inclusief machine learning-modellen en voorspellende modellen, en werkt met een verscheidenheid aan invoergegevenssets.
Datawetenschappers kunnen modelscandefinities maken, die bestaan uit getrainde modellen die u wilt evalueren voor de volgende parameters:
- Prestatiestatistiek (bijvoorbeeld nauwkeurigheid)
- Robuustheid: hoe het model generaliseert op nieuwe gegevens
- Eerlijkheid per groep, die de vertekening in de gegevens meet
- Uitlegbaarheid, die de uitleg meet die voor elk model wordt gegeven
- Verklaringen die de verandering weergeven die moet plaatsvinden in een gegevensset met bepaalde beperkingen om een ander resultaat te verkrijgen
Zakelijke besluitvormers kunnen de evaluatievergelijking bekijken door middel van visualisaties en scores om de beste modellen voor bedrijfsdoelen te selecteren en om te bepalen of modellen voldoen aan de drempels voor robuustheid, eerlijkheid en uitlegbaarheid. Datawetenschappers kunnen de evaluatieresultaten gebruiken voor analyse om betrouwbaardere AI-modellen te bieden.
Dit codepatroon laat zien hoe u de Certifai Toolkit gebruikt om scans te maken om de prestaties van meerdere voorspellende modellen te evalueren met behulp van het IBM Watson Studio-platform.
Stroom
- Log in op IBM Watson Studio, mogelijk gemaakt door Spark, start IBM Cloud Object Storage en maak een project.
- Upload het .csv-gegevensbestand naar IBM Cloud Object Storage.
- Laad het gegevensbestand in het Watson Studio-notebook.
- Installeer de Cortex Certifai Toolkit in de Watson Studio-notebook.
- Krijg visualisatie voor uitlegbaarheid en interpreteerbaarheid van het AI-model voor de drie verschillende soorten gebruikers.
Instructies
Vind de gedetailleerde stappen in de README het dossier. Deze stappen leggen uit hoe u:
- Maak een account aan bij IBM Cloud.
- Maak een nieuw Watson Studio-project.
- Voeg gegevens toe.
- Maak het notitieboek.
- Voeg de gegevens in als DataFrame.
- Voer de notebook uit.
- Analyseer de resultaten.
- Account
- AI
- analyse
- BEST
- Zwarte doos
- lichaam
- bedrijfsdeskundigen
- verandering
- Cloud
- code
- content
- gegevens
- gegevensset
- Uitlegbaarheid
- stroom
- Groep
- Hoe
- How To
- HTTPS
- IBM
- IBM Cloud
- IBM Watson
- identificeren
- Inclusief
- LEARN
- leren
- machine learning
- model
- Object Opslag
- Patronen
- prestatie
- platform
- project
- Resultaten
- aftasten
- wetenschappers
- reeks
- mediaopslag
- gebruikers
- Bekijk
- visualisatie
- Watson
- Watson Studio
- Bedrijven