Dataforklarlighed: Modstykket til modelforklarlighed - DATAVERSITET

Dataforklarlighed: Modstykket til modelforklarlighed – DATAVERSITET

Tidsstempel: 17. maj 2023 kl. 3
Kildeknude: 2658143

I dag er AI og ML overalt. 

Om det er alle, der leger med ChatGPT (den hurtigste vedtaget app i historien) eller et nyligt forslag til tilføjelse en fjerde farve til trafiklys for at gøre overgangen til selvkørende biler mere sikker, har kunstig intelligens mættet vores liv grundigt. Selvom AI kan virke mere tilgængelig end nogensinde, er kompleksiteten af ​​AI-modeller steget eksponentielt. 

AI-modeller falder i hovedkategorierne sorte boks- og hvide boksmodeller. Black box-modeller træffer en beslutning uden forklaring, mens white box-modeller leverer et resultat baseret på de regler, der producerede dette resultat. 

Efterhånden som vi fortsætter med at bevæge os mod en verden af ​​hele deep learning-metoder, trækker de fleste i høj grad mod black box-modeller. 

Problemet med den tilgang? Black box-modeller (som dem, der er bygget i computervision) kan ikke forbruges direkte. Dette omtales ofte som black box-problemet. Mens genoptræning af black box-modeller kan give brugerne et løft, bliver det sværere at fortolke modellen og forstå resultaterne af black box-modellen, efterhånden som modeller øges i kompleksitet.

En taktik til at løse problemet med den sorte boks er at lave en meget skræddersyet og forklarelig model. 

Men det er ikke den retning, verden bevæger sig. 

Hvor modelforklarlighed slutter, begynder dataforklarlighed

Forklarlighed er afgørende, fordi det forbedrer modellens gennemsigtighed, nøjagtighed og retfærdighed og kan også forbedre tilliden til AI. Mens modelforklarlighed er en konventionel tilgang, opstår der nu også behov for en ny type: dataforklarlighed.

Modelforklarlighed betyder at forstå algoritmen for at forstå slutresultatet. For eksempel, hvis en model, der bruges i en onkologisk enhed, er designet til at teste, om en vækst er kræft, bør en sundhedsplejerske forstå de variabler, der skaber slutresultaterne. Selvom dette lyder godt i teorien, løser modelforklarligheden ikke helt problemet med den sorte boks. 

Efterhånden som modeller bliver stadig mere komplekse, vil de fleste praktikere ikke være i stand til at lokalisere transformationerne og fortolke beregningerne i de indre lag af modellen. De stoler i høj grad på, hvad de kan kontrollere, dvs. træningsdatasættene og det, de observerer, resultaterne og forudsigelsesforanstaltninger.  

Lad os bruge eksemplet med en dataforsker, der bygger en model til at opdage fotos af kaffekrus fra tusindvis af fotografier – men modellen begynder også at opdage billeder af for eksempel drikkeglas og ølkrus. Mens glas- og ølkrusene kan have en vis lighed med kaffekrus, er der tydelige forskelle, såsom typiske materialer, farve, uigennemsigtighed og strukturelle proportioner.

For at modellen kan opdage kaffekrus med højere pålidelighed, skal dataforskeren have svar på spørgsmål som:

  • Hvilke billeder tog modellen i stedet for kaffekrus? 
  • Fejlede modellen, fordi jeg ikke forsynede den med nok eller de rigtige eksempler på kaffekrus?
  • Er den model overhovedet god nok til det, jeg forsøgte at opnå?
  • Skal jeg udfordre mit syn på modellen?
  • Hvad kan jeg endeligt afgøre, der forårsager, at modellen fejler? 
  • Skal jeg generere nye antagelser om modellen?
  • Har jeg lige valgt den forkerte model til jobbet til at begynde med?

Som du kan se, er det højst usandsynligt at levere denne form for indsigt, forståelse og modelforklarlighed hver gang der er et problem.

Dataforklarlighed er at forstå data bruges til træning og input til en model, for at forstå hvordan en models slutresultat nås. Efterhånden som ML-algoritmer bliver stadig mere komplekse, men mere udbredte på tværs af professioner og brancher, vil dataforklarlighed tjene som nøglen til hurtigt at låse op og løse almindelige problemer, som vores kaffekrus-eksempel.

Øget retfærdighed og gennemsigtighed i ML med dataforklarlighed

Retfærdighed inden for ML-modeller er et varmt emne, som kan gøres endnu varmere ved at anvende dataforklarlighed.

Hvorfor buzz? Bias i AI kan skabe fordomsfulde resultater for én gruppe. Et af de mest veldokumenterede tilfælde af dette er skævheder i tilfælde af racemæssig brug. Lad os se på et eksempel. 

Lad os sige, at en stor, velkendt forbrugerplatform ansætter en ny stilling som marketingdirektør. For at håndtere massen af ​​CV'er, der modtages dagligt, implementerer HR-afdelingen en AI/ML-model for at strømline ansøgnings- og rekrutteringsprocessen ved at vælge nøglekarakteristika eller kvalificerede ansøgere. 

For at udføre denne opgave, og skelne og samle hvert CV, vil modellen gøre det ved at forstå de vigtigste dominerende karakteristika. Desværre dette også betyder, at modellen implicit også kunne opfange generelle racemæssige skævheder hos kandidaterne. Hvordan ville dette helt præcist ske? Hvis en ansøgerpulje inkluderer en mindre procentdel af en race, vil maskinen tro, at organisationen foretrækker medlemmer af en anden race eller af det dominerende datasæt.

Hvis en model fejler, selvom det er utilsigtet, skal fejlen løses af virksomheden. Grundlæggende skal den, der har implementeret modellen, være i stand til at forsvare brugen af ​​modellen.

I sagen om ansættelse og racemæssig skævhed skal forsvareren være i stand til at forklare en vred offentlighed og/eller applikationspulje brugen af ​​datasæt til at træne modellen, de første vellykkede resultater af modellen baseret på den træning, fejlen i modellen til at samle op på en hjørnesag, og hvordan dette førte til en utilsigtet dataubalance, der til sidst skabte en racemæssigt forudindtaget filtreringsproces.

For de fleste vil denne slags små detaljer i AI, ubalancedatasæt, modeltræning og eventuel fejl via dataovervågning ikke blive modtaget godt eller endda forstået. Men hvad vil blive forstået og blive ved med denne historie? Virksomheden XYZ praktiserer racemæssig skævhed ved ansættelser. 

Moralen i dette alt for almindelige eksempel er, at utilsigtede fejl fra en meget smart model sker og kan påvirke mennesker negativt og have alvorlige konsekvenser. 

Hvor dataforklarligheden bringer os hen

I stedet for at oversætte resultater via en forståelse af en kompleks maskinlæringsmodel, er dataforklarlighed at bruge dataene til at forklare forudsigelser og fejl.

Dataforklarlighed er så en kombination af at se testdataene , at forstå, hvad en model vil opfange fra disse data. Dette omfatter forståelse af underrepræsenterede dataeksempler, overrepræsenterede samples (som i ansættelseseksemplet) og gennemsigtigheden af ​​en models detektion for præcist at forstå forudsigelser og fejlforudsigelser.

Denne forståelse af dataforklarlighed vil ikke kun forbedre modellens nøjagtighed og retfærdighed, men det vil også være det, der hjælper modeller med at accelerere hurtigere.

Efterhånden som vi fortsætter med at stole på og integrere komplekse AI- og ML-programmer i vores daglige liv, bliver det afgørende at løse black box-problemet, især for fejl og fejlforudsigelser. 

Selvom modelforklarlighed altid vil have sin plads, kræver det et andet lag. Vi har brug for dataforklarlighed, da forståelsen af, hvad en model ser og læser, aldrig vil være dækket af klassisk modelforklarlighed.

Tidsstempel:

Mere fra DATAVERSITET