Bias in AI: Hva du bør se etter og hvordan du kan forhindre det

Som långivere gravitate mot å bruke kunstig intelligens (AI), de må være dedikert til å fjerne skjevheter fra modellene deres. Heldigvis finnes det verktøy for å hjelpe dem med å maksimere avkastning og minimere risiko.

FairPlay.ai medstifter og administrerende direktør Kareem Saleh har vært i skjæringspunktet mellom AI og økonomisk inkludering i det meste av karrieren. Mens EVP i ZestFinance (nå Zest.ai), Saleh jobbet med långivere for å ta i bruk AI-garanti. Under Obama-administrasjonen hadde han tilsyn med tre milliarder dollar i årlige investeringer i utviklingsvennlige prosjekter i fremvoksende markeder.

Saleh har lenge studert problemet med å garantere låntakere som er vanskelig å score, inkludert i fremvoksende markeder som Afrika sør for Sahara, Latin-Amerika og Karibia, på ren energiprosjekter og med kvinnelige gründere. Han ble overrasket over å finne rudimentær forsikringspraksis, selv på de høyeste finansnivåene.

"Ikke bare var forsikringsmetodikkene ekstremt primitive, absolutt etter Silicon Valley-standarder, (modeller ble bygget med) 20 til 50 variabler, og stort sett i Excel," sa Saleh. "Alle beslutningssystemene jeg møtte viste forskjeller i forhold til fargede mennesker, kvinner og andre historisk undertjente grupper. Det er ikke fordi menneskene som bygde disse modellene er mennesker med ond tro. Det er i stor grad på grunn av begrensninger i data og matematikk.»

Redusere skjevhet gjennom rettferdighetstesting

Sammen med sin medgründer John Merril, en Google- og Microsoft-veteran, mente Saleh rettferdighetstesting kunne automatiseres, noe som gir långivere sanntids innsyn i hvordan de behandler ulike grupper. Han omtaler FairPlay som verdens første fairness-as-a-service-selskap. Kundelisten inkluderer Figur, Glade penger, Splash Financial og Oktan.

FairPlay lar alle som bruker en algoritme som tar virkningsfulle beslutninger vurdere rettferdigheten ved å svare på fem spørsmål:

Er algoritmen min rettferdig?
Hvis ikke, hvorfor ikke?
Kan det være mer ærlig?
Hva er den økonomiske innvirkningen på virksomheten av å være mer rettferdig?
Får de som får avslag en ny titt for å se om de burde vært godkjent?

Hvordan Capco og SolasAI reduserer skjevhet samtidig som de forbedrer risikoreduksjon

Capco partner Joshua Siegel hjelper finansielle tjenestefirmaer med å maksimere effektiviteten. Selskapet samarbeidet nylig med programvareleverandøren for algoritmisk rettferdighet AI SolasAI for å redusere skjevhet og diskriminering samtidig som man forbedrer risikoreduksjon knyttet til bruk av kunstig intelligens i finansnæringen. 

Siegel sa at institusjoner blir utfordret til å tilpasse seg raskere innovasjonssykluser når de søker konkurransefortrinn. Mange ser på kunstig intelligens, men trenger å forstå risikoen, som inkluderer mangel på regulatoriske standarder.

Den felles løsningen med SolasAI forutser skjevhet og genererer raskt rettferdige alternative modeller ved å integrere algoritmisk rettferdighet direkte i kundens modellbygging, drift og styringsprosesser.?? 

"AI forandrer verden på måter vi kan og ikke kan se," sa Siegel. "Det er mange måter det kan være til fordel for forretningsbeslutninger av alle typer, spesielt utlånsbeslutninger.

"Selv om det er mye oppløftende potensiale, er det også risikoen for at utilsiktet skjevhet kommer snikende inn i disse modellene. Og det skaper omdømmerisiko; det skaper risiko for å marginalisere visse samfunn og mennesker institusjoner ikke ønsker å marginalisere.»

Les også:

Plan for gransking av alt AI

Organisasjoner må forvente gransking av alt relatert til AI, gitt medieoppmerksomhet på AI-systemers potensiale for hallusinasjoner, for eksempel den godt omtalte saken der den oppfant rettssaker for å støtte en kortfattet sak. Legg dette til det regulatoriske fokuset på bank- og fintech-partnerskapsmodeller og deres behandling av historisk marginaliserte grupper.

"...finansinstitusjoner blir spurt om de tar rettferdighet på alvor," sa Siegel. "De blir oppfordret både av regulatorer og forbrukere som representerer fremtiden til finansnæringen til å ta dette mer seriøst og forplikte seg til å fikse problemer når de finner dem."

Politi deg selv for å redusere skjevhet

Problemene kan begynne på det tidligste tidspunktet. Overvåk nøye kvaliteten på dataene som brukes til å trene modellene dine, advarte både Saleh og Siegel. Saleh sa at en tidlig modell han brukte identifiserte en spesifikk liten stat som et førsteklasses utlånsterritorium. Etter vurdering ble det ikke gitt lån i det som var kjent som en svært streng tilstand. Fordi det ikke var noen lån, så modellen ingen mislighold og antok at staten var en gullgruve.

"Disse tingene har en tendens til å feile hvis du ikke er supervåken om dataene de bruker og deretter beregningene de kjører," sa Saleh.

Noen långivere kjører flere AI-systemer som en sjekk mot skjevhet. FairPlay gjør det også. De går videre ved å bruke motstridende modeller som setter algoritmer opp mot hverandre. Man forutsier om en annen modell kan avgjøre om en søker er fra en minoritetsgruppe. Den andre modellen ber om en beslutningskjede for å finne skjevheten hvis den kan.

(Første gang Saleh prøvde den kontradiktoriske metoden, viste den en låntaker hvordan den kunne øke akseptgraden for svarte søkere med 10 % uten å øke risikoen.)

Han la til at mange forsikringsmodeller vurderer konsistens i sysselsettingen sterkt. Dette skader kvinner mellom 18-45 år. Algoritmer kan justeres for å redusere avhengigheten av konsistens i ansettelsesforhold, samtidig som vektingen av ikke-fordomsfulle faktorer økes.

"Du kan fortsatt bygge disse høyytende og prediktive algoritmene som også minimerer skjevheter for historisk vanskeligstilte grupper," sa Saleh. "Det har vært en av de viktigste nyvinningene innen algoritmisk rettferdighet og kreditt. Vi kan gjøre det samme, forutsi hvem som vil misligholde og samtidig minimere forskjellene for beskyttede grupper.»

"Det er en måte du kan gjenskape strukturen i algoritmen for å kompensere for de naturlige skjevhetene i dataene. Under læringsprosessen tvinger du modellen til å stole på dataelementer som vil gi vekt til dataelementer som vil maksimere deres prediksjonskraft, men minimere den ulikhetsdrivende effekten."

Vær også bevisst på omdømmerisiko

Siegels kunder ønsker å maksimere fordelen og samtidig minimere risikoen. Løsningen deres med SolasAI identifiserer skjevheter samtidig som de sikrer at de ikke kommer tilbake. Implikasjonene strekker seg langt utover utlån til markedsføring, menneskelige ressurser og filialer.

Institusjoner må gardere seg mot omdømmerisiko, siden teknologien gjør det enkelt å bytte til et bedre tilbud. Hvis en institusjon oppfattes som partisk på en eller annen måte, kan den bli pillet i sosiale medier. Som nyere eksempler viser, tar det ikke lang tid før midlene strømmer på.

"SolasAI ... er et selskap med grunnleggere og lederskap med flere tiår med erfaring innen rettferdig utlån og AI-modellkonstruksjon," sa Siegel. "Løsningen deres, som ikke bare identifiserer potensielle variabler eller egenskaper ved en modell som kan være utilsiktet injeksjonsskjevhet, tilbyr (også) alternativer til disse forholdene og kommer opp med måter å redusere den utilsiktede skjevheten samtidig som man opprettholder så mye av modellens ytelse som mulig. .

«Kunderne har endelig forklaringen og åpenheten de trenger for å dra nytte av AI og sikre at de bryr seg om butikken.»

Siegel advarte om at å legge til forhold kan svekke AIs prediktive kraft. Disse bestemmelsene kan lede den i en bestemt retning i stedet for å skape noe unikt.

"I stedet for å la AI komme til sin konklusjon og gi den et helt sett med data, kommer den til å komme opp med korrelasjoner og årsakssammenhenger og variabler som du ikke ser med ditt menneskelige øye," sa Siegel. "Det er en veldig god ting så lenge du kan sikre at det ikke er noe du ikke ville ha i det resultatet."

Mulige årsaker til AI-pushet

Er en del av dette pushet til AI motivert av långivere som søker flere nedstrømskunder sammenlignet med for 15 år siden? Saleh sa at konvensjonelle underwritingsteknikker er gode for å score super-prime- og prime-kunder der mye data er tilgjengelig. Långivere fokuserte på de gruppene som i hovedsak handler kunder seg imellom.

Den reelle veksten kommer fra gruppene med lavere poengsum, tynne filer, ingen filer og de med lite tradisjonelle data. Siden 2008 har det blitt gitt mer oppmerksomhet til deres ulike behandling, og bankene ønsker ikke å bli sett på som sliter med å betjene dem.

Det har drevet fintech-innovasjon ettersom selskaper bruker moderne forsikringsteknikker og bruker ukonvensjonelle data. Det har aktivert kontantstrømgaranti, som vurderer data mye nærmere forretningsbalansen.

"Kontantstrømgaranti er mye nærmere forbrukerens balanse enn en tradisjonell kredittrapport," sa Saleh. «Du tar et mye mer direkte mål på evne og vilje til å betale tilbake. Matematikken kan forbruke mange og mange og mange transaksjoner for å male et finere portrett av den låntakerens evne til å betale tilbake.»

Hvordan småfisken kan konkurrere med AI

Noen er bekymret for mindre organisasjoners evne til å generere tilstrekkelig med data til å trene AI-modellene sine riktig. Saleh sa at mindre långivere har flere alternativer, inkludert anskaffelse av sett, byrådata og forbrukersamtykke. De store organisasjonene har kanskje dataene, men de mindre er mer kvikke.

"De store gutta har en fordel med disse fantastiske datalagrene, selv om, ærlig talt, systemene deres er så brosteinsbelagte i mange tilfeller, over 30 år med oppkjøp, at det faktum at de har databasen ikke nødvendigvis gjør dem egnet for bruk ", sa Saleh. "Så har du de nyere aktørene på markedet som sannsynligvis ikke har de samme dataene som de store gutta, men som er mye skrapere, og dataene deres kan lett tas i bruk.

"Jeg tror alle kan spille i denne plassen."

Bevis arbeidet ditt

Tidligere kunne långivere klare seg med bare å være nøyaktige. Saleh sa at nå må de også være rettferdige, og de må kunne bevise det.

Det er mye som står på spill. FairPlay oppdaget at mellom 25 % og 33 % av de svarte, brune og kvinnelige avslåtte søkerne med høyest score ville ha prestert like bra som de mest risikable personene de fleste långivere godkjenner – bare noen få poeng skiller avslag fra aksept.

Saleh sa at det faktiske spørsmålet bransjen står overfor er hvor hardt det fungerer å finne mindre diskriminerende kredittstrategier. Hvis en utlåner finner ut at modellen deres er partisk, prøver de å rettferdiggjøre det eller ser etter et mindre partisk alternativ som også oppfyller forretningsmålene deres?

"Det er et lovkrav i loven," sa Saleh. "Det kalles det minst diskriminerende alternativet."

Loven får også långivere til å vise at det ikke er en mindre diskriminerende metode for å nå disse målene. De må bevise at de har vurdert modellene deres for å se om det finnes mer rettferdige alternativer.

Og det finnes verktøy for å hjelpe dem å gjøre nettopp det, verktøy som de som tilbys av Capco/SolasAI og FairPlay.

"Verktøy som vårt genererer en effektiv grense for alternative strategier mellom perfekt rettferdig og perfekt nøyaktig," sa Saleh. "Det er hundrevis, noen ganger tusenvis av alternative varianter av en modell langs det spekteret. Enhver långiver kan velge hva den passende avveiningen er for deres virksomhet.

"Jeg tror dette er en teknologi som svært få mennesker bruker i dag og som alle vil bruke i en ikke så fjern fremtid."

.pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .box-header-title { font-size: 20px !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .box-header-title { font-weight: bold !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .box-header-title { color: #000000 !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .pp-author-boxes-avatar img { border-style: none !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .pp-author-boxes-avatar img { border-radius: 5% !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .pp-author-boxes-name a { font-size: 24px !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .pp-author-boxes-name a { font-weight: bold !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .pp-author-boxes-name a { color: #000000 !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .pp-author-boxes-description { font-style: none !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .pp-author-boxes-description { text-align: left !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .pp-author-boxes-meta a span { font-size: 20px !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .pp-author-boxes-meta a span { font-weight: normal !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .pp-author-boxes-meta { text-align: left !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .pp-author-boxes-meta a { background-color: #6adc21 !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .pp-author-boxes-meta a { color: #ffffff !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .pp-author-boxes-meta a:hover { color: #ffffff !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .ppma-author-user_url-profile-data { color: #6adc21 !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .ppma-author-twitter-profile-data span, .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .ppma-author-twitter-profile-data i { font-size: 16px !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .ppma-author-twitter-profile-data { background-color: #6adc21 !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .ppma-author-twitter-profile-data { border-radius: 50% !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .ppma-author-twitter-profile-data { text-align: center !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .ppma-author-linkedin-profile-data span, .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .ppma-author-linkedin-profile-data i { font-size: 16px !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .ppma-author-linkedin-profile-data { background-color: #6adc21 !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .ppma-author-linkedin-profile-data { border-radius: 50% !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .pp-author-boxes-recent-posts-title { border-bottom-style: dotted !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .pp-multiple-authors-boxes-li { border-style: solid !important; } .pp-multiple-authors-boxes-wrapper.box-post-id-45383.pp-multiple-authors-layout-boxed.multiple-authors-target-shortcode.box-instance-id-1 .pp-multiple-authors-boxes-li { color: #3c434a !important; }

• SEO-drevet innhold og PR-distribusjon. Bli forsterket i dag.
• PlatoData.Network Vertical Generative Ai. Styrk deg selv. Tilgang her.
• PlatoAiStream. Web3 Intelligence. Kunnskap forsterket. Tilgang her.
• PlatoESG. Bil / elbiler, Karbon, CleanTech, Energi, Miljø, Solenergi, Avfallshåndtering. Tilgang her.
• BlockOffsets. Modernisering av eierskap for miljøkompensasjon. Tilgang her.
• kilde: https://www.fintechnexus.com/bias-in-ai-what-to-watch-for-and-how-to-prevent-it/