Lov utformet for å stoppe ansettelser av AI-bias viser seg å være ineffektiv

Lov utformet for å stoppe ansettelser av AI-bias viser seg å være ineffektiv

Tidsstempel: 22. januar 2024 8:30
Kilde node: 3079132

En studie av effektiviteten til en lov i New York City rettet mot skjevhet i AI-ansettelsesalgoritmer har funnet ut at lovgivningen stort sett er ineffektiv.

New York City Local Law 144 (LL144) var bestått i 2021, trådte i kraft 1. januar i fjor og har blitt håndhevet fra juli 2023. Loven pålegger arbeidsgivere som bruker automatiserte ansettelsesbeslutningsverktøy (AEDT) å revidere dem årlig for rase- og kjønnsskjevhet, publisere disse resultatene på sine nettsider, og inkludere varsel i stillingsannonser om at de bruker slik programvare for å ta ansettelsesbeslutninger.

Studien fra forskere ved Cornell University, nonprofit review-tjenesten Consumer Reports og nonprofit Data & Society Research Institute, er ennå ikke publisert, men ble delt med Registeret. Den fant at av 391 arbeidsgivere som ble tatt ut, hadde bare 18 publisert revisjonsrapporter som kreves i henhold til loven. Bare 13 arbeidsgivere (hvorav 11 også publiserte revisjonsrapporter) inkluderte de nødvendige åpenhetsmeldingene.

LL144 "gir nesten total skjønn for arbeidsgivere til å avgjøre om systemet deres er innenfor lovens virkeområde," fortalte Jacob Metcalf, en forsker ved Data & Society og en av studiens forfattere. Registeret. "Og det er flere måter for arbeidsgivere å unnslippe dette omfanget."

Metcalf fortalte oss at LL144 ikke krever at selskaper foretar seg noe hvis en av revisjonene viser at en AEDT har ført til diskriminerende utfall. Det betyr ikke at selskaper som viser seg å bruke partiske AEDT-er ikke vil være på kroken.

"Arbeidsgivere som legger ut en revisjon som viser ulik innvirkning er åpne for andre former for handling," fortalte Metcalf oss. "Sivile søksmål om arbeidsdiskriminering kan være svært kostbare."

Metcalf og flere av kollegene hans jobber med en annen artikkel om LL144 som fokuserer på erfaringene til revisorer som gjennomgår AEDT-er brukt av NYC-selskaper. Registeret har sett på papiret, som for tiden er under fagfellevurdering. Den finner at revisjoner har funnet tilfeller av diskriminering fra AEDT-er.

"Vi vet fra intervjuer med revisorer at arbeidsgivere har betalt for disse revisjonene og deretter nektet å legge dem ut offentlig når tallene er dårlige," fortalte Metcalf oss. "Deres juridiske rådgiver er mer redd for Equal Employment Opportunity Commission enn New York City."

New York City-loven bremser innføringen av lignende regler

Lover som ligner på LL144 har blitt vurdert av andre jurisdiksjoner. Disse forslagene har stort sett stoppet ettersom lovgivere har blitt klar over at NYCs forsøk på å forhindre AI-ansettelser ikke har vært effektivt.

«Sponsorer [av regningene] revurderer strukturen deres. Så vidt jeg er klar over har det ikke vært noen handling på lignende lover,” fortalte Metcalf oss. California ansett lignende lovgivning i 2022, mens Washington DC og delstaten New York også har tenkt på lovverk som LL144.

Den europeiske unionen AI-loven, foreløpig avtalt i desember 2023, plasserer AI brukt i rekrutteringsprosessen i lovens "høy risiko" kategori, betyr slike produkter må gjennomgås før de kommer på markedet og gjennom hele livssyklusen. EU har ennå ikke vedtatt sin lov.

Bias i AI har vært godt etablert På dette punktet.

HR-programvarefirmaet Workday har til og med vært det saksøkt over påstander om at rekrutteringsprogramvaren har blitt brukt til å diskriminere svarte søkere – akkurat den typen ting som LL144 ble designet for å bekjempe.

Mens LL144 stort sett har vært ineffektivt, konkluderte forskerne med at loven er et første skritt mot bedre regulering.

"Alle som jobber med disse lovene eksperimenterer med ansvarlighetsstrukturer - vi vet ennå ikke hva som fungerer," fortalte Metcalf oss. "Nesten alt som sivilsamfunnskritikere sa [om LL144] har gått i oppfyllelse, men vi lærte ting i denne artikkelen som andre mennesker kan plukke opp [for fremtidig håndhevelse]."

En av de viktigste tingene som kan læres av LL144, sa Metcalf, er at omfanget av hva som utgjør dekket bruk av AEDT-programvare bør utvides.

Språket i LL144 er abstrakt, og definerer bare bruken av AEDT-programvare i tilfeller der det "brukes til vesentlig å hjelpe eller erstatte skjønnsmessige beslutninger for å ta ansettelsesbeslutninger." Hva "vesentlig" betyr er opp til tolkning.

Hvis fremtidige lover opprettet for å bekjempe AEDT-diskriminering skal være effektive, er vi fortalt, må enhver kvalifikasjon om bruk av AI-ansettelsesalgoritmer droppes.

"Hvis et system gjengir en poengsum, er det i omfanget. Periode," fortalte Metcalf oss. "Å gi arbeidsgivere skjønn [ved å avgjøre om deres bruk av AEDT faller inn under LL144s omfang] skaper perverse insentiver som undergraver faktisk ansvarlighet denne loven kunne ha oppnådd." ®

Tidstempel:

Mer fra Registeret