Lag utformad för att stoppa anställning av AI-biasing visar sig vara ineffektiv

Lag utformad för att stoppa anställning av AI-biasing visar sig vara ineffektiv

Tidsstämpel: 22 januari 2024 8:30
Källnod: 3079132

En studie av effektiviteten av en lag i New York City som inriktar sig på partiskhet i algoritmer för AI-anställning har funnit att lagstiftningen i stort sett är ineffektiv.

New York City Local Law 144 (LL144) var Godkänd 2021, trädde i kraft den 1 januari förra året och har verkställts från och med juli 2023. Lagen kräver att arbetsgivare som använder automatiserade verktyg för anställningsbeslut (AEDT) ska granska dem årligen för ras- och könsbias, publicera dessa resultat på sina webbplatser, och inkludera meddelanden i jobbannonser att de använder sådan programvara för att fatta anställningsbeslut.

Studien från forskare vid Cornell University, den ideella granskningstjänsten Consumer Reports och det ideella Data & Society Research Institute, har ännu inte publicerats men har delats med Registret. Den fann att av 391 arbetsgivare som ingick i urvalet hade endast 18 publicerat revisionsrapporter som krävs enligt lagen. Bara 13 arbetsgivare (varav 11 också publicerade revisionsrapporter) inkluderade de nödvändiga meddelanden om öppenhet.

LL144 "ger nästan total frihet för arbetsgivare att avgöra om deras system är inom lagens räckvidd", berättade Jacob Metcalf, forskare vid Data & Society och en av studiens författare. Registret. "Och det finns flera sätt för arbetsgivare att undkomma den omfattningen."

Metcalf berättade för oss att LL144 inte kräver att företag vidtar några åtgärder om en av dess granskningar visar att en AEDT har lett till diskriminerande resultat. Det betyder inte att företag som visar sig använda partiska AEDT inte kommer att vara på hugget.

"Arbetsgivare som lägger upp en revision som visar olika effekter är öppna för andra former av åtgärder," berättade Metcalf för oss. "Civilrättsliga stämningar om anställningsdiskriminering kan bli mycket dyra."

Metcalf och flera av hans kollegor arbetar på en andra artikel om LL144 som fokuserar på erfarenheten av revisorer som granskar AEDTs som används av NYC-företag. Registret har tittat på tidningen, som för närvarande är under peer review. Den konstaterar att granskningar har hittat fall av diskriminering från AEDT:s sida.

"Vi vet från intervjuer med revisorer att arbetsgivare har betalat för dessa revisioner och sedan avböjt att publicera dem offentligt när siffrorna är dåliga," berättade Metcalf för oss. "Deras juridiska rådgivare är mer rädda för Equal Employment Opportunity Commission än New York City."

New Yorks lag fördröjer antagandet av liknande regler

Lagar som liknar LL144 har övervägts av andra jurisdiktioner. Dessa förslag har mestadels stannat av eftersom lagstiftare har blivit medvetna om att NYC:s försök att förhindra AI-anställningsfördomar inte har varit effektivt.

"Sponsorer [av räkningarna] omprövar sin struktur. Så vitt jag är medveten om har det inte vidtagits några åtgärder mot liknande lagar, säger Metcalf till oss. Kalifornien anses liknande lagstiftning 2022, medan Washington DC och delstaten New York också har funderat på lagstiftning som LL144.

Europeiska unionens AI-lagen, som provisoriskt godkändes i december 2023, placerar AI som används i rekryteringsprocessen i lagens "hög riskkategori, betyder sådana produkter kommer att behöva ses över innan de når marknaden och under hela deras livscykel. EU har ännu inte antagit sin lag.

Bias i AI har varit väletablerad vid denna tidpunkt

HR-programvaruföretaget Workday har till och med varit det stämd över anklagelser om att dess rekryteringsmjukvara har använts för att diskriminera svarta sökande – exakt den sortens sak som LL144 var designad för att bekämpa.

Medan LL144 har varit i stort sett ineffektiv, drog forskarna slutsatsen att lagen är ett första steg mot bättre reglering.

"Alla som arbetar med dessa lagar experimenterar med ansvarsstrukturer - vi vet inte ännu vad som fungerar," berättade Metcalf för oss. "Nästan allt som kritiker från det civila samhället sa [om LL144] har gått i uppfyllelse, men vi lärde oss saker i det här dokumentet som andra människor kan ta upp [för framtida verkställighetsinsatser]."

En av de viktigaste sakerna som kan läras av LL144, sa Metcalf, är att omfattningen av vad som utgör täckt användning av AEDT-programvara bör breddas.

Språket i LL144 är abstrakt och definierar bara användningen av AEDT-programvara i fall där den "används för att väsentligt hjälpa eller ersätta diskretionärt beslutsfattande för att fatta anställningsbeslut." Vad "väsentlig" betyder är upp till tolkning.

Om framtida lagar som skapats för att bekämpa AEDT-diskriminering ska vara effektiva, får vi veta, måste alla kvalifikationer för användningen av AI-anställningsalgoritmer tas bort.

"Om ett system återger en poäng, är det i omfattning. Period,” berättade Metcalf för oss. "Att ge arbetsgivare utrymme för skönsmässig bedömning [att besluta om deras användning av AEDT faller under LL144:s räckvidd] skapar perversa incitament som undergräver faktisk ansvarsskyldighet som denna lag kunde ha uppnått." ®

Tidsstämpel:

Mer från Registret