Une loi conçue pour mettre fin à l’embauche biaisée par l’IA s’avère inefficace

Une loi conçue pour mettre fin à l’embauche biaisée par l’IA s’avère inefficace

Horodatage: 22 janvier 2024 8h30
Nœud source: 3079132

Une étude sur l’efficacité d’une loi de la ville de New York ciblant les biais dans les algorithmes de recrutement de l’IA a révélé que la législation est largement inefficace.

La loi locale 144 (LL144) de la ville de New York a été passé en 2021, est entrée en vigueur le 1er janvier de l'année dernière et est entrée en vigueur en juillet 2023. La loi oblige les employeurs utilisant des outils automatisés de décision en matière d'emploi (AEDT) à les auditer chaque année pour détecter les préjugés raciaux et sexistes, à publier ces résultats sur leurs sites Web, et inclure un avis dans les offres d'emploi indiquant qu'ils utilisent ce logiciel pour prendre des décisions d'emploi.

L'étude menée par des chercheurs de l'Université Cornell, du service d'évaluation à but non lucratif Consumer Reports et du Data & Society Research Institute à but non lucratif n'a pas encore été publiée, mais a été partagée avec Le registre. L'étude a révélé que sur 391 employeurs échantillonnés, seuls 18 avaient publié les rapports d'audit requis par la loi. Seuls 13 employeurs (dont 11 ont également publié des rapports d’audit) ont inclus les avis de transparence nécessaires.

LL144 "accorde une discrétion quasi totale aux employeurs pour décider si leur système entre dans le champ d'application de la loi", a déclaré Jacob Metcalf, chercheur chez Data & Society et l'un des auteurs de l'étude. Le registre. « Et il existe de multiples façons pour les employeurs d’échapper à cette portée. »

Metcalf nous a dit que LL144 n'exige pas que les entreprises prennent des mesures si l'un de ses audits montre qu'un AEDT a conduit à des résultats discriminatoires. Cela ne signifie pas pour autant que les entreprises qui utilisent des AEDT biaisés n’en seront pas responsables.

« Les employeurs qui publient un audit démontrant un impact disparate sont ouverts à d’autres formes d’action », nous a expliqué Metcalf. « Les poursuites civiles pour discrimination dans l'emploi peuvent coûter très cher. »

Metcalf et plusieurs de ses collègues travaillent sur un deuxième article sur le LL144 qui se concentre sur l'expérience des auditeurs examinant les AEDT utilisés par les entreprises de New York. Le registre a consulté le document, qui est actuellement en cours d'examen par les pairs. Il constate que les audits ont révélé des cas de discrimination de la part des AEDT.

« Nous savons, grâce aux entretiens avec les auditeurs, que les employeurs ont payé pour ces audits et ont ensuite refusé de les publier publiquement lorsque les chiffres étaient mauvais », nous a expliqué Metcalf. "Leur conseiller juridique a plus peur de la Commission pour l'égalité des chances en matière d'emploi que de la ville de New York."

La loi de la ville de New York ralentit l'adoption de règles similaires

Des lois similaires à la LL144 ont été envisagées par d'autres juridictions. Ces propositions sont pour la plupart bloquées car les législateurs ont pris conscience que la tentative de New York pour empêcher les biais en matière d'embauche dans l'IA n'a pas été efficace.

« Les parrains [des projets de loi] repensent leur structure. Pour autant que je sache, aucune mesure n'a été prise concernant des lois similaires », nous a déclaré Metcalf. Californie considéré une législation similaire en 2022, tandis que Washington DC et l’État de New York ont ​​également réfléchi à une législation comme LL144.

L'Union européenne Loi sur l'IA, provisoirement convenue en décembre 2023, place l'IA utilisée dans le processus de recrutement dans la « loi ».est élevé" catégorie, sens ces produits devront être examinés avant d’arriver sur le marché et tout au long de leur cycle de vie. L'UE n'a pas encore adopté sa loi.

Les biais dans l’IA ont été bien établie À ce point.

La société de logiciels RH Workday a même été poursuivi suite à des allégations selon lesquelles son logiciel de recrutement aurait été utilisé pour discriminer les candidats noirs – le genre exact de chose pour laquelle LL144 a été conçu.

Même si la LL144 s’est révélée largement inefficace, les chercheurs ont conclu que la loi constitue un premier pas vers une meilleure réglementation.

« Quiconque travaille sur ces lois expérimente des structures de responsabilisation – nous ne savons pas encore ce qui fonctionne », nous a dit Metcalf. « Presque tout ce que les critiques de la société civile ont dit [à propos de LL144] s’est réalisé, mais nous avons appris des choses dans ce document que d’autres personnes peuvent s’inspirer [pour de futurs efforts d’application des lois] ».

L'une des leçons les plus importantes que l'on puisse tirer de LL144, a déclaré Metcalf, est que la portée de ce qui constitue l'utilisation couverte du logiciel AEDT devrait être élargie.

Le langage du LL144 est abstrait, définissant uniquement l'utilisation du logiciel AEDT dans les cas où il est « utilisé pour aider ou remplacer considérablement la prise de décision discrétionnaire en matière d'emploi ». Ce que signifie « substantiel » dépend de l’interprétation.

Si l’on veut que les futures lois créées pour lutter contre la discrimination de l’AEDT soient efficaces, nous dit-on, toute restriction concernant l’utilisation d’algorithmes de recrutement basés sur l’IA doit être abandonnée.

« Si un système restitue une partition, elle entre dans le champ d'application. Période », nous a dit Metcalf. « Donner aux employeurs un pouvoir discrétionnaire [pour décider si leur utilisation de l'AEDT relève du champ d'application de la LL144] crée des incitations perverses qui sapent la responsabilité réelle que cette loi aurait pu instaurer. » ®

Horodatage:

Plus de Le registre