La ley diseñada para detener la contratación sesgada por la IA resulta ineficaz

Un estudio sobre la eficacia de una ley de la ciudad de Nueva York que aborda el sesgo en los algoritmos de contratación de IA ha descubierto que la legislación es en gran medida ineficaz.

La Ley Local 144 (LL144) de la Ciudad de Nueva York fue pasado en 2021, entró en vigor el 1 de enero del año pasado y entró en vigor a partir de julio de 2023. La ley exige que los empleadores que utilizan herramientas automatizadas de decisión laboral (AEDT) las auditen anualmente para detectar prejuicios raciales y de género, publiquen esos resultados en sus sitios web, e incluir avisos en las ofertas de trabajo de que utilizan dicho software para tomar decisiones laborales.

El estudio realizado por investigadores de la Universidad de Cornell, el servicio de reseñas sin fines de lucro Consumer Reports y el Data & Society Research Institute, una organización sin fines de lucro, aún no se ha publicado, pero se compartió con El registro. Encontró que de 391 empleadores incluidos en la muestra, sólo 18 habían publicado los informes de auditoría requeridos por la ley. Sólo 13 empleadores (11 de los cuales también publicaron informes de auditoría) incluyeron las notas de transparencia necesarias.

LL144 "otorga discreción casi total a los empleadores para decidir si su sistema está dentro del alcance de la ley", dijo Jacob Metcalf, investigador de Data & Society y uno de los autores del estudio. El registro. "Y hay múltiples formas para que los empleadores escapen de ese alcance".

Metcalf nos dijo que LL144 no exige que las empresas tomen ninguna medida si una de sus auditorías muestra que una AEDT ha dado lugar a resultados discriminatorios. Sin embargo, eso no significa que las empresas que utilicen AEDT sesgados no se vean afectadas.

"Los empleadores que publican una auditoría que muestra un impacto dispar están abiertos a otras formas de acción", nos dijo Metcalf. "Las demandas civiles por discriminación laboral pueden ser muy costosas".

Metcalf y varios de sus colegas están trabajando en un segundo artículo sobre LL144 que se centra en la experiencia de los auditores que revisan los AEDT utilizados por las empresas de Nueva York. El registro ha visto el documento, que actualmente se encuentra bajo revisión por pares. Constata que las auditorías han detectado casos de discriminación por parte de las AEDT.

“Sabemos por entrevistas con auditores que los empleadores pagaron por estas auditorías y luego se negaron a publicarlas cuando las cifras eran malas”, nos dijo Metcalf. “Sus asesores legales le temen más a la Comisión de Igualdad de Oportunidades en el Empleo que a la ciudad de Nueva York”.

Ley de la ciudad de Nueva York ralentiza la adopción de normas similares

Otras jurisdicciones han considerado leyes similares a la LL144. En su mayoría, esas propuestas se han estancado cuando los legisladores se dieron cuenta de que el intento de la ciudad de Nueva York de prevenir el sesgo en la contratación de IA no ha sido efectivo.

“Los patrocinadores [de los proyectos de ley] están repensando su estructura. Hasta donde yo sé, no se han tomado medidas sobre leyes similares”, nos dijo Metcalf. California considerado legislación similar en 2022, mientras que Washington DC y el estado de Nueva York también han considerado una legislación como LL144.

La Unión Europea Ley de IA, acordado provisionalmente en diciembre de 2023, coloca la IA utilizada en el proceso de contratación en el “alto riesgo" categoría, sentido dichos productos deberán revisarse antes de llegar al mercado y durante todo su ciclo de vida. La UE aún tiene que aprobar su ley.

El sesgo en la IA ha sido bien establecido en este punto.

La empresa de software de recursos humanos Workday incluso ha sido demandado por acusaciones de que su software de reclutamiento se ha utilizado para discriminar a solicitantes negros, exactamente el tipo de cosas para las que fue diseñado LL144.

Si bien la LL144 ha sido en gran medida ineficaz, los investigadores concluyeron que la ley es un primer paso hacia una mejor regulación.

“Cualquiera que trabaje en estas leyes está experimentando con estructuras de rendición de cuentas; todavía no sabemos qué funciona”, nos dijo Metcalf. “Casi todo lo que dijeron los críticos de la sociedad civil [sobre LL144] se ha hecho realidad, pero en este documento aprendimos cosas que otras personas pueden aprovechar [para futuros esfuerzos de aplicación de la ley]”.

Una de las cosas más importantes que se podría aprender de LL144, dijo Metcalf, es que se debe ampliar el alcance de lo que constituye el uso cubierto del software AEDT.

El lenguaje en LL144 es abstracto y solo define el uso del software AEDT en los casos en que se "utiliza para ayudar o reemplazar sustancialmente la toma de decisiones discrecionales para tomar decisiones laborales". Lo que significa "sustancial" depende de la interpretación.

Para que las futuras leyes creadas para combatir la discriminación AEDT sean efectivas, se nos dice, es necesario eliminar cualquier calificación sobre el uso de algoritmos de contratación de IA.

“Si un sistema genera una puntuación, está dentro de su alcance. Punto”, nos dijo Metcalf. "Dar discreción a los empleadores [para decidir si su uso de AEDT cae dentro del alcance de LL144] crea incentivos perversos que socavan la responsabilidad real que esta ley podría haber logrado". ®

• Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
• PlatoData.Network Vertical Generativo Ai. Empodérate. Accede Aquí.
• PlatoAiStream. Inteligencia Web3. Conocimiento amplificado. Accede Aquí.
• PlatoESG. Carbón, tecnología limpia, Energía, Ambiente, Solar, Gestión de residuos. Accede Aquí.
• PlatoSalud. Inteligencia en Biotecnología y Ensayos Clínicos. Accede Aquí.
• Fuente: https://go.theregister.com/feed/www.theregister.com/2024/01/23/nyc_ai_hiring_law_ineffective/