Lei projetada para impedir a contratação tendenciosa de IA se mostra ineficaz

Lei projetada para impedir a contratação tendenciosa de IA se mostra ineficaz

Carimbo de hora: 22 de janeiro de 2024, 8h30
Nó Fonte: 3079132

Um estudo sobre a eficácia de uma lei da cidade de Nova Iorque que visa o preconceito nos algoritmos de contratação de IA concluiu que a legislação é largamente ineficaz.

A Lei Local 144 da Cidade de Nova York (LL144) foi passou em 2021, entrou em vigor em 1º de janeiro do ano passado e foi aplicada em julho de 2023. A lei exige que os empregadores que usam ferramentas automatizadas de decisão de emprego (AEDTs) os auditem anualmente quanto a preconceitos de raça e gênero, publiquem esses resultados em seus sites, e incluir aviso nas ofertas de emprego de que usam esse software para tomar decisões de emprego.

O estudo de pesquisadores da Universidade Cornell, do serviço de avaliações sem fins lucrativos Consumer Reports e do Data & Society Research Institute, sem fins lucrativos, ainda não foi publicado, mas foi compartilhado com O registro. Concluiu que dos 391 empregadores incluídos na amostra, apenas 18 publicaram relatórios de auditoria exigidos por lei. Apenas 13 empregadores (11 dos quais também publicaram relatórios de auditoria) incluíram os avisos de transparência necessários.

O LL144 “concede liberdade quase total aos empregadores para decidir se seu sistema está dentro do escopo da lei”, disse Jacob Metcalf, pesquisador da Data & Society e um dos autores do estudo. O registro. “E há várias maneiras de os empregadores escaparem desse escopo.”

Metcalf nos disse que o LL144 não exige que as empresas tomem qualquer ação se uma de suas auditorias mostrar que um AEDT levou a resultados discriminatórios. Isso não significa que as empresas que usam AEDTs tendenciosos não ficarão em perigo.

“Os empregadores que publicam uma auditoria que mostra impactos díspares estão abertos a outras formas de ação”, disse-nos Metcalf. “Ações civis sobre discriminação no emprego podem ser muito caras.”

Metcalf e vários de seus colegas estão trabalhando em um segundo artigo sobre o LL144 que enfoca a experiência de auditores que analisam AEDTs usados ​​por empresas de Nova York. O registro viu o artigo, que está atualmente sob revisão por pares. Conclui que as auditorias encontraram casos de discriminação por parte dos AEDTs.

“Sabemos, através de entrevistas com auditores, que os empregadores pagaram por estas auditorias e depois recusaram-se a publicá-las quando os números eram maus”, disse-nos Metcalf. “Seu advogado tem mais medo da Comissão de Igualdade de Oportunidades de Emprego do que da cidade de Nova York.”

Lei da cidade de Nova York retarda a adoção de regras semelhantes

Leis semelhantes ao LL144 foram consideradas por outras jurisdições. A maioria dessas propostas ficou paralisada porque os legisladores tomaram consciência de que a tentativa de Nova York de prevenir o preconceito na contratação de IA não foi eficaz.

“Os patrocinadores [dos projetos] estão repensando sua estrutura. Pelo que sei, não houve nenhuma ação em leis semelhantes”, disse-nos Metcalf. Califórnia considerado legislação semelhante em 2022, enquanto Washington DC e o estado de Nova Iorque também ponderaram legislação como a LL144.

A União Europeia Lei de IA, acordado provisoriamente em dezembro de 2023, coloca a IA usada no processo de recrutamento no “alto risco" categoria, significado esses produtos terão de ser revistos antes de chegarem ao mercado e ao longo do seu ciclo de vida. A UE ainda não aprovou a sua lei.

O preconceito na IA tem sido bem estabelecida neste ponto.

A empresa de software de RH Workday foi até processou sobre alegações de que seu software de recrutamento foi usado para discriminar candidatos negros – exatamente o tipo de coisa que o LL144 foi projetado para combater.

Embora a LL144 tenha sido em grande parte ineficaz, os investigadores concluíram que a lei é um primeiro passo para uma melhor regulamentação.

“Qualquer pessoa que trabalhe nestas leis está a experimentar estruturas de responsabilização – ainda não sabemos o que funciona”, disse-nos Metcalf. “Quase tudo o que os críticos da sociedade civil disseram [sobre o LL144] se tornou realidade, mas aprendemos coisas neste documento que outras pessoas podem aprender [para futuros esforços de aplicação da lei].”

Uma das coisas mais importantes que poderiam ser aprendidas com o LL144, disse Metcalf, é que o escopo do que constitui o uso coberto do software AEDT deve ser ampliado.

A linguagem em LL144 é abstrata, definindo apenas o uso do software AEDT nos casos em que ele é “usado para auxiliar substancialmente ou substituir a tomada de decisão discricionária na tomada de decisões de emprego”. O que “substancial” significa depende da interpretação.

Para que as futuras leis criadas para combater a discriminação da AEDT sejam eficazes, dizem-nos, qualquer qualificação sobre o uso de algoritmos de contratação de IA precisa ser abandonada.

“Se um sistema está renderizando uma pontuação, isso está no escopo. Ponto final”, Metcalf nos disse. “Dar poder discricionário aos empregadores [para decidir se o uso da AEDT se enquadra no âmbito do LL144] cria incentivos perversos que prejudicam a responsabilização real que esta lei poderia ter alcançado.” ®

Carimbo de hora:

Mais de O registro