A importância da diversidade na IA não é opinião, é matemática – IBM Blog

Todos queremos ver os nossos valores humanos ideais refletidos nas nossas tecnologias. Esperamos que tecnologias como a inteligência artificial (IA) não nos mintam, não discriminem e sejam seguras para nós e para os nossos filhos usarmos. No entanto, muitos criadores de IA enfrentam atualmente reações adversas devido aos preconceitos, imprecisões e práticas de dados problemáticas expostas nos seus modelos. Estas questões requerem mais do que uma solução técnica, algorítmica ou baseada em IA. Na realidade, é necessária uma abordagem holística e sociotécnica.

A matemática demonstra uma verdade poderosa

Todos os modelos preditivos, incluindo a IA, são mais precisos quando incorporam diversas experiências e inteligência humana. Isto não é uma opinião; tem validade empírica. Considere o teorema de previsão de diversidade. Simplificando, quando a diversidade num grupo é grande, o erro da multidão é pequeno – apoiando o conceito de “sabedoria da multidão”. Em um estudo influente, foi demonstrado que diversos grupos de solucionadores de problemas com baixa habilidade podem superar grupos de solucionadores de problemas com alta habilidade (Hong & Page, 2004).

Em linguagem matemática: quanto maior for a sua variância, mais padronizada será a sua média. A equação é semelhante a esta:

A um estudo mais aprofundado forneceu mais cálculos que refinam as definições estatísticas de uma multidão sábia, incluindo a ignorância das previsões de outros membros e a inclusão daqueles com maximamente diferente previsões ou julgamentos (correlacionados negativamente). Portanto, não é apenas o volume, mas a diversidade que melhora as previsões. Como esse insight pode afetar a avaliação de modelos de IA?

(in)precisão do modelo

Para citar um aforismo comum, todos os modelos estão errados. Isto é verdade nas áreas de estatística, ciência e IA. Modelos criados com falta de experiência no domínio podem levar a errôneo Saídas.

Hoje, um pequeno grupo homogêneo de pessoas determina quais dados usar para treinar modelos generativos de IA, extraídos de fontes que representam muito o inglês. “Para a maioria dos mais de 6,000 idiomas do mundo, os dados de texto disponíveis não são suficientes para treinar um modelo básico em larga escala” (de “Sobre as oportunidades e riscos dos modelos de fundação”, Bommasani et al., 2022).

Além disso, os próprios modelos são criados a partir de arquiteturas limitadas: “Quase todos os modelos de PNL de última geração são agora adaptados de um dos poucos modelos básicos, como BERT, RoBERTa, BART, T5, etc. alavancagem extremamente alta (qualquer melhoria nos modelos básicos pode levar a benefícios imediatos em toda a PNL), é também um passivo; todos os sistemas de IA podem herdar os mesmos preconceitos problemáticos de alguns modelos básicos (Bommasani et al.) "

Para que a IA generativa reflita melhor as diversas comunidades que serve, uma variedade muito maior de dados de seres humanos deve ser representada em modelos.

A avaliação da precisão do modelo anda de mãos dadas com a avaliação do viés. Devemos perguntar: qual é a intenção do modelo e para quem ele é otimizado? Considere, por exemplo, quem se beneficia mais com algoritmos de recomendação de conteúdo e algoritmos de mecanismos de busca. As partes interessadas podem ter interesses e objetivos muito diferentes. Algoritmos e modelos requerem alvos ou proxies para o erro de Bayes: o erro mínimo que um modelo deve melhorar. Esse proxy geralmente é uma pessoa, como um especialista no assunto com experiência no domínio.

Um desafio muito humano: avaliar o risco antes da aquisição ou desenvolvimento do modelo

As regulamentações e planos de ação emergentes em matéria de IA sublinham cada vez mais a importância dos formulários algorítmicos de avaliação de impacto. O objetivo destes formulários é capturar informações críticas sobre os modelos de IA para que as equipas de governação possam avaliar e abordar os seus riscos antes de os implementar. Perguntas típicas incluem:

• Qual é o caso de uso do seu modelo?
• Quais são os riscos de impactos díspares?
• Como você está avaliando a justiça?
• Como você está tornando seu modelo explicável?

Embora concebido com boas intenções, o problema é que a maioria dos proprietários de modelos de IA não entende como avaliar os riscos para o seu caso de uso. Um refrão comum poderia ser: “Como meu modelo poderia ser injusto se não coleta informações de identificação pessoal (PII)?” Consequentemente, os formulários raramente são preenchidos com a atenção necessária para que os sistemas de governação sinalizem com precisão os factores de risco.

Assim, sublinha-se a natureza sócio-técnica da solução. O proprietário de um modelo – um indivíduo – não pode simplesmente receber uma lista de caixas de seleção para avaliar se seu caso de uso causará danos. Em vez disso, o que é necessário é que grupos de pessoas com experiências de mundo vividas muito variadas se reúnam em comunidades que oferecem segurança psicológica para terem conversas difíceis sobre impactos díspares.

Acolhendo perspectivas mais amplas para uma IA confiável

A IBM® acredita em adotar uma abordagem “cliente zero”, implementando as recomendações e sistemas que criaria para seus próprios clientes em soluções de consultoria e orientadas a produtos. Essa abordagem se estende às práticas éticas, e é por isso que a IBM criou um Centro de Excelência (COE) de IA confiável.

Tal como explicado acima, a diversidade de experiências e conjuntos de competências é fundamental para avaliar adequadamente os impactos da IA. Mas a perspectiva de participar num Centro de Excelência pode ser intimidante numa empresa repleta de inovadores, especialistas e engenheiros ilustres em IA, pelo que é necessário cultivar uma comunidade de segurança psicológica. A IBM comunica isso claramente dizendo: “Interessado em IA? Interessado na ética da IA? Você tem um assento nesta mesa.

O COE oferece treinamento em ética em IA para profissionais de todos os níveis. São oferecidos programas de aprendizagem síncrona (professor e alunos em sala de aula) e assíncronos (autoguiados).

Mas são os COE aplicado treinamento que oferece aos nossos profissionais os insights mais profundos, à medida que trabalham com equipes globais, diversas e multidisciplinares em projetos reais para compreender melhor os impactos díspares. Eles também aproveitam estruturas de design thinking que a IBM Design para IA grupo usa internamente e com clientes para avaliar os efeitos não intencionais dos modelos de IA, mantendo aqueles que são frequentemente marginalizados em mente. (Veja o livro de Sylvia Duckworth Roda de Poder e Privilégio para exemplos de como as características pessoais se cruzam para privilegiar ou marginalizar as pessoas.) A IBM também doou muitas das estruturas para a comunidade de código aberto Projete com ética.

Abaixo estão alguns dos relatórios que a IBM publicou publicamente sobre esses projetos:

Ferramentas automatizadas de governança de modelos de IA são necessárias para obter insights importantes sobre o desempenho do seu modelo de IA. Mas observe que capturar o risco bem antes de seu modelo ser desenvolvido e estar em produção é o ideal. Ao criar comunidades de profissionais diversos e multidisciplinares que oferecem um espaço seguro para as pessoas terem conversas difíceis sobre impactos díspares, você pode começar sua jornada para operacionalizar seus princípios e desenvolver IA de forma responsável.

Na prática, ao contratar profissionais de IA, considere que bem mais de 70% do esforço na criação de modelos é a curadoria dos dados corretos. Você deseja contratar pessoas que saibam como coletar dados representativos, mas que também sejam coletados com consentimento. Você também deseja que pessoas que saibam trabalhar em estreita colaboração com especialistas no domínio para garantir que eles tenham a abordagem correta. É fundamental garantir que estes profissionais tenham inteligência emocional para enfrentar o desafio de uma curadoria responsável da IA, com humildade e discernimento. Devemos ser intencionais ao aprender como reconhecer como e quando os sistemas de IA podem exacerbar a desigualdade, tanto quanto podem aumentar a inteligência humana.

Reinvente a forma como sua empresa funciona com IA