Você só precisa de papel e caneta para enganar este código de visão computacional OpenAI. Apenas escreva o que você quer ver

Os pesquisadores da OpenAI acreditam ter descoberto uma maneira surpreendentemente fácil de enganar seu software de reconhecimento de objetos, e isso requer apenas caneta e papel para fazer isso.

Especificamente, o modelo de visão computacional mais recente do laboratório, CLIP, pode ser enganado pelo que é descrito como um "ataque tipográfico". Basta escrever as palavras 'iPod' ou 'pizza' em um pedaço de papel, colá-lo em uma maçã e o software irá classificar erroneamente o pedaço de fruta como um tocador de música Cupertino ou um prato delicioso.

Não é a ferramenta mais inteligente da caixa. Fonte: OpenAI. Clique para ampliar

“Acreditamos que ataques como os descritos acima estão longe de ser apenas uma preocupação acadêmica”, afirmam os responsáveis ​​pelo CLIP dito essa semana. “Ao explorar a capacidade do modelo de ler texto de forma robusta, descobrimos que até mesmo as fotografias de texto escrito à mão muitas vezes podem enganar o modelo.” Eles acrescentaram que “este ataque funciona em estado selvagem” e “não requer mais tecnologia do que caneta e papel”.

O CLIP não é o único software com inteligência artificial a cair em tais travessuras simples. Foi demonstrado que você pode usar fita adesiva para enganar o piloto automático de Tesla em interpretar mal um sinal de 35 mph como um 85 mph. Outras formas desses chamados ataques adversários, no entanto, requerem algum conhecimento técnico para executar: normalmente envolve adicionar ruído a uma foto ou criar um adesivo de pixels cuidadosamente organizados para cometer um erro do sistema de reconhecimento de objetos, digamos, uma banana com uma torradeira. No caso do CLIP, porém, nada disso é necessário.

Basta dizer que o modelo do OpenAI foi treinado usando imagens de texto, bem como imagens de objetos e outras coisas extraídas da internet.

Acha que seu smartwatch é bom para alertar sobre um ataque cardíaco? Acontece que é surpreendentemente fácil enganar sua IA

LEIA MAIS

Essa abordagem foi adotada para que o CLIP permaneça de propósito geral e possa ser ajustado conforme necessário para uma carga de trabalho específica, sem precisar ser treinado novamente. Dada uma imagem, ele pode não apenas prever o conjunto certo de rótulos de texto que descrevem a cena, mas pode ser reaproveitado para pesquisar em grandes bancos de dados de imagens e fornecer legendas.

O CLIP é capaz de aprender conceitos abstratos em diferentes representações, disse a OpenAI. Por exemplo, o modelo é capaz de reconhecer o Homem-Aranha quando o super-herói é retratado em uma foto, um esboço ou descrito em um texto. O que é mais interessante é que os pesquisadores conseguiram encontrar grupos de neurônios na rede neural que são ativados quando o software detecta um vislumbre do Homem-Aranha.

Eles os descreveram como neurônios multimodais. “Um desses neurônios, por exemplo, é um neurônio 'Homem-Aranha' que responde a uma imagem de uma aranha, uma imagem do texto 'aranha' e o personagem de quadrinhos 'Homem-Aranha' fantasiado ou ilustrado, ”, Disse a equipe OpenAI. O CLIP possui todos os tipos de neurônios multimodais que representam diferentes conceitos, como estações do ano, países, emoções e objetos.

Mas os maiores pontos fortes do modelo - sua versatilidade e robustez - são também seus maiores pontos fracos. O CLIP é facilmente enganado por ataques tipográficos, eles descobriram.

Voltando ao exemplo da maçã versus pizza, os neurônios multimodais que aprenderam a representação de uma maçã não disparam tão bem quando veem a palavra escrita 'pizza'. Em vez disso, os neurônios relacionados à pizza são acionados. O modelo é facilmente confundido.

Há evidências de que a aprendizagem abstrata usando neurônios multimodais também ocorre em cérebros humanos. Mas, infelizmente, é aqui que as máquinas modernas empalidecem em comparação com suas contrapartes biológicas. Os humanos podem obviamente dizer que uma maçã com uma nota escrita à mão que diz pizza ainda é uma maçã, enquanto os modelos de IA ainda não podem.

A OpenAI disse que o CLIP não tem um desempenho tão bom quanto alguns modelos de visão computacional que hoje são usados ​​na produção. Também sofre de vieses ofensivos, seus neurônios associam o conceito de 'Oriente Médio' ao 'terrorismo' e os negros aos gorilas. O modelo é usado apenas para fins de pesquisa no momento, e a OpenAI ainda está decidindo se libera o código ou não.

“Nossa compreensão do CLIP ainda está evoluindo e ainda estamos determinando se e como lançaríamos versões maiores do CLIP. Esperamos que uma maior exploração da comunidade das versões lançadas, bem como das ferramentas que estamos anunciando hoje, ajude a avançar a compreensão geral dos sistemas multimodais, bem como informar nossa própria tomada de decisão ”, disse.

A OpenAI não quis comentar mais sobre o CLIP. ®

Fonte: https://go.theregister.com/feed/www.theregister.com/2021/03/05/openai_writing_attack/