Artists Can Now Poison Their Images To Deter Misuse By AI

Republicado por Platão

seguidores: 0

Os especialistas da Universidade de Chicago lançaram esta semana o Nightshade 1.0, uma ferramenta criada para punir fabricantes inescrupulosos de modelos de aprendizado de máquina que treinam seus sistemas em dados sem primeiro obter permissão.

erva-moura é uma ferramenta ofensiva de envenenamento de dados, complementar a uma ferramenta de proteção de estilo defensivo chamada Glaze, o qual O registro coberto em fevereiro do ano passado.

Nightshade envenena arquivos de imagem para causar indigestão a modelos que ingerem dados sem permissão. Pretende-se fazer com que esses modelos de formação orientados para a imagem respeitem os desejos dos criadores de conteúdo sobre a utilização do seu trabalho.

“Nightshade é calculado como uma otimização multiobjetivo que minimiza alterações visíveis na imagem original,” dito a equipe responsável pelo projeto.

“Por exemplo, os olhos humanos podem ver uma imagem sombreada de uma vaca em um campo verde praticamente inalterada, mas um modelo de IA pode ver uma grande bolsa de couro na grama. “

Nightshade foi desenvolvido pelos estudantes de doutorado Shawn Shan, Wenxin Ding e Josephine Passananti da Universidade de Chicago, e pelos professores Heather Zheng e Ben Zhao, alguns dos quais também ajudaram com Glaze.

Descrito em um trabalho de pesquisa em outubro de 2023, Nightshade é um ataque de envenenamento específico imediato. Envenenar uma imagem envolve escolher um rótulo (por exemplo, um gato) que descreva o que realmente está representado, a fim de confundir os limites desse conceito quando a imagem for ingerida para treinamento do modelo.

Portanto, um usuário de um modelo treinado em imagens envenenadas por Nightshade pode enviar uma solicitação para um gato e receber uma notificação sobre a imagem de um cachorro ou peixe. Respostas imprevisíveis desse tipo tornam os modelos de texto para imagem significativamente menos úteis, o que significa que os criadores de modelos têm um incentivo para garantir que treinem apenas com dados oferecidos gratuitamente.

“Nightshade pode fornecer uma ferramenta poderosa para proprietários de conteúdo protegerem sua propriedade intelectual contra treinadores modelo que desconsideram ou ignoram avisos de direitos autorais, diretivas de não raspar/rastrear e listas de exclusão”, afirmam os autores em seu artigo.

A falha em considerar os desejos dos criadores e proprietários de obras de arte levou a uma ação judicial arquivado no ano passado, parte de uma reação mais ampla contra a coleta de dados sem permissão para o benefício dos negócios de IA. A alegação de violação, feita em nome de vários artistas contra Stability AI, Deviant Art e Midjourney, alega que o modelo Stable Diffusion usado pelas empresas réus incorpora o trabalho dos artistas sem permissão. O caso, alterado em novembro de 2023 para incluir um novo réu, Runway AI, continua para ser litigado.

Os autores alertam que Nightshade tem algumas limitações. Especificamente, as imagens processadas com o software podem ser sutilmente diferentes do original, especialmente obras de arte que utilizam cores planas e fundos suaves. Além disso, eles observam que podem ser desenvolvidas técnicas para desfazer o Nightshade, embora acreditem que podem adaptar seu software para acompanhar as contramedidas.

Matthew Guzdial, professor assistente de ciência da computação na Universidade de Alberta, disse em uma mídia social postar, “Este é um trabalho legal e oportuno! Mas temo que esteja sendo exagerado como solução. Funciona apenas com modelos baseados em CLIP e, segundo os autores, seriam necessários 8 milhões de imagens ‘envenenadas’ para ter um impacto significativo na geração de imagens semelhantes para modelos LAION.”

Glaze, que atingiu 1.0 em junho passado, uma versão web, e agora está em seu 1.1.1 lançamento, altera imagens para evitar que modelos treinados nessas imagens reproduzam o estilo visual do artista.

O mimetismo de estilo – disponível através de serviços fechados de texto para imagem como Midjourney e através de modelos de código aberto como Stable Diffusion – é possível simplesmente solicitando que um modelo de texto para imagem produza uma imagem no estilo de um artista específico.

A equipe acredita que os artistas deveriam encontrar uma forma de evitar a captura e reprodução de seus estilos visuais.

“A imitação de estilo produz uma série de resultados prejudiciais que podem não ser óbvios à primeira vista”, afirmam os especialistas. “Para os artistas cujos estilos são copiados intencionalmente, não só vêem perdas em comissões e rendimentos básicos, como também cópias sintéticas de baixa qualidade espalhadas online diluem a sua marca e reputação. Mais importante ainda, os artistas associam os seus estilos à sua própria identidade.”

Eles comparam o mimetismo de estilo ao roubo de identidade e dizem que isso desincentiva os aspirantes a artistas a criarem novos trabalhos.

A equipe recomenda que os artistas usem Nightshade e Glaze. Atualmente, cada uma das duas ferramentas deve ser baixada e instalada separadamente, mas uma versão combinada está sendo desenvolvida. ®