Artists Can Now Poison Their Images To Deter Misuse By AI

Reeditado por Platón

seguidores: 0

Los expertos de la Universidad de Chicago lanzaron esta semana Nightshade 1.0, una herramienta creada para castigar a los creadores sin escrúpulos de modelos de aprendizaje automático que entrenan sus sistemas con datos sin obtener permiso primero.

Hierba mora es una herramienta ofensiva de envenenamiento de datos, complementaria a una herramienta de protección de estilo defensivo llamada Glaze, cual El registro cubierto en febrero del año pasado.

Nightshade envenena archivos de imágenes para causar indigestión a los modelos que ingieren datos sin permiso. Se pretende que esos modelos de formación orientados a imágenes respeten los deseos de los creadores de contenidos sobre el uso de su trabajo.

"Nightshade se calcula como una optimización multiobjetivo que minimiza los cambios visibles en la imagen original". dijo el equipo responsable del proyecto.

“Por ejemplo, los ojos humanos podrían ver una imagen sombreada de una vaca en un campo verde prácticamente sin cambios, pero un modelo de IA podría ver un gran bolso de cuero tirado en la hierba. “

Nightshade fue desarrollado por los estudiantes de doctorado de la Universidad de Chicago Shawn Shan, Wenxin Ding y Josephine Passananti, y los profesores Heather Zheng y Ben Zhao, algunos de los cuales también ayudaron con Glaze.

Descrito en un trabajo de investigación En octubre de 2023, Nightshade es un ataque de envenenamiento específico. Envenenar una imagen implica elegir una etiqueta (por ejemplo, un gato) que describa lo que realmente se representa para desdibujar los límites de ese concepto cuando la imagen se ingiere para el entrenamiento del modelo.

Por lo tanto, un usuario de un modelo entrenado con imágenes envenenadas de Nightshade podría enviar un mensaje para un gato y recibir una notificación de una imagen de un perro o un pez. Respuestas impredecibles de este tipo hacen que los modelos de texto a imagen sean significativamente menos útiles, lo que significa que los creadores de modelos tienen un incentivo para asegurarse de entrenar solo con datos que se han ofrecido gratuitamente.

"Nightshade puede proporcionar una herramienta poderosa para que los propietarios de contenido protejan su propiedad intelectual contra entrenadores modelo que ignoran o ignoran los avisos de derechos de autor, las directivas de no raspar/rastrear y las listas de exclusión voluntaria", afirman los autores en su artículo.

La falta de consideración de los deseos de los creadores y propietarios de obras de arte dio lugar a una demanda presentado el año pasado, parte de una reacción más amplia contra la recopilación de datos sin permiso en beneficio de las empresas de IA. La demanda por infracción, presentada en nombre de varios artistas contra Stability AI, Deviant Art y Midjourney, alega que el modelo Stable Diffusion utilizado por las firmas demandadas incorpora el trabajo de los artistas sin permiso. El caso, modificado en noviembre de 2023 para incluir un nuevo acusado, Runway AI, continúa ser litigado.

Los autores advierten que Nightshade tiene algunas limitaciones. Específicamente, las imágenes procesadas con el software pueden ser sutilmente diferentes del original, particularmente las ilustraciones que utilizan colores planos y fondos suaves. Además, observan que se pueden desarrollar técnicas para deshacer Nightshade, aunque creen que pueden adaptar su software para seguir el ritmo de las contramedidas.

Matthew Guzdial, profesor asistente de informática en la Universidad de Alberta, dijo en una red social post, “¡Este es un trabajo interesante y oportuno! Pero me preocupa que se esté exagerando como solución. Solo funciona con modelos basados en CLIP y, según los autores, se necesitarían 8 millones de imágenes “envenenadas” para tener un impacto significativo en la generación de imágenes similares para los modelos LAION”.

Glaze, que alcanzó 1.0 en junio pasado, ha una versión web, y ahora está en su 1.1.1 liberación, altera las imágenes para evitar que los modelos entrenados en esas imágenes repliquen el estilo visual del artista.

La imitación de estilo, disponible a través de servicios cerrados de conversión de texto a imagen como Midjourney y a través de modelos de código abierto como Stable Diffusion, es posible simplemente solicitando a un modelo de conversión de texto a imagen que produzca una imagen con el estilo de un artista específico.

El equipo cree que los artistas deberían tener una forma de evitar la captura y reproducción de sus estilos visuales.

"La imitación de estilo produce una serie de resultados dañinos que pueden no ser obvios a primera vista", afirman los expertos. “Para los artistas cuyos estilos son copiados intencionalmente, no sólo ven pérdidas en comisiones e ingresos básicos, sino que las copias sintéticas de baja calidad esparcidas en línea diluyen su marca y reputación. Lo más importante es que los artistas asocian sus estilos con su propia identidad”.

Comparan la imitación de estilo con el robo de identidad y dicen que desincentiva a los aspirantes a artistas a crear nuevos trabajos.

El equipo recomienda que los artistas utilicen tanto Nightshade como Glaze. Actualmente, las dos herramientas deben descargarse e instalarse por separado, pero se está desarrollando una versión combinada. ®