Artister kan nu förgifta sina bilder för att förhindra missbruk av AI

Återutgiven av Platon

anhängare: 0

University of Chicago boffins släppte denna vecka Nightshade 1.0, ett verktyg byggt för att straffa skrupelfria tillverkare av maskininlärningsmodeller som tränar sina system på data utan att först få tillstånd.

nightshade är ett stötande verktyg för dataförgiftning, en följeslagare till ett verktyg för skydd mot defensiv stil Glaze, Vilket Registret omfattas i februari förra året.

Nightshade förgiftar bildfiler för att ge matsmältningsbesvär till modeller som får in data utan tillstånd. Det är avsett att få dessa bildorienterade utbildningsmodeller att respektera innehållsskapares önskemål om användningen av deras arbete.

"Nightshade beräknas som en multi-objektiv optimering som minimerar synliga ändringar av originalbilden," sade teamet som ansvarar för projektet.

"Till exempel kan mänskliga ögon se en skuggad bild av en ko i ett grönt fält i stort sett oförändrat, men en AI-modell kan se en stor läderväska som ligger i gräset. "

Nightshade utvecklades av University of Chicagos doktorander Shawn Shan, Wenxin Ding och Josephine Passananti, och professorerna Heather Zheng och Ben Zhao, av vilka några också hjälpte till med Glaze.

Beskrivs i en uppsats i oktober 2023 är Nightshade en promptspecifik förgiftningsattack. Att förgifta en bild innebär att man väljer en etikett (t.ex. en katt) som beskriver vad som faktiskt avbildas för att sudda ut gränserna för det konceptet när bilden intas för modellträning.

Så en användare av en modell tränad på Nightshade-förgiftade bilder kan skicka en uppmaning till en katt och få meddelande om en bild av en hund eller en fisk. Oförutsägbara svar av detta slag gör text-till-bild-modeller betydligt mindre användbara, vilket innebär att modelltillverkare har ett incitament att se till att de bara tränar på data som erbjuds fritt.

"Nightshade kan tillhandahålla ett kraftfullt verktyg för innehållsägare att skydda sin immateriella egendom mot modelltränare som ignorerar eller ignorerar upphovsrättsmeddelanden, direktiv om inte skrapa/crawla och välja bort listor", säger författarna i sin tidning.

Underlåtenheten att beakta önskemålen från konstverksskapare och ägare ledde till en rättegång lämnade in förra året, en del av en bredare återhämtning mot tillståndslös insamling av data till förmån för AI-företag. Intrångsanspråket, framställt på uppdrag av flera konstnärer mot Stability AI, Deviant Art och Midjourney, hävdar att den stabila diffusionsmodellen som används av de svarande företagen innehåller konstnärernas verk utan tillstånd. Målet, ändrat i november 2023 för att omfatta en ny åtalad, Runway AI, fortsätter att prövas.

Författarna varnar för att Nightshade har vissa begränsningar. Specifikt kan bilder som bearbetas med programvaran skilja sig subtilt från originalet, särskilt konstverk som använder platta färger och jämna bakgrunder. De observerar också att tekniker för att ångra Nightshade kan utvecklas, även om de tror att de kan anpassa sin programvara för att hålla jämna steg med motåtgärder.

Matthew Guzdial, biträdande professor i datavetenskap vid University of Alberta, sa i ett socialt media inlägg, "Det här är coolt och lägligt arbete! Men jag oroar mig för att det överhypas som lösningen. Det fungerar bara med CLIP-baserade modeller och enligt författarna skulle det krävas 8 miljoner bilder "förgiftade" för att ha betydande inverkan på att generera liknande bilder för LAION-modeller."

Glaze, som nådde 1.0 i juni förra året, har en webbversion, och är nu igång 1.1.1 release, ändrar bilder för att förhindra att modeller som tränats på dessa bilder replikerar konstnärens visuella stil.

Stilmimik – tillgänglig via stängda text-till-bild-tjänster som Midjourney och genom öppen källkodsmodeller som Stable Diffusion – är möjligt helt enkelt genom att uppmana en text-till-bild-modell att producera en bild i stil med en specifik konstnär.

Teamet anser att artister borde ha ett sätt att förhindra fångst och reproduktion av deras visuella stilar.

"Stylemimik producerar ett antal skadliga resultat som kanske inte är uppenbara vid första anblicken," säger boffins. "För artister vars stilar avsiktligt kopieras, ser de inte bara förlust i provisioner och basinkomst, utan syntetiska kopior av låg kvalitet spridda på nätet späder på deras varumärke och rykte. Det viktigaste är att artister associerar sina stilar med själva identiteten."

De liknar stilmimik vid identitetsstöld och säger att det avskräcker blivande konstnärer att skapa nya verk.

Teamet rekommenderar att artister använder både Nightshade och Glaze. För närvarande måste båda verktygen laddas ner och installeras separat, men en kombinerad version håller på att utvecklas. ®