Det är möjligt att extrahera kopior av bilder som används för att träna generativa AI-modeller

Det är möjligt att extrahera kopior av bilder som används för att träna generativa AI-modeller

Tidsstämpel: 6 februari 2023 1:00
Källnod: 1942543

Generativa AI-modeller kan memorera bilder från sina träningsdata, vilket möjligen tillåter användare att extrahera privat upphovsrättsskyddad data, enligt forskning.

Verktyg som DALL-E, Stable Diffusion och Midjourney tränas på miljarder bilder som skrapas från internet, inklusive data skyddad av upphovsrätt som konstverk och logotyper. De lär sig att kartlägga visuella representationer av objekt och stilar till naturligt språk. När de får en textbeskrivning som input genererar de en bild som matchar bildtexten som utdata.

Den nya tekniken har väckt en ny juridisk debatt om upphovsrätt: bryter dessa verktyg mot immateriella rättigheter eftersom de tagit in upphovsrättsskyddade bilder utan tillstånd?

Rättegångar har varit in mot tillverkare av de mest populära generativa AI-verktygen för intrång i upphovsrätten. Företag som bygger text-till-bild-modeller hävdar att eftersom deras programvara genererar unika bilder, är deras användning av upphovsrättsdata skälig användning. Men konstnärer som har sett deras stilar och arbete imiteras av dessa verktyg tror att de har blivit lurade.

Nu visar forskning ledd av forskare som arbetar vid Google, DeepMind, University of California, Berkeley, ETH Zurich och Princeton University att bilder som används för att träna dessa modeller kan extraheras. Generativa AI-modeller memorerar bilder och kan generera exakta kopior av dem, vilket väcker nya upphovsrätts- och integritetsproblem.

diffusion_extraction_research

Några exempel på bilder som forskarna lyckades extrahera från Stable Diffusion

"I en riktig attack, där en motståndare vill extrahera privat information, skulle de gissa etiketten eller bildtexten som användes för en bild," sa medförfattare till studien Registret.

"Lyckligtvis för angriparen kan vår metod ibland fungera även om gissningen inte är perfekt. Till exempel kan vi extrahera porträttet av Ann Graham Lotz genom att bara fråga Stable Diffusion med hennes namn, istället för den fullständiga bildtexten från träningssetet ("Living in the light with Ann Graham Lotz").

diffusion_extraction_research_2

Endast bilder memorerade av modellen kan extraheras, och hur mycket en modell kan memorera data varierar beroende på faktorer som dess träningsdata och storlek. Det är mer sannolikt att kopior av samma bild memoreras, och modeller som innehåller fler parametrar är mer benägna att också kunna komma ihåg bilder.

Teamet kunde extrahera 94 bilder från 350,000 23 exempel som användes för att träna stabil diffusion och 1,000 bilder från XNUMX XNUMX exempel från Googles Bild modell. Som jämförelse har Stable Diffusion 890 miljoner parametrar och tränades på 160 miljoner bilder, medan Imagen har två miljarder parametrar – det är inte klart hur många bilder som användes för att träna den exakt.

"För Stable Diffusion finner vi att de flesta memorerade bilder duplicerades 100 gånger eller mer i träningsuppsättningen, men vissa så få som 10 gånger," sa forskarna. "För Googles Imagen-modell, som är en större modell än Stable Diffusion och tränad på en mindre datauppsättning, verkar memorering vara mycket vanligare. Här hittar vi några avvikande bilder som bara finns en enda gång i hela träningsuppsättningen, men som fortfarande är extraherbara.”

De är inte helt säkra på varför större modeller tenderar att memorera fler bilder, men tror att det kan ha något att göra med att de kan lagra mer av sin träningsdata i dess parametrar.

Memoreringshastigheten för dessa modeller är ganska låg, och i verkligheten skulle det vara tråkigt och knepigt att extrahera bilder. Angripare skulle behöva gissa och prova många uppmaningar för att leda modellen till att generera memorerad data. Ändå varnar teamet utvecklare att avstå från att träna generativa AI-modeller på privat känslig data.

"Hur dålig memorering är beror på tillämpningen av de generativa modellerna. I mycket privata applikationer, som inom den medicinska domänen (t.ex. träning i lungröntgen eller medicinska journaler), är memorering högst oönskat, även om det bara påverkar en mycket liten del av användarna. Dessutom är träningsuppsättningarna som används i integritetskänsliga applikationer vanligtvis mindre än de som används för att träna nuvarande generativa konstmodeller. Därför kan vi se mycket mer memorering, inklusive bilder som inte är duplicerade”, sa de till oss.

Ett sätt att förhindra dataextraktion är att minska sannolikheten för memorering i modeller. Att bli av med dubbletter i träningsdatauppsättningen skulle till exempel minimera risken för att bilder memoreras och extraheras. Stability AI, skaparna av Stable Diffusion, har enligt uppgift tränat sin senaste modell på en datauppsättning som innehåller färre dubbletter oberoende av forskarnas resultat.

Nu när det har bevisats att text-till-bild-modeller kan generera exakta kopior av bilder som de utbildats i, är det inte klart hur detta kan påverka upphovsrättsfall.

"Ett vanligt argument som vi hade sett människor göra online var någon variant av "dessa modeller memorerar aldrig träningsdata". Vi vet nu att detta är uppenbart falskt. Men huruvida detta faktiskt spelar någon roll eller inte i den juridiska debatten är också uppe för debatt”, avslutade forskarna.

"Åtminstone nu har båda sidor i dessa rättegångar några mer påtagliga fakta de kan lita på: ja, memorering händer; men det är mycket sällsynt; och det verkar främst hända för mycket duplicerade bilder.” ®

Tidsstämpel:

Mer från Registret