Možno je ekstrahirati kopije slik, ki se uporabljajo za usposabljanje generativnih modelov AI

Ponovno objavil Platon

Spremljevalci: 0

Orodja, kot so DALL-E, Stable Diffusion in Midjourney, so usposobljena na milijardah slik, postrganih iz interneta, vključno z avtorsko zaščitenimi podatki, kot so umetniška dela in logotipi. Naučijo se preslikati vizualne predstavitve predmetov in slogov v naravni jezik. Ko dobijo besedilni opis kot vhod, ustvarijo sliko, ki se ujema z napisom kot izhod.

Nova tehnologija je sprožila novo pravno razpravo o avtorskih pravicah: ali ta orodja kršijo pravice intelektualne lastnine, ker so brez dovoljenja zaužila avtorsko zaščitene slike?

Tožbe so bile vložena proti izdelovalcem najbolj priljubljenih generativnih orodij AI zaradi kršitve avtorskih pravic. Podjetja, ki gradijo modele besedila v sliko, trdijo, da je njihova uporaba podatkov o avtorskih pravicah poštena uporaba, ker njihova programska oprema ustvarja edinstvene slike. Toda umetniki, ki so videli, da ta orodja posnemajo njihove sloge in dela, menijo, da so bili opeharjeni.

Zdaj raziskave, ki so jih vodili raziskovalci, ki delajo na Googlu, DeepMindu, Univerzi v Kaliforniji, Berkeleyju, ETH Zurichu in Univerzi Princeton, kažejo, da je mogoče izluščiti slike, ki se uporabljajo za usposabljanje teh modelov. Generativni modeli umetne inteligence si zapomnijo slike in lahko ustvarijo njihove natančne kopije, kar sproža nove pomisleke glede avtorskih pravic in zasebnosti.

Nekaj primerov slik, ki jih je raziskovalcem uspelo izvleči iz Stable Diffusion

"V resničnem napadu, kjer želi nasprotnik izvleči zasebne informacije, bi uganil oznako ali napis, ki je bil uporabljen za sliko," so povedali soavtorji študije. Register.

»Na srečo za napadalca lahko naša metoda včasih deluje, tudi če ugibanje ni popolno. Na primer, lahko izvlečemo portret Ann Graham Lotz tako, da samo pozovemo Stable Diffusion z njenim imenom, namesto celotnega napisa iz nabora za usposabljanje (»Živeti v luči z Ann Graham Lotz«).

Izluščiti je mogoče samo slike, ki si jih je model zapomnil, in koliko si lahko model zapomni podatkov, je odvisno od dejavnikov, kot so podatki o njegovem usposabljanju in velikost. Verjetneje je, da si bodo kopije iste slike zapomnili, prav tako je večja verjetnost, da si bodo lahko zapomnili slike tudi modeli, ki vsebujejo več parametrov.

Ekipa je uspela izluščiti 94 slik iz 350,000 primerov, uporabljenih za treniranje stabilne difuzije, in 23 slik iz 1,000 primerov iz Googlovega Slika model. Za primerjavo, Stable Diffusion ima 890 milijonov parametrov in je bil učen na 160 milijonih slik, medtem ko ima Imagen dve milijardi parametrov – ni jasno, koliko slik je bilo uporabljenih za to natančno urjenje.

"Za stabilno difuzijo smo ugotovili, da se je večina pomnjenih slik podvojila 100-krat ali več v vadbenem nizu, nekatere pa le 10-krat," so povedali raziskovalci. »Zdi se, da je za Googlov model Imagen, ki je večji model kot Stable Diffusion in je usposobljen na manjšem naboru podatkov, pomnjenje veliko pogostejše. Tukaj najdemo nekaj izstopajočih slik, ki so prisotne samo enkrat v celotnem nizu usposabljanja, vendar jih je še vedno mogoče izvleči.«

Niso povsem prepričani, zakaj si večji modeli nagibajo k temu, da si zapomnijo več slik, vendar verjamejo, da je to morda povezano s tem, da lahko shranijo več svojih podatkov o vadbi v svoje parametre.

Stopnje pomnjenja za te modele so precej nizke in v resnici bi bilo pridobivanje slik dolgočasno in težavno. Napadalci bi morali ugibati in preizkusiti številne pozive, da bi model pripeljali do generiranja shranjenih podatkov. Kljub temu ekipa opozarja razvijalce, naj se vzdržijo usposabljanja generativnih modelov AI na zasebnih občutljivih podatkih.

»Kako slabo je pomnjenje, je odvisno od uporabe generativnih modelov. V zelo zasebnih aplikacijah, na primer v medicinski domeni (npr. usposabljanje o rentgenskih slikah prsnega koša ali zdravstvenih kartotek), je pomnjenje zelo nezaželeno, tudi če vpliva le na zelo majhen del uporabnikov. Poleg tega so sklopi za usposabljanje, ki se uporabljajo v aplikacijah, občutljivih na zasebnost, običajno manjši od tistih, ki se uporabljajo za usposabljanje trenutnih modelov generativne umetnosti. Zato bi lahko videli veliko več pomnjenja, vključno s slikami, ki niso podvojene,« so nam povedali.

Eden od načinov za preprečevanje ekstrakcije podatkov je zmanjšanje verjetnosti pomnjenja v modelih. Če bi se na primer znebili dvojnikov v naboru podatkov za usposabljanje, bi zmanjšali možnosti, da bi si slike zapomnili in ekstrahirali. Stability AI, ustvarjalci Stable Diffusion, so domnevno usposobili svoj najnovejši model na naboru podatkov, ki vsebuje manj dvojnikov, neodvisno od ugotovitev raziskovalcev.

Zdaj, ko je bilo dokazano, da lahko modeli besedila v sliko ustvarijo natančne kopije slik, na katerih so se učili, ni jasno, kako bi to lahko vplivalo na primere avtorskih pravic.

»Pogost argument, ki smo ga videli na spletu, je bila neka različica 'ti modeli si nikoli ne zapomnijo podatkov o treningu'. Zdaj vemo, da je to očitno laž. Toda ali je to v pravni razpravi dejansko pomembno ali ne, je prav tako predmet razprave,« so zaključili raziskovalci.

»Vsaj zdaj imata obe strani v teh tožbah nekaj bolj oprijemljivih dejstev, na katera se lahko zaneseta: da, pomnjenje se dogaja; vendar je zelo redko; in zdi se, da se to dogaja predvsem pri zelo podvojenih slikah.« ®