Il est possible d'extraire des copies d'images utilisées pour former des modèles d'IA génératifs

Selon un article.

Des outils tels que DALL-E, Stable Diffusion et Midjourney sont entraînés sur des milliards d'images extraites d'Internet, y compris des données protégées par le droit d'auteur telles que des illustrations et des logos. Ils apprennent à mapper des représentations visuelles d'objets et de styles en langage naturel. Lorsqu'ils reçoivent une description textuelle en entrée, ils génèrent une image correspondant à la légende en sortie.

La nouvelle technologie a suscité un nouveau débat juridique sur le droit d'auteur : ces outils violent-ils les droits de propriété intellectuelle puisqu'ils ont ingéré des images protégées par le droit d'auteur sans autorisation ?

Des poursuites ont été déposé contre les fabricants des outils d'IA générative les plus populaires pour violation du droit d'auteur. Les entreprises qui créent des modèles de texte en image soutiennent que, puisque leur logiciel génère des images uniques, leur utilisation des données de droit d'auteur est une utilisation équitable. Mais les artistes qui ont vu leur style et leur travail imités par ces outils se croient arnaqués.

Désormais, des recherches menées par des chercheurs travaillant chez Google, DeepMind, l'Université de Californie, Berkeley, l'ETH Zurich et l'Université de Princeton démontrent que les images utilisées pour former ces modèles peuvent être extraites. Les modèles d'IA générative mémorisent les images et peuvent en générer des copies précises, ce qui soulève de nouvelles préoccupations en matière de droit d'auteur et de confidentialité.

Quelques exemples d'images que les chercheurs sont parvenus à extraire de Stable Diffusion

"Dans une véritable attaque, où un adversaire veut extraire des informations privées, il devinerait l'étiquette ou la légende qui a été utilisée pour une image", ont déclaré les co-auteurs de l'étude. Le registre.

« Heureusement pour l'attaquant, notre méthode peut parfois fonctionner même si la supposition n'est pas parfaite. Par exemple, nous pouvons extraire le portrait d'Ann Graham Lotz en invitant simplement Stable Diffusion avec son nom, au lieu de la légende complète de l'ensemble de formation ("Vivre dans la lumière avec Ann Graham Lotz").

Seules les images mémorisées par le modèle peuvent être extraites, et la quantité de données qu'un modèle peut mémoriser varie en fonction de facteurs tels que ses données d'apprentissage et sa taille. Les copies de la même image sont plus susceptibles d'être mémorisées, et les modèles contenant plus de paramètres sont plus susceptibles de pouvoir également mémoriser les images.

L'équipe a pu extraire 94 images de 350,000 23 exemples utilisés pour former Stable Diffusion, et 1,000 images de XNUMX XNUMX exemples de Google Image modèle. À titre de comparaison, Stable Diffusion a 890 millions de paramètres et a été formé sur 160 millions d'images, tandis que Imagen a deux milliards de paramètres - on ne sait pas exactement combien d'images ont été utilisées pour le former.

"Pour la diffusion stable, nous constatons que la plupart des images mémorisées ont été dupliquées 100 fois ou plus dans l'ensemble de formation, mais certaines aussi peu que 10 fois", ont déclaré les chercheurs. "Pour le modèle Imagen de Google, qui est un modèle plus large que Stable Diffusion et formé sur un ensemble de données plus petit, la mémorisation semble être beaucoup plus fréquente. Ici, nous trouvons des images aberrantes qui ne sont présentes qu'une seule fois dans l'ensemble de la formation, mais qui sont toujours extractibles.

Ils ne savent pas vraiment pourquoi les modèles plus grands ont tendance à mémoriser plus d'images, mais pensent que cela peut avoir quelque chose à voir avec la possibilité de stocker davantage de leurs données d'entraînement dans ses paramètres.

Les taux de mémorisation de ces modèles sont assez faibles et, en réalité, l'extraction d'images serait fastidieuse et délicate. Les attaquants devraient deviner et essayer de nombreuses invites pour amener le modèle à générer des données mémorisées. Pourtant, l'équipe avertit les développeurs de s'abstenir de former des modèles d'IA génératifs sur des données sensibles privées.

"La mauvaise mémorisation dépend de l'application des modèles génératifs. Dans des applications très privées, comme dans le domaine médical (ex : formation aux radiographies pulmonaires ou aux dossiers médicaux), la mémorisation est fortement indésirable, même si elle ne concerne qu'une très faible fraction des utilisateurs. De plus, les ensembles de formation utilisés dans les applications sensibles à la confidentialité sont généralement plus petits que ceux utilisés pour former les modèles d'art génératif actuels. Par conséquent, nous pourrions voir beaucoup plus de mémorisation, y compris des images qui ne sont pas dupliquées », nous ont-ils dit.

Une façon d'empêcher l'extraction de données est de diminuer la probabilité de mémorisation dans les modèles. La suppression des doublons dans l'ensemble de données d'entraînement, par exemple, réduirait les risques de mémorisation et d'extraction des images. Stability AI, les créateurs de Stable Diffusion, auraient entraîné leur nouveau modèle sur un ensemble de données contenant moins de doublons indépendamment des découvertes des chercheurs.

Maintenant qu'il a été prouvé que les modèles texte-image peuvent générer des copies exactes des images sur lesquelles ils ont été formés, on ne sait pas comment cela pourrait avoir un impact sur les cas de droit d'auteur.

"Un argument courant que nous avions vu des gens faire en ligne était une variante de" ces modèles ne mémorisent jamais les données d'entraînement ". Nous savons maintenant que c'est clairement faux. Mais que cela soit réellement important ou non dans le débat juridique est également à débattre », ont conclu les chercheurs.

«Au moins maintenant, les deux parties à ces poursuites ont des faits plus tangibles sur lesquels elles peuvent s'appuyer: oui, la mémorisation se produit; mais c'est très rare; et cela semble se produire principalement pour les images fortement dupliquées. » ®

• Contenu propulsé par le référencement et distribution de relations publiques. Soyez amplifié aujourd'hui.
• Platoblockchain. Intelligence métaverse Web3. Connaissance Amplifiée. Accéder ici.
• La source: https://go.theregister.com/feed/www.theregister.com/2023/02/06/uh_oh_attackers_can_extract/