可以提取用于训练生成式 AI 模型的图像副本

由柏拉图重新发布

关注： 0

据称，生成式 AI 模型可以从训练数据中记住图像，可能允许用户提取私人版权数据研究.

DALL-E、Stable Diffusion 和 Midjourney 等工具是根据从互联网上收集的数十亿张图像进行训练的，其中包括受版权保护的数据，如艺术品和徽标。他们学习将对象和样式的视觉表示映射到自然语言。当他们将文本描述作为输入时，他们会生成与标题匹配的图像作为输出。

这项新技术引发了一场关于版权的新法律辩论：这些工具是否侵犯了知识产权，因为它们在未经许可的情况下摄取了受版权保护的图像？

诉讼已提交针对最流行的人工智能生成工具的制造商侵犯版权。构建文本到图像模型的公司争辩说，由于他们的软件生成独特的图像，因此他们对版权数据的使用是合理使用。但是看到自己的风格和作品被这些工具模仿的艺术家认为他们被敲诈了。

现在，由谷歌、DeepMind、加州大学伯克利分校、苏黎世联邦理工学院和普林斯顿大学的研究人员领导的研究表明，可以提取用于训练这些模型的图像。生成式 AI 模型会记住图像并生成图像的精确副本，从而引发新的版权和隐私问题。

研究人员设法从稳定扩散中提取的一些图像示例

“在真正的攻击中，对手想要提取私人信息，他们会猜测用于图像的标签或标题，”该研究的合著者告诉注册.

“对攻击者来说幸运的是，即使猜测不完美，我们的方法有时也能奏效。例如，我们可以通过仅用她的名字提示 Stable Diffusion 来提取 Ann Graham Lotz 的肖像，而不是训练集中的完整标题（“与 Ann Graham Lotz 一起生活在光中”）。

只能提取模型记忆的图像，模型记忆数据的多少取决于其训练数据和大小等因素。相同图像的副本更有可能被记住，包含更多参数的模型也更有可能记住图像。

该团队能够从用于训练稳定扩散的 94 个示例中提取 350,000 张图像，并从 Google 的 23 个示例中提取 1,000 张图像图像模型。相比之下，Stable Diffusion 有 890 亿个参数，并在 160 亿张图像上进行了训练，而 Imagen 有 XNUMX 亿个参数——目前尚不清楚究竟使用了多少图像来训练它。

“对于 Stable Diffusion，我们发现大多数记忆图像在训练集中重复了 100 次或更多次，但有些只有 10 次，”研究人员说。 “对于谷歌的 Imagen 模型，它是一个比 Stable Diffusion 更大的模型并且在更小的数据集上训练，记忆似乎更频繁。在这里，我们发现了一些离群图像，它们在整个训练集中只出现一次，但仍然可以提取。”

他们不太确定为什么较大的模型往往会记住更多的图像，但相信这可能与能够在其参数中存储更多的训练数据有关。

这些模型的记忆率非常低，而且在现实中提取图像既乏味又棘手。攻击者必须猜测并尝试大量提示才能引导模型生成记忆数据。尽管如此，该团队还是警告开发人员不要在私人敏感数据上训练生成人工智能模型。

“记忆力有多差取决于生成模型的应用。在高度隐私的应用程序中，例如在医疗领域（例如胸部 X 光片或医疗记录的培训），记忆是非常不可取的，即使它只影响极小部分用户。此外，隐私敏感应用程序中使用的训练集通常小于用于训练当前生成艺术模型的训练集。因此，我们可能会看到更多的记忆，包括没有复制的图像，”他们告诉我们。

防止数据提取的一种方法是降低模型记忆的可能性。例如，去除训练数据集中的重复项可以最大限度地减少图像被记忆和提取的机会。据报道，Stable Diffusion 的创建者 Stability AI 已经在一个包含较少重复项的数据集上训练了他们的最新模型，而与研究人员的发现无关。

既然已经证明文本到图像模型可以生成它们所训练的图像的精确副本，目前还不清楚这会对版权案件产生怎样的影响。

“我们看到人们在网上提出的一个常见论点是‘这些模型从不记住训练数据’的某种变体。我们现在知道这显然是错误的。但这在法律辩论中是否真的重要也有待辩论，”研究人员总结道。

“至少现在，这些诉讼的双方都有一些更具体的事实可以依赖：是的，记忆发生了；但这是非常罕见的；它似乎主要发生在高度重复的图像上。” ®