Можно извлекать копии изображений, используемых для обучения генеративных моделей ИИ.

Генеративные модели ИИ могут запоминать изображения из своих обучающих данных, что, возможно, позволяет пользователям извлекать личные данные, защищенные авторским правом. исследованиям.

Такие инструменты, как DALL-E, Stable Diffusion и Midjourney, обучаются на миллиардах изображений, взятых из Интернета, включая данные, защищенные авторским правом, такие как иллюстрации и логотипы. Они учатся сопоставлять визуальные представления объектов и стилей с естественным языком. Когда им дается текстовое описание в качестве входных данных, они генерируют изображение, соответствующее подписи, в качестве вывода.

Новая технология вызвала новые юридические дебаты по поводу авторских прав: нарушают ли эти инструменты права на интеллектуальную собственность, поскольку они загружают изображения, защищенные авторским правом, без разрешения?

Судебные процессы были подано против создателей самых популярных инструментов генеративного ИИ за нарушение авторских прав. Компании, создающие модели преобразования текста в изображение, утверждают, что, поскольку их программное обеспечение генерирует уникальные изображения, использование ими данных об авторских правах является добросовестным. Но художники, которые видели, как эти инструменты имитируют их стили и работы, считают, что их обворовали.

Теперь исследования, проведенные исследователями, работающими в Google, DeepMind, Калифорнийском университете, Беркли, ETH Zurich и Принстонском университете, показывают, что изображения, используемые для обучения этих моделей, могут быть извлечены. Генеративные модели ИИ запоминают изображения и могут создавать их точные копии, что вызывает новые опасения в отношении авторских прав и конфиденциальности.

Некоторые примеры изображений, которые исследователям удалось извлечь из Stable Diffusion.

«В реальной атаке, когда злоумышленник хочет получить личную информацию, он угадывает метку или подпись, которая использовалась для изображения», — рассказали соавторы исследования. Регистр.

«К счастью для злоумышленника, наш метод иногда может работать, даже если предположение не идеально. Например, мы можем извлечь портрет Энн Грэм Лотц, просто введя Stable Diffusion ее имя вместо полной подписи из обучающего набора («Жизнь в свете с Энн Грэм Лотц»).

Могут быть извлечены только изображения, запомненные моделью, и то, насколько модель может запоминать данные, зависит от таких факторов, как ее обучающие данные и размер. Копии одного и того же изображения с большей вероятностью запоминаются, и модели, содержащие больше параметров, также с большей вероятностью смогут запомнить изображения.

Команде удалось извлечь 94 изображения из 350,000 23 примеров, используемых для обучения стабильной диффузии, и 1,000 изображения из XNUMX примеров из Google. Изображение модель. Для сравнения, Stable Diffusion имеет 890 миллионов параметров и обучался на 160 миллионах изображений, тогда как Imagen имеет два миллиарда параметров — неясно, сколько именно изображений было использовано для его обучения.

«Для стабильной диффузии мы обнаружили, что большинство запомненных изображений дублировались 100 и более раз в тренировочном наборе, но некоторые всего лишь 10 раз», — сказали исследователи. «Для модели Google Imagen, которая является более крупной моделью, чем Stable Diffusion, и обучена на меньшем наборе данных, запоминание происходит гораздо чаще. Здесь мы находим несколько изображений-выбросов, которые присутствуют только один раз во всем обучающем наборе, но все еще могут быть извлечены».

Они не совсем понимают, почему более крупные модели, как правило, запоминают больше изображений, но полагают, что это может быть как-то связано с возможностью хранить больше своих обучающих данных в своих параметрах.

Скорость запоминания для этих моделей довольно низкая, и в действительности извлечение изображений было бы утомительным и сложным. Злоумышленникам придется угадывать и пробовать многочисленные подсказки, чтобы привести модель к генерации запоминаемых данных. Тем не менее, команда предупреждает разработчиков воздерживаться от обучения генеративных моделей ИИ на частных конфиденциальных данных.

«Насколько плохо запоминание зависит от применения генеративных моделей. В очень частных приложениях, например, в области медицины (например, при обучении работе с рентгенографией грудной клетки или медицинской документации), запоминание крайне нежелательно, даже если оно затрагивает очень небольшую часть пользователей. Кроме того, обучающие наборы, используемые в приложениях, чувствительных к конфиденциальности, обычно меньше, чем те, которые используются для обучения текущих моделей генеративного искусства. Следовательно, мы можем увидеть гораздо больше запоминания, в том числе изображений, которые не дублируются», — сказали они нам.

Один из способов предотвратить извлечение данных — уменьшить вероятность запоминания в моделях. Избавление от дубликатов в обучающем наборе данных, например, сведет к минимуму вероятность запоминания и извлечения изображений. Сообщается, что Stability AI, создатели Stable Diffusion, обучили свою новейшую модель набору данных, содержащему меньше дубликатов, независимо от выводов исследователей.

Теперь, когда было доказано, что модели преобразования текста в изображение могут генерировать точные копии изображений, на которых они обучались, неясно, как это может повлиять на дела об авторском праве.

«Общим аргументом, который мы видели в Интернете, был какой-то вариант «эти модели никогда не запоминают обучающие данные». Теперь мы знаем, что это явно неверно. Но вопрос о том, действительно ли это имеет значение в юридических дебатах, также подлежит обсуждению», — заключили исследователи.

«По крайней мере, сейчас у обеих сторон в этих судебных процессах есть более осязаемые факты, на которые они могут опереться: да, заучивание происходит; но это очень редко; и в основном это происходит с сильно дублированными изображениями». ®

• SEO-контент и PR-распределение. Получите усиление сегодня.
• Платоблокчейн. Интеллект метавселенной Web3. Расширение знаний. Доступ здесь.
• Источник: https://go.theregister.com/feed/www.theregister.com/2023/02/06/uh_oh_attackers_can_extract/