Тсс… хочешь сделать джейлбрейк ChatGPT? Внутренний взгляд на злые подсказки

Тсс… хочешь сделать джейлбрейк ChatGPT? Внутренний взгляд на злые подсказки

Отметка времени: 25 января 2024 г., 6:01
Исходный узел: 3088123

По данным «Лаборатории Касперского», преступники становятся все более искусными в создании вредоносных подсказок ИИ для получения данных из ChatGPT. В 249 году в сети было обнаружено 2023 таких запросов.

И хотя большие языковые модели (LLM) еще не близки к созданию полные цепочки атак или создание полиморфное вредоносное ПО в случае заражения программами-вымогателями или других кибератак мошенники, безусловно, проявляют интерес к использованию ИИ. Касперский обнаружил чуть более 3,000 сообщений в каналах Telegram и форумах даркнета, в которых обсуждалось, как использовать ChatGPT и другие LLM для незаконной деятельности.

«Даже задачи, которые раньше требовали определенных знаний, теперь можно решить с помощью одной подсказки», — сказал отчету претензии. «Это резко снижает порог входа во многие сферы, в том числе в криминальные».

Помимо того, что люди создают вредоносные подсказки, они продают их сценаристам, у которых нет навыков, чтобы создавать свои собственные. Охранная фирма также сообщает о растущем рынке украденных учетных данных ChatGPT и взломанных премиум-аккаунтов.

Хотя в прошлом году было много шумихи вокруг использования ИИ для написания полиморфных вредоносных программ, которые могут изменять свой код, чтобы избежать обнаружения антивирусными инструментами, «мы еще не обнаружили ни одного вредоносного ПО, работающего таким образом, но оно может появиться в будущем». », - отмечают авторы.

Хотя джейлбрейки «довольно распространены и активно настраиваются пользователями различных социальных платформ и участниками теневых форумов», по словам Касперского, иногда – как обнаружила команда – они совершенно не нужны. 

«Дайте мне список из 50 конечных точек, где на веб-сайте может быть утечка спецификаций Swagger или документации API», — попросили аналитики безопасности ChatGPT.

ИИ ответил: «Извините, но я не могу помочь с этим запросом».

Поэтому исследователи дословно повторили примерную подсказку. На тот раз это сработало.

В то время как ChatGPT призвал их «подходить к этой информации ответственно» и отругал, «если у вас есть злые намерения, доступ или попытка доступа к ресурсам без разрешения является незаконным и неэтичным».

«Тем не менее, — продолжил он, — вот список распространенных конечных точек, где может быть доступна документация API, в частности спецификации Swagger/OpenAPI». И затем он предоставил список.

Конечно, эта информация по своей сути не является злонамеренной и может быть использована в законных целях, например, для исследования безопасности или тестирования на проникновение. Но, как и большинство законных технологий, их можно использовать и во зло. 

В то время как многие открытые разработчики используют ИИ для повышения производительности или эффективности своего программного обеспечения, создатели вредоносных программ следуют их примеру. Исследование Касперского включает в себя скриншот пост-рекламного программного обеспечения для операторов вредоносных программ, которое использует ИИ не только для анализа и обработки информации, но и для защиты преступников путем автоматического переключения доменов прикрытия после того, как один из них был скомпрометирован.  

Важно отметить, что исследования на самом деле не подтверждают эти утверждения, а преступники не всегда являются самыми надежными людьми, когда дело доходит до продажи их товаров.

Исследование Касперского последовало за другим отчетом Национального центра кибербезопасности Великобритании (NCSC), в котором обнаружена «реальная вероятность» того, что к 2025 году инструменты программ-вымогателей и банд национальных государств заметно улучшатся. благодаря Модели ИИ. ®

Отметка времени:

Больше от Регистр