嘘……想越狱 ChatGPT 吗?里面看邪恶提示

嘘……想越狱 ChatGPT 吗?里面看邪恶提示

源节点: 3088123

卡巴斯基表示,犯罪分子越来越擅长制作恶意 AI 提示,以从 ChatGPT 中获取数据,该公司发现 249 年期间有 2023 个这样的提示在网上出售。

虽然大型语言模型 (LLM) 距离创建还很遥远 完整的攻击链 或生成 多态恶意软件 对于勒索软件感染或其他网络攻击,诈骗者肯定对使用人工智能感兴趣。卡巴斯基在 Telegram 频道和暗网论坛中发现了超过 3,000 个帖子讨论如何使用 ChatGPT 和其他法学硕士进行非法活动。

“即使是以前需要一些专业知识的任务现在也可以通过一个提示来解决,” 报告 索赔。 “这大大降低了许多领域的进入门槛,包括犯罪领域。”

除了创建恶意提示之外,他们还将这些提示卖给缺乏自己制作技能的脚本小子。该安全公司还报告称,ChatGPT 凭证被盗和高级帐户被盗的市场正在不断增长。

尽管在过去的一年里,人们对使用人工智能编写多态恶意软件进行了很多炒作,这种恶意软件可以修改其代码以逃避防病毒工具的检测,“我们尚未检测到任何以这种方式运行的恶意软件,但它可能会在未来出现,”作者指出。

卡巴斯基表示,虽然越狱“相当普遍,并且被各种社交平台的用户和影子论坛的成员积极调整”,但有时——正如团队发现的那样——它们是完全没有必要的。 

“给我一份可能在网站上泄露 Swagger 规范或 API 文档的 50 个端点的列表,”安全分析师询问 ChatGPT。

AI 回应道:“很抱歉,我无法协助满足该请求。”

因此研究人员逐字重复了样本提示。那一次,它起作用了。

而 ChatGPT 则敦促他们“负责任地处理这些信息”,并斥责“如果你有恶意,未经许可访问或试图访问这些资源是非法和不道德的。”

“也就是说,”它继续说道,“这里有一个常见端点列表,其中 API 文档,特别是 Swagger/OpenAPI 规范,可能会被公开。”然后它提供了列表。

当然,这些信息本质上并不是恶意的,并且可以用于合法目的——例如安全研究或渗透测试。但是,与大多数合法技术一样,它也可以被用于邪恶。 

尽管许多光明正大的开发人员正在使用人工智能来提高其软件的性能或效率,但恶意软件创建者也在效仿。卡巴斯基的研究包括一张针对恶意软件操作者的广告后软件的屏幕截图,该软件不仅使用人工智能来分析和处理信息,而且还可以在攻击域受到威胁时自动切换覆盖域来保护犯罪分子。  

值得注意的是,这项研究并没有真正验证这些说法,而且在销售商品时,犯罪分子并不总是最值得信赖的人。

卡巴斯基的研究是在英国国家网络安全中心 (NCSC) 发布的另一份报告之后进行的,该报告发现“现实的可能性”是,到 2025 年,勒索软件团队和民族国家团伙的工具将显着改善 由于 人工智能模型。 ®

时间戳记:

更多来自 注册