人工智能研究人员揭露了主要法学硕士中的关键漏洞

人工智能研究人员揭露了主要法学硕士中的关键漏洞

源节点: 2936742
15年2023月XNUMX日(Nanowerk新闻ChatGPT 和 Bard 等大型语言模型 (LLM) 今年席卷了全球,各公司投资数百万美元来开发这些 AI 工具,一些领先的 ​​AI 聊天机器人的估值高达数十亿美元。 这些法学硕士越来越多地在人工智能聊天机器人中使用,它们抓取整个互联网的信息来学习并告知他们为用户指定的请求(称为“提示”)提供的答案。 然而,来自人工智能安全初创公司 Mindgard 和英国兰开斯特大学的计算机科学家已经证明,这些 LLM 的大部分内容可以在不到一周的时间内以低至 50 美元的价格复制,并且获得的信息可用于发起有针对性的攻击。 研究人员警告说,利用这些漏洞的攻击者可能会泄露私人机密信息、绕过护栏、提供错误答案或发起进一步的有针对性的攻击。 在一篇新论文中详细介绍了(“模型窃取:针对法学硕士的提取攻击”)将在 CAMLIS 2023(信息安全应用机器学习会议)上发表,研究人员表明可以廉价地复制现有法学硕士的重要方面,并且他们证明了漏洞在不同模型之间转移的证据。 这种攻击被称为“模型窃取”,其工作原理是通过与法学硕士进行对话(询问一组有针对性的提示),以便法学硕士获得有洞察力的信息,从而泄露模型的工作原理。 研究团队将研究重点放在 ChatGPT-3.5-Turbo 上,然后利用这些知识创建了自己的复制模型,该模型小了 100 倍,但复制了法学硕士的关键方面。 然后,研究人员能够使用该模型副本作为测试场,研究如何在不被发现的情况下利用 ChatGPT 中的漏洞。然后,他们能够利用从模型中收集的知识来攻击 ChatGPT 中的漏洞,成功率提高了 11%。 Mindgard 首席执行官兼该研究首席研究员、兰卡斯特大学彼得·加拉汉 (Peter Garraghan) 博士表示:“我们的发现在科学上令人着迷,但也极其令人担忧。这是首批凭经验证明安全漏洞可以在闭源和开源机器学习模型之间成功转移的作品之一,考虑到行业对 HuggingFace 等公开可用的机器学习模型的依赖程度,这一点非常令人担忧。” 研究人员表示,他们的工作强调,尽管这些强大的数字人工智能技术有明确的用途,但也存在隐藏的弱点,甚至跨模型可能存在共同的漏洞。 各行业的企业目前或准备投资数十亿美元创建自己的法学硕士,以承担智能助理等广泛的任务。金融服务和大型企业正在采用这些技术,但研究人员表示,这些漏洞应该成为所有计划建立或使用第三方法学硕士的企业的主要关注点。 加拉汉博士说:“虽然法学硕士技术具有潜在的变革性,但企业和科学家都必须非常仔细地思考如何理解和衡量与采用和部署法学硕士相关的网络风险。”

时间戳记:

更多来自 Nanowerk