为法学硕士辅助的生物威胁创建建立预警系统

由柏拉图重新发布

关注： 0

注意：作为我们的一部分 准备框架，我们正在投资开发改进的人工智能安全风险评估方法。我们相信，这些努力将受益于更广泛的投入，并且方法共享也对人工智能风险研究社区有价值。为此，我们今天将展示我们的一些早期工作，重点关注生物风险。我们期待社区反馈，并分享更多我们正在进行的研究。

背景。 随着 OpenAI 和其他模型开发人员构建更强大的人工智能系统，人工智能的有益和有害用途的潜力都将增长。研究人员和政策制定者强调的一种潜在有害用途是人工智能系统协助恶意行为者制造生物威胁的能力（例如，参见白宫 2023, 洛夫莱斯 2022, 沙布林克 2023）。在一个讨论的假设示例中，恶意行为者可能会使用功能强大的模型来开发分步协议、对湿实验室程序进行故障排除，甚至在有权访问以下工具时自动执行生物威胁创建过程的步骤云实验室（见 Carter等，2023）。然而，评估此类假设示例的可行性受到评估和数据不足的限制。

继我们最近分享的准备框架，我们正在开发方法来对这些类型的风险进行实证评估，以帮助我们了解我们今天的处境和未来可能的处境。在这里，我们详细介绍了一项新的评估，该评估可能有助于作为一个潜在的“绊线”，表明需要谨慎行事并进一步测试生物滥用的可能性。该评估旨在衡量与现有资源（即互联网）的基线相比，模型是否可以有意义地增加恶意行为者对有关生物威胁创建的危险信息的访问。

为了评估这一点，我们对 100 名人类参与者进行了一项研究，其中包括 (a) 50 名拥有博士学位和专业湿实验室经验的生物学专家，以及 (b) 50 名学生级别的参与者，至少学过一门大学级别的生物学课程。每组参与者被随机分配到只能访问互联网的对照组，或除了互联网之外还可以访问 GPT-4 的治疗组。然后要求每个参与者完成一组任务，涵盖生物威胁创建端到端流程的各个方面。^{[^1]} 据我们所知，这是迄今为止最大规模的人类对人工智能对生物风险信息影响的评估。

发现。 我们的研究通过五个指标（准确性、完整性、创新性、所用时间和自评难度）和生物威胁创建过程的五个阶段（构思、获取、放大、形成）评估了访问 GPT-4 的参与者的绩效提升情况。，然后释放）。我们发现，对于那些能够访问语言模型的人来说，准确性和完整性略有提高。具体来说，在衡量回答准确性的 10 分制中，我们观察到与纯互联网基线相比，专家的平均分数增加了 0.88，学生的平均分数增加了 0.25，完整性也有类似的提升（专家为 0.82，学生为 0.41）。然而，获得的效应大小不够大，不足以具有统计显着性，我们的研究强调需要围绕哪些性能阈值表明风险有意义增加进行更多研究。此外，我们注意到，仅靠信息访问不足以造成生物威胁，并且这种评估并不能测试威胁的物理构建是否成功。

下面，我们更详细地分享我们的评估过程及其产生的结果。我们还讨论了与大规模前沿模型运行此类评估所需的能力启发和安全考虑相关的几种方法论见解。我们还讨论了统计显着性作为衡量模型风险的有效方法的局限性，以及新研究在评估模型评估结果的意义方面的重要性。