在 Google,我们维护一个 漏洞奖励计划 表彰解决 Google 拥有和 Alphabet 子公司网络资产问题的尖端外部贡献。为了跟上人工智能技术的快速发展,并确保我们准备好应对人工智能领域的安全挑战 提供品牌战略规划 方式,我们最近扩展了现有的 错误猎人计划 促进第三方发现和报告我们人工智能系统特有的问题和漏洞。此次扩展是我们努力实施的一部分 自愿人工智能承诺 这是我们七月份在白宫制定的。
为了帮助安全社区更好地了解这些发展,我们提供了有关奖励计划要素的更多信息。
奖励范围有哪些
在我们最近的 AI红队报告,基于 谷歌的人工智能红队 练习中,我们确定了我们认为最相关和最现实的常见策略、技术和程序 (TTP) 用于对抗人工智能系统的现实对手。下表包含了我们所学到的知识,以帮助研究界了解我们的人工智能错误报告标准以及我们的奖励计划的范围。值得注意的是,奖励金额取决于攻击场景的严重程度和受影响的目标类型(访问 程序规则页面 有关我们奖励表的更多信息)。
提示攻击:制作对抗性提示,允许对手以应用程序不希望的方式影响模型的行为,从而影响输出。 |
及时进行受害者看不见的注入,并改变受害者账户或其任何资产的状态。 |
|
提示注入任何使用响应来做出直接影响受害者用户的决策的工具。 |
||
提示或前导码提取,其中仅当提取的前导码中存在敏感信息时,用户才能够提取用于启动模型的初始提示。 |
||
使用产品在您自己的会话中生成违规、误导或事实不正确的内容:例如“越狱”。这包括“幻觉”和事实上不准确的反应。谷歌的生成式人工智能产品已经为此类内容问题提供了专门的报告渠道。 |
超出范围 |
|
训练数据提取:能够成功重建包含敏感信息的逐字训练示例的攻击。也称为隶属度推断。 |
训练数据提取,重建训练数据集中使用的泄露敏感非公开信息的项目。 |
|
重构非敏感/公共信息的提取。 |
超出范围 |
|
操纵模型:攻击者能够秘密地改变模型的行为,以便触发预定义的对抗行为。 |
攻击者可以通过 Google 拥有和运营的模型中的特定输入可靠地触发对抗性输出或行为(“后门”)。仅在模型的输出用于更改受害者帐户或数据的状态时的范围内。 |
|
攻击者根据攻击者的偏好操纵模型的训练数据来影响受害者会话中模型的输出。仅在模型的输出用于更改受害者帐户或数据的状态时的范围内。 |
||
对抗性扰动:提供给模型的输入会导致模型产生确定性但高度意外的输出。 |
在这种情况下,对手可以可靠地触发安全控制中的错误分类,从而可能被滥用以进行恶意使用或获取对抗性收益。 |
|
模型的错误输出或分类不会构成令人信服的攻击场景或对 Google 或用户造成伤害的可行路径的上下文。 |
超出范围 |
|
模型盗窃/渗漏:人工智能模型通常包含敏感的知识产权,因此我们高度重视保护这些资产。渗透攻击允许攻击者窃取有关模型的详细信息,例如其架构或权重。 |
提取机密/专有模型的确切架构或权重的攻击。 |
|
未精确提取架构和权重或从非机密模型中提取架构和权重的攻击。 |
超出范围 |
|
如果您发现人工智能工具存在上述以外的缺陷,您仍然可以提交,只要它符合 我们的计划页面上列出的资格. |
明显符合我们有效安全或滥用问题资格的错误或行为。 |
|
使用人工智能产品做一些可能有害的事情,而其他工具已经可以做到这一点。例如,发现开源软件中的漏洞(已经可以使用公开可用的 静态分析工具)并在网上已有答案时给出有害问题的答案。 |
超出范围 |
|
根据我们的计划,我们已经知道的问题没有资格获得奖励。 |
超出范围 |
|
潜在的版权问题——产品返回的内容似乎受版权保护的结果。谷歌的生成式人工智能产品已经为此类内容问题提供了专门的报告渠道。 |
超出范围 |
我们相信,将我们的错误赏金计划扩展到我们的人工智能系统将支持 负责任的人工智能创新,并期待继续与研究社区合作,发现并解决人工智能功能中的安全和滥用问题。如果您发现符合条件的问题,请访问我们的 Bug Hunters 网站,向我们发送您的 Bug 报告,并且如果发现该问题有效,您将因帮助我们保护用户安全而获得奖励。
- :是
- :不是
- $UP
- 26
- 32
- 33
- 35%
- 36
- 41
- 7
- 8
- 9
- a
- Able
- 关于
- 以上
- 滥用
- 滥用
- 根据
- 账号管理
- 地址
- 解决
- 进步
- 对抗
- 影响
- 影响
- 驳
- AI
- AI模型
- 人工智能系统
- AI供电
- 让
- 已经
- 还
- 量
- an
- 分析
- 和
- 回答
- 任何
- 应用领域
- 架构
- 保健
- AS
- 办公室文员:
- At
- 攻击
- 攻击
- 可使用
- 后门程序
- 基于
- BE
- 行为
- 相信
- 更好
- 赏金
- 赏金计划
- 问题
- 虫子赏金
- 虫子
- 但是
- by
- 被称为
- CAN
- 挑战
- 更改
- 渠道
- 分类
- 明确地
- 相当常见
- 社体的一部分
- 引人注目
- 考虑
- 一贯
- 包含
- 内容
- 继续
- 捐款
- 控制
- 版权
- 标准
- 前沿
- data
- 数据集
- 决定
- 专用
- 依赖的
- 详情
- 发展
- 直接
- 通过各种方式找到
- 发现
- do
- 不
- e
- 努力
- 分子
- 合格
- 确保
- 建立
- 醚(ETH)
- 例子
- 例子
- 渗出
- 扩大
- 扩大
- 扩张
- 外部
- 提取
- 萃取
- 可行
- 特征
- 找到最适合您的地方
- 寻找
- 发现
- 固定
- 缺陷
- 以下
- 针对
- 向前
- 培育
- 发现
- 止
- FT
- Gain增益
- 生成
- 生成的
- 生成式人工智能
- Go
- 谷歌
- 伤害
- 有害
- 有
- 帮助
- 帮助
- 于是
- 高
- 高度
- 兑现
- 别墅
- HTML
- HTTP
- HTTPS
- 确定
- if
- 实施
- 重要
- in
- 不准确
- 包括
- 包括
- 包括
- 合并
- 影响
- 信息
- 初始
- 输入
- 输入
- 知识分子
- 知识产权
- 拟
- 成
- 无形
- 问题
- 问题
- IT
- 项目
- 它的
- JPG
- 七月
- 保持
- 知道
- 泄漏
- 知道
- 已发布
- 看
- 制成
- 保持
- 使
- 会见
- 籍
- 误导
- 模型
- 模型
- 更多
- 最先进的
- 注意
- of
- 经常
- on
- 在线
- 仅由
- 打开
- 开放源码
- 操作
- or
- 其他名称
- 我们的
- 产量
- 己
- 拥有
- 部分
- 径
- 地方
- 柏拉图
- 柏拉图数据智能
- 柏拉图数据
- 请
- 可能
- 可能
- 恰恰
- 准备
- 当下
- 总理
- 优先
- 程序
- 生产
- 产品
- 核心产品
- 曲目
- 提示
- 财产
- 保护
- 保护
- 提供
- 公然
- 资格
- 排位赛
- 题
- 快
- RE
- 真实的世界
- 现实
- 最近
- 红色
- 相应
- 报告
- 报告
- 业务报告
- 研究
- 社区研究
- 响应
- 回复
- 成果
- 回报
- 积分
- 奖励
- 定位、竞价/采购和分析/优化数字媒体采购,但算法只不过是解决问题的操作和规则。
- s
- 安全
- 脚本
- 范围
- 保安
- 提交
- 敏感
- 会议
- 集
- 严重
- So
- 软件
- 东西
- 来源
- 具体的
- 州/领地
- 仍
- 提交
- 顺利
- 这样
- SUPPORT
- 产品
- 表
- 策略
- 目标
- 团队
- 技术
- 技术
- 比
- 这
- 国家
- 其
- 博曼
- 他们
- 第三方
- Free Introduction
- 至
- 工具
- 工具
- 产品培训
- 触发
- 类型
- 类型
- 理解
- 意外
- us
- 使用
- 用过的
- 用户
- 用户
- 运用
- 有效
- Ve
- 通过
- 受害者
- 受害者
- 参观
- 自愿的
- 漏洞
- 漏洞
- 方法..
- 方法
- we
- 卷筒纸
- 您的网站
- 为
- 什么是
- 什么是
- ,尤其是
- 这
- 白色
- 白宫
- 维基百科上的数据
- 将
- 工作
- 您
- 您一站式解决方案
- 和风网