OpenAI 研究人员相信，他们已经发现了一种极其简单的方法来欺骗他们的物体识别软件，而且只需要笔和纸就可以完成。
具体来说，实验室最新的计算机视觉模型， CLIP，可能会被所谓的“印刷攻击”所欺骗。 只需在一张纸上写下“iPod”或“披萨”，然后将其贴在苹果上，软件就会错误地将这块水果分类为库比蒂诺音乐播放器或美味佳肴。
这不是盒子里最聪明的工具。 资料来源：OpenAI。 点击放大
CLIP 背后的机构表示：“我们认为，上述攻击不仅仅是一个学术问题。” 说过 本星期。 “通过利用模型稳健地阅读文本的能力，我们发现即使是手写文本的照片也常常可以欺骗模型。” 他们补充说，“这种攻击在野外有效”，“它不需要比笔和纸更多的技术。”
CLIP 并不是唯一一个陷入如此简单的恶作剧的人工智能软件。 事实证明，您可以使用胶带 愚弄特斯拉的自动驾驶仪 将 35 英里/小时的标志误读为 85 英里/小时的标志。 然而，这些所谓的对抗性攻击的其他形式需要 一些技术知识 执行：通常涉及向照片添加噪点或制作 标签 精心排列的像素使物体识别系统发生错误，例如将香蕉误认为烤面包机。 然而，就 CLIP 而言，这些都不是必要的。
可以说，OpenAI 的模型是使用文本图片以及从互联网上抓取的物体图像和其他事物进行训练的。
采取这种方法是为了使 CLIP 保持相当通用的目的，并且可以根据特定工作负载的需要进行微调，而无需重新训练。 给定图像，它不仅可以预测描述场景的正确文本标签集，还可以重新用于搜索大型图片数据库并提供说明文字。
OpenAI 表示，CLIP 能够学习不同表示形式的抽象概念。 例如，当超级英雄出现在照片、草图或文本中时，模型能够识别蜘蛛侠。 更有趣的是，研究人员已经能够在神经网络中找到神经元组，当软件看到蜘蛛侠时，这些神经元就会被激活。
他们将这些描述为 多模态神经元。 “例如，一个这样的神经元是一个‘蜘蛛侠’神经元，它对蜘蛛的图像、文本‘蜘蛛’的图像以及穿着服装或插图的漫画人物‘蜘蛛侠’做出反应， “OpenAI 团队说道。 CLIP 具有代表不同概念的各种多模式神经元，例如季节、国家、情感和物体。
但该模型的最大优势——多功能性和稳健性——也是其最大的弱点。 他们发现，CLIP 很容易受到印刷攻击的欺骗。
对象识别人工智能——愚蠢程序的智能程序理念：神经网络实际上只是在观察纹理
回到苹果与披萨的例子，已经学习了苹果表示的多模态神经元在看到书面单词“披萨”时不会同样放电。 相反，与披萨相关的神经元反而被触发。 该模型很容易混淆。
有证据表明，使用多模式神经元的抽象学习也发生在人脑中。 但不幸的是，这就是现代机器与生物机器相比相形见绌的地方。 人类显然可以辨别出带有手写披萨字样的苹果仍然是苹果，而人工智能模型还不能。
OpenAI 表示，CLIP 的性能不如目前在生产中使用的一些计算机视觉模型。 它还存在攻击性偏见，它的神经元将“中东”的概念与“恐怖主义”联系起来，将黑人与大猩猩联系起来。 该模型目前仅用于研究目的，OpenAI 仍在决定是否发布代码。
“我们对 CLIP 的理解仍在不断发展，我们仍在确定是否以及如何发布大型版本的 CLIP。 我们希望社区对已发布版本以及我们今天宣布的工具的进一步探索将有助于增进对多模式系统的普遍理解，并为我们自己的决策提供信息。”
OpenAI 拒绝对 CLIP 发表进一步评论。 ®
来源：https://go.theregister.com/feed/www.theregister.com/2021/03/05/openai_writing_attack/
