Shift5 的 Lospinoso 说,“对抗性人工智能”对军事系统构成威胁

Shift5 的 Lospinoso 说,“对抗性人工智能”对军事系统构成威胁

源节点: 2685907

Josh Lospinoso 的第一家网络安全初创公司于 2017 年被 Raytheon/Forcepoint 收购。 他的第二个 Shift5 与美国军方、铁路运营商和包括 JetBlue 在内的航空公司合作。 这位 2009 岁的前陆军上尉是 36 年西点军校毕业生和罗德奖学金获得者,他在美国度过了十多年 编写黑客工具 为国家安全局和美国网络司令部服务。

Lospinoso 最近告诉参议院军事委员会,人工智能如何帮助保护军事行动。 首席执行官/程序员与美联社讨论了这个主题,以及武器系统中的软件漏洞如何成为对美国军方的主要威胁。 为了清晰和长度,对采访进行了编辑。

问:在您的证词中,您描述了人工智能技术面临的两个主要威胁:一个是盗窃。 这是不言自明的。 另一个是数据中毒。 你能解释一下吗?

答:考虑数据中毒的一种方式是将其视为数字虚假信息。 如果对手能够制作人工智能技术看到的数据,他们就可以对该技术的运作方式产生深远的影响。

Q:是否发生了数据中毒?

答:我们没有广泛地看到它。 但 它已经发生了。 最著名的案例之一发生在 2016 年。微软发布了一个名为 Tay 的 Twitter 聊天机器人,它可以从在线对话中学习。 恶意用户密谋在推特上发布辱骂性、冒犯性的语言。 Tay 开始产生煽动性内容。 微软将其下线。

问:AI 不仅仅是聊天机器人。 长期以来,它一直是网络安全不可或缺的一部分,对吧?

答:AI 用于电子邮件过滤器,以尝试标记和隔离垃圾邮件和网络钓鱼诱饵。 另一个例子是端点,例如笔记本电脑上的防病毒程序或在网络上运行的恶意软件检测软件。 当然,攻击性黑客也使用 AI 来尝试打败这些分类系统。 这就是所谓的对抗性人工智能。

问:让我们谈谈军事软件系统。 令人担忧的2018年 政府问责办公室报告 说几乎所有新开发的武器系统都存在关键任务漏洞。 五角大楼正在考虑将 AI 放入此类系统中?

A:这里有两个问题。 首先,我们需要充分保障现有武器系统的安全。 这是我们的技术债务,需要很长时间才能偿还。 然后是保护 AI 算法的新前沿——我们将安装的新事物。 GAO 报告并没有真正谈论人工智能。 所以暂时忘掉人工智能。 如果这些系统保持原样,它们仍然非常脆弱。

我们正在讨论突破极限并添加支持 AI 的功能,以改进维护和运营智能。 一切都很棒。 但我们是在纸牌屋之上建造的。 许多系统已有数十年历史,并采用数字技术进行了改造。 飞机、地面车辆、太空资产、潜艇。 它们现在相互关联。 我们正在交换数据。 这些系统漏洞百出,难以升级,并且可能受到攻击。 一旦攻击者获得访问权限,游戏就结束了。

有时构建新平台比重新设计现有系统的数字组件更容易。 但人工智能在保护这些系统方面发挥着作用。 如果有人试图破坏它们,人工智能可以用来防御。

问:你作证说,正如一些人所敦促的那样,暂停人工智能研究不是一个好主意,因为这将有利于中国和其他竞争对手。 但你也对一头扎进 AI 产品的热潮感到担忧。 为什么?

A:我不想听起来宿命论,但所谓的“燃烧使用”案例似乎适用。 匆忙上市的产品经常会着火(被黑、失败、造成意外损坏)。 我们说,'男孩,我们应该建立安全性。 我预计人工智能的发展步伐会加快,我们可能不会停下来以安全和负责任的方式做到这一点。 至少白宫和国会正在讨论这些问题。

问:似乎很多公司——包括国防部门的公司——都在急于宣布半生不熟的 AI 产品。

答:每家科技公司和许多非科技公司都向 AI 做出了几乎令人震惊的转变。 经济混乱即将到来。 商业模式将从根本上改变。 混乱已经发生或即将发生——企业领导者正在努力避免措手不及。

问:人工智能在瞄准等军事决策中的应用情况如何?

答:我不认为,绝对不认为人工智能算法——我们正在收集的数据——已经准备好迎接致命武器系统做出决定的黄金时间。 我们离那个还很远。

时间戳记:

更多来自 防卫新闻