人工智能对网络安全的影响 - DATAVERSITY

由柏拉图重新发布

关注： 0

从夺走人们的工作到传播虚假信息和侵犯版权，人工智能已经引起了媒体的广泛关注，但人工智能对网络安全的影响可能是其最紧迫的直接问题。

可以预见的是，人工智能对安全团队的影响是一把双刃剑。如果应用得当，它可以通过以计算机速度处理大量数据、寻找遥远数据点之间的联系、发现模式、检测攻击和预测攻击进程等方式，成为网络安全从业者的强大力量倍增器。但是，正如安全从业者所熟知的那样，人工智能并不总是得到正确应用。它加剧了本已严峻的网络安全威胁，从身份泄露和网络钓鱼到勒索软件和供应链攻击。

首席信息安全官和安全团队需要了解人工智能的优势和风险，这需要对技能进行实质性的重新平衡。例如，安全工程师必须掌握机器学习、模型质量和偏差、置信水平和性能指标的基础知识。数据科学家需要学习网络安全基础知识、攻击模式和风险建模，以便有效地为混合团队做出贡献。

人工智能模型需要适当的训练来协助网络安全

应对人工智能引发的威胁激增的任务给首席信息安全官和已经超负荷工作的安全团队带来了更大的挑战，他们不仅要应对由人工智能精心策划的新的复杂网络钓鱼活动，大语言模型 (LLM) 就像 ChatGPT，但仍然需要担心 DMZ 中未打补丁的服务器可能会构成更大的威胁。

另一方面，人工智能可以在风险评估和检测威胁方面为团队节省大量时间和精力。它还可以帮助做出反应——尽管必须小心行事。人工智能模型可以帮助分析师了解他们如何对事件进行分类，然后自行执行这些任务或对案例进行优先级排序以供人工审查。但团队需要确保由合适的人发出人工智能指令。

例如，几年前，我进行了一项实验，让 10 名不同技能水平的分析师审查 100 个可疑数据泄露案例。两名高级分析师正确识别了所有正面和负面的情况，三名经验不足的分析师几乎所有情况都错了，剩下的五名分析师得到了随机结果。一个AI模型再好，如果由这样的团队来训练也是没有用的。

人工智能就像一辆强大的汽车：它可以在经验丰富的驾驶员手中创造奇迹，也可以在缺乏经验的驾驶员手中造成大量损坏。这是技能短缺可能影响人工智能网络安全影响的领域之一。

CTO 如何选择 AI 解决方案？

鉴于人工智能的大肆宣传，组织可能会忍不住急于采用该技术。但除了正确训练人工智能之外，首席技术官还需要回答一些问题，首先是适用性问题：

人工智能是否适合组织的生态系统？这包括平台、数据库和搜索引擎等外部组件、免费和开源软件和许可，以及组织的安全性和认证、备份和故障转移。
人工智能能否适应企业规模？
安全团队需要哪些技能来维护和操作人工智能？

首席技术官还必须解决专门针对人工智能解决方案的问题：

特定人工智能产品所声称的哪些功能符合您的业务目标？
使用现有工具可以实现相同的功能吗？
该解决方案是否真正检测到威胁？

最后一个问题可能很难回答，因为与合法活动相比，恶意网络安全事件的发生规模微乎其微。在使用实时数据的有限概念验证研究中，如果什么都没有，人工智能工具可能什么也检测不到。供应商经常使用合成数据或红队攻击来证明人工智能的能力，但问题仍然是它是在证明真正的检测能力还是只是验证生成指标的假设。

很难确定为什么人工智能认为某件事是攻击，因为人工智能算法本质上是黑匣子，仍然无法解释它们如何得出某个结论——正如 DARPA 所证明的那样可解释的人工智能 (XAI) 程序。

降低人工智能的风险

人工智能解决方案的好坏取决于它所处理的数据。为了确保道德行为，人工智能模型应该接受道德数据的训练，而不是万维网上大规模垃圾收集的训练。任何数据科学家都知道，生成一个均衡、无偏见、干净的数据集来训练模型是一项困难、乏味且乏味的任务。

因此，包括法学硕士在内的人工智能模型最终可能会以类似于它们最好地服务于网络安全的方式进行管理——作为服务于特定领域并接受训练的专门模型（而不是“无所不知”的通用模型）。由该领域的主题专家整理的数据。

试图针对当前媒体的强烈抗议而审查人工智能并不能解决问题。只有勤奋创建可靠的数据集才能做到这一点。在人工智能公司以及支持它们的风险投资公司接受这种方法作为提供受人尊敬的内容的唯一方法之前，它是垃圾输入/垃圾输出。

人工智能的发展应该受到更多监管吗？

AI的发展产生了很多合理的关注从深度伪造和语音克隆到高级网络钓鱼/网络钓鱼/网络钓鱼、杀手机器人，甚至是人工智能启示录。通用人工智能 (AGI) 领域最受尊敬的人物之一埃利泽·尤德科斯基 (Eliezer Yudkowsky) 最近发出呼吁：“全部关闭，”他说提议的六个月暂停是不够的。

但你无法阻止新技术的发展，这一事实自古代炼金术士时代以来就已显而易见。那么，从实际角度来看，可以采取哪些措施来防止人工智能发展失控并降低人工智能驱动的灭绝事件的风险呢？答案是许多其他领域采用的相同控制措施有可能武器化：

透明的研究。 开源人工智能开发不仅推动创新和民主化访问，而且还具有许多安全优势，从发现安全缺陷和危险的开发路线到创建针对潜在滥用的防御措施。到目前为止，大型科技公司都支持开源工作，但如果竞争加剧，这种情况可能会改变。可能需要采取立法措施来保留开源访问权限。
包含实验。 所有使用足够先进的人工智能的实验都需要进行沙盒化，并严格执行安全程序。这些措施并非万无一失，但可能会导致局部骚乱和全球灾难。
终止开关。 就像解毒剂和疫苗一样，针对失控或破坏性人工智能变体的对策需要成为开发过程中不可或缺的一部分。甚至勒索软件创建者也内置了终止开关。
规范其使用方式。 人工智能是一项可以为人类造福的技术，也可以被滥用而带来灾难性的后果。监管其应用程序是世界各国政府的一项任务，其紧迫性远高于审查下一版本 ChatGPT 的需要。这欧盟人工智能法案是一个精心设计、简洁的基础，旨在防止滥用而不扼杀创新。美国人工智能权利法案最近的人工智能行政命令不太具体，似乎更关注政治正确性，而不是适当的模型开发、培训和遏制问题。然而，这些措施只是一个开始。

结论

无论 CISO 是否愿意，人工智能都将进入网络安全领域，它将给网络安全领域带来巨大的好处和风险，特别是随着人工智能的最终到来后量子密码学。至少，首席信息安全官应该花时间了解人工智能炒作工具的好处以及人工智能驱动的攻击的威胁。他们是否在人工智能上投入资金很大程度上取决于人工智能安全产品的实际好处、人工智能攻击的公开后果以及在一定程度上他们对 ChatGPT 的个人体验。

CISO 面临的挑战是如何有效、负责任地实施人工智能。