Coinbase:ChatGPT 不符合集成到安全审查流程的准确性要求

Coinbase:ChatGPT 不符合集成到安全审查流程的准确性要求

源节点: 2021929

Ad

CoinDesk 共识CoinDesk 共识

Coinbase 表示不会将流行的人工智能工具 ChatGPT 整合到其安全审查流程中,因为它不符合其准确性要求。

Coinbase 使用 ChatGPT 测试了 20 个未命名的 ERC-20 代币的安全标准。 测试结果表明,该工具“有望快速评估智能合约风险的能力”。

然而,当将 ChatGPT 结果与 Coinbase 安全团队的人工审查进行比较时,机器给出了八个错误答案——其中五个是最坏情况下的失败。

这些错误的细分表明,ChatGPT 错误地将高风险资产标记为低风险资产。 Coinbase 指出,“低估风险评分比高估更有害。”

Coinbase 安全团队 说过 它首先教会了 ChatGPT 如何使用其格式进行安全分析。 然而,机器仍然错误地标记了这些风险,因为它无法识别“当它缺乏上下文来执行强大的安全分析时”。

除此之外,当重复询问同一个问题时,ChatGPT 的回答也不一致。 Coinbase 表示,该人工智能工具“受到代码注释的影响,似乎偶尔会默认注释而不是功能逻辑。”

Coinbase 的结论是:

“虽然 ChatGPT 显示出其快速评估智能合约风险的能力,但它不符合集成到 Coinbase 安全审查流程中的准确性要求。”

同时,这个实验代表了另一个潜在的例子 应用领域 ChatGPT 及其最新版本, GPT-4。 人工智能工具因其类似人类的反应和在主要考试中的高分而受到欢迎。

加密爱好者还强调了其审查以太坊智能合约、识别漏洞和利用代码的方法的能力。 Coinbase 总监 Conor Grogan 注意到 这是在一个 Twitter 线程中,机器“突出了一些安全漏洞,并指出了可以利用合约的表面区域。”

一些区块链开发人员认为该工具可以帮助他们完成工作,但认为它不会取代人类。

时间戳记:

更多来自 CryptoSlate