Coinbase: ChatGPT は、セキュリティレビュープロセスに統合するための精度要件を満たしていません

プラトン再発行

フォロワー： 0

Coinbase は、人気の人工知能ツールである ChatGPT は精度要件を満たしていないため、セキュリティレビュープロセスに統合しないと述べています。

Coinbase は ChatGPT を使用して、名前のない 20 個の ERC-20 トークンのセキュリティ基準をテストしました。テストの結果、このツールは「スマートコントラクトのリスクを迅速に評価する能力に有望」であることが示されました。

しかし、ChatGPT の結果を Coinbase セキュリティチームのマニュアルレビューと比較すると、マシンは XNUMX つの間違った回答を返しました。

これらのエラーの内訳は、ChatGPT が高リスク資産を低リスクと誤ってラベル付けしたことを示しました。 Coinbase は、「リスクスコアを過小評価することは、過大評価するよりもはるかに有害である」と述べています。

コインベースセキュリティチームと最初に ChatGPT に、その形式を使用してセキュリティ分析を行う方法を教えました。ただし、「堅牢なセキュリティ分析を実行するためのコンテキストが不足している場合」を認識できないため、マシンはこれらのリスクを誤って分類しました。

それに加えて、同じ質問を繰り返したときの ChatGPT の応答も一貫していませんでした。 Coinbase は、AI ツールは「コード内のコメントの影響を受けており、関数ロジックではなくコメントがデフォルトになっているように見えることがある」と述べています。

Coinbase は次のように結論付けました。

「ChatGPT は、スマートコントラクトのリスクを迅速に評価する能力に期待を示していますが、Coinbase のセキュリティレビュープロセスに統合するための精度要件を満たしていません。」

一方、この実験は潜在的な別の例を表しています ChatGPT とその最新バージョンの GPT-4。 AI ツールは、人間のような応答と主要な試験での高得点で人気を博しています。

暗号愛好家は、イーサリアムのスマートコントラクトをレビューし、脆弱性とコードを悪用する方法を特定する能力も強調しています。コインベースのディレクター、コナー・グローガン注意これは、マシンが「多くのセキュリティの脆弱性を強調し、コントラクトが悪用される可能性のある表面領域を指摘した」Twitter スレッドでした。

一部のブロックチェーン開発者は、このツールが自分たちの仕事に役立つと信じていますが、それが人間に取って代わるとは考えていません。