Coinbase: ChatGPT erfüllt nicht die Genauigkeitsanforderungen für die Integration in den Sicherheitsüberprüfungsprozess

Neuauflage von Plato

Verfolger: 0

Coinbase sagte, es würde das beliebte Tool für künstliche Intelligenz ChatGPT nicht in seinen Sicherheitsüberprüfungsprozess integrieren, da es seine Genauigkeitsanforderungen nicht erfüllt.

Coinbase verwendete ChatGPT, um die Sicherheitsstandards von 20 unbenannten ERC-20-Token zu testen. Die Ergebnisse der Tests zeigten, dass das Tool „vielversprechend für seine Fähigkeit zur schnellen Bewertung von Smart-Contract-Risiken“ war.

Als die ChatGPT-Ergebnisse jedoch mit der manuellen Überprüfung des Coinbase-Sicherheitsteams verglichen wurden, gab die Maschine acht falsche Antworten – fünf davon waren die schlimmsten Ausfälle.

Eine Aufschlüsselung dieser Fehler zeigte, dass ChatGPT risikoreiche Assets fälschlicherweise als risikoarm bezeichnete. Coinbase bemerkte, dass „eine Unterschätzung einer Risikobewertung weitaus schädlicher ist als eine Überschätzung“.

Coinbase-Sicherheitsteam sagte es hatte ChatGPT zuerst beigebracht, wie man die Sicherheitsanalyse mit seinem Format durchführt. Die Maschine hat diese Risiken jedoch immer noch falsch gekennzeichnet, weil sie nicht erkennen kann, „wenn ihr der Kontext fehlt, um eine robuste Sicherheitsanalyse durchzuführen“.

Außerdem waren die ChatGPT-Antworten auch inkonsistent, wenn dieselbe Frage wiederholt gestellt wurde. Coinbase sagte, das KI-Tool sei „von Kommentaren im Code beeinflusst und schien gelegentlich eher auf Kommentare als auf Funktionslogik zu setzen“.

Coinbase kam zu dem Schluss:

„Während ChatGPT vielversprechend für seine Fähigkeit ist, Smart-Contract-Risiken schnell zu bewerten, erfüllt es nicht die Genauigkeitsanforderungen, um in Coinbase-Sicherheitsüberprüfungsprozesse integriert zu werden.“

In der Zwischenzeit stellt dieses Experiment ein weiteres Beispiel für Potenzial dar Anwendungen von ChatGPT und seiner neuesten Version, GPT-4. Das KI-Tool hat aufgrund seiner menschenähnlichen Antworten und hohen Punktzahlen bei wichtigen Prüfungen an Popularität gewonnen.

Krypto-Enthusiasten haben auch ihre Fähigkeit hervorgehoben, Ethereum Smart Contracts zu überprüfen, Schwachstellen und Möglichkeiten zur Ausnutzung des Codes zu identifizieren. Coinbase-Direktor Conor Grogan bekannt Dies in einem Twitter-Thread, in dem die Maschine „eine Reihe von Sicherheitslücken hervorhob und auf Oberflächenbereiche hinwies, in denen der Vertrag ausgenutzt werden könnte“.

Mehrere Blockchain-Entwickler glauben, dass das Tool sie bei ihrer Arbeit unterstützen könnte, sehen aber nicht, dass es den Menschen ersetzt.