Coinbase: ChatGPT не соответствует требованиям точности для интеграции в процесс проверки безопасности

Переиздано Платоном

Читают: 0

Coinbase заявила, что не будет интегрировать популярный инструмент искусственного интеллекта ChatGPT в свой процесс проверки безопасности, поскольку он не соответствует его требованиям к точности.

Coinbase использовала ChatGPT для проверки стандартов безопасности 20 неназванных токенов ERC-20. Результаты тестов показали, что инструмент показал «многообещающую способность быстро оценивать риски смарт-контрактов».

Однако, когда результаты ChatGPT сравнили с ручной проверкой команды безопасности Coinbase, машина дала восемь неверных ответов, пять из которых были сбоем в худшем случае.

Разбивка этих ошибок показала, что ChatGPT неправильно пометил активы с высоким уровнем риска как активы с низким уровнем риска. Coinbase отметила, что «недооценка оценки риска гораздо более вредна, чем переоценка».

Команда безопасности Coinbase — сказал сначала он научил ChatGPT проводить анализ безопасности, используя его формат. Однако машина по-прежнему неправильно помечала эти риски, потому что не могла распознать, «когда ей не хватает контекста для проведения надежного анализа безопасности».

Кроме того, ответы ChatGPT также были непоследовательными, когда им неоднократно задавали один и тот же вопрос. Coinbase заявила, что на инструмент искусственного интеллекта «влияли комментарии в коде, и, похоже, иногда по умолчанию использовались комментарии, а не логика функций».

Coinbase пришла к выводу, что:

«Хотя ChatGPT демонстрирует многообещающую способность быстро оценивать риски смарт-контрактов, он не соответствует требованиям к точности для интеграции в процессы проверки безопасности Coinbase».

Между тем, этот эксперимент представляет собой еще один пример потенциального Приложения ChatGPT и его последней версии, ГПТ-4. Инструмент ИИ завоевал популярность благодаря своим человеческим ответам и высоким баллам на основных экзаменах.

Криптоэнтузиасты также подчеркнули его способность проверять смарт-контракты Ethereum, выявляя уязвимости и способы использования кода. Директор Coinbase Конор Гроган отметил, это в ветке Twitter, где машина «выделила ряд уязвимостей в системе безопасности и указала на поверхности, где контракт может быть использован».

Некоторые разработчики блокчейнов считают, что этот инструмент может помочь им в работе, но не видят, что он заменит людей.