Coinbase: ChatGPT не відповідає вимогам щодо точності для інтеграції в процес перевірки безпеки

Перевидано Платоном

читають: 0

Coinbase заявила, що не буде інтегрувати популярний інструмент штучного інтелекту ChatGPT у свій процес перевірки безпеки, оскільки він не відповідає вимогам щодо точності.

Coinbase використовував ChatGPT для перевірки стандартів безпеки 20 безіменних токенів ERC-20. Результати тестів показали, що інструмент продемонстрував «обіцяючу здатність швидко оцінювати ризики смарт-контракту».

Однак, коли результати ChatGPT порівнювали з перевіркою вручну команди безпеки Coinbase, машина дала вісім неправильних відповідей — п’ять із яких були найгіршою помилкою.

Розбивка цих помилок показала, що ChatGPT неправильно позначив високоризикові активи як низькоризикові. Coinbase зазначив, що «недооцінка оцінки ризику є набагато більш шкідливою, ніж переоцінка».

Команда безпеки Coinbase сказав вона вперше навчила ChatGPT, як проводити аналіз безпеки за допомогою свого формату. Однак машина все одно неправильно позначила ці ризики, оскільки не може розпізнати, «коли їй бракує контексту для виконання надійного аналізу безпеки».

Крім того, відповіді ChatGPT також були непослідовними, коли повторювали одне й те саме запитання. У Coinbase заявили, що на інструмент штучного інтелекту «вплинули коментарі в коді, і, схоже, час від часу він використовує коментарі, а не функціональну логіку».

Coinbase прийшов до висновку, що:

«Хоча ChatGPT демонструє багатообіцяючу здатність швидко оцінювати ризики смарт-контрактів, він не відповідає вимогам точності для інтеграції в процеси перевірки безпеки Coinbase».

Тим часом цей експеримент є ще одним прикладом потенціалу застосування ChatGPT і його останню версію, ГПТ-4. Інструмент штучного інтелекту набув популярності завдяки відповідям, схожим на людину, і високим балам на основних іспитах.

Крипто-ентузіасти також підкреслили його здатність переглядати смарт-контракти Ethereum, виявляти вразливості та способи використання коду. Директор Coinbase Конор Гроган зазначив, це в ланцюжку Twitter, де машина «підкреслила низку вразливостей безпеки та вказала на поверхні, де контракт може бути використаний».

Кілька розробників блокчейнів вважають, що інструмент може допомогти їм у їхній роботі, але не бачать, що він замінить людей.