Coinbase: ChatGPT non soddisfa i requisiti di accuratezza per l'integrazione nel processo di revisione della sicurezza

Ripubblicato da Platone

Seguaci: 0

Coinbase ha affermato che non integrerà il popolare strumento di intelligenza artificiale ChatGPT nel suo processo di revisione della sicurezza perché non soddisfa i suoi requisiti di precisione.

Coinbase ha utilizzato ChatGPT per testare gli standard di sicurezza di 20 token ERC-20 senza nome. I risultati dei test hanno mostrato che lo strumento ha mostrato "una promessa per la sua capacità di valutare rapidamente i rischi dei contratti intelligenti".

Tuttavia, quando i risultati di ChatGPT sono stati confrontati con la revisione manuale del team di sicurezza di Coinbase, la macchina ha fornito otto risposte errate, cinque delle quali erano il caso peggiore.

Una ripartizione di questi errori ha mostrato che ChatGPT ha erroneamente etichettato le risorse ad alto rischio come a basso rischio. Coinbase ha osservato che "sottovalutare un punteggio di rischio è molto più dannoso che sopravvalutare".

Team di sicurezza di Coinbase disse aveva prima insegnato a ChatGPT come condurre l'analisi della sicurezza utilizzando il suo formato. Tuttavia, la macchina ha ancora etichettato erroneamente questi rischi perché non è in grado di riconoscere "quando manca il contesto per eseguire una solida analisi di sicurezza".

Oltre a ciò, anche le risposte di ChatGPT erano incoerenti quando veniva posta ripetutamente la stessa domanda. Coinbase ha affermato che lo strumento di intelligenza artificiale è stato "influenzato dai commenti nel codice e occasionalmente sembrava essere predefinito per i commenti piuttosto che per la logica di funzionamento".

Coinbase ha concluso che:

"Sebbene ChatGPT si mostri promettente per la sua capacità di valutare rapidamente i rischi dei contratti intelligenti, non soddisfa i requisiti di accuratezza per essere integrato nei processi di revisione della sicurezza di Coinbase."

Nel frattempo, questo esperimento rappresenta un altro esempio di potenzialità applicazioni di ChatGPT e della sua ultima versione, GPT-4. Lo strumento AI ha guadagnato popolarità per le sue risposte simili a quelle umane e i punteggi più alti nei principali esami.

Gli appassionati di criptovalute hanno anche evidenziato la sua capacità di rivedere i contratti intelligenti di Ethereum, identificando vulnerabilità e modi per sfruttare il codice. Conor Grogan, direttore di Coinbase noto questo in un thread di Twitter in cui la macchina "ha evidenziato una serie di vulnerabilità di sicurezza e ha indicato aree di superficie in cui il contratto potrebbe essere sfruttato".

Diversi sviluppatori di blockchain credono che lo strumento possa aiutarli nel loro lavoro, ma non lo vedono sostituire gli umani.