Coinbase: ChatGPT não atende aos requisitos de precisão para integração no processo de revisão de segurança

A Coinbase disse que não integraria a popular ferramenta de inteligência artificial ChatGPT em seu processo de revisão de segurança porque não atende aos requisitos de precisão.

A Coinbase usou o ChatGPT para testar os padrões de segurança de 20 tokens ERC-20 sem nome. Os resultados dos testes mostraram que a ferramenta se mostrou “promissora por sua capacidade de avaliar rapidamente os riscos de contratos inteligentes”.

No entanto, quando os resultados do ChatGPT foram comparados com a revisão manual da equipe de segurança da Coinbase, a máquina deu oito respostas incorretas - cinco das quais foram o pior caso de falha.

Uma análise desses erros mostrou que o ChatGPT rotulou incorretamente os ativos de alto risco como de baixo risco. A Coinbase observou que “subestimar uma pontuação de risco é muito mais prejudicial do que superestimar”.

Equipe de segurança da Coinbase dito primeiro ensinou ao ChatGPT como conduzir a análise de segurança usando seu formato. No entanto, a máquina ainda rotulou erroneamente esses riscos porque não consegue reconhecer “quando falta contexto para realizar uma análise de segurança robusta”.

Além disso, as respostas do ChatGPT também foram inconsistentes quando feitas a mesma pergunta repetidamente. A Coinbase disse que a ferramenta de IA foi “influenciada por comentários no código e parecia usar comentários como padrão em vez de lógica de função ocasionalmente”.

A Coinbase concluiu que:

“Embora o ChatGPT seja promissor por sua capacidade de avaliar rapidamente os riscos de contratos inteligentes, ele não atende aos requisitos de precisão para ser integrado aos processos de revisão de segurança da Coinbase.”

Entretanto, esta experiência representa outro exemplo de potencial aplicações do ChatGPT e sua versão mais recente, GPT-4. A ferramenta de IA ganhou popularidade por suas respostas semelhantes às humanas e altas pontuações nos principais exames.

Os entusiastas da criptografia também destacaram sua capacidade de revisar os contratos inteligentes da Ethereum, identificando vulnerabilidades e formas de explorar o código. Diretor da Coinbase, Conor Grogan notado isso em um tópico do Twitter onde a máquina “destacou uma série de vulnerabilidades de segurança e apontou áreas de superfície onde o contrato poderia ser explorado”.

Vários desenvolvedores de blockchain acreditam que a ferramenta pode ajudá-los em seu trabalho, mas não a veem substituindo os humanos.

• Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
• Platoblockchain. Inteligência Metaverso Web3. Conhecimento Ampliado. Acesse aqui.
• Fonte: https://cryptoslate.com/coinbase-chatgpt-doesnt-meet-accuracy-requirements-for-integration-into-security-review-process/