Coinbase : ChatGPT ne répond pas aux exigences de précision pour l'intégration dans le processus d'examen de sécurité

Republié par Platon

Suiveurs: 0

Coinbase a déclaré qu'il n'intégrerait pas l'outil d'intelligence artificielle populaire ChatGPT dans son processus d'examen de la sécurité car il ne répond pas à ses exigences de précision.

Coinbase a utilisé ChatGPT pour tester les normes de sécurité de 20 jetons ERC-20 sans nom. Les résultats des tests ont montré que l'outil était "prometteur pour sa capacité à évaluer rapidement les risques des contrats intelligents".

Cependant, lorsque les résultats de ChatGPT ont été comparés à l'examen manuel de l'équipe de sécurité de Coinbase, la machine a donné huit réponses incorrectes, dont cinq étaient la pire des pannes.

Une ventilation de ces erreurs a montré que ChatGPT étiquetait à tort les actifs à haut risque comme à faible risque. Coinbase a noté que "sous-estimer un score de risque est beaucoup plus préjudiciable que de surestimer".

Équipe de sécurité Coinbase a affirmé Valérie Plante. il avait d'abord appris à ChatGPT comment effectuer l'analyse de sécurité en utilisant son format. Cependant, la machine a toujours mal étiqueté ces risques car elle ne peut pas reconnaître "quand elle manque de contexte pour effectuer une analyse de sécurité robuste".

En plus de cela, les réponses ChatGPT étaient également incohérentes lorsqu'on posait la même question à plusieurs reprises. Coinbase a déclaré que l'outil d'IA était "influencé par les commentaires dans le code et semblait utiliser par défaut les commentaires plutôt que la logique de fonction occasionnellement".

Coinbase a conclu que :

"Bien que ChatGPT soit prometteur pour sa capacité à évaluer rapidement les risques des contrats intelligents, il ne répond pas aux exigences de précision à intégrer dans les processus d'examen de la sécurité de Coinbase."

En attendant, cette expérience représente un autre exemple de potentiel applications de ChatGPT et sa dernière version, GPT-4. L'outil d'IA a gagné en popularité pour ses réponses de type humain et ses scores élevés aux principaux examens.

Les passionnés de crypto ont également souligné sa capacité à examiner les contrats intelligents Ethereum, en identifiant les vulnérabilités et les moyens d'exploiter le code. Conor Grogan, directeur de Coinbase noté ceci dans un fil Twitter où la machine "a mis en évidence un certain nombre de vulnérabilités de sécurité et a souligné les zones de surface où le contrat pourrait être exploité".

Plusieurs développeurs de blockchain pensent que l'outil pourrait les aider dans leur travail mais ne le voient pas remplacer les humains.