Coinbase: ChatGPT oppfyller ikke nøyaktighetskravene for integrering i sikkerhetsgjennomgangsprosessen

Publisert av Platon

Følgere: 0

Coinbase sa at det ikke ville integrere det populære kunstige intelligensverktøyet ChatGPT i sikkerhetsgjennomgangsprosessen fordi det ikke oppfyller nøyaktighetskravene.

Coinbase brukte ChatGPT for å teste sikkerhetsstandardene til 20 navngitte ERC-20-tokens. Resultatene av testene viste at verktøyet viste "løfte for sin evne til raskt å vurdere smart kontraktsrisiko."

Men da ChatGPT-resultatene ble sammenlignet med Coinbase-sikkerhetsteamets manuelle gjennomgang, ga maskinen åtte feil svar - hvorav fem var den verste feilen.

En oversikt over disse feilene viste at ChatGPT feilaktig merket høyrisiko-eiendeler som lavrisiko. Coinbase bemerket at "å undervurdere en risikoscore er langt mer skadelig enn å overvurdere."

Coinbase sikkerhetsteam sa den hadde først lært ChatGPT hvordan man utfører sikkerhetsanalysen ved å bruke formatet. Maskinen har imidlertid fortsatt feilmerket disse risikoene fordi den ikke kan gjenkjenne "når den mangler kontekst for å utføre robust sikkerhetsanalyse."

Utenom det var ChatGPT-svar også inkonsekvente når de ble spurt om det samme spørsmålet gjentatte ganger. Coinbase sa at AI-verktøyet ble "påvirket av kommentarer i koden og så ut til å bruke kommentarer som standard i stedet for funksjonslogikk av og til."

Coinbase konkluderte med at:

"Selv om ChatGPT viser løfte for sin evne til raskt å vurdere smarte kontraktsrisikoer, oppfyller den ikke nøyaktighetskravene for å bli integrert i Coinbase sikkerhetsgjennomgangsprosesser."

I mellomtiden representerer dette eksperimentet et annet eksempel på potensial søknader av ChatGPT og dens nyeste versjon, GPT-4. AI-verktøyet har vunnet popularitet for sine menneskelignende svar og høye poengsum i store eksamener.

Krypto-entusiaster har også fremhevet dens evne til å gjennomgå Ethereums smarte kontrakter, identifisere sårbarheter og måter å utnytte koden på. Coinbase-direktør Conor Grogan bemerket dette i en Twitter-tråd der maskinen "fremhevet en rekke sikkerhetssårbarheter og pekte ut overflateområder hvor kontrakten kunne utnyttes."

Flere blokkjedeutviklere tror at verktøyet kan hjelpe dem i arbeidet, men ser ikke at det erstatter mennesker.