Coinbase: ChatGPT opfylder ikke nøjagtighedskrav til integration i sikkerhedsgennemgangsprocessen

Genudgivet af Platon

Abonnenter: 0

Coinbase sagde, at det ikke ville integrere det populære kunstige intelligens-værktøj ChatGPT i sin sikkerhedsgennemgangsproces, fordi det ikke opfylder dets nøjagtighedskrav.

Coinbase brugte ChatGPT til at teste sikkerhedsstandarderne for 20 unavngivne ERC-20-tokens. Resultaterne af testene viste, at værktøjet viste "løfte for dets evne til hurtigt at vurdere smarte kontraktrisici."

Men da ChatGPT-resultaterne blev sammenlignet med Coinbase-sikkerhedsteamets manuelle gennemgang, gav maskinen otte forkerte svar - hvoraf fem var den værste fejl.

En opdeling af disse fejl viste, at ChatGPT fejlagtigt mærkede højrisikoaktiver som lavrisiko. Coinbase bemærkede, at "at undervurdere en risikoscore er langt mere skadeligt end at overvurdere."

Coinbase sikkerhedsteam sagde det havde først lært ChatGPT, hvordan man udfører sikkerhedsanalysen ved hjælp af dets format. Maskinen har dog stadig fejlmærket disse risici, fordi den ikke kan genkende "når den mangler kontekst til at udføre robust sikkerhedsanalyse."

Udover det var ChatGPT-svar også inkonsekvente, når de blev stillet det samme spørgsmål gentagne gange. Coinbase sagde, at AI-værktøjet var "påvirket af kommentarer i koden og så ud til at være standard til kommentarer i stedet for funktionslogik lejlighedsvis."

Coinbase konkluderede, at:

"Mens ChatGPT viser løfte om sin evne til hurtigt at vurdere smarte kontraktrisici, opfylder det ikke nøjagtighedskravene for at blive integreret i Coinbase sikkerhedsgennemgangsprocesser."

I mellemtiden repræsenterer dette eksperiment endnu et eksempel på potentiale applikationer af ChatGPT og dens seneste version, GPT-4. AI-værktøjet har vundet popularitet for dets menneskelignende svar og høje score i store eksamener.

Krypto-entusiaster har også fremhævet dets evne til at gennemgå Ethereums smarte kontrakter, identificere sårbarheder og måder at udnytte koden på. Coinbase-direktør Conor Grogan bemærkede dette i en Twitter-tråd, hvor maskinen "fremhævede en række sikkerhedssårbarheder og pegede på overfladeområder, hvor kontrakten kunne udnyttes."

Flere blockchain-udviklere mener, at værktøjet kan hjælpe dem i deres arbejde, men ser det ikke erstatte mennesker.