Coinbase: ChatGPT nu îndeplinește cerințele de acuratețe pentru integrarea în procesul de evaluare a securității

Republicat de Platon

Urmaritori: 0

Coinbase a declarat că nu va integra popularul instrument de inteligență artificială ChatGPT în procesul său de evaluare a securității, deoarece nu își îndeplinește cerințele de acuratețe.

Coinbase a folosit ChatGPT pentru a testa standardele de securitate a 20 de jetoane ERC-20 fără nume. Rezultatele testelor au arătat că instrumentul a arătat „promisiune pentru capacitatea sa de a evalua rapid riscurile contractelor inteligente”.

Cu toate acestea, când rezultatele ChatGPT au fost comparate cu revizuirea manuală a echipei de securitate Coinbase, aparatul a dat opt răspunsuri incorecte - dintre care cinci au fost cel mai rău caz.

O defalcare a acestor erori a arătat că ChatGPT a etichetat incorect activele cu risc ridicat ca fiind cu risc scăzut. Coinbase a remarcat că „subestimarea unui scor de risc este mult mai dăunătoare decât supraestimarea”.

Echipa de securitate Coinbase a spus mai întâi a învățat ChatGPT cum să efectueze analiza de securitate folosind formatul său. Cu toate acestea, aparatul a etichetat în continuare aceste riscuri, deoarece nu poate recunoaște „când îi lipsește contextul pentru a efectua o analiză robustă de securitate”.

În plus, răspunsurile ChatGPT au fost, de asemenea, inconsecvente atunci când au fost puse aceeași întrebare în mod repetat. Coinbase a spus că instrumentul AI a fost „influențat de comentariile din cod și părea să folosească implicit comentarii, mai degrabă decât să funcționeze logica ocazional”.

Coinbase a concluzionat că:

„În timp ce ChatGPT arată promițător pentru capacitatea sa de a evalua rapid riscurile contractelor inteligente, nu îndeplinește cerințele de acuratețe pentru a fi integrat în procesele de revizuire a securității Coinbase.”

Între timp, acest experiment reprezintă un alt exemplu de potențial aplicatii de ChatGPT și cea mai recentă versiune, GPT-4. Instrumentul AI a câștigat popularitate pentru răspunsurile sale de tip uman și scorurile mari la examenele majore.

Pasionații de cripto-uri au evidențiat și capacitatea sa de a revizui contractele inteligente Ethereum, identificând vulnerabilități și modalități de exploatare a codului. Directorul Coinbase, Conor Grogan notat asta într-un thread de Twitter în care aparatul „a evidențiat o serie de vulnerabilități de securitate și a subliniat zonele de suprafață în care contractul ar putea fi exploatat”.

Mai mulți dezvoltatori de blockchain cred că instrumentul i-ar putea ajuta în munca lor, dar nu văd că înlocuiește oamenii.