Coinbase: Το ChatGPT δεν πληροί τις απαιτήσεις ακρίβειας για ενσωμάτωση στη διαδικασία ελέγχου ασφαλείας

Αναδημοσίευση από τον Πλάτωνα

Ακολουθούν: 0

Η Coinbase είπε ότι δεν θα ενσωματώσει το δημοφιλές εργαλείο τεχνητής νοημοσύνης ChatGPT στη διαδικασία ελέγχου ασφαλείας, επειδή δεν πληροί τις απαιτήσεις ακρίβειας.

Η Coinbase χρησιμοποίησε το ChatGPT για να δοκιμάσει τα πρότυπα ασφαλείας 20 ανώνυμων κουπονιών ERC-20. Τα αποτελέσματα των δοκιμών έδειξαν ότι το εργαλείο έδειξε «υπόσχεση για την ικανότητά του να αξιολογεί γρήγορα τους κινδύνους έξυπνων συμβολαίων».

Ωστόσο, όταν τα αποτελέσματα του ChatGPT συγκρίθηκαν με τη μη αυτόματη ανασκόπηση της ομάδας ασφαλείας του Coinbase, το μηχάνημα έδωσε οκτώ λανθασμένες απαντήσεις — πέντε από τις οποίες ήταν η χειρότερη αποτυχία.

Μια ανάλυση αυτών των σφαλμάτων έδειξε ότι το ChatGPT επισήμανε εσφαλμένα στοιχεία υψηλού κινδύνου ως χαμηλού κινδύνου. Η Coinbase σημείωσε ότι «η υποτίμηση μιας βαθμολογίας κινδύνου είναι πολύ πιο επιζήμια από την υπερεκτίμηση».

Ομάδα ασφαλείας Coinbase είπε είχε αρχικά διδάξει στο ChatGPT πώς να διεξάγει την ανάλυση ασφάλειας χρησιμοποιώντας τη μορφή του. Ωστόσο, το μηχάνημα εξακολουθούσε να ονομάζει αυτούς τους κινδύνους, επειδή δεν μπορεί να αναγνωρίσει «πότε δεν του λείπει το πλαίσιο για την εκτέλεση ισχυρών αναλύσεων ασφαλείας».

Εκτός αυτού, οι απαντήσεις του ChatGPT ήταν επίσης ασυνεπείς όταν τέθηκαν επανειλημμένα η ίδια ερώτηση. Η Coinbase είπε ότι το εργαλείο τεχνητής νοημοσύνης «επηρεάστηκε από σχόλια στον κώδικα και φαινόταν να έχει ως προεπιλογή σχόλια αντί να λειτουργεί περιστασιακά στη λογική».

Η Coinbase κατέληξε στο συμπέρασμα ότι:

«Ενώ το ChatGPT δείχνει υπόσχεση για την ικανότητά του να αξιολογεί γρήγορα τους κινδύνους έξυπνων συμβολαίων, δεν πληροί τις απαιτήσεις ακρίβειας για να ενσωματωθεί στις διαδικασίες ελέγχου ασφαλείας του Coinbase».

Εν τω μεταξύ, αυτό το πείραμα αντιπροσωπεύει ένα άλλο παράδειγμα δυναμικού εφαρμογές του ChatGPT και της πιο πρόσφατης έκδοσής του, GPT-4. Το εργαλείο AI έχει κερδίσει δημοτικότητα για τις ανθρώπινες αποκρίσεις και τις υψηλές βαθμολογίες του σε μεγάλες εξετάσεις.

Οι λάτρεις των κρυπτογράφησης έχουν επίσης τονίσει την ικανότητά του να επανεξετάζει τα έξυπνα συμβόλαια Ethereum, εντοπίζοντας τρωτά σημεία και τρόπους εκμετάλλευσης του κώδικα. Ο διευθυντής του Coinbase Conor Grogan Σημειώνεται αυτό σε ένα νήμα στο Twitter όπου το μηχάνημα «επισήμανε μια σειρά από ευπάθειες ασφαλείας και επεσήμανε περιοχές επιφάνειας όπου θα μπορούσε να γίνει εκμετάλλευση της σύμβασης».

Αρκετοί προγραμματιστές blockchain πιστεύουν ότι το εργαλείο θα μπορούσε να τους βοηθήσει στη δουλειά τους, αλλά δεν το βλέπουν να αντικαθιστά τους ανθρώπους.