Χρειάζεστε μόνο στυλό και χαρτί για να ξεγελάσετε αυτόν τον κωδικό όρασης υπολογιστή OpenAI. Απλώς γράψτε ό, τι θέλετε να δει

Οι ερευνητές του OpenAI πιστεύουν ότι ανακάλυψαν έναν σοκαριστικά εύκολο τρόπο για να ξεγελάσουν το λογισμικό αναγνώρισης αντικειμένων τους και απαιτεί μόνο στυλό και χαρτί για να πραγματοποιηθεί.

Συγκεκριμένα, το πιο πρόσφατο μοντέλο υπολογιστικής όρασης του εργαστηρίου, CLIP, μπορεί να ξεγελαστεί από αυτό που περιγράφεται ως "τυπογραφική επίθεση". Απλώς γράψτε τις λέξεις «iPod» ή «πίτσα» σε λίγο χαρτί, κολλήστε το σε ένα μήλο και το λογισμικό θα ταξινομήσει λανθασμένα το φρούτο ως συσκευή αναπαραγωγής μουσικής Cupertino ή ως ένα νόστιμο πιάτο.

Δεν είναι το πιο έξυπνο εργαλείο στο κουτί. Πηγή: OpenAI. Κάντε κλικ για μεγέθυνση

«Πιστεύουμε ότι επιθέσεις όπως αυτές που περιγράφονται παραπάνω δεν είναι απλώς μια ακαδημαϊκή ανησυχία», τα όργανα πίσω από το CLIP είπε αυτή την εβδομάδα. «Αξιοποιώντας την ικανότητα του μοντέλου να διαβάζει έντονα κείμενο, διαπιστώνουμε ότι ακόμη και οι φωτογραφίες χειρόγραφου κειμένου μπορούν συχνά να ξεγελάσουν το μοντέλο». Πρόσθεσαν ότι «αυτή η επίθεση λειτουργεί στη φύση» και «δεν απαιτεί περισσότερη τεχνολογία από στυλό και χαρτί».

Το CLIP δεν είναι το μόνο τεχνητά ευφυές λογισμικό που πέφτει σε τέτοιες απλές γελοιότητες. Αποδείχθηκε ότι μπορείτε να χρησιμοποιήσετε κολλητική ταινία βλάκα τον αυτόματο πιλότο του Tesla να παρερμηνεύσει μια πινακίδα 35 μίλια/ώρα ως 85 μίλια/ώρα. Άλλες μορφές αυτών των λεγόμενων αντίθετων επιθέσεων, ωστόσο, απαιτούν κάποια τεχνική τεχνογνωσία για εκτέλεση: συνήθως περιλαμβάνει την προσθήκη θορύβου σε μια φωτογραφία ή τη δημιουργία ενός αυτοκόλλητη ετικέτα από προσεκτικά διατεταγμένα pixel για να κάνετε ένα λάθος σύστημα αναγνώρισης αντικειμένων, ας πούμε, μια μπανάνα για μια τοστιέρα. Στην περίπτωση του CLIP, ωστόσο, τίποτα από αυτά δεν είναι απαραίτητο.

Αρκεί να πούμε ότι το μοντέλο του OpenAI εκπαιδεύτηκε χρησιμοποιώντας εικόνες κειμένου καθώς και εικόνες αντικειμένων και άλλων πραγμάτων που ξύστηκαν από το Διαδίκτυο.

Πιστεύετε ότι το έξυπνο ρολόι σας είναι καλό για προειδοποίηση για καρδιακή προσβολή; Αποδεικνύεται ότι είναι εκπληκτικά εύκολο να ξεγελάσεις το AI του

ΔΙΑΒΆΣΤΕ ΠΕΡΙΣΣΌΤΕΡΑ

Αυτή η προσέγγιση υιοθετήθηκε έτσι ώστε το CLIP να παραμένει σχετικά γενικός σκοπός και να μπορεί να βελτιωθεί ανάλογα με τις ανάγκες για έναν συγκεκριμένο φόρτο εργασίας χωρίς να χρειάζεται επανεκπαίδευση. Με δεδομένη μια εικόνα, όχι μόνο μπορεί να προβλέψει το σωστό σύνολο ετικετών κειμένου που περιγράφουν τη σκηνή, αλλά μπορεί να επανατοποθετηθεί για αναζήτηση σε μεγάλες βάσεις δεδομένων εικόνων και να παρέχει λεζάντες.

Το CLIP είναι σε θέση να μάθει αφηρημένες έννοιες σε διαφορετικές αναπαραστάσεις, είπε η OpenAI. Για παράδειγμα, το μοντέλο μπορεί να αναγνωρίσει τον Spider-Man όταν ο υπερήρωας απεικονίζεται σε μια φωτογραφία, ένα σκίτσο ή περιγράφεται σε κείμενο. Το πιο ενδιαφέρον είναι ότι οι ερευνητές μπόρεσαν να βρουν ομάδες νευρώνων στο νευρωνικό δίκτυο που ενεργοποιούνται όταν το λογισμικό παρακολουθεί μια ματιά στον Spider-Man.

Αυτά τα έχουν περιγράψει ως πολυτροπικούς νευρώνες. «Ένας τέτοιος νευρώνας, για παράδειγμα, είναι ένας νευρώνας «Spider-Man» που ανταποκρίνεται σε μια εικόνα μιας αράχνης, σε μια εικόνα του κειμένου «αράχνη» και στον χαρακτήρα του κόμικ «Spider-Man» είτε με κοστούμια είτε εικονογραφημένα, », είπε η ομάδα του OpenAI. Το CLIP έχει όλα τα είδη πολυτροπικών νευρώνων που αντιπροσωπεύουν διαφορετικές έννοιες, όπως εποχές, χώρες, συναισθήματα και αντικείμενα.

Αλλά τα μεγαλύτερα δυνατά σημεία του μοντέλου – η ευελιξία και η στιβαρότητά του – είναι και η μεγαλύτερη αδυναμία του. Το CLIP καλύπτεται εύκολα από τυπογραφικές επιθέσεις, βρήκαν.

Επιστρέφοντας στο παράδειγμα μήλου εναντίον πίτσας, οι πολυτροπικοί νευρώνες που έχουν μάθει την αναπαράσταση ενός μήλου δεν πυροδοτούνται το ίδιο καλά όταν βλέπουν τη γραπτή λέξη «πίτσα». Αντίθετα, ενεργοποιούνται οι νευρώνες που σχετίζονται με την πίτσα. Το μοντέλο μπερδεύεται εύκολα.

Υπάρχουν ενδείξεις ότι η αφηρημένη μάθηση χρησιμοποιώντας πολυτροπικούς νευρώνες εμφανίζεται επίσης στον ανθρώπινο εγκέφαλο. Αλλά δυστυχώς, εδώ είναι που τα σύγχρονα μηχανήματα ωχριούν σε σύγκριση με τα βιολογικά τους αντίστοιχα. Οι άνθρωποι μπορούν προφανώς να πουν ότι ένα μήλο με μια χειρόγραφη σημείωση που γράφει πίτσα είναι ακόμα ένα μήλο, ενώ τα μοντέλα τεχνητής νοημοσύνης δεν μπορούν ακόμα.

Η OpenAI είπε ότι το CLIP δεν αποδίδει τόσο καλά όσο ορισμένα μοντέλα υπολογιστικής όρασης που χρησιμοποιούνται σήμερα στην παραγωγή. Υποφέρει επίσης από επιθετικές προκαταλήψεις, οι νευρώνες του συνδέουν την έννοια της «Μέσης Ανατολής» με την «τρομοκρατία» και οι μαύροι με τους γορίλες. Το μοντέλο χρησιμοποιείται μόνο για ερευνητικούς σκοπούς προς το παρόν και το OpenAI εξακολουθεί να αποφασίζει εάν θα κυκλοφορήσει ή όχι τον κώδικα.

«Η δική μας κατανόηση για το CLIP εξακολουθεί να εξελίσσεται και εξακολουθούμε να καθορίζουμε εάν και πώς θα κυκλοφορούσαμε μεγάλες εκδόσεις του CLIP. Ελπίζουμε ότι η περαιτέρω εξερεύνηση της κοινότητας των εκδόσεων που έχουν κυκλοφορήσει καθώς και των εργαλείων που ανακοινώνουμε σήμερα θα βοηθήσουν στην προώθηση της γενικής κατανόησης των πολυτροπικών συστημάτων, καθώς και στην ενημέρωση της δικής μας λήψης αποφάσεων», ανέφερε.

Το OpenAI αρνήθηκε να σχολιάσει περαιτέρω το CLIP. ®

Πηγή: https://go.theregister.com/feed/www.theregister.com/2021/03/05/openai_writing_attack/