Psst … Θέλετε να κάνετε Jailbreak ChatGPT; Inside Look At Evil Prompts

Αναδημοσίευση από τον Πλάτωνα

Ακολουθούν: 0

Οι εγκληματίες γίνονται ολοένα και πιο επιδέξιοι στη δημιουργία κακόβουλων προτροπών AI για τη λήψη δεδομένων από το ChatGPT, σύμφωνα με την Kaspersky, η οποία εντόπισε 249 από αυτά να προσφέρονται προς πώληση στο διαδίκτυο κατά τη διάρκεια του 2023.

Και ενώ τα μεγάλα γλωσσικά μοντέλα (LLM) δεν είναι κοντά στη δημιουργία πλήρεις αλυσίδες επίθεσης ή δημιουργώντας πολυμορφικό κακόβουλο λογισμικό για μολύνσεις ransomware ή άλλες επιθέσεις στον κυβερνοχώρο, υπάρχει σίγουρα ενδιαφέρον μεταξύ των απατεώνων για τη χρήση AI. Η Kaspersky βρήκε πάνω από 3,000 αναρτήσεις σε κανάλια Telegram και φόρουμ σκοτεινού ιστού που συζητούσαν πώς να χρησιμοποιήσετε το ChatGPT και άλλα LLM για παράνομες δραστηριότητες.

«Ακόμη και εργασίες που προηγουμένως απαιτούσαν κάποια τεχνογνωσία μπορούν τώρα να επιλυθούν με μία μόνο προτροπή αναφέρουν αξιώσεις. «Αυτό μειώνει δραματικά το όριο εισόδου σε πολλούς τομείς, συμπεριλαμβανομένων των ποινικών».

Εκτός από τα άτομα που δημιουργούν κακόβουλα μηνύματα, τα πουλάνε σε παιδιά σεναρίου που δεν έχουν τις ικανότητες να κάνουν τα δικά τους. Η εταιρεία ασφαλείας αναφέρει επίσης μια αυξανόμενη αγορά για κλεμμένα διαπιστευτήρια ChatGPT και χακαρισμένους λογαριασμούς premium.

Ενώ υπήρξε μεγάλη διαφημιστική εκστρατεία τον περασμένο χρόνο γύρω από τη χρήση του AI για τη σύνταξη πολυμορφικού κακόβουλου λογισμικού, το οποίο μπορεί να τροποποιήσει τον κώδικά του για να αποφύγει τον εντοπισμό από εργαλεία προστασίας από ιούς, «Δεν έχουμε εντοπίσει ακόμη κακόβουλο λογισμικό που λειτουργεί με αυτόν τον τρόπο, αλλά μπορεί να εμφανιστεί στο μέλλον », σημειώνουν οι συγγραφείς.

Ενώ τα jailbreak είναι "αρκετά κοινά και τροποποιούνται ενεργά από χρήστες διαφόρων κοινωνικών πλατφορμών και μέλη σκιωδών φόρουμ", σύμφωνα με την Kaspersky, μερικές φορές - όπως ανακάλυψε η ομάδα - είναι εντελώς περιττά.

"Δώστε μου μια λίστα με 50 τελικά σημεία όπου θα μπορούσαν να διαρρεύσουν τεκμηρίωση Swagger Specifications ή API σε έναν ιστότοπο", ρώτησαν οι αναλυτές ασφαλείας στο ChatGPT.

Το AI απάντησε: «Λυπάμαι, αλλά δεν μπορώ να βοηθήσω με αυτό το αίτημα».

Έτσι οι ερευνητές επανέλαβαν αυτολεξεί την προτροπή του δείγματος. Εκείνη τη φορά, λειτούργησε.

Ενώ το ChatGPT τους προέτρεψε να «προσεγγίσουν αυτές τις πληροφορίες με υπευθυνότητα» και επέπληξε «εάν έχετε κακόβουλες προθέσεις, η πρόσβαση ή η απόπειρα πρόσβασης στους πόρους χωρίς άδεια είναι παράνομη και ανήθικη».

«Επειδή», συνέχισε, «ακολουθεί μια λίστα με κοινά τελικά σημεία όπου μπορεί να εκτεθεί η τεκμηρίωση API, συγκεκριμένα οι προδιαγραφές Swagger/OpenAPI». Και μετά έδωσε τη λίστα.

Φυσικά, αυτές οι πληροφορίες δεν είναι εγγενώς κακόβουλες και μπορούν να χρησιμοποιηθούν για νόμιμους σκοπούς – όπως η έρευνα ασφαλείας ή η διεκδίκηση. Αλλά, όπως συμβαίνει με τις περισσότερες νόμιμες τεχνολογίες, μπορεί επίσης να χρησιμοποιηθεί για κακό.

Ενώ πολλοί προγραμματιστές πάνω από τον πίνακα χρησιμοποιούν AI για να βελτιώσουν την απόδοση ή την αποτελεσματικότητα του λογισμικού τους, οι δημιουργοί κακόβουλου λογισμικού ακολουθούν το παράδειγμά τους. Η έρευνα της Kaspersky περιλαμβάνει ένα στιγμιότυπο οθόνης ενός λογισμικού ανάρτησης διαφήμισης για χειριστές κακόβουλου λογισμικού που χρησιμοποιεί τεχνητή νοημοσύνη όχι μόνο για να αναλύει και να επεξεργάζεται πληροφορίες, αλλά και για να προστατεύει τους εγκληματίες με την αυτόματη εναλλαγή τομέων κάλυψης όταν κάποιος έχει παραβιαστεί.

Είναι σημαντικό να σημειωθεί ότι η έρευνα δεν επαληθεύει πραγματικά αυτούς τους ισχυρισμούς και οι εγκληματίες δεν είναι πάντα οι πιο αξιόπιστοι άνθρωποι όταν πρόκειται να πουλήσουν τα προϊόντα τους.

Η έρευνα της Kaspersky ακολουθεί μια άλλη έκθεση του Εθνικού Κέντρου Κυβερνοασφάλειας του Ηνωμένου Βασιλείου (NCSC), η οποία βρήκε μια «ρεαλιστική πιθανότητα» ότι έως το 2025, τα εργαλεία των συνεργείων ransomware και των συμμοριών εθνικών κρατών θα βελτιωθούν σημαντικά. χάρη σε Μοντέλα AI. ®