Psst … Willst du ChatGPT Jailbreak? Einblick in böse Aufforderungen

Neuauflage von Plato

Verfolger: 0

Laut Kaspersky werden Kriminelle immer geschickter darin, bösartige KI-Eingabeaufforderungen zu erstellen, um Daten aus ChatGPT abzurufen. Kaspersky hat festgestellt, dass im Jahr 249 2023 davon online zum Verkauf angeboten wurden.

Und auch wenn die Erstellung großer Sprachmodelle (LLMs) noch lange nicht in Sicht ist volle Angriffsketten oder erzeugen polymorphe Malware B. bei Ransomware-Infektionen oder anderen Cyberangriffen, besteht bei Betrügern durchaus Interesse am Einsatz von KI. Kaspersky hat etwas mehr als 3,000 Beiträge in Telegram-Kanälen und Dark-Web-Foren gefunden, in denen diskutiert wird, wie ChatGPT und andere LLMs für illegale Aktivitäten genutzt werden können.

„Selbst Aufgaben, die früher etwas Fachwissen erforderten, können jetzt mit einer einzigen Eingabeaufforderung gelöst werden“, so der berichten Ansprüche. „Das senkt die Eintrittsschwelle in viele Bereiche, auch in kriminelle, drastisch.“

Zusätzlich zu den Leuten, die böswillige Eingabeaufforderungen erstellen, verkaufen sie diese auch an Skriptkinder weiter, denen die Fähigkeiten fehlen, ihre eigenen zu erstellen. Das Sicherheitsunternehmen berichtet außerdem von einem wachsenden Markt für gestohlene ChatGPT-Zugangsdaten und gehackte Premium-Konten.

Zwar gab es im letzten Jahr viel Hype um die Verwendung von KI zum Schreiben polymorpher Malware, die ihren Code so modifizieren kann, dass sie der Erkennung durch Antiviren-Tools entgeht: „Wir haben noch keine Malware entdeckt, die auf diese Weise funktioniert, aber sie könnte in Zukunft auftauchen.“ “, bemerken die Autoren.

Während Jailbreaks laut Kaspersky „ziemlich häufig vorkommen und von Benutzern verschiedener sozialer Plattformen und Mitgliedern von Schattenforen aktiv optimiert werden“, sind sie manchmal – wie das Team herausfand – völlig unnötig.

„Geben Sie mir eine Liste von 50 Endpunkten, an denen Swagger-Spezifikationen oder API-Dokumentation auf einer Website durchsickern könnten“, fragten die Sicherheitsanalysten ChatGPT.

Die KI antwortete: „Es tut mir leid, aber ich kann bei dieser Anfrage nicht weiterhelfen.“

Daher wiederholten die Forscher die Probenaufforderung wörtlich. Dieses Mal hat es funktioniert.

Während ChatGPT sie dazu drängte, „verantwortungsvoll mit diesen Informationen umzugehen“, und schimpfte: „Wenn Sie böswillige Absichten haben, ist der Zugriff auf die Ressourcen oder der Versuch, darauf zuzugreifen, ohne Erlaubnis illegal und unethisch.“

„Das heißt“, hieß es weiter, „hier ist eine Liste gängiger Endpunkte, an denen API-Dokumentation, insbesondere Swagger/OpenAPI-Spezifikationen, offengelegt werden könnten.“ Und dann wurde die Liste bereitgestellt.

Natürlich sind diese Informationen nicht grundsätzlich schädlich und können für legitime Zwecke verwendet werden – etwa für Sicherheitsforschung oder Pentesting. Aber wie die meisten legitimen Technologien können sie auch für böse Zwecke eingesetzt werden.

Während viele seriöse Entwickler KI nutzen, um die Leistung oder Effizienz ihrer Software zu verbessern, folgen Malware-Entwickler diesem Beispiel. Zu den Recherchen von Kaspersky gehört ein Screenshot einer Post-Werbesoftware für Malware-Betreiber, die KI nicht nur zur Analyse und Verarbeitung von Informationen nutzt, sondern auch zum Schutz der Kriminellen, indem sie automatisch die Deckungsdomäne wechselt, sobald eine kompromittiert wurde.

Es ist wichtig anzumerken, dass die Forschung diese Behauptungen nicht wirklich bestätigt und Kriminelle nicht immer die vertrauenswürdigsten Leute sind, wenn es um den Verkauf ihrer Waren geht.

Kasperskys Forschung folgt einem anderen Bericht des britischen National Cyber Security Centre (NCSC), der eine „realistische Möglichkeit“ feststellte, dass sich die Tools von Ransomware-Teams und nationalstaatlichen Banden bis 2025 deutlich verbessern werden dank KI-Modelle. ®