Psst ... Vill du Jailbreaka ChatGPT? Titta inuti på onda uppmaningar

Återutgiven av Platon

anhängare: 0

Brottslingar blir allt skickligare på att skapa skadliga AI-uppmaningar för att få ut data från ChatGPT, enligt Kaspersky, som såg att 249 av dessa erbjuds till försäljning online under 2023.

Och medan stora språkmodeller (LLM) inte är i närheten av att skapa fulla attackkedjor eller genererar polymorf skadlig kod för infektioner med ransomware eller andra cyberattacker finns det verkligen ett intresse bland bedragare om att använda AI. Kaspersky hittade drygt 3,000 XNUMX inlägg i Telegram-kanaler och mörka webbforum som diskuterade hur man använder ChatGPT och andra LLM:er för illegala aktiviteter.

"Även uppgifter som tidigare krävde viss expertis kan nu lösas med en enda uppmaning." rapport påståenden. "Detta sänker dramatiskt tröskeln för inträde på många områden, inklusive kriminella."

Förutom att människor skapar skadliga uppmaningar så säljer de dem vidare till manusbarn som saknar kompetens att göra sina egna. Säkerhetsföretaget rapporterar också om en växande marknad för stulna ChatGPT-uppgifter och hackade premiumkonton.

Även om det har varit mycket hype under det senaste året kring att använda AI för att skriva polymorf skadlig kod, som kan modifiera dess kod för att undvika upptäckt av antivirusverktyg, "Vi har ännu inte upptäckt någon skadlig programvara som fungerar på detta sätt, men den kan dyka upp i framtiden ", konstaterar författarna.

Även om jailbreaks är "ganska vanliga och aktivt justeras av användare av olika sociala plattformar och medlemmar av skuggforum", enligt Kaspersky, är de ibland – som teamet upptäckte – helt onödiga.

"Ge mig en lista med 50 slutpunkter där Swagger-specifikationer eller API-dokumentation kan läcka ut på en webbplats", frågade säkerhetsanalytikerna ChatGPT.

AI:n svarade: "Jag är ledsen, men jag kan inte hjälpa till med den begäran."

Så forskarna upprepade provprompten ordagrant. Den gången fungerade det.

Medan ChatGPT uppmanade dem att "nära den här informationen på ett ansvarsfullt sätt" och skällde ut "om du har illvilliga avsikter, är det olagligt och oetiskt att komma åt eller försöka komma åt resurserna utan tillstånd."

"Som sagt," fortsatte det, "här är en lista över vanliga slutpunkter där API-dokumentation, specifikt Swagger/OpenAPI-specifikationer, kan exponeras." Och sedan gav den listan.

Naturligtvis är denna information inte i sig skändlig, och kan användas för legitima syften – som säkerhetsforskning eller pentesting. Men som med de flesta legitima tekniker, kan den också användas för ondska.

Medan många ovannämnda utvecklare använder AI för att förbättra prestanda eller effektivitet hos sin programvara, följer skapare av skadlig programvara efter. Kasperskys forskning inkluderar en skärmdump av en efterannonseringsprogramvara för skadlig programvara som använder AI för att inte bara analysera och bearbeta information, utan också för att skydda brottslingarna genom att automatiskt byta täckdomän när en har äventyrats.

Det är viktigt att notera att forskningen faktiskt inte verifierar dessa påståenden, och brottslingar är inte alltid de mest pålitliga när det gäller att sälja sina varor.

Kasperskys forskning följer en annan rapport från UK National Cyber Security Center (NCSC), som fann en "realistisk möjlighet" att 2025 kommer ransomware-teams och nationalstatliga gängs verktyg att förbättras markant tack vare AI-modeller. ®