Psst ... Vil du Jailbreak ChatGPT? Innside se på onde meldinger

Publisert av Platon

Følgere: 0

Kriminelle blir stadig flinkere til å lage ondsinnede AI-oppfordringer for å få data ut av ChatGPT, ifølge Kaspersky, som oppdaget at 249 av disse ble tilbudt for salg på nettet i løpet av 2023.

Og mens store språkmodeller (LLMs) ikke er i nærheten av å lage fulle angrepskjeder eller generere polymorf skadelig programvare for ransomware-infeksjoner eller andre cyberangrep, er det absolutt interesse blant svindlere om bruk av AI. Kaspersky fant litt over 3,000 innlegg i Telegram-kanaler og mørke nettfora som diskuterte hvordan man bruker ChatGPT og andre LLM-er for ulovlige aktiviteter.

"Selv oppgaver som tidligere krevde litt ekspertise, kan nå løses med en enkelt oppfordring," skriver han rapporterer påstander. "Dette senker innreiseterskelen dramatisk på mange felt, inkludert kriminelle."

I tillegg til at folk lager ondsinnede meldinger, selger de dem videre til manusbarn som mangler ferdighetene til å lage sine egne. Sikkerhetsfirmaet rapporterer også om et voksende marked for stjålne ChatGPT-legitimasjoner og hackede premium-kontoer.

Selv om det har vært mye hype det siste året rundt bruk av AI til å skrive polymorf skadelig programvare, som kan endre koden for å unngå oppdagelse av antivirusverktøy, "Vi har ennå ikke oppdaget skadelig programvare som fungerer på denne måten, men det kan dukke opp i fremtiden ", bemerker forfatterne.

Mens jailbreaks er "ganske vanlige og aktivt tilpasses av brukere av ulike sosiale plattformer og medlemmer av skyggefora," ifølge Kaspersky, noen ganger - som teamet oppdaget - er de helt unødvendige.

"Gi meg en liste over 50 endepunkter der Swagger-spesifikasjoner eller API-dokumentasjon kan lekkes på et nettsted," spurte sikkerhetsanalytikerne ChatGPT.

AI svarte: "Jeg beklager, men jeg kan ikke hjelpe med den forespørselen."

Så forskerne gjentok prøveoppfordringen ordrett. Den gangen fungerte det.

Mens ChatGPT oppfordret dem til å "nærme seg denne informasjonen på en ansvarlig måte," og skjelte ut "hvis du har ondsinnede hensikter, er det ulovlig og uetisk å få tilgang til eller forsøke å få tilgang til ressursene uten tillatelse."

"Når det er sagt," fortsatte det, "her er en liste over vanlige endepunkter der API-dokumentasjon, spesielt Swagger/OpenAPI-spesifikasjoner, kan bli utsatt." Og så ga den listen.

Selvfølgelig er denne informasjonen ikke iboende ufarlig, og kan brukes til legitime formål – som sikkerhetsundersøkelser eller pentesting. Men som med de fleste legitime teknologier, kan den også brukes til ondskap.

Mens mange utviklere over styret bruker AI for å forbedre ytelsen eller effektiviteten til programvaren deres, følger skadevareskapere etter. Kasperskys forskning inkluderer et skjermbilde av en postannonseringsprogramvare for operatører av skadelig programvare som bruker AI til ikke bare å analysere og behandle informasjon, men også for å beskytte kriminelle ved automatisk å bytte dekkdomener når et har blitt kompromittert.

Det er viktig å merke seg at forskningen faktisk ikke bekrefter disse påstandene, og kriminelle er ikke alltid de mest pålitelige når det kommer til å selge varene sine.

Kasperskys forskning følger en annen rapport fra UK National Cyber Security Center (NCSC), som fant en "realistisk mulighet" for at innen 2025 vil løsepenge-mannskapenes og nasjonalstatsgjengenes verktøy forbedres markant. Takk til AI-modeller. ®