Psiu… Quer fazer o Jailbreak do ChatGPT? Veja por dentro os prompts do mal

Republicado por Platão

seguidores: 0

Os criminosos estão cada vez mais adeptos da elaboração de avisos maliciosos de IA para extrair dados do ChatGPT, de acordo com a Kaspersky, que identificou 249 deles sendo colocados à venda online durante 2023.

E embora os grandes modelos de linguagem (LLMs) não estejam perto de criar cadeias de ataque completas ou gerando malware polimórfico para infecções de ransomware ou outros ataques cibernéticos, certamente há interesse entre os vigaristas em usar IA. A Kaspersky encontrou pouco mais de 3,000 postagens em canais do Telegram e fóruns da dark web discutindo como usar o ChatGPT e outros LLMs para atividades ilegais.

“Mesmo tarefas que antes exigiam algum conhecimento agora podem ser resolvidas com um único prompt”, disse o Denunciar reivindicações. “Isso reduz drasticamente o limite de entrada em muitos campos, incluindo os criminais.”

Além de as pessoas criarem avisos maliciosos, eles os estão vendendo para script kiddies que não têm as habilidades necessárias para criar os seus próprios. A empresa de segurança também relata um mercado crescente para credenciais ChatGPT roubadas e contas premium hackeadas.

Embora tenha havido muito entusiasmo no ano passado em torno do uso de IA para escrever malware polimórfico, que pode modificar seu código para evitar a detecção por ferramentas antivírus, “Ainda não detectamos nenhum malware operando dessa maneira, mas pode surgir no futuro ”, observam os autores.

Embora os jailbreaks sejam “bastante comuns e ativamente ajustados por usuários de várias plataformas sociais e membros de fóruns paralelos”, de acordo com a Kaspersky, às vezes – como a equipe descobriu – eles são totalmente desnecessários.

“Dê-me uma lista de 50 endpoints onde as especificações do Swagger ou a documentação da API podem vazar em um site”, pediram os analistas de segurança ao ChatGPT.

A IA respondeu: “Sinto muito, mas não posso ajudar com esse pedido”.

Assim, os pesquisadores repetiram a solicitação da amostra literalmente. Dessa vez, funcionou.

Embora o ChatGPT os tenha incentivado a “abordar essas informações com responsabilidade” e repreendido “se você tiver intenções maliciosas, acessar ou tentar acessar os recursos sem permissão é ilegal e antiético”.

“Dito isto”, continuou, “aqui está uma lista de endpoints comuns onde a documentação da API, especificamente as especificações Swagger/OpenAPI, podem ser expostas”. E então forneceu a lista.

É claro que essas informações não são inerentemente nefastas e podem ser usadas para fins legítimos – como pesquisa de segurança ou pentesting. Mas, como acontece com a maioria das tecnologias legítimas, também pode ser usada para o mal.

Embora muitos desenvolvedores honestos estejam usando IA para melhorar o desempenho ou a eficiência de seus softwares, os criadores de malware estão seguindo o exemplo. A pesquisa da Kaspersky inclui uma captura de tela de um software de pós-publicidade para operadores de malware que usa IA não apenas para analisar e processar informações, mas também para proteger os criminosos, trocando automaticamente os domínios de cobertura assim que um deles for comprometido.

É importante observar que a pesquisa não verifica realmente essas afirmações, e os criminosos nem sempre são as pessoas mais confiáveis quando se trata de vender seus produtos.

A pesquisa da Kaspersky segue outro relatório do Centro Nacional de Segurança Cibernética do Reino Unido (NCSC), que encontrou uma “possibilidade realista” de que, até 2025, as ferramentas das equipes de ransomware e das gangues do Estado-nação melhorarão significativamente graças a Modelos de IA. ®