AI Jailbreaking: entenda a ameaça e como proteger LLMs

Entre as principais ciberameaças aos grandes modelos de linguagem (LLMs) está o AI Jailbreaking. 

Essa técnica busca contornar restrições de segurança e induzir o modelo a produzir respostas que deveriam ser bloqueadas.

O problema vai além de encontrar uma “frase mágica” capaz de enganar um chatbot. 

Pesquisas mostram que ataques de jailbreak podem explorar diferentes formas de manipulação contextual e que usuários sem conhecimento especializado também podem desenvolver tentativas eficazes.

Por isso, proteger LLMs exige mais do que mecanismos de alinhamento. 

É necessário combinar testes adversariais, monitoramento e controles de segurança aplicados ao redor do modelo.

Neste artigo, exploraremos o que é AI Jailbreaking, como esses ataques funcionam, por que representam um risco e como proteger LLMs contra essas manipulações.

1. O que é AI Jailbreaking?

O termo jailbreak foi originalmente associado à tentativa de contornar restrições impostas por fabricantes de softwares. 

No contexto de LLMs, representa a manipulação estratégica de entradas para fazer o modelo ignorar ou contornar suas restrições de segurança.

LLMs são projetados para responder às instruções dos usuários, mas também recebem treinamento e mecanismos de segurança para evitar determinados comportamentos. 

Existe, portanto, uma tensão entre atender às solicitações e respeitar as políticas definidas pelos desenvolvedores.

O jailbreaking explora justamente essa tensão.

Em vez de apresentar diretamente uma solicitação proibida, o atacante pode tentar alterar o contexto da interação para influenciar a interpretação do modelo. 

O objetivo é fazer com que uma instrução originalmente bloqueada seja percebida como aceitável.

Isso torna o ataque particularmente relevante porque a interface do LLM é, na maioria das vezes, a própria linguagem natural. 

Não é necessário explorar uma vulnerabilidade tradicional de software para tentar manipular o comportamento do modelo.

1.1. Jailbreaking não é o mesmo que prompt injection

Embora estejam relacionados, AI Jailbreaking e prompt injection não são conceitos idênticos. 

Jailbreaking busca contornar restrições de segurança do modelo, enquanto prompt injection tenta manipular suas instruções e comportamento.

A distinção é especialmente importante em aplicações que utilizam RAG, agentes de IA ou ferramentas externas. 

Nesses ambientes, uma manipulação pode afetar não apenas a resposta gerada, mas também o processamento de informações e a execução de ações.

Por isso, a proteção de LLMs deve considerar diferentes tipos de ataques e combinar controles específicos para cada ameaça.

2. Como os ataques de IA Jailbreak funcionam?

Não existe uma única técnica de jailbreaking. 

Os ataques podem assumir diferentes formatos, e novas variações podem surgir à medida que os modelos evoluem.

O estudo Don’t Listen To Me: Understanding and Exploring Jailbreak Prompts of Large Language Models analisou 448 prompts de jailbreak identificou cinco categorias principais: 

• Intenção disfarçada;
• Role play;
• Resposta estruturada;
• Simulação de IA virtual;
• Estratégias híbridas.

2.1.Intenção disfarçada

Nesse caso, o atacante tenta apresentar uma solicitação potencialmente problemática como pesquisa, teste, humor ou outra finalidade aparentemente legítima.

A ideia central é alterar a interpretação do contexto, fazendo com que o modelo dê menos peso à intenção potencialmente prejudicial da solicitação.

2.2. Role play

O usuário solicita que o modelo assuma uma determinada personalidade ou participe de um cenário fictício.

A técnica explora a capacidade dos LLMs de seguir contextos narrativos e interpretar diferentes personagens. 

O problema ocorre quando essa mudança de contexto é utilizada para tentar substituir as regras normais de comportamento do modelo.

2.3. Resposta estruturada

Outra abordagem consiste em manipular o formato esperado da resposta, utilizando elementos como tradução, continuação de texto ou estruturas semelhantes a programas.

Nesse caso, a tentativa não depende apenas do conteúdo da solicitação, mas também da forma como o modelo é orientado a produzir sua resposta.

2.4. Simulação de outra IA

O atacante pode tentar convencer o modelo a simular uma suposta versão alternativa de si mesmo, com menos restrições ou com regras diferentes.

Esse tipo de estratégia explora a capacidade dos LLMs de representar personas, sistemas e comportamentos hipotéticos.

2.5. Estratégias híbridas

Os ataques também podem combinar diferentes técnicas em uma mesma interação.

Essa combinação é especialmente relevante porque aumenta a complexidade do contexto apresentado ao modelo e pode dificultar mecanismos de detecção baseados em padrões simples.

3. Por que o AI Jailbreaking é uma ameaça?

O impacto de um AI Jailbreak depende do sistema, das informações às quais ele tem acesso e das ações que pode executar.

Em um chatbot isolado, o resultado pode ser uma resposta inadequada ou proibida. 

Em uma aplicação corporativa conectada a dados internos, APIs ou ferramentas externas, entretanto, o risco pode ser significativamente maior.

Pesquisas sobre jailbreaking já analisaram cenários envolvendo geração de desinformação, exposição de informações sensíveis, conteúdo malicioso e outras formas de uso indevido.

Outro ponto importante é que o ataque não depende necessariamente de um adversário altamente especializado.

No estudo supracitado, usuários com diferentes níveis de experiência conseguiram desenvolver tentativas de jailbreak, evidenciando que a barreira de entrada pode ser relativamente baixa.

Isso amplia o conjunto de potenciais atacantes e dificulta a adoção de uma estratégia baseada apenas na premissa de que ataques sofisticados serão raros.

3.1. Por que os mecanismos de segurança podem falhar?

LLMs são treinados para apresentar comportamentos desejados e evitar respostas inadequadas, utilizando técnicas de alinhamento, como feedback humano.

Entretanto, o alinhamento não elimina completamente comportamentos indesejados. 

Modelos podem ser vulneráveis à manipulação de linguagem, pois são sistemas probabilísticos nos quais uma mesma solicitação pode gerar respostas diferentes conforme o contexto. 

Além disso, mecanismos de segurança de modelos comerciais são frequentemente fechados, dificultando a compreensão de como determinadas entradas influenciam seu comportamento.

Por isso, testes pontuais não são suficientes para garantir proteção contra jailbreaks, tornando necessária uma avaliação contínua de segurança.

4. Como proteger LLMs contra AI Jailbreaking?

A proteção deve combinar diferentes camadas de segurança. 

Algumas medidas importantes incluem:

4.1. Teste adversarial contínuo

Organizações devem testar seus modelos com diferentes categorias de prompts adversariais antes e depois da implantação.

O objetivo não é apenas verificar se o modelo recusa uma solicitação específica, mas avaliar sua resistência a diferentes formas de manipulação contextual.

4.2. Red teaming de LLMs

O LLM Red Teaming permite simular comportamentos de atacantes para identificar vulnerabilidades antes que elas sejam exploradas em ambientes reais.

Os testes podem avaliar categorias como jailbreak, prompt injection, vazamento de informações, manipulação de contexto e abuso de funcionalidades.

4.3. Avaliação baseada em métricas

Também é importante estabelecer métricas para acompanhar a eficácia das defesas.

O estudo supracitado propõe, por exemplo, métricas para avaliar tanto a frequência com que restrições são contornadas quanto o nível de detalhamento das respostas obtidas.

Em ambientes corporativos, essas avaliações podem incluir métricas como taxa de bloqueio, falsos positivos, severidade das respostas, cobertura dos testes e tempo de correção. 

4.4. Defesa em múltiplas camadas

Não é recomendável depender exclusivamente do comportamento do modelo.

Filtros de entrada e saída, políticas de acesso, isolamento de ferramentas, controle de permissões, validação de ações e monitoramento podem reduzir o impacto de falhas. 

Essa abordagem é especialmente importante quando o LLM pode acessar dados corporativos ou executar ações externas.

4.5. Controle de privilégios

Quanto maior a capacidade de ação de um agente de IA, maior deve ser o rigor dos controles.

Um LLM que apenas gera textos apresenta um perfil de risco diferente daquele conectado a sistemas financeiros, bancos de dados, ambientes de produção ou ferramentas administrativas. 

Aplicar o princípio do menor privilégio ajuda a limitar o impacto de uma eventual manipulação.

4.6. Monitoramento e resposta

A segurança não termina quando o modelo entra em produção.

É necessário monitorar padrões de uso, tentativas recorrentes de contornar controles, respostas anômalas e mudanças no comportamento do sistema.

Logs estruturados também são importantes para investigar incidentes e identificar padrões que podem indicar novas técnicas de ataque.

5. Considerações finais

AI Jailbreaking representa uma ameaça diretamente relacionada à forma como os LLMs interpretam instruções e conciliam solicitações dos usuários com suas políticas de segurança.

A proteção eficaz exige mais do que bloquear determinadas palavras ou manter uma lista de prompts conhecidos.

É necessário combinar alinhamento, testes adversariais, red teaming, controles de acesso, monitoramento e mecanismos de resposta.

Em aplicações corporativas, essa proteção deve considerar também os dados, ferramentas e sistemas aos quais o LLM pode ter acesso.

Quanto maior a autonomia do sistema, maior a importância de limitar privilégios e validar ações antes de sua execução.

Por fim, a segurança de LLMs deve ser tratada como um processo contínuo, acompanhando a evolução dos modelos, aplicações e técnicas dos atacantes.