Mitigar jailbreaks e injeções de prompt

Jailbreaking e injeções de prompt ocorrem quando usuários criam prompts para explorar vulnerabilidades do modelo, visando gerar conteúdo inadequado. Embora Claude seja inerentemente resiliente a tais ataques, aqui estão passos adicionais para fortalecer suas proteções, particularmente contra usos que violem nossos Termos de Serviço ou Política de Uso.

• Telas de inofensividade: Use um modelo leve como Claude Haiku 4.5 para pré-analisar entradas de usuários. Use saídas estruturadas para restringir a resposta a uma classificação simples.

  Exemplo: Tela de inofensividade para moderação de conteúdo

• Validação de entrada: Filtre prompts para padrões de jailbreaking. Você pode até usar um LLM para criar uma tela de validação generalizada fornecendo linguagem de jailbreaking conhecida como exemplos.

• Engenharia de prompt: Crie prompts que enfatizem limites éticos e legais.

  Exemplo: Prompt de sistema ético para um chatbot empresarial

Ajuste respostas e considere limitar a taxa ou banir usuários que repetidamente se envolvem em comportamento abusivo tentando contornar as proteções do Claude. Por exemplo, se um usuário específico dispara o mesmo tipo de recusa várias vezes (por exemplo, "saída bloqueada pela política de filtragem de conteúdo"), diga ao usuário que suas ações violam as políticas de uso relevantes e tome medidas adequadamente.

• Monitoramento contínuo: Analise regularmente as saídas para sinais de jailbreaking. Use este monitoramento para refinar iterativamente seus prompts e estratégias de validação.

Avançado: Encadear proteções

Combine estratégias para proteção robusta. Aqui está um exemplo de nível empresarial com uso de ferramentas:

Ao colocar em camadas essas estratégias, você cria uma defesa robusta contra jailbreaking e injeções de prompt, garantindo que suas aplicações alimentadas por Claude mantenham os mais altos padrões de segurança e conformidade.