Atténuer les jailbreaks et les injections de prompts

Le « jailbreaking » (contournement des restrictions) et l'injection de prompts sont des tentatives visant à faire ignorer à Claude ses directives ou vos instructions. Bien que Claude soit intrinsèquement résilient face à de telles attaques, les étapes supplémentaires présentées sur cette page renforcent vos garde-fous, en particulier contre les utilisations qui enfreignent nos Conditions d'utilisation ou notre Politique d'utilisation.

Ces attaques se répartissent en deux catégories avec des modèles de menace différents :

• Jailbreaks et injection directe de prompts, où l'utilisateur de votre application est l'adversaire et élabore des entrées destinées à contourner vos garde-fous.
• Injection indirecte de prompts, où l'utilisateur est de confiance mais Claude traite du contenu tiers (pages web, e-mails, documents, résultats d'outils) qui contient des instructions malveillantes.



Jailbreaks et injection directe de prompts

Dans ce modèle de menace, un utilisateur élabore délibérément des entrées pour manipuler votre application afin qu'elle produise du contenu ou effectue des actions que vous ne souhaitez pas. Ces mesures d'atténuation renforcent les garde-fous de votre application :

• Filtres d'innocuité : Utilisez un modèle léger comme Claude Haiku 4.5 pour pré-filtrer les entrées utilisateur avant qu'elles n'atteignent votre conversation principale. Utilisez les sorties structurées pour contraindre la réponse à une classification simple.

  Exemple : Filtre d'innocuité pour la modération de contenu

• Validation des entrées : Filtrez les entrées utilisateur pour détecter les schémas d'injection connus avant qu'elles n'atteignent Claude. Vous pouvez utiliser un LLM pour créer un filtre de validation généralisé en fournissant des exemples de langage de jailbreaking connu.

• Ingénierie de prompts : Rédigez des invites système qui mettent l'accent sur les limites éthiques et légales, et qui indiquent explicitement à Claude comment refuser.

  Exemple : Invite système éthique pour un chatbot d'entreprise

• Réagir aux récidivistes : Adaptez les réponses et envisagez de limiter ou de bannir les utilisateurs qui tentent de manière répétée de contourner les garde-fous de votre application. Par exemple, si un utilisateur particulier déclenche plusieurs fois le même type de refus (tel que « sortie bloquée par la politique de filtrage de contenu »), informez l'utilisateur que ses actions enfreignent les politiques d'utilisation applicables et agissez en conséquence.



Injection indirecte de prompts

Dans ce modèle de menace, vous protégez vos utilisateurs contre des instructions intégrées dans du contenu que Claude lit en leur nom : le corps d'un e-mail entrant, une page web récupérée, une sortie OCR d'un fichier téléversé, ou le résultat d'un appel d'outil. Un attaquant capable d'influencer ce contenu peut y intégrer des instructions qui tentent de rediriger Claude.

Structurez votre application de manière à ce que Claude puisse distinguer de façon fiable le contenu non fiable de vos instructions :

• Placez le contenu non fiable uniquement dans les résultats d'outils. Transmettez le contenu tiers à Claude à l'intérieur de blocs tool_result, jamais dans des invites system ou des blocs text utilisateur simples. Claude est entraîné à traiter les instructions qui apparaissent dans les résultats d'outils avec un scepticisme approprié. Consultez Gérer les appels d'outils pour le format tool_result.

• Indiquez à Claude ce qu'est le contenu et d'où il provient. Dans la description de l'outil, ou dans la structure du résultat lui-même, rendez explicites la nature et la source du contenu : par exemple, qu'il s'agit du corps d'un e-mail entrant provenant d'un expéditeur inconnu, ou de texte OCR extrait d'une image téléversée par l'utilisateur. Ce contexte aide Claude à calibrer le niveau de confiance à accorder aux directives intégrées.

• Énoncez la politique dans votre invite système. Indiquez explicitement à Claude que le contenu renvoyé par les outils, documents ou recherches constitue des données non fiables et ne doit jamais prévaloir sur l'invite système ou la demande initiale de l'utilisateur.

  Exemple : Directives d'invite système pour un agent de traitement de documents



Surveillance continue

Analysez régulièrement les sorties pour détecter des signes d'injection réussie. Utilisez cette surveillance pour affiner de manière itérative vos prompts, votre validation et vos stratégies de filtrage.



Avancé : Enchaîner les protections

Combinez les stratégies pour une protection robuste. Voici un exemple de niveau entreprise avec utilisation d'outils :

En superposant ces stratégies, vous créez une défense robuste contre le jailbreaking et les injections de prompts, garantissant que vos applications basées sur Claude maintiennent les normes les plus élevées de sécurité et de conformité.