Mitigare i jailbreak e le prompt injection

Il jailbreaking e la prompt injection sono tentativi di far ignorare a Claude le sue linee guida o le tue istruzioni. Sebbene Claude sia intrinsecamente resiliente a tali attacchi, i passaggi aggiuntivi in questa pagina rafforzano le tue protezioni, in particolare contro usi che violano i nostri Termini di servizio o la Politica di utilizzo.

Questi attacchi rientrano in due categorie con modelli di minaccia diversi:

• Jailbreak e prompt injection diretta, in cui l'utente della tua applicazione è l'avversario e crea input destinati ad aggirare le tue protezioni.
• Prompt injection indiretta, in cui l'utente è fidato ma Claude elabora contenuti di terze parti (pagine web, email, documenti, risultati di strumenti) che contengono istruzioni malevole.



Jailbreak e prompt injection diretta

In questo modello di minaccia, un utente crea deliberatamente input per manipolare la tua applicazione affinché produca contenuti o esegua azioni che non desideri. Queste mitigazioni rafforzano le protezioni della tua applicazione:

• Filtri di innocuità: Usa un modello leggero come Claude Haiku 4.5 per pre-filtrare l'input dell'utente prima che raggiunga la conversazione principale. Usa gli output strutturati per vincolare la risposta a una semplice classificazione.

  Esempio: Filtro di innocuità per la moderazione dei contenuti

• Validazione dell'input: Filtra l'input dell'utente alla ricerca di pattern di injection noti prima che raggiunga Claude. Puoi usare un LLM per creare un filtro di validazione generalizzato fornendo come esempi linguaggio di jailbreaking noto.

• Prompt engineering: Crea prompt di sistema che enfatizzino i confini etici e legali e che indichino esplicitamente a Claude come rifiutare.

  Esempio: Prompt di sistema etico per un chatbot aziendale

• Rispondi ai recidivi: Adatta le risposte e considera di limitare o bloccare gli utenti che tentano ripetutamente di aggirare le protezioni della tua applicazione. Ad esempio, se un particolare utente attiva lo stesso tipo di rifiuto più volte (come "output bloccato dalla politica di filtraggio dei contenuti"), informa l'utente che le sue azioni violano le politiche di utilizzo pertinenti e agisci di conseguenza.



Prompt injection indiretta

In questo modello di minaccia, stai proteggendo i tuoi utenti da istruzioni incorporate in contenuti che Claude legge per loro conto: il corpo di un'email in arrivo, una pagina web recuperata, output OCR da un file caricato o il risultato di una chiamata a uno strumento. Un attaccante che può influenzare quel contenuto potrebbe incorporare istruzioni che tentano di reindirizzare Claude.

Struttura la tua applicazione in modo che Claude possa distinguere in modo affidabile i contenuti non attendibili dalle tue istruzioni:

• Inserisci i contenuti non attendibili solo nei risultati degli strumenti. Fornisci contenuti di terze parti a Claude all'interno di blocchi tool_result, mai nei prompt system o in semplici blocchi text dell'utente. Claude è addestrato a trattare con appropriato scetticismo le istruzioni che appaiono all'interno dei risultati degli strumenti. Consulta Gestire le chiamate agli strumenti per il formato tool_result.

• Indica a Claude cos'è il contenuto e da dove proviene. Nella description dello strumento, o nella struttura del risultato stesso, rendi espliciti la natura e la fonte del contenuto: ad esempio, che si tratta del corpo di un'email in arrivo da un mittente sconosciuto, o di testo OCR estratto da un'immagine caricata dall'utente. Questo contesto aiuta Claude a calibrare quanto fidarsi delle direttive incorporate.

• Dichiara la politica nel tuo prompt di sistema. Indica esplicitamente a Claude che i contenuti restituiti da strumenti, documenti o ricerche sono dati non attendibili e non devono mai sovrascrivere il prompt di sistema o la richiesta originale dell'utente.

  Esempio: Indicazioni nel prompt di sistema per un agente di elaborazione documenti

• Codifica in JSON i contenuti non attendibili. Dove possibile, racchiudi le stringhe di terze parti in un oggetto JSON anziché concatenarle in testo libero. L'escaping JSON fornisce delimitatori non ambigui tra il payload non attendibile e la struttura circostante, così un attaccante non può chiudere una virgoletta o un tag per "uscire" in un contesto di istruzioni.

  Esempio: Risultato di strumento codificato in JSON per un'email in arrivo

• Non inserire le tue istruzioni nei risultati degli strumenti. Poiché Claude tratta il contenuto dei risultati degli strumenti come dati non attendibili, le istruzioni che inserisci lì potrebbero essere ignorate o segnalate come potenziale injection. Invia le tue istruzioni in un turno user che segue il blocco tool_result. Su Claude Opus 4.8 e versioni successive, puoi anche usare un messaggio di sistema a metà conversazione.

• Limita l'accesso di Claude a dati e azioni sensibili. Applica il principio del privilegio minimo in modo che un'injection riuscita possa causare danni minimi: non dare a Claude accesso a segreti di cui non ha bisogno, esegui gli strumenti in ambienti sandbox e limita i permessi il più possibile.

• Filtra gli output degli strumenti prima che Claude agisca su di essi. Applica lo stesso pattern di filtraggio con modello leggero che usi per l'input dell'utente ai contenuti restituiti dai tuoi strumenti. Esegui ogni strumento, passa il suo output grezzo a una piccola chiamata di classificazione con Claude Haiku 4.5 e restituisci il contenuto come blocco tool_result solo se il filtro non segnala alcun tentativo di injection. Usa gli output strutturati in modo che il verdetto del classificatore sia un valore analizzabile su cui la tua applicazione può basare le proprie decisioni.

  Esempio: Filtro di injection per l'output di uno strumento

  Puoi anche applicare i pattern di validazione dell'input della sezione precedente ai risultati degli strumenti prima di passarli a Claude.

• Esegui red-teaming sul tuo agente. Prima della distribuzione, testa il tuo flusso di lavoro con documenti, email e output di strumenti che contengono deliberatamente tentativi di injection, e conferma che Claude li ignori e che i tuoi passaggi di filtraggio e conferma intercettino il resto.



Monitoraggio continuo

Analizza regolarmente gli output alla ricerca di segni di injection riuscita. Usa questo monitoraggio per perfezionare iterativamente i tuoi prompt, la validazione e le strategie di filtraggio.



Avanzato: Concatenare le protezioni

Combina le strategie per una protezione robusta. Ecco un esempio di livello enterprise con uso degli strumenti:

Stratificando queste strategie, crei una difesa robusta contro jailbreaking e prompt injection, garantendo che le tue applicazioni basate su Claude mantengano i più alti standard di sicurezza e conformità.