MessagesInfrastruttura degli strumenti

Gestire il contesto degli strumenti

Scegli tra ricerca degli strumenti, chiamata programmatica degli strumenti, cache dei prompt e modifica del contesto per gestire l'eccesso di contesto.

Le definizioni degli strumenti e i blocchi tool_result accumulati consumano la tua "context window" (finestra di contesto). Gli agenti a lunga esecuzione con molti strumenti o molti turni possono esaurire il contesto disponibile prima che l'attività sia completata. Quattro approcci affrontano questo problema in punti diversi della pipeline.

I quattro approcci

Ogni approccio mira a una diversa fonte di pressione sul contesto. Scegli quello che corrisponde a dove stanno andando i tuoi token.

Approccio	Cosa riduce	Quando è adatto	Per saperne di più
Ricerca degli strumenti	Definizioni degli strumenti caricate in anticipo	Set di strumenti ampi (20+ strumenti) in cui la maggior parte degli strumenti non è necessaria a ogni turno	Strumento di ricerca degli strumenti
Chiamata programmatica degli strumenti	Roundtrip di `tool_result`	Catene di chiamate a strumenti che possono essere eseguite come un singolo script	Chiamata programmatica degli strumenti
Cache dei prompt	Costo in token delle definizioni degli strumenti ripetute	Set di strumenti stabili su molte richieste	Uso degli strumenti con cache dei prompt
Modifica del contesto	Vecchi blocchi `tool_result` nella cronologia	Conversazioni lunghe in cui i primi risultati non sono più rilevanti	Modifica del contesto

Ricerca degli strumenti

La "tool search" (ricerca degli strumenti) mantiene le definizioni degli strumenti fuori dalla finestra di contesto finché Claude non le richiede. Invece di inviare 50 schemi di strumenti in anticipo, invii un singolo strumento tool_search e lasci che Claude scopra il resto su richiesta. Questo scambia una piccola quantità di "latency" (latenza) (un turno aggiuntivo per cercare uno strumento) con una grande riduzione dell'utilizzo di base del contesto.

Chiamata programmatica degli strumenti

Il "programmatic tool calling" (chiamata programmatica degli strumenti) comprime una sequenza di chiamate a strumenti in un singolo blocco di codice che Claude scrive e che la sandbox di esecuzione del codice di Anthropic esegue. Invece di cinque roundtrip di tool_use e tool_result, Claude emette un unico script che chiama tutte e cinque le funzioni dall'interno della sandbox. I risultati intermedi non entrano mai nella cronologia della conversazione.

Cache dei prompt

Il "prompt caching" (cache dei prompt) non riduce il numero di token nel contesto, ma riduce quanto paghi per essi nelle richieste successive. Se le tue definizioni degli strumenti sono stabili, mettile in cache una volta e riutilizza il prefisso in cache su migliaia di richieste. Questa è la scelta giusta quando il set di strumenti è ampio ma fisso.

Modifica del contesto

Il "context editing" (modifica del contesto) rimuove i vecchi blocchi tool_result dalla cronologia della conversazione una volta che hanno svolto la loro funzione. Un lungo ciclo di un agente potrebbe produrre centinaia di risultati intermedi che erano utili al momento ma che ora sono peso morto. La modifica del contesto ti consente di eliminarli senza riavviare la conversazione.

Combinare gli approcci

Questi approcci si combinano. Un agente a lunga esecuzione potrebbe usare la ricerca degli strumenti per mantenere snello il set di strumenti, la cache dei prompt per ammortizzare il costo delle definizioni rimanenti e la modifica del contesto per eliminare i risultati obsoleti man mano che la conversazione cresce. Ognuno risolve una parte diversa del problema, quindi non c'è alcun conflitto nell'usarli insieme.

Un punto di partenza ragionevole per un agente ad alto volume:

Abilita la cache dei prompt sulle tue definizioni degli strumenti fin dal primo giorno. Le scritture in cache comportano un sovrapprezzo del 25% rispetto al prezzo base di input, che si ripaga alla seconda richiesta che colpisce la cache.
Aggiungi la ricerca degli strumenti quando il tuo set di strumenti supera all'incirca i 20 strumenti o quando l'utilizzo di base del contesto diventa evidente.
Aggiungi la modifica del contesto quando le singole conversazioni iniziano a durare abbastanza a lungo da rendere irrilevanti i primi risultati.
Considera la chiamata programmatica degli strumenti se noti catene ripetitive di piccole chiamate a strumenti che potrebbero essere eseguite come un singolo batch.