Infrastruttura degli strumenti

Gestire il contesto degli strumenti

Scegli tra ricerca degli strumenti, chiamate programmatiche degli strumenti, caching dei prompt e modifica del contesto per gestire il sovraccarico del contesto.

Le definizioni degli strumenti e i blocchi tool_result accumulati consumano la tua finestra di contesto. Gli agenti a lunga esecuzione con molti strumenti o molti turni possono esaurire il contesto disponibile prima che l'attività sia completata. Quattro approcci affrontano questo problema in diversi punti della pipeline.

I quattro approcci

Ogni approccio affronta una diversa fonte di pressione sul contesto. Scegli quello che corrisponde a dove stanno andando i tuoi token.

Approccio	Cosa riduce	Quando si adatta	Scopri di più
Ricerca degli strumenti	Definizioni degli strumenti caricate in anticipo	Set di strumenti grandi (20+ strumenti) dove la maggior parte degli strumenti non è necessaria ogni turno	Strumento di ricerca degli strumenti
Chiamate programmatiche degli strumenti	Roundtrip `tool_result`	Catene di chiamate di strumenti che possono essere eseguite come un singolo script	Chiamate programmatiche degli strumenti
Caching dei prompt	Costo dei token delle definizioni degli strumenti ripetute	Set di strumenti stabili su molte richieste	Utilizzo degli strumenti con caching dei prompt
Modifica del contesto	Vecchi blocchi `tool_result` nella cronologia	Conversazioni lunghe dove i risultati iniziali non sono più rilevanti	Modifica del contesto

Ricerca degli strumenti

La ricerca degli strumenti mantiene le definizioni degli strumenti fuori dalla finestra di contesto finché Claude non le richiede. Invece di inviare 50 schemi di strumenti in anticipo, invii un singolo strumento tool_search e lasci che Claude scopra il resto su richiesta. Questo scambia una piccola quantità di latenza (un turno extra per cercare uno strumento) per una grande riduzione nell'utilizzo del contesto di base.

Chiamate programmatiche degli strumenti

Le chiamate programmatiche degli strumenti collassano una sequenza di chiamate di strumenti in un singolo blocco di codice che Claude scrive e la sandbox di esecuzione del codice di Anthropic esegue. Invece di cinque roundtrip di tool_use e tool_result, Claude emette uno script che chiama tutte e cinque le funzioni dall'interno della sandbox. I risultati intermedi non entrano mai nella cronologia della conversazione.

Caching dei prompt

Il caching dei prompt non riduce il numero di token nel contesto, ma riduce quello che paghi per loro nelle richieste successive. Se le definizioni dei tuoi strumenti sono stabili, memorizzale nella cache una volta e riutilizza il prefisso memorizzato nella cache su migliaia di richieste. Questa è la scelta giusta quando il set di strumenti è grande ma fisso.

Modifica del contesto

La modifica del contesto rimuove i vecchi blocchi tool_result dalla cronologia della conversazione una volta che hanno assolto il loro scopo. Un lungo ciclo di agenti potrebbe produrre centinaia di risultati intermedi che erano utili al momento ma ora sono peso morto. La modifica del contesto ti permette di potarli senza riavviare la conversazione.

Combinare gli approcci

Questi approcci si compongono. Un agente a lunga esecuzione potrebbe utilizzare la ricerca degli strumenti per mantenere il set di strumenti snello, il caching dei prompt per ammortizzare il costo delle definizioni rimanenti e la modifica del contesto per potare i risultati obsoleti man mano che la conversazione cresce. Ognuno risolve una parte diversa del problema, quindi non c'è conflitto nell'usarli insieme.

Un punto di partenza ragionevole per un agente ad alto volume:

Abilita il caching dei prompt sulle definizioni dei tuoi strumenti dal primo giorno. Le scritture della cache comportano un markup del 25% rispetto ai prezzi di input di base, che si ripaga alla seconda richiesta che colpisce la cache.
Aggiungi la ricerca degli strumenti una volta che il tuo set di strumenti cresce oltre circa 20 strumenti o il tuo utilizzo del contesto di base diventa evidente.
Aggiungi la modifica del contesto una volta che le conversazioni individuali iniziano a durare abbastanza a lungo che i risultati iniziali diventano irrilevanti.
Considera le chiamate programmatiche degli strumenti se noti catene ripetitive di piccole chiamate di strumenti che potrebbero essere eseguite come un singolo batch.

Passaggi successivi

Strumento di ricerca degli strumenti

Carica le definizioni degli strumenti su richiesta invece che in anticipo.

Chiamate programmatiche degli strumenti

Collassa le catene di chiamate di strumenti in un singolo script eseguibile.

Utilizzo degli strumenti con caching dei prompt

Memorizza nella cache le definizioni degli strumenti su più richieste per ridurre i costi dei token.

Modifica del contesto

Pota i risultati degli strumenti obsoleti dalle conversazioni a lunga esecuzione.

Was this page helpful?

I quattro approcci

Ogni approccio affronta una diversa fonte di pressione sul contesto. Scegli quello che corrisponde a dove stanno andando i tuoi token.

Approccio	Cosa riduce	Quando si adatta	Scopri di più
Ricerca degli strumenti	Definizioni degli strumenti caricate in anticipo	Set di strumenti grandi (20+ strumenti) dove la maggior parte degli strumenti non è necessaria ogni turno	Strumento di ricerca degli strumenti
Chiamate programmatiche degli strumenti	Roundtrip `tool_result`	Catene di chiamate di strumenti che possono essere eseguite come un singolo script	Chiamate programmatiche degli strumenti
Caching dei prompt	Costo dei token delle definizioni degli strumenti ripetute	Set di strumenti stabili su molte richieste	Utilizzo degli strumenti con caching dei prompt
Modifica del contesto	Vecchi blocchi `tool_result` nella cronologia	Conversazioni lunghe dove i risultati iniziali non sono più rilevanti	Modifica del contesto

Ricerca degli strumenti

Chiamate programmatiche degli strumenti

Caching dei prompt

Modifica del contesto

Combinare gli approcci

Un punto di partenza ragionevole per un agente ad alto volume:

Abilita il caching dei prompt sulle definizioni dei tuoi strumenti dal primo giorno. Le scritture della cache comportano un markup del 25% rispetto ai prezzi di input di base, che si ripaga alla seconda richiesta che colpisce la cache.

Aggiungi la ricerca degli strumenti una volta che il tuo set di strumenti cresce oltre circa 20 strumenti o il tuo utilizzo del contesto di base diventa evidente.

Aggiungi la modifica del contesto una volta che le conversazioni individuali iniziano a durare abbastanza a lungo che i risultati iniziali diventano irrilevanti.

Considera le chiamate programmatiche degli strumenti se noti catene ripetitive di piccole chiamate di strumenti che potrebbero essere eseguite come un singolo batch.