Gérer le contexte des outils

Les définitions d'outils et les blocs tool_result accumulés consomment votre « context window » (fenêtre de contexte). Les agents de longue durée disposant de nombreux outils ou effectuant de nombreux tours peuvent épuiser le contexte disponible avant que la tâche ne soit terminée. Quatre approches traitent ce problème à différents points du pipeline.



Les quatre approches

Chaque approche cible une source différente de pression sur le contexte. Choisissez celle qui correspond à l'endroit où vos tokens sont consommés.



Recherche d'outils

La recherche d'outils maintient les définitions d'outils hors de la fenêtre de contexte jusqu'à ce que Claude les demande. Au lieu d'envoyer 50 schémas d'outils en amont, vous envoyez un seul outil tool_search et laissez Claude découvrir le reste à la demande. Cela échange une petite quantité de latence (un tour supplémentaire pour rechercher un outil) contre une réduction importante de l'utilisation de base du contexte.



Appel programmatique d'outils

L'appel programmatique d'outils condense une séquence d'appels d'outils en un seul bloc de code que Claude écrit et que le bac à sable d'exécution de code d'Anthropic exécute. Plutôt que cinq allers-retours de tool_use et tool_result, Claude émet un seul script qui appelle les cinq fonctions depuis le bac à sable. Les résultats intermédiaires n'entrent jamais dans l'historique de conversation.



Mise en cache des prompts

La mise en cache des prompts ne réduit pas le nombre de tokens dans le contexte, mais elle réduit ce que vous payez pour eux lors des requêtes suivantes. Si vos définitions d'outils sont stables, mettez-les en cache une fois et réutilisez le préfixe mis en cache sur des milliers de requêtes. C'est le bon choix lorsque l'ensemble d'outils est volumineux mais fixe.



Édition de contexte

L'édition de contexte supprime les anciens blocs tool_result de l'historique de conversation une fois qu'ils ont rempli leur fonction. Une longue boucle d'agent peut produire des centaines de résultats intermédiaires qui étaient utiles sur le moment mais qui sont désormais du poids mort. L'édition de contexte vous permet de les élaguer sans redémarrer la conversation.



Combiner les approches

Ces approches se composent. Un agent de longue durée peut utiliser la recherche d'outils pour garder l'ensemble d'outils léger, la mise en cache des prompts pour amortir le coût des définitions restantes, et l'édition de contexte pour élaguer les résultats obsolètes à mesure que la conversation s'allonge. Chacune résout une partie différente du problème, il n'y a donc aucun conflit à les utiliser ensemble.

Un point de départ raisonnable pour un agent à volume élevé :

1. Activez la mise en cache des prompts sur vos définitions d'outils dès le premier jour. Les écritures en cache entraînent une majoration de 25 % par rapport au tarif de base des tokens d'entrée, ce qui est rentabilisé dès la deuxième requête qui atteint le cache.
2. Ajoutez la recherche d'outils une fois que votre ensemble d'outils dépasse environ 20 outils ou que votre utilisation de base du contexte devient notable.
3. Ajoutez l'édition de contexte une fois que les conversations individuelles commencent à durer suffisamment longtemps pour que les premiers résultats deviennent non pertinents.
4. Envisagez l'appel programmatique d'outils si vous remarquez des chaînes répétitives de petits appels d'outils qui pourraient s'exécuter en un seul lot.



Étapes suivantes