Gestionar el contexto de herramientas

Las definiciones de herramientas y los bloques tool_result acumulados consumen tu "context window" (ventana de contexto). Los agentes de larga duración con muchas herramientas o muchos turnos pueden agotar el contexto disponible antes de que la tarea termine. Cuatro enfoques abordan esto en diferentes puntos del pipeline.



Los cuatro enfoques

Cada enfoque apunta a una fuente diferente de presión sobre el contexto. Elige el que corresponda a dónde se están yendo tus tokens.



Búsqueda de herramientas

La búsqueda de herramientas mantiene las definiciones de herramientas fuera de la ventana de contexto hasta que Claude las solicita. En lugar de enviar 50 esquemas de herramientas de antemano, envías una sola herramienta tool_search y dejas que Claude descubra el resto bajo demanda. Esto intercambia una pequeña cantidad de latencia (un turno adicional para buscar una herramienta) por una gran reducción en el uso base de contexto.



Llamadas programáticas a herramientas

Las llamadas programáticas a herramientas colapsan una secuencia de llamadas a herramientas en un solo bloque de código que Claude escribe y que el sandbox de ejecución de código de Anthropic ejecuta. En lugar de cinco idas y vueltas de tool_use y tool_result, Claude emite un script que llama a las cinco funciones desde dentro del sandbox. Los resultados intermedios nunca entran en el historial de la conversación.



Almacenamiento en caché de prompts

El "prompt caching" (almacenamiento en caché de prompts) no reduce la cantidad de tokens en el contexto, pero reduce lo que pagas por ellos en solicitudes posteriores. Si tus definiciones de herramientas son estables, almacénalas en caché una vez y reutiliza el prefijo en caché en miles de solicitudes. Esta es la opción correcta cuando el conjunto de herramientas es grande pero fijo.



Edición de contexto

La edición de contexto elimina bloques tool_result antiguos del historial de la conversación una vez que han cumplido su propósito. Un bucle de agente largo podría producir cientos de resultados intermedios que fueron útiles en su momento pero que ahora son peso muerto. La edición de contexto te permite recortarlos sin reiniciar la conversación.



Combinar enfoques

Estos enfoques se componen entre sí. Un agente de larga duración podría usar búsqueda de herramientas para mantener el conjunto de herramientas reducido, almacenamiento en caché de prompts para amortizar el costo de las definiciones restantes, y edición de contexto para recortar resultados obsoletos a medida que la conversación crece. Cada uno resuelve una parte diferente del problema, así que no hay conflicto en usarlos juntos.

Un punto de partida razonable para un agente de alto volumen:

1. Habilita el almacenamiento en caché de prompts en tus definiciones de herramientas desde el primer día. Las escrituras en caché tienen un recargo del 25% sobre el precio base de entrada, que se recupera en la segunda solicitud que acierta en la caché.
2. Agrega búsqueda de herramientas una vez que tu conjunto de herramientas supere aproximadamente las 20 herramientas o tu uso base de contexto se vuelva notable.
3. Agrega edición de contexto una vez que las conversaciones individuales empiecen a durar lo suficiente como para que los resultados iniciales se vuelvan irrelevantes.
4. Considera las llamadas programáticas a herramientas si notas cadenas repetitivas de llamadas pequeñas a herramientas que podrían ejecutarse como un solo lote.



Próximos pasos