MessagesInfraestructura de herramientas

Gestionar el contexto de herramientas

Copy page



Elige entre búsqueda de herramientas, llamada programática de herramientas, almacenamiento en caché de prompts y edición de contexto para gestionar el exceso de contexto.

Las definiciones de herramientas y los bloques tool_result acumulados consumen tu "context window" (ventana de contexto). Los agentes de larga duración con muchas herramientas o muchos turnos pueden agotar el contexto disponible antes de que la tarea termine. Cuatro enfoques abordan esto en diferentes puntos del pipeline.

Los cuatro enfoques

Cada enfoque apunta a una fuente diferente de presión sobre el contexto. Elige el que coincida con el lugar al que van tus tokens.

Búsqueda de herramientas

La "tool search" (búsqueda de herramientas) mantiene las definiciones de herramientas fuera de la ventana de contexto hasta que Claude las solicita. En lugar de enviar 50 esquemas de herramientas de antemano, envías una única herramienta tool_search y dejas que Claude descubra el resto bajo demanda. Esto intercambia una pequeña cantidad de latencia (un turno adicional para buscar una herramienta) por una gran reducción en el uso base de contexto.

Llamada programática de herramientas

La "programmatic tool calling" (llamada programática de herramientas) condensa una secuencia de llamadas a herramientas en un único bloque de código que Claude escribe y que el sandbox de ejecución de código de Anthropic ejecuta. En lugar de cinco idas y vueltas de tool_use y tool_result, Claude emite un solo script que llama a las cinco funciones desde dentro del sandbox. Los resultados intermedios nunca entran en el historial de la conversación.

Almacenamiento en caché de prompts

El "prompt caching" (almacenamiento en caché de prompts) no reduce la cantidad de tokens en el contexto, pero reduce lo que pagas por ellos en solicitudes posteriores. Si tus definiciones de herramientas son estables, almacénalas en caché una vez y reutiliza el prefijo en caché a lo largo de miles de solicitudes. Esta es la opción correcta cuando el conjunto de herramientas es grande pero fijo.

Edición de contexto

La "context editing" (edición de contexto) elimina los bloques tool_result antiguos del historial de la conversación una vez que han cumplido su propósito. Un bucle de agente largo podría producir cientos de resultados intermedios que fueron útiles en su momento pero que ahora son peso muerto. La edición de contexto te permite recortarlos sin reiniciar la conversación.

Combinar enfoques

Estos enfoques se pueden combinar. Un agente de larga duración podría usar la búsqueda de herramientas para mantener el conjunto de herramientas reducido, el almacenamiento en caché de prompts para amortizar el costo de las definiciones restantes y la edición de contexto para recortar resultados obsoletos a medida que la conversación crece. Cada uno resuelve una parte diferente del problema, por lo que no hay conflicto en usarlos juntos.

Un punto de partida razonable para un agente de alto volumen:

1. Habilita el almacenamiento en caché de prompts en tus definiciones de herramientas desde el primer día. Las escrituras en caché tienen un recargo del 25% sobre el precio base de entrada, que se recupera en la segunda solicitud que acierta en la caché.
2. Agrega la búsqueda de herramientas una vez que tu conjunto de herramientas supere aproximadamente las 20 herramientas o que tu uso base de contexto se vuelva notable.
3. Agrega la edición de contexto una vez que las conversaciones individuales empiecen a extenderse lo suficiente como para que los resultados iniciales se vuelvan irrelevantes.
4. Considera la llamada programática de herramientas si notas cadenas repetitivas de pequeñas llamadas a herramientas que podrían ejecutarse como un único lote.

Próximos pasos