Gerenciar o contexto de ferramentas

Definições de ferramentas e blocos tool_result acumulados consomem sua "context window" (janela de contexto). Agentes de longa duração com muitas ferramentas ou muitos turnos podem esgotar o contexto disponível antes que a tarefa seja concluída. Quatro abordagens tratam disso em diferentes pontos do pipeline.



As quatro abordagens

Cada abordagem visa uma fonte diferente de pressão sobre o contexto. Escolha aquela que corresponde a onde seus tokens estão sendo gastos.



Busca de ferramentas

A busca de ferramentas mantém as definições de ferramentas fora da janela de contexto até que Claude as solicite. Em vez de enviar 50 esquemas de ferramentas antecipadamente, você envia uma única ferramenta tool_search e deixa Claude descobrir o restante sob demanda. Isso troca uma pequena quantidade de "latency" (latência) — um turno extra para buscar uma ferramenta — por uma grande redução no uso de contexto base.



Chamada programática de ferramentas

A chamada programática de ferramentas condensa uma sequência de chamadas de ferramentas em um único bloco de código que Claude escreve e o sandbox de execução de código da Anthropic executa. Em vez de cinco idas e vindas de tool_use e tool_result, Claude emite um script que chama todas as cinco funções de dentro do sandbox. Os resultados intermediários nunca entram no histórico da conversa.



Cache de prompt

O "prompt caching" (cache de prompt) não reduz o número de tokens no contexto, mas reduz o que você paga por eles em requisições subsequentes. Se suas definições de ferramentas são estáveis, armazene-as em cache uma vez e reutilize o prefixo em cache em milhares de requisições. Essa é a escolha certa quando o conjunto de ferramentas é grande, mas fixo.



Edição de contexto

A edição de contexto remove blocos tool_result antigos do histórico da conversa depois que eles cumpriram seu propósito. Um loop de agente longo pode produzir centenas de resultados intermediários que foram úteis no momento, mas agora são peso morto. A edição de contexto permite que você os remova sem reiniciar a conversa.



Combinando abordagens

Essas abordagens são componíveis. Um agente de longa duração pode usar busca de ferramentas para manter o conjunto de ferramentas enxuto, cache de prompt para amortizar o custo das definições restantes e edição de contexto para remover resultados obsoletos à medida que a conversa cresce. Cada uma resolve uma parte diferente do problema, então não há conflito em usá-las juntas.

Um ponto de partida razoável para um agente de alto volume:

1. Habilite o cache de prompt nas suas definições de ferramentas desde o primeiro dia. Gravações em cache têm um acréscimo de 25% sobre o preço base de entrada, o que se paga na segunda requisição que acerta o cache.
2. Adicione busca de ferramentas quando seu conjunto de ferramentas ultrapassar aproximadamente 20 ferramentas ou quando o uso de contexto base se tornar perceptível.
3. Adicione edição de contexto quando conversas individuais começarem a durar o suficiente para que resultados iniciais se tornem irrelevantes.
4. Considere a chamada programática de ferramentas se você notar cadeias repetitivas de pequenas chamadas de ferramentas que poderiam ser executadas como um único lote.



Próximos passos