MessagesInfraestrutura de ferramentas

Gerenciar o contexto de ferramentas

Copy page



Escolha entre busca de ferramentas, chamada programática de ferramentas, cache de prompt e edição de contexto para gerenciar o inchaço do contexto.

As definições de ferramentas e os blocos tool_result acumulados consomem sua "context window" (janela de contexto). Agentes de longa duração com muitas ferramentas ou muitos turnos podem esgotar o contexto disponível antes que a tarefa seja concluída. Quatro abordagens tratam disso em diferentes pontos do pipeline.

As quatro abordagens

Cada abordagem tem como alvo uma fonte diferente de pressão sobre o contexto. Escolha aquela que corresponde a onde seus tokens estão indo.

Busca de ferramentas

A "tool search" (busca de ferramentas) mantém as definições de ferramentas fora da janela de contexto até que Claude as solicite. Em vez de enviar 50 esquemas de ferramentas antecipadamente, você envia uma única ferramenta tool_search e deixa Claude descobrir o restante sob demanda. Isso troca uma pequena quantidade de "latency" (latência) (um turno extra para procurar uma ferramenta) por uma grande redução no uso básico de contexto.

Chamada programática de ferramentas

A "programmatic tool calling" (chamada programática de ferramentas) condensa uma sequência de chamadas de ferramentas em um único bloco de código que Claude escreve e que o sandbox de execução de código da Anthropic executa. Em vez de cinco idas e voltas de tool_use e tool_result, Claude emite um único script que chama todas as cinco funções de dentro do sandbox. Os resultados intermediários nunca entram no histórico da conversa.

Cache de prompt

O "prompt caching" (cache de prompt) não reduz o número de tokens no contexto, mas reduz o que você paga por eles em requisições subsequentes. Se suas definições de ferramentas são estáveis, armazene-as em cache uma vez e reutilize o prefixo em cache em milhares de requisições. Esta é a escolha certa quando o conjunto de ferramentas é grande, mas fixo.

Edição de contexto

A "context editing" (edição de contexto) remove blocos tool_result antigos do histórico da conversa depois que eles cumpriram seu propósito. Um loop de agente longo pode produzir centenas de resultados intermediários que foram úteis no momento, mas que agora são peso morto. A edição de contexto permite que você os remova sem reiniciar a conversa.

Combinando abordagens

Essas abordagens se compõem. Um agente de longa duração pode usar a busca de ferramentas para manter o conjunto de ferramentas enxuto, o cache de prompt para amortizar o custo das definições restantes e a edição de contexto para remover resultados obsoletos à medida que a conversa cresce. Cada uma resolve uma parte diferente do problema, portanto não há conflito em usá-las juntas.

Um ponto de partida razoável para um agente de alto volume:

1. Habilite o cache de prompt nas suas definições de ferramentas desde o primeiro dia. As gravações em cache têm um acréscimo de 25% sobre o preço base de entrada, o que se paga na segunda requisição que atinge o cache.
2. Adicione a busca de ferramentas quando seu conjunto de ferramentas ultrapassar aproximadamente 20 ferramentas ou quando seu uso básico de contexto se tornar perceptível.
3. Adicione a edição de contexto quando conversas individuais começarem a ficar longas o suficiente para que os resultados iniciais se tornem irrelevantes.
4. Considere a chamada programática de ferramentas se você notar cadeias repetitivas de pequenas chamadas de ferramentas que poderiam ser executadas como um único lote.

Próximos passos