管理工具上下文

工具定義和累積的 tool_result 區塊會消耗您的上下文視窗。具有許多工具或許多輪次的長時間執行代理可能會在任務完成之前耗盡可用上下文。四種方法在管道的不同點解決此問題。

四種方法

每種方法都針對不同的上下文壓力來源。選擇與您的令牌流向相符的方法。

工具搜尋

工具搜尋將工具定義保留在上下文視窗之外，直到 Claude 要求它們。您不是預先發送 50 個工具架構，而是發送單一 tool_search 工具，讓 Claude 按需發現其餘部分。這用少量延遲（一個額外的輪次來查詢工具）換取基線上下文使用量的大幅減少。

程式化工具呼叫

程式化工具呼叫將一系列工具呼叫摺疊成 Claude 編寫且 Anthropic 的程式碼執行沙箱執行的單一程式碼區塊。Claude 不是發出五次 tool_use 和 tool_result 的往返，而是發出一個指令碼，該指令碼從沙箱內呼叫所有五個函數。中間結果永遠不會進入對話歷史記錄。

提示快取

提示快取不會減少上下文中的令牌數量，但會減少您在後續請求中為其支付的費用。如果您的工具定義是穩定的，請快取一次，並在數千個請求中重複使用快取的前綴。當工具集很大但固定時，這是正確的選擇。

上下文編輯

上下文編輯會在舊 tool_result 區塊完成其目的後將其從對話歷史記錄中移除。長代理迴圈可能會產生數百個中間結果，這些結果在當時很有用，但現在已成為累贅。上下文編輯讓您可以在不重新啟動對話的情況下修剪它們。

組合方法

這些方法可以組合。長時間執行的代理可能會使用工具搜尋來保持工具集精簡，使用提示快取來攤銷剩餘定義的成本，並使用上下文編輯在對話增長時修剪陳舊的結果。每種方法都解決問題的不同部分，因此一起使用它們沒有衝突。

高容量代理的合理起點：

1. 從第一天開始在工具定義上啟用提示快取。快取寫入的標記費用比基本輸入定價高 25%，在第二個命中快取的請求時就會回本。
2. 一旦您的工具集增長到大約 20 個工具或您的基線上下文使用量變得明顯，就添加工具搜尋。
3. 一旦個別對話開始執行足夠長的時間，使早期結果變得不相關，就添加上下文編輯。
4. 如果您注意到可以作為單一批次執行的重複小工具呼叫鏈，請考慮程式化工具呼叫。

後續步驟