プロンプトキャッシングでのツール使用

このページでは、ツール定義のプロンプトキャッシングについて説明します。cache_controlブレークポイントの配置場所、defer_loadingがキャッシュを保持する方法、および無効化するものについてです。一般的なプロンプトキャッシングについては、プロンプトキャッシングを参照してください。

ツール定義の cache_control

cache_control: {"type": "ephemeral"}をtools配列の最後のツールに配置します。これにより、最初のツールからマークされたブレークポイントまでのツール定義プレフィックス全体がキャッシュされます。

{
  "tools": [
    {
      "name": "get_weather",
      "description": "Get the current weather in a given location",
      "input_schema": {
        "type": "object",
        "properties": {
          "location": { "type": "string" }
        },
        "required": ["location"]
      }
    },
    {
      "name": "get_time",
      "description": "Get the current time in a given time zone",
      "input_schema": {
        "type": "object",
        "properties": {
          "timezone": { "type": "string" }
        },
        "required": ["timezone"]
      },
      "cache_control": { "type": "ephemeral" }
    }
  ]
}

mcp_toolsetの場合、cache_controlブレークポイントはセット内の最後のツールに配置されます。MCPツールセット内のツール順序は制御できないため、ブレークポイントをmcp_toolsetエントリ自体に配置すると、APIはそれを最終的に展開されたツールに適用します。

defer_loading とキャッシュ保持

遅延ツールはシステムプロンプトプレフィックスに含まれません。モデルがツール検索を通じて遅延ツールを発見すると、定義は会話履歴内のtool_referenceブロックとしてインラインで追加されます。プレフィックスは変更されないため、プロンプトキャッシングは保持されます。

これは、ツール検索を通じてツールを動的に追加してもキャッシュが破損しないことを意味します。常にロードされるツールの小さなセット（キャッシュ済み）で会話を開始し、モデルが必要に応じて追加ツールを発見させ、すべてのターンで同じキャッシュヒットを保つことができます。

defer_loadingはストリクトモードの文法構築とは独立して機能します。文法は、どのツールが遅延しているかに関わらず、完全なツールセットから構築されるため、ツールが動的にロードされるときもプロンプトキャッシングと文法キャッシングの両方が保持されます。

キャッシュを無効化するもの

キャッシュはプレフィックス階層（tools → system → messages）に従うため、1つのレベルでの変更はそのレベルとそれ以降のすべてを無効化します。

ツール別相互作用表

次のステップ