Tool-Verwendung mit Prompt-Caching

Diese Seite behandelt Prompt-Caching für Tool-Definitionen: wo Sie cache_control-Breakpoints platzieren, wie defer_loading Ihren Cache bewahrt, und was ihn ungültig macht. Für allgemeines Prompt-Caching siehe Prompt-Caching.

cache_control bei Tool-Definitionen

Platzieren Sie cache_control: {"type": "ephemeral"} auf dem letzten Tool in Ihrem tools-Array. Dies speichert das gesamte Tool-Definitions-Präfix zwischen, vom ersten Tool bis zum markierten Breakpoint:

{
  "tools": [
    {
      "name": "get_weather",
      "description": "Get the current weather in a given location",
      "input_schema": {
        "type": "object",
        "properties": {
          "location": { "type": "string" }
        },
        "required": ["location"]
      }
    },
    {
      "name": "get_time",
      "description": "Get the current time in a given time zone",
      "input_schema": {
        "type": "object",
        "properties": {
          "timezone": { "type": "string" }
        },
        "required": ["timezone"]
      },
      "cache_control": { "type": "ephemeral" }
    }
  ]
}

Für mcp_toolset landet der cache_control-Breakpoint auf dem letzten Tool im Set. Sie kontrollieren die Tool-Reihenfolge innerhalb eines MCP-Toolsets nicht, daher platzieren Sie den Breakpoint auf dem mcp_toolset-Eintrag selbst und die API wendet ihn auf das final erweiterte Tool an.

defer_loading und Cache-Erhaltung

Aufgeschobene Tools sind nicht im System-Prompt-Präfix enthalten. Wenn das Modell ein aufgeschobenes Tool durch Tool-Suche entdeckt, wird die Definition inline als tool_reference-Block in der Gesprächsverlauf angehängt. Das Präfix bleibt unverändert, daher wird das Prompt-Caching bewahrt.

Dies bedeutet, dass das dynamische Hinzufügen von Tools durch Tool-Suche Ihren Cache nicht bricht. Sie können ein Gespräch mit einem kleinen Satz von immer geladenen Tools (zwischengespeichert) starten, das Modell zusätzliche Tools nach Bedarf entdecken lassen und denselben Cache-Hit über jeden Durchlauf hinweg behalten.

defer_loading funktioniert auch unabhängig von der Grammatikkonstruktion für strikten Modus. Die Grammatik wird aus dem vollständigen Toolset erstellt, unabhängig davon, welche Tools aufgeschoben sind, daher werden sowohl Prompt-Caching als auch Grammatik-Caching bewahrt, wenn Tools dynamisch geladen werden.

Was macht Ihren Cache ungültig

Der Cache folgt einer Präfix-Hierarchie (tools → system → messages), daher macht eine Änderung auf einer Ebene diese Ebene und alles danach ungültig:

Tabelle für Tool-spezifische Interaktionen

Nächste Schritte