Utilisation d'outils avec mise en cache des invites

Cette page couvre la mise en cache des invites pour les définitions d'outils : où placer les points d'arrêt cache_control, comment defer_loading préserve votre cache, et ce qui l'invalide. Pour la mise en cache générale des invites, consultez Mise en cache des invites.

cache_control sur les définitions d'outils

Placez cache_control: {"type": "ephemeral"} sur le dernier outil de votre tableau tools. Cela met en cache l'intégralité du préfixe des définitions d'outils, du premier outil jusqu'au point d'arrêt marqué :

{
  "tools": [
    {
      "name": "get_weather",
      "description": "Get the current weather in a given location",
      "input_schema": {
        "type": "object",
        "properties": {
          "location": { "type": "string" }
        },
        "required": ["location"]
      }
    },
    {
      "name": "get_time",
      "description": "Get the current time in a given time zone",
      "input_schema": {
        "type": "object",
        "properties": {
          "timezone": { "type": "string" }
        },
        "required": ["timezone"]
      },
      "cache_control": { "type": "ephemeral" }
    }
  ]
}

Pour mcp_toolset, le point d'arrêt cache_control se place sur le dernier outil de l'ensemble. Vous ne contrôlez pas l'ordre des outils dans un ensemble MCP, donc placez le point d'arrêt sur l'entrée mcp_toolset elle-même et l'API l'applique à l'outil final développé.

defer_loading et préservation du cache

Les outils différés ne sont pas inclus dans le préfixe de l'invite système. Lorsque le modèle découvre un outil différé via recherche d'outils, la définition est ajoutée en ligne sous forme de bloc tool_reference dans l'historique de la conversation. Le préfixe reste inchangé, donc la mise en cache des invites est préservée.

Cela signifie que l'ajout d'outils de manière dynamique via la recherche d'outils ne casse pas votre cache. Vous pouvez commencer une conversation avec un petit ensemble d'outils toujours chargés (mis en cache), laisser le modèle découvrir des outils supplémentaires selon les besoins, et conserver le même accès au cache à chaque tour.

defer_loading agit également indépendamment de la construction de la grammaire pour le mode strict. La grammaire est construite à partir de l'ensemble complet des outils, quel que soit le nombre d'outils différés, donc la mise en cache des invites et la mise en cache de la grammaire sont toutes deux préservées lorsque les outils se chargent dynamiquement.

Ce qui invalide votre cache

Le cache suit une hiérarchie de préfixes (tools → system → messages), donc une modification à un niveau invalide ce niveau et tout ce qui suit :

Tableau d'interaction par outil

Étapes suivantes