Использование инструментов с кешированием подсказок

На этой странице рассматривается кеширование подсказок для определений инструментов: где размещать точки разрыва cache_control, как defer_loading сохраняет ваш кеш и что его делает недействительным. Для общего кеширования подсказок см. Кеширование подсказок.

cache_control на определениях инструментов

Поместите cache_control: {"type": "ephemeral"} на последний инструмент в вашем массиве tools. Это кеширует весь префикс определений инструментов, от первого инструмента до отмеченной точки разрыва:

{
  "tools": [
    {
      "name": "get_weather",
      "description": "Get the current weather in a given location",
      "input_schema": {
        "type": "object",
        "properties": {
          "location": { "type": "string" }
        },
        "required": ["location"]
      }
    },
    {
      "name": "get_time",
      "description": "Get the current time in a given time zone",
      "input_schema": {
        "type": "object",
        "properties": {
          "timezone": { "type": "string" }
        },
        "required": ["timezone"]
      },
      "cache_control": { "type": "ephemeral" }
    }
  ]
}

Для mcp_toolset точка разрыва cache_control размещается на последнем инструменте в наборе. Вы не контролируете порядок инструментов в наборе инструментов MCP, поэтому поместите точку разрыва на саму запись mcp_toolset, и API применит её к окончательно развёрнутому инструменту.

defer_loading и сохранение кеша

Отложенные инструменты не включаются в префикс системной подсказки. Когда модель обнаруживает отложенный инструмент через поиск инструментов, определение добавляется встроенным образом как блок tool_reference в историю разговора. Префикс остаётся нетронутым, поэтому кеширование подсказок сохраняется.

Это означает, что добавление инструментов динамически через поиск инструментов не нарушает ваш кеш. Вы можете начать разговор с небольшого набора всегда загруженных инструментов (кешированных), позволить модели обнаружить дополнительные инструменты по мере необходимости и сохранить одно и то же попадание в кеш на каждом ходу.

defer_loading также действует независимо от конструкции грамматики для строгого режима. Грамматика строится из полного набора инструментов независимо от того, какие инструменты отложены, поэтому кеширование подсказок и кеширование грамматики оба сохраняются при динамической загрузке инструментов.

Что делает ваш кеш недействительным

Кеш следует иерархии префиксов (tools → system → messages), поэтому изменение на одном уровне делает недействительным этот уровень и всё, что идёт после него:

Таблица взаимодействия для каждого инструмента

Следующие шаги