Utilizzo di strumenti con caching dei prompt

Questa pagina copre il caching dei prompt per le definizioni degli strumenti: dove posizionare i breakpoint cache_control, come defer_loading preserva la tua cache e cosa la invalida. Per il caching generale dei prompt, vedi Caching dei prompt.

cache_control sulle definizioni degli strumenti

Posiziona cache_control: {"type": "ephemeral"} sull'ultimo strumento nel tuo array tools. Questo memorizza nella cache l'intero prefisso delle definizioni degli strumenti, dal primo strumento attraverso il breakpoint contrassegnato:

{
  "tools": [
    {
      "name": "get_weather",
      "description": "Get the current weather in a given location",
      "input_schema": {
        "type": "object",
        "properties": {
          "location": { "type": "string" }
        },
        "required": ["location"]
      }
    },
    {
      "name": "get_time",
      "description": "Get the current time in a given time zone",
      "input_schema": {
        "type": "object",
        "properties": {
          "timezone": { "type": "string" }
        },
        "required": ["timezone"]
      },
      "cache_control": { "type": "ephemeral" }
    }
  ]
}

Per mcp_toolset, il breakpoint cache_control si posiziona sull'ultimo strumento nel set. Non controlli l'ordine degli strumenti all'interno di un toolset MCP, quindi posiziona il breakpoint sulla voce mcp_toolset stessa e l'API lo applica allo strumento finale espanso.

defer_loading e preservazione della cache

Gli strumenti differiti non sono inclusi nel prefisso del prompt di sistema. Quando il modello scopre uno strumento differito attraverso tool search, la definizione viene aggiunta inline come blocco tool_reference nella cronologia della conversazione. Il prefisso rimane intatto, quindi il caching dei prompt è preservato.

Questo significa che l'aggiunta dinamica di strumenti attraverso tool search non interrompe la tua cache. Puoi iniziare una conversazione con un piccolo set di strumenti sempre caricati (memorizzati nella cache), lasciare che il modello scopra strumenti aggiuntivi secondo necessità e mantenere lo stesso cache hit in ogni turno.

defer_loading agisce anche indipendentemente dalla costruzione della grammatica per la modalità ristretta. La grammatica si costruisce dal set completo di strumenti indipendentemente da quali strumenti sono differiti, quindi il caching dei prompt e il caching della grammatica sono entrambi preservati quando gli strumenti si caricano dinamicamente.

Cosa invalida la tua cache

La cache segue una gerarchia di prefissi (tools → system → messages), quindi una modifica a un livello invalida quel livello e tutto ciò che viene dopo:

Tabella di interazione per strumento

Passaggi successivi