Streaming d'outils à granularité fine

L'utilisation d'outils prend désormais en charge le streaming à granularité fine pour les valeurs de paramètres. Cela permet aux développeurs de diffuser les paramètres d'utilisation d'outils sans mise en mémoire tampon / validation JSON, réduisant la latence pour commencer à recevoir de gros paramètres.

Comment utiliser le streaming d'outils à granularité fine

Pour utiliser cette fonctionnalité bêta, ajoutez simplement l'en-tête bêta fine-grained-tool-streaming-2025-05-14 à une demande d'utilisation d'outils et activez le streaming.

Voici un exemple de comment utiliser le streaming d'outils à granularité fine avec l'API :

curl https://api.anthropic.com/v1/messages \
  -H "content-type: application/json" \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "anthropic-beta: fine-grained-tool-streaming-2025-05-14" \
  -d '{
    "model": "claude-sonnet-4-5",
    "max_tokens": 65536,
    "tools": [
      {
        "name": "make_file",
        "description": "Write text to a file",
        "input_schema": {
          "type": "object",
          "properties": {
            "filename": {
              "type": "string",
              "description": "The filename to write text to"
            },
            "lines_of_text": {
              "type": "array",
              "description": "An array of lines of text to write to the file"
            }
          },
          "required": ["filename", "lines_of_text"]
        }
      }
    ],
    "messages": [
      {
        "role": "user",
        "content": "Can you write a long poem and make a file called poem.txt?"
      }
    ],
    "stream": true
  }' | jq '.usage'

Dans cet exemple, le streaming d'outils à granularité fine permet à Claude de diffuser les lignes d'un long poème dans l'appel d'outil make_file sans mise en mémoire tampon pour valider si le paramètre lines_of_text est un JSON valide. Cela signifie que vous pouvez voir le paramètre se diffuser au fur et à mesure qu'il arrive, sans avoir à attendre que l'ensemble du paramètre soit mis en mémoire tampon et validé.

Fragment 1 : '{"'
Fragment 2 : 'query": "Ty'
Fragment 3 : 'peScri'
Fragment 4 : 'pt 5.0 5.1 '
Fragment 5 : '5.2 5'
Fragment 6 : '.3'
Fragment 8 : ' new f'
Fragment 9 : 'eatur'
...

Fragment 1 : '{"query": "TypeScript 5.0 5.1 5.2 5.3'
Fragment 2 : ' new features comparison'

Gestion du JSON invalide dans les réponses d'outils

Lors de l'utilisation du streaming d'outils à granularité fine, vous pourriez recevoir du JSON invalide ou incomplet du modèle. Si vous devez renvoyer ce JSON invalide au modèle dans un bloc de réponse d'erreur, vous pouvez l'envelopper dans un objet JSON pour assurer une gestion appropriée (avec une clé raisonnable). Par exemple :

{
  "INVALID_JSON": "<votre chaîne json invalide>"
}

Cette approche aide le modèle à comprendre que le contenu est du JSON invalide tout en préservant les données malformées originales à des fins de débogage.