Streaming d'outils à granularité fine

Le streaming d'outils à granularité fine est généralement disponible sur tous les modèles et toutes les plates-formes, sans en-tête bêta requis. Il permet le streaming des valeurs de paramètres d'utilisation d'outils sans mise en mémoire tampon ou validation JSON, réduisant la latence pour commencer à recevoir de grands paramètres.

Comment utiliser le streaming d'outils à granularité fine

Le streaming d'outils à granularité fine est disponible sur tous les modèles et toutes les plates-formes (Claude API, Amazon Bedrock, Google Vertex AI et Microsoft Foundry). Pour l'utiliser, définissez eager_input_streaming sur true sur n'importe quel outil où vous souhaitez activer le streaming à granularité fine, et activez le streaming sur votre requête.

Voici un exemple de la façon d'utiliser le streaming d'outils à granularité fine avec l'API :

curl https://api.anthropic.com/v1/messages \
  -H "content-type: application/json" \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -d '{
    "model": "claude-opus-4-6",
    "max_tokens": 65536,
    "tools": [
      {
        "name": "make_file",
        "description": "Write text to a file",
        "eager_input_streaming": true,
        "input_schema": {
          "type": "object",
          "properties": {
            "filename": {
              "type": "string",
              "description": "The filename to write text to"
            },
            "lines_of_text": {
              "type": "array",
              "description": "An array of lines of text to write to the file"
            }
          },
          "required": ["filename", "lines_of_text"]
        }
      }
    ],
    "messages": [
      {
        "role": "user",
        "content": "Can you write a long poem and make a file called poem.txt?"
      }
    ],
    "stream": true
  }' | jq '.usage'

Dans cet exemple, le streaming d'outils à granularité fine permet à Claude de diffuser les lignes d'un long poème dans l'appel d'outil make_file sans mise en mémoire tampon pour valider si le paramètre lines_of_text est un JSON valide. Cela signifie que vous pouvez voir le paramètre se diffuser à mesure qu'il arrive, sans avoir à attendre que l'ensemble du paramètre soit mis en mémoire tampon et validé.

Chunk 1: '{"'
Chunk 2: 'query": "Ty'
Chunk 3: 'peScri'
Chunk 4: 'pt 5.0 5.1 '
Chunk 5: '5.2 5'
Chunk 6: '.3'
Chunk 8: ' new f'
Chunk 9: 'eatur'
...

Chunk 1: '{"query": "TypeScript 5.0 5.1 5.2 5.3'
Chunk 2: ' new features comparison'

Gestion du JSON invalide dans les réponses d'outils

Lors de l'utilisation du streaming d'outils à granularité fine, vous pouvez recevoir du JSON invalide ou incomplet du modèle. Si vous devez renvoyer ce JSON invalide au modèle dans un bloc de réponse d'erreur, vous pouvez l'envelopper dans un objet JSON pour assurer une manipulation appropriée (avec une clé raisonnable). Par exemple :

{
  "INVALID_JSON": "<your invalid json string>"
}

Cette approche aide le modèle à comprendre que le contenu est un JSON invalide tout en préservant les données malformées d'origine à des fins de débogage.