Streaming de herramientas de grano fino

El streaming de herramientas de grano fino está disponible en general en todos los modelos y todas las plataformas, sin requerir encabezado beta. Permite streaming de valores de parámetros de uso de herramientas sin almacenamiento en búfer o validación JSON, reduciendo la latencia para comenzar a recibir parámetros grandes.

Cómo usar streaming de herramientas de grano fino

El streaming de herramientas de grano fino está disponible en todos los modelos y todas las plataformas (Claude API, Amazon Bedrock, Google Vertex AI y Microsoft Foundry). Para usarlo, establece eager_input_streaming en true en cualquier herramienta donde desees que el streaming de grano fino esté habilitado, y habilita el streaming en tu solicitud.

Aquí hay un ejemplo de cómo usar streaming de herramientas de grano fino con la API:

curl https://api.anthropic.com/v1/messages \
  -H "content-type: application/json" \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -d '{
    "model": "claude-opus-4-6",
    "max_tokens": 65536,
    "tools": [
      {
        "name": "make_file",
        "description": "Write text to a file",
        "eager_input_streaming": true,
        "input_schema": {
          "type": "object",
          "properties": {
            "filename": {
              "type": "string",
              "description": "The filename to write text to"
            },
            "lines_of_text": {
              "type": "array",
              "description": "An array of lines of text to write to the file"
            }
          },
          "required": ["filename", "lines_of_text"]
        }
      }
    ],
    "messages": [
      {
        "role": "user",
        "content": "Can you write a long poem and make a file called poem.txt?"
      }
    ],
    "stream": true
  }' | jq '.usage'

En este ejemplo, el streaming de herramientas de grano fino permite a Claude transmitir las líneas de un poema largo en la llamada de herramienta make_file sin almacenamiento en búfer para validar si el parámetro lines_of_text es JSON válido. Esto significa que puedes ver el parámetro transmitirse a medida que llega, sin tener que esperar a que todo el parámetro se almacene en búfer y se valide.

Chunk 1: '{"'
Chunk 2: 'query": "Ty'
Chunk 3: 'peScri'
Chunk 4: 'pt 5.0 5.1 '
Chunk 5: '5.2 5'
Chunk 6: '.3'
Chunk 8: ' new f'
Chunk 9: 'eatur'
...

Chunk 1: '{"query": "TypeScript 5.0 5.1 5.2 5.3'
Chunk 2: ' new features comparison'

Manejo de JSON inválido en respuestas de herramientas

Cuando uses streaming de herramientas de grano fino, es posible que recibas JSON inválido o incompleto del modelo. Si necesitas pasar este JSON inválido de vuelta al modelo en un bloque de respuesta de error, puedes envolverlo en un objeto JSON para garantizar el manejo adecuado (con una clave razonable). Por ejemplo:

{
  "INVALID_JSON": "<your invalid json string>"
}

Este enfoque ayuda al modelo a entender que el contenido es JSON inválido mientras se preservan los datos malformados originales para propósitos de depuración.