Streaming de ferramentas de granularidade fina

Streaming de ferramentas de granularidade fina está geralmente disponível em todos os modelos e todas as plataformas, sem necessidade de cabeçalho beta. Ele permite streaming de valores de parâmetros de uso de ferramentas sem buffering ou validação JSON, reduzindo a latência para começar a receber parâmetros grandes.

Como usar streaming de ferramentas de granularidade fina

Streaming de ferramentas de granularidade fina está disponível em todos os modelos e todas as plataformas (Claude API, Amazon Bedrock, Google Vertex AI e Microsoft Foundry). Para usá-lo, defina eager_input_streaming como true em qualquer ferramenta onde você deseja que o streaming de granularidade fina seja ativado e ative o streaming em sua solicitação.

Aqui está um exemplo de como usar streaming de ferramentas de granularidade fina com a API:

curl https://api.anthropic.com/v1/messages \
  -H "content-type: application/json" \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -d '{
    "model": "claude-opus-4-6",
    "max_tokens": 65536,
    "tools": [
      {
        "name": "make_file",
        "description": "Write text to a file",
        "eager_input_streaming": true,
        "input_schema": {
          "type": "object",
          "properties": {
            "filename": {
              "type": "string",
              "description": "The filename to write text to"
            },
            "lines_of_text": {
              "type": "array",
              "description": "An array of lines of text to write to the file"
            }
          },
          "required": ["filename", "lines_of_text"]
        }
      }
    ],
    "messages": [
      {
        "role": "user",
        "content": "Can you write a long poem and make a file called poem.txt?"
      }
    ],
    "stream": true
  }' | jq '.usage'

Neste exemplo, streaming de ferramentas de granularidade fina permite que Claude faça streaming das linhas de um poema longo para a chamada de ferramenta make_file sem buffering para validar se o parâmetro lines_of_text é um JSON válido. Isso significa que você pode ver o parâmetro fazer streaming conforme chega, sem ter que esperar que todo o parâmetro seja armazenado em buffer e validado.

Chunk 1: '{"'
Chunk 2: 'query": "Ty'
Chunk 3: 'peScri'
Chunk 4: 'pt 5.0 5.1 '
Chunk 5: '5.2 5'
Chunk 6: '.3'
Chunk 8: ' new f'
Chunk 9: 'eatur'
...

Chunk 1: '{"query": "TypeScript 5.0 5.1 5.2 5.3'
Chunk 2: ' new features comparison'

Tratamento de JSON inválido em respostas de ferramentas

Ao usar streaming de ferramentas de granularidade fina, você pode receber JSON inválido ou incompleto do modelo. Se você precisar passar esse JSON inválido de volta para o modelo em um bloco de resposta de erro, você pode envolvê-lo em um objeto JSON para garantir o tratamento adequado (com uma chave razoável). Por exemplo:

{
  "INVALID_JSON": "<your invalid json string>"
}

Essa abordagem ajuda o modelo a entender que o conteúdo é JSON inválido enquanto preserva os dados malformados originais para fins de depuração.