Потоковая передача инструментов с точной детализацией

Потоковая передача инструментов с точной детализацией доступна на всех моделях и всех платформах. Она позволяет потоковую передачу значений параметров использования инструментов без буферизации или проверки JSON, снижая задержку перед началом получения больших параметров.

Как использовать потоковую передачу инструментов с точной детализацией

Потоковая передача инструментов с точной детализацией доступна на всех моделях и всех платформах (Claude API, Amazon Bedrock, Google Vertex AI и Microsoft Foundry). Чтобы использовать её, установите eager_input_streaming в значение true для любого определённого пользователем инструмента, для которого вы хотите включить потоковую передачу с точной детализацией, и включите потоковую передачу в вашем запросе.

Вот пример использования потоковой передачи инструментов с точной детализацией с API:

client = anthropic.Anthropic()

with client.messages.stream(
    max_tokens=65536,
    model="claude-opus-4-7",
    tools=[
        {
            "name": "make_file",
            "description": "Write text to a file",
            "eager_input_streaming": True,
            "input_schema": {
                "type": "object",
                "properties": {
                    "filename": {
                        "type": "string",
                        "description": "The filename to write text to",
                    },
                    "lines_of_text": {
                        "type": "array",
                        "description": "An array of lines of text to write to the file",
                    },
                },
                "required": ["filename", "lines_of_text"],
            },
        }
    ],
    messages=[
        {
            "role": "user",
            "content": "Can you write a long poem and make a file called poem.txt?",
        }
    ],
) as stream:
    for event in stream:
        pass
    final_message = stream.get_final_message()

print(final_message.usage)

В этом примере потоковая передача инструментов с точной детализацией позволяет Claude потоком передавать строки длинного стихотворения в вызов инструмента make_file без буферизации для проверки того, является ли параметр lines_of_text действительным JSON. Это означает, что вы можете видеть параметр потока по мере его поступления, без необходимости ждать, пока весь параметр буферизуется и проверится.

Chunk 1: '{"'
Chunk 2: 'query": "Ty'
Chunk 3: 'peScri'
Chunk 4: 'pt 5.0 5.1 '
Chunk 5: '5.2 5'
Chunk 6: '.3'
Chunk 8: ' new f'
Chunk 9: 'eatur'
...

Chunk 1: '{"query": "TypeScript 5.0 5.1 5.2 5.3'
Chunk 2: ' new features comparison'

Накопление дельта входных данных инструмента

Когда блок содержимого tool_use потоком передаётся, начальное событие content_block_start содержит input: {} (пустой объект). Это заполнитель. Фактические входные данные поступают в виде серии событий input_json_delta, каждое из которых содержит фрагмент строки partial_json. Ваш код должен объединить эти фрагменты и проанализировать результат после закрытия блока.

Контракт накопления:

1. При content_block_start с type: "tool_use" инициализируйте пустую строку: input_json = ""
2. Для каждого content_block_delta с type: "input_json_delta" добавьте: input_json += event.delta.partial_json
3. При content_block_stop проанализируйте накопленную строку: json.loads(input_json)

Несоответствие типов между начальным input: {} (объект) и partial_json (строка) сделано намеренно. Пустой объект отмечает слот в массиве содержимого; строки дельта создают реальное значение.

Обработка недействительного JSON в ответах инструментов

При использовании потоковой передачи инструментов с точной детализацией вы можете получить недействительный или неполный JSON от модели. Если вам нужно передать этот недействительный JSON обратно в модель в блоке ответа об ошибке, вы можете обернуть его в объект JSON, чтобы обеспечить надлежащую обработку (с разумным ключом). Например:

{
  "INVALID_JSON": "<your invalid json string>"
}

Этот подход помогает модели понять, что содержимое является недействительным JSON, при этом сохраняя исходные неправильно сформированные данные в целях отладки.

Следующие шаги