Claude Platform Docs
РекомендацииТестирование и оценка

Снижение задержки

Снизьте задержку ответов Claude, выбрав более быструю модель, например Claude Haiku 5.5, сократив количество токенов в подсказке и выводе и используя потоковую передачу ответов.

«Latency» (задержка) — это время, которое требуется модели для обработки подсказки и генерации вывода. На задержку могут влиять различные факторы, такие как размер модели, сложность подсказки, а также базовая инфраструктура, поддерживающая модель и точку взаимодействия.


Как измерять задержку

При обсуждении задержки вы можете встретить несколько терминов и показателей:

  • Базовая задержка (baseline latency): это время, затрачиваемое моделью на обработку подсказки и генерацию ответа, без учёта количества входных и выходных токенов в секунду. Она даёт общее представление о скорости модели.
  • Время до первого токена, или TTFT («time to first token»): этот показатель измеряет время, которое требуется модели для генерации первого токена ответа с момента отправки подсказки. Он особенно важен, когда вы используете «streaming» (потоковую передачу) — подробнее об этом ниже — и хотите обеспечить отзывчивый опыт для ваших пользователей.

Для более глубокого понимания этих терминов см. глоссарий.


Как снизить задержку

1. Выберите подходящую модель

Один из самых прямых способов снизить задержку — выбрать модель, подходящую для вашего сценария использования. Anthropic предлагает ряд моделей с разными возможностями и характеристиками производительности. Учитывайте свои конкретные требования и выбирайте модель, которая лучше всего соответствует вашим потребностям с точки зрения скорости и качества вывода.

Для приложений, критичных к скорости, Claude Haiku 5.5 обеспечивает самое быстрое время отклика, сохраняя при этом высокий уровень интеллекта. Уровень усилий — основной параметр управления скоростью и стоимостью этой модели. См. раздел Используйте effort для управления размышлениями. В следующем примере модель запускается с уровнем low — самым дешёвым и быстрым — и в max_tokens оставляется запас для размышлений:

client = anthropic.Anthropic()

# Для приложений, чувствительных ко времени, используйте Claude Haiku 5.5 с низким уровнем effort
message = client.messages.create(
    model="claude-haiku-5-5",
    max_tokens=1024,
    output_config={"effort": "low"},
    messages=[
        {
            "role": "user",
            "content": "Summarize this customer feedback in 2 sentences: [feedback text]",
        }
    ],
)
print(next(block.text for block in message.content if block.type == "text"))

Подробнее о метриках моделей см. Обзор моделей.

2. Оптимизируйте длину подсказки и вывода

Минимизируйте количество токенов как во входной подсказке, так и в ожидаемом выводе, сохраняя при этом высокую производительность. Чем меньше токенов модели нужно обработать и сгенерировать, тем быстрее будет ответ.

Вот несколько советов, которые помогут вам оптимизировать ваши подсказки и выводы:

  • Будьте ясны, но лаконичны: стремитесь чётко и кратко передать своё намерение в подсказке. Избегайте ненужных деталей и избыточной информации, но помните, что у Claude нет контекста о вашем сценарии использования, и при нечётких инструкциях он может не сделать ожидаемых выводов.
  • Просите более короткие ответы: прямо попросите Claude быть кратким. Если Claude выдаёт ответы нежелательной длины, попросите Claude снизить многословность.
  • Установите подходящие ограничения вывода: используйте параметр max_tokens, чтобы задать жёсткое ограничение на максимальную длину генерируемого ответа. Это не позволит Claude генерировать чрезмерно длинные выводы.

Поиск правильного баланса между ясностью подсказки, качеством вывода и количеством токенов может потребовать некоторых экспериментов.

3. Используйте потоковую передачу ответов

Потоковая передача — это функция, которая позволяет модели начать отправлять свой ответ до того, как весь вывод будет завершён. Это может значительно улучшить воспринимаемую отзывчивость вашего приложения, поскольку пользователи могут видеть вывод модели в реальном времени.

При включённой потоковой передаче вы можете обрабатывать вывод модели по мере его поступления, обновляя пользовательский интерфейс или параллельно выполняя другие задачи.

Посетите раздел Потоковая передача сообщений, чтобы узнать, как реализовать потоковую передачу для вашего сценария использования.


Следующие шаги

Следуйте исполняемому блокноту, который создаёт оценку задержки для примера агента, применяет приёмы по одному и проверяет, что качество вывода остаётся выше заданного порога.

Минимизируйте галлюцинации в выводах Claude, допуская неопределённость, основывая ответы на прямых цитатах и проверяя утверждения с помощью ссылок на источники.

Получайте ответы Messages API по частям с помощью событий, отправляемых сервером, включая дельты текста, использования инструментов и расширенных размышлений.

Запустите /claude-api latency-optimize в Claude Code, чтобы измерить, где ваше приложение ожидает Claude API, и протестировать изменения, которые сокращают ожидание без снижения качества вывода.

Эта страница была полезной?