Снижение задержки

«Latency» (задержка) — это время, которое требуется модели для обработки подсказки и генерации вывода. На задержку могут влиять различные факторы, такие как размер модели, сложность подсказки, а также базовая инфраструктура, поддерживающая модель и точку взаимодействия.

Как измерять задержку

При обсуждении задержки вы можете встретить несколько терминов и показателей:

• Базовая задержка (baseline latency): это время, затрачиваемое моделью на обработку подсказки и генерацию ответа, без учёта количества входных и выходных токенов в секунду. Она даёт общее представление о скорости модели.
• Время до первого токена, или TTFT («time to first token»): этот показатель измеряет время, которое требуется модели для генерации первого токена ответа с момента отправки подсказки. Он особенно важен, когда вы используете «streaming» (потоковую передачу) — подробнее об этом ниже — и хотите обеспечить отзывчивый опыт для ваших пользователей.

Для более глубокого понимания этих терминов ознакомьтесь с глоссарием.

Как снизить задержку

1. Выберите подходящую модель

Один из самых прямых способов снизить задержку — выбрать модель, подходящую для вашего сценария использования. Anthropic предлагает ряд моделей с различными возможностями и характеристиками производительности. Учитывайте ваши конкретные требования и выбирайте модель, которая лучше всего соответствует вашим потребностям с точки зрения скорости и качества вывода.

Для приложений, критичных к скорости, Claude Haiku 4.5 обеспечивает самое быстрое время отклика, сохраняя при этом высокий уровень интеллекта:

client = anthropic.Anthropic()

# Для приложений, чувствительных ко времени, используйте Claude Haiku 4.5
message = client.messages.create(
    model="claude-haiku-4-5",
    max_tokens=100,
    messages=[
        {
            "role": "user",
            "content": "Summarize this customer feedback in 2 sentences: [feedback text]",
        }
    ],
)
print(message.content[0].text)

Подробнее о метриках моделей см. на странице обзора моделей.

2. Оптимизируйте длину подсказки и вывода

Минимизируйте количество токенов как во входной подсказке, так и в ожидаемом выводе, сохраняя при этом высокую производительность. Чем меньше токенов модели нужно обработать и сгенерировать, тем быстрее будет ответ.

Вот несколько советов, которые помогут вам оптимизировать ваши подсказки и выводы:

• Будьте ясны, но лаконичны: стремитесь ясно и кратко передать ваше намерение в подсказке. Избегайте ненужных деталей или избыточной информации, помня при этом, что Claude не имеет контекста о вашем сценарии использования и может не сделать предполагаемых логических выводов, если инструкции неясны.
• Просите более короткие ответы: прямо попросите Claude быть кратким. Если Claude выдаёт ответы нежелательной длины, попросите Claude умерить свою многословность.
• Установите подходящие ограничения вывода: используйте параметр max_tokens, чтобы задать жёсткое ограничение на максимальную длину генерируемого ответа. Это не позволит Claude генерировать чрезмерно длинные выводы.
• Экспериментируйте с температурой: параметр temperature управляет случайностью вывода. Более низкие значения (например, 0,2) иногда могут приводить к более сфокусированным и коротким ответам, тогда как более высокие значения (например, 0,8) могут давать более разнообразные, но потенциально более длинные выводы.

Поиск правильного баланса между ясностью подсказки, качеством вывода и количеством токенов может потребовать некоторых экспериментов.

3. Используйте потоковую передачу ответов

Потоковая передача — это функция, которая позволяет модели начать отправлять свой ответ до того, как весь вывод будет завершён. Это может значительно улучшить воспринимаемую отзывчивость вашего приложения, поскольку пользователи могут видеть вывод модели в реальном времени.

При включённой потоковой передаче вы можете обрабатывать вывод модели по мере его поступления, обновляя пользовательский интерфейс или параллельно выполняя другие задачи.

Посетите раздел Потоковая передача сообщений, чтобы узнать, как реализовать потоковую передачу для вашего сценария использования.

Следующие шаги