Уровни обслуживания

Anthropic предлагает три уровня обслуживания:

• Priority Tier: доступен только организациям с существующим обязательством по ёмкости
• Standard: уровень по умолчанию как для пилотных проектов, так и для масштабирования повседневных сценариев использования
• Batch: оптимален для асинхронных рабочих процессов, которые могут подождать или выигрывают от выполнения вне вашей обычной ёмкости



Уровень Standard

Уровень Standard — это уровень обслуживания по умолчанию для всех запросов к API. API приоритизирует эти запросы наравне со всеми остальными запросами с доступностью по принципу «best-effort» (по мере возможности).



Уровень Priority Tier

API приоритизирует запросы этого уровня над всеми остальными запросами. Такая приоритизация помогает минимизировать ошибки «server overloaded» (сервер перегружен) даже в периоды пиковой нагрузки.

Дополнительную информацию см. в разделе Существующие обязательства Priority Tier.



Как запросам назначаются уровни

При обработке запроса Anthropic принимает решение назначить запросу уровень Priority Tier в следующих случаях:

• У вашей организации достаточно ёмкости приоритетного уровня по входным токенам в минуту
• У вашей организации достаточно ёмкости приоритетного уровня по выходным токенам в минуту

Anthropic учитывает использование в счёт ёмкости Priority Tier следующим образом:

Входные токены

• Чтение из кэша — 0,1 токена за каждый токен, прочитанный из кэша
• Запись в кэш — 1,25 токена за каждый токен, записанный в кэш с TTL 5 минут
• Запись в кэш — 2,00 токена за каждый токен, записанный в кэш с TTL 1 час
• Для запросов с инференсом только в США (inference_geo: "us") на моделях Claude Opus 4.6, Claude Sonnet 4.6 и более поздних входные токены учитываются как 1,1 токена за токен
• Все остальные входные токены — 1 токен за токен

Выходные токены

• Для запросов с инференсом только в США (inference_geo: "us") на моделях Claude Opus 4.6, Claude Sonnet 4.6 и более поздних выходные токены учитываются как 1,1 токена за токен
• Все остальные выходные токены — 1 токен за токен

В противном случае запросы обрабатываются на уровне Standard.



Использование уровней обслуживания

Вы можете управлять тем, какие уровни обслуживания могут использоваться для запроса, установив параметр service_tier:

message = client.messages.create(
    model="claude-opus-4-8",
    max_tokens=1024,
    messages=[{"role": "user", "content": "Hello, Claude!"}],
    service_tier="auto",  # Automatically use Priority Tier when available, fallback to standard
)
print(message.usage.service_tier)

Параметр service_tier принимает следующие значения:

• "auto" (по умолчанию) — использует ёмкость Priority Tier, если она доступна, с откатом на вашу другую ёмкость в противном случае
• "standard_only" — использовать только ёмкость уровня Standard; полезно, если вы не хотите расходовать свою ёмкость Priority Tier

Объект usage в ответе также включает уровень обслуживания, назначенный запросу:

{
  "usage": {
    "input_tokens": 410,
    "cache_creation_input_tokens": 0,
    "cache_read_input_tokens": 0,
    "output_tokens": 585,
    "service_tier": "priority"
  }
}

Это позволяет вам определить, какой уровень обслуживания был назначен запросу.

При запросе с service_tier="auto" для модели с обязательством Priority Tier следующие заголовки ответа предоставляют дополнительную информацию:

anthropic-priority-input-tokens-limit: 10000
anthropic-priority-input-tokens-remaining: 9618
anthropic-priority-input-tokens-reset: 2025-01-12T23:11:59Z
anthropic-priority-output-tokens-limit: 10000
anthropic-priority-output-tokens-remaining: 6000
anthropic-priority-output-tokens-reset: 2025-01-12T23:12:21Z

Вы можете использовать наличие этих заголовков, чтобы определить, был ли ваш запрос допущен к Priority Tier, даже если он превысил лимит.



Существующие обязательства Priority Tier

Обязательство Priority Tier состоит из:

• Количества входных токенов в минуту
• Количества выходных токенов в минуту
• Срока обязательства (1, 3, 6 или 12 месяцев)
• Конкретной версии модели

Priority Tier ориентирован на 99,5% времени безотказной работы с приоритетным выделением вычислительных ресурсов. Запросы, превышающие вашу зафиксированную ёмкость, автоматически переходят на уровень Standard.



Поддерживаемые модели

Priority Tier поддерживается на всех доступных моделях Claude (включая Claude Fable 5 и Claude Opus 4.8), за исключением Claude Sonnet 5, Claude Mythos Preview и Claude Mythos 5.

Подробнее о доступных моделях см. в разделе Обзор моделей.