Ограничения скорости

Существует два типа ограничений:

1. Лимиты расходов устанавливают максимальную ежемесячную сумму, которую организация может потратить на использование API.
2. Ограничения скорости устанавливают максимальное количество запросов к API, которое организация может выполнить за определённый период времени.

API применяет настроенные сервисом ограничения на уровне организации, но вы также можете задать пользовательские ограничения для рабочих пространств вашей организации.



Об ограничениях скорости

• Ограничения предназначены для предотвращения злоупотреблений API при минимальном влиянии на типичные сценарии использования клиентами.
• Ограничения определяются уровнем использования («usage tier»). Ваша организация автоматически помещается на определённый уровень и со временем может перейти на более высокий уровень по мере использования API.
• Ограничения устанавливаются на уровне организации. Вы можете увидеть уровень вашей организации и текущие ограничения на странице Limits в Claude Console.
• Вы можете столкнуться с ограничениями скорости на более коротких временных интервалах. Например, ограничение в 60 запросов в минуту (RPM) может применяться как 1 запрос в секунду. Короткие всплески запросов могут превысить лимит и вызвать ошибки ограничения скорости.
• Приведённые ниже ограничения являются стандартными для каждого уровня. Если вам нужны более высокие лимиты, см. раздел Запрос более высоких лимитов.
• API использует алгоритм «token bucket» (алгоритм маркерной корзины) для ограничения скорости. Это означает, что ваша ёмкость непрерывно пополняется до максимального лимита, а не сбрасывается через фиксированные интервалы.
• Все описанные здесь ограничения представляют собой максимально допустимое использование, а не гарантированные минимумы. Эти ограничения предназначены для снижения непреднамеренного перерасхода и обеспечения справедливого распределения ресурсов между пользователями.



Лимиты расходов

Каждый из уровней Start, Build и Scale имеет месячный лимит расходов — максимальную сумму, которую ваша организация может потратить на API за календарный месяц. Как только вы достигнете лимита расходов вашего уровня, использование API приостанавливается до следующего месяца, если только вы не запросите более высокий лимит. Вы можете просмотреть месячный лимит расходов вашей организации на странице Limits.

Организации на уровне Custom не имеют месячного лимита расходов; ограничения согласовываются с их командой по работе с клиентами.

Вы также можете установить собственный лимит расходов ниже лимита вашего уровня, чтобы контролировать затраты:



Ограничения скорости

Ограничения скорости для Messages API измеряются в запросах в минуту (RPM), входных токенах в минуту (ITPM) и выходных токенах в минуту (OTPM) для каждого класса моделей. Если вы превысите любое из ограничений скорости, вы получите ошибку 429 с описанием того, какое ограничение скорости было превышено, а также заголовок retry-after, указывающий, сколько нужно подождать.



ITPM с учётом кэша

Многие поставщики API используют объединённый лимит «токенов в минуту» (TPM), который может включать все токены — как кэшированные, так и некэшированные, входные и выходные. Для большинства моделей Claude в лимит ITPM засчитываются только некэшированные входные токены. Это ключевое преимущество, благодаря которому ограничения скорости фактически выше, чем может показаться на первый взгляд.

Ограничения скорости ITPM оцениваются в начале каждого запроса, и эта оценка корректируется в процессе выполнения запроса, чтобы отразить фактическое количество использованных входных токенов.

Вот что засчитывается в ITPM:

• input_tokens (токены после последней точки разрыва кэша) ✓ Засчитываются в ITPM
• cache_creation_input_tokens (токены, записываемые в кэш) ✓ Засчитываются в ITPM
• cache_read_input_tokens (токены, считываемые из кэша) ✗ НЕ засчитываются в ITPM для большинства моделей

total_input_tokens = cache_read_input_tokens + cache_creation_input_tokens + input_tokens

Пример: при лимите ITPM в 2 000 000 и доле попаданий в кэш 80% вы могли бы фактически обрабатывать 10 000 000 входных токенов в минуту (2 млн некэшированных + 8 млн кэшированных), поскольку кэшированные токены не засчитываются в ваше ограничение скорости.

Ограничения скорости OTPM оцениваются в реальном времени по мере генерации выходных токенов, при этом учитываются только фактически сгенерированные токены. Параметр max_tokens не учитывается при расчёте ограничения скорости OTPM, поэтому установка более высокого значения max_tokens не несёт никаких недостатков с точки зрения ограничений скорости.

Ограничения скорости применяются отдельно для каждой модели; следовательно, вы можете использовать разные модели одновременно в пределах их соответствующих лимитов. Вы можете проверить текущие ограничения скорости и их поведение в Claude Console или считать настроенные лимиты программно с помощью Rate Limits API.

^{* — Ограничение скорости для Opus является общим лимитом, который применяется к суммарному трафику по Claude Opus 4.8, Opus 4.7, Opus 4.6 и Opus 4.5.}

^{** — Ограничение скорости для Sonnet 4.x является общим лимитом, который применяется к суммарному трафику по Sonnet 4.6 и Sonnet 4.5. Claude Sonnet 5 имеет отдельное ограничение скорости и не входит в этот объединённый пул.}

^{† — Лимит засчитывает cache_read_input_tokens в использование ITPM.}



Message Batches API

Message Batches API имеет собственный набор ограничений скорости, общих для всех моделей. Они включают ограничение на количество запросов в минуту (RPM) ко всем конечным точкам API и ограничение на количество пакетных запросов, которые могут одновременно находиться в очереди обработки. Под «пакетным запросом» здесь понимается часть Message Batch. Вы можете создать Message Batch, содержащий тысячи пакетных запросов, каждый из которых засчитывается в этот лимит. Пакетный запрос считается находящимся в очереди обработки, пока он ещё не был успешно обработан моделью.



Управляемые агенты

Конечные точки Claude Managed Agents имеют ограничения скорости на уровне организации. Эти ограничения отделены от приведённых выше ограничений скорости Messages API.



Ограничения скорости быстрого режима

При использовании быстрого режима (исследовательская предварительная версия) с параметром speed: "fast" на Claude Opus 4.8 или Opus 4.7 применяются выделенные ограничения скорости, отдельные от стандартных ограничений скорости Opus. При превышении ограничений скорости быстрого режима API возвращает ошибку 429 с заголовком retry-after. Быстрый режим недоступен на Claude Opus 4.6: запросы к claude-opus-4-6 с speed: "fast" выполняются на стандартной скорости. См. Быстрый режим.

Ответ включает заголовки anthropic-fast-*, которые указывают статус ваших ограничений скорости быстрого режима. Подробнее об этих заголовках см. в разделе Быстрый режим.



Мониторинг ограничений скорости в Console

Вы можете отслеживать использование ограничений скорости на странице Usage в Claude Console.

Помимо графиков токенов и запросов, страница Usage предоставляет два отдельных графика ограничений скорости. Используйте эти графики, чтобы увидеть, какой у вас есть запас для роста, когда вы можете достигать пикового использования, лучше понять, какие ограничения скорости запрашивать, или как можно улучшить показатели кэширования. Графики визуализируют ряд метрик для заданного ограничения скорости (например, по модели):

• График Rate Limit - Input Tokens включает:
  • Почасовой максимум некэшированных входных токенов в минуту
  • Ваше текущее ограничение скорости входных токенов в минуту
  • Долю кэширования для ваших входных токенов (то есть процент входных токенов, считанных из кэша)
• График Rate Limit - Output Tokens включает:
  • Почасовой максимум выходных токенов в минуту
  • Ваше текущее ограничение скорости выходных токенов в минуту



Запрос более высоких лимитов

Чтобы запросить более высокие ограничения скорости или более высокий месячный лимит расходов, используйте Request rate limit increase на странице Limits.



Установка более низких лимитов для рабочих пространств

Подробнее о рабочих пространствах см. в разделе Рабочие пространства.

Чтобы защитить рабочие пространства в вашей организации от потенциального чрезмерного использования, вы можете установить индивидуальные лимиты расходов и ограничения скорости для каждого рабочего пространства.

Пример: если лимит вашей организации составляет 40 000 входных токенов в минуту и 8 000 выходных токенов в минуту, вы можете ограничить одно рабочее пространство до 30 000 входных токенов в минуту. Это защищает другие рабочие пространства от потенциального чрезмерного использования и обеспечивает более справедливое распределение ресурсов в вашей организации. Оставшиеся неиспользованные токены в минуту (или больше, если это рабочее пространство не использует лимит) становятся доступны для других рабочих пространств.

Примечание:

• Вы не можете установить лимиты для рабочего пространства по умолчанию.
• Если лимиты не заданы, лимиты рабочего пространства соответствуют лимитам организации.
• Лимиты рабочего пространства устанавливаются по типу ограничителя (например, запросы в минуту, входные токены в минуту или выходные токены в минуту).
• Лимиты на уровне организации применяются всегда, даже если сумма лимитов рабочих пространств превышает их.

Чтобы программно считать текущие ограничения скорости организации и рабочих пространств, используйте Rate Limits API.



Заголовки ответа

Ответ API включает заголовки, которые показывают применяемое ограничение скорости, текущее использование и время сброса лимита.

Возвращаются следующие заголовки:

Заголовки anthropic-ratelimit-tokens-* отображают значения для наиболее строгого ограничения, действующего в данный момент. Например, если вы превысили поминутный лимит токенов рабочего пространства, заголовки будут содержать значения поминутного ограничения скорости токенов рабочего пространства. Если лимиты рабочего пространства не применяются, заголовки вернут общее количество оставшихся токенов, где общее — это сумма входных и выходных токенов. Такой подход гарантирует, что вы видите наиболее релевантное ограничение для вашего текущего использования API.