Ограничения скорости

Существует два типа ограничений:

1. Лимиты расходов устанавливают максимальную месячную стоимость, которую организация может понести за использование API.
2. Ограничения скорости устанавливают максимальное количество запросов к API, которые организация может сделать за определённый период времени.

API применяет настроенные сервисом лимиты на уровне организации, но вы также можете установить настраиваемые пользователем лимиты для рабочих пространств вашей организации.



Об ограничениях скорости

• Лимиты предназначены для предотвращения злоупотребления API при минимальном влиянии на типичные сценарии использования клиентами.
• Лимиты определяются уровнем использования (usage tier). Ваша организация помещается на уровень автоматически и может переходить на более высокий уровень со временем по мере использования API.
• Лимиты устанавливаются на уровне организации. Вы можете увидеть уровень вашей организации и текущие лимиты на странице Limits в Claude Console.
• Вы можете достичь ограничений скорости на более коротких временных интервалах. Например, скорость 60 запросов в минуту (RPM) может применяться как 1 запрос в секунду. Короткие всплески запросов могут превысить лимит и вызвать ошибки ограничения скорости.
• Следующие лимиты являются стандартными лимитами для каждого уровня. Если вам нужны более высокие лимиты, см. Запрос более высоких лимитов.
• API использует алгоритм token bucket для ограничения скорости. Это означает, что ваша ёмкость непрерывно пополняется до вашего максимального лимита, а не сбрасывается через фиксированные интервалы.
• Все описанные здесь лимиты представляют максимально допустимое использование, а не гарантированные минимумы. Эти лимиты предназначены для снижения непреднамеренного перерасхода и обеспечения справедливого распределения ресурсов между пользователями.



Лимиты расходов

Каждый из уровней Start, Build и Scale имеет месячный предел расходов, который является максимумом, который ваша организация может потратить на API каждый календарный месяц. Как только вы достигнете предела расходов вашего уровня, использование API приостанавливается до следующего месяца, если вы не запросите более высокий лимит. Вы можете просмотреть месячный предел расходов вашей организации на странице Limits.

Организации на уровне Custom не имеют месячного предела расходов; лимиты согласовываются с их командой по работе с клиентами.

Вы также можете установить собственный лимит расходов ниже предела вашего уровня для контроля затрат:



Ограничения скорости

Ограничения скорости для Messages API измеряются в запросах в минуту (RPM), входных токенах в минуту (ITPM) и выходных токенах в минуту (OTPM) для каждого класса моделей. Если вы превысите любое из ограничений скорости, вы получите ошибку 429, описывающую, какое ограничение скорости было превышено, вместе с заголовком retry-after, указывающим, сколько нужно подождать.



ITPM с учётом кэша

Многие поставщики API используют комбинированный лимит «токенов в минуту» (TPM), который может включать все токены, как кэшированные, так и некэшированные, входные и выходные. Для большинства моделей Claude только некэшированные входные токены учитываются в ваших ограничениях скорости ITPM. Это ключевое преимущество, которое делает ограничения скорости фактически выше, чем они могут показаться на первый взгляд.

Ограничения скорости ITPM оцениваются в начале каждого запроса, и оценка корректируется во время запроса, чтобы отразить фактическое количество использованных входных токенов.

Вот что учитывается в ITPM:

• input_tokens (токены после последней точки останова кэша) ✓ Учитываются в ITPM
• cache_creation_input_tokens (токены, записываемые в кэш) ✓ Учитываются в ITPM
• cache_read_input_tokens (токены, читаемые из кэша) ✗ НЕ учитываются в ITPM для большинства моделей

total_input_tokens = cache_read_input_tokens + cache_creation_input_tokens + input_tokens

Пример: С лимитом ITPM в 2 000 000 и коэффициентом попадания в кэш 80% вы могли бы фактически обрабатывать 10 000 000 общих входных токенов в минуту (2 млн некэшированных + 8 млн кэшированных), потому что кэшированные токены не учитываются в вашем ограничении скорости.

Ограничения скорости OTPM оцениваются в реальном времени по мере создания выходных токенов, учитывая только фактически сгенерированные токены. Параметр max_tokens не учитывается в расчётах ограничения скорости OTPM, поэтому установка более высокого значения max_tokens не имеет недостатков с точки зрения ограничения скорости.

Ограничения скорости применяются отдельно для каждой модели; следовательно, вы можете использовать разные модели одновременно до их соответствующих лимитов. Вы можете проверить ваши текущие ограничения скорости и поведение в Claude Console или прочитать настроенные лимиты программно с помощью Rate Limits API.

^{* - Ограничение скорости Opus является общим лимитом, который применяется к совокупному трафику по Claude Opus 4.8, Opus 4.7, Opus 4.6 и Opus 4.5.}

^{** - Ограничение скорости Sonnet 4.x является общим лимитом, который применяется к совокупному трафику по Sonnet 4.6 и Sonnet 4.5. Claude Sonnet 5 имеет отдельное ограничение скорости и не входит в этот совокупный пул.}

^{† - Лимит учитывает cache_read_input_tokens в использовании ITPM.}



Message Batches API

Message Batches API имеет собственный набор ограничений скорости, которые являются общими для всех моделей. Они включают лимит запросов в минуту (RPM) для всех конечных точек API и лимит на количество пакетных запросов, которые могут находиться в очереди обработки одновременно. «Пакетный запрос» здесь относится к части Message Batch. Вы можете создать Message Batch, содержащий тысячи пакетных запросов, каждый из которых учитывается в этом лимите. Пакетный запрос считается частью очереди обработки, когда он ещё не был успешно обработан моделью.



Managed Agents

Конечные точки Claude Managed Agents имеют ограничения скорости на уровне организации. Эти лимиты отделены от ограничений скорости Messages API, указанных выше.



Ограничения скорости быстрого режима

При использовании быстрого режима (исследовательская предварительная версия) с speed: "fast" на Claude Opus 4.8 или Opus 4.7 применяются выделенные ограничения скорости, которые отделены от стандартных ограничений скорости Opus. Когда ограничения скорости быстрого режима превышены, API возвращает ошибку 429 с заголовком retry-after. Быстрый режим недоступен на Claude Opus 4.6: запросы к claude-opus-4-6 с speed: "fast" выполняются со стандартной скоростью. См. Быстрый режим.

Ответ включает заголовки anthropic-fast-*, которые указывают статус вашего ограничения скорости быстрого режима. См. Быстрый режим для подробностей об этих заголовках.



Мониторинг ваших ограничений скорости в Console

Вы можете отслеживать использование ваших ограничений скорости на странице Usage в Claude Console.

Помимо графиков токенов и запросов, страница Usage предоставляет два отдельных графика ограничений скорости. Используйте эти графики, чтобы увидеть, какой запас у вас есть для роста, когда вы можете достигать пикового использования, лучше понять, какие ограничения скорости запрашивать, или как вы можете улучшить ваши показатели кэширования. Графики визуализируют ряд метрик для заданного ограничения скорости (например, для каждой модели):

• График Rate Limit - Input Tokens включает:
  • Почасовой максимум некэшированных входных токенов в минуту
  • Ваше текущее ограничение скорости входных токенов в минуту
  • Коэффициент кэширования для ваших входных токенов (то есть процент входных токенов, прочитанных из кэша)
• График Rate Limit - Output Tokens включает:
  • Почасовой максимум выходных токенов в минуту
  • Ваше текущее ограничение скорости выходных токенов в минуту



Запрос более высоких лимитов

Чтобы запросить более высокие ограничения скорости или более высокий месячный предел расходов, используйте Request rate limit increase на странице Limits.



Установка более низких лимитов для рабочих пространств

Подробнее о рабочих пространствах см. Рабочие пространства.

Чтобы защитить рабочие пространства в вашей организации от потенциального чрезмерного использования, вы можете установить пользовательские лимиты расходов и ограничения скорости для каждого рабочего пространства.

Пример: Если лимит вашей организации составляет 40 000 входных токенов в минуту и 8 000 выходных токенов в минуту, вы можете ограничить одно рабочее пространство до 30 000 входных токенов в минуту. Это защищает другие рабочие пространства от потенциального чрезмерного использования и обеспечивает более справедливое распределение ресурсов в вашей организации. Оставшиеся неиспользованные токены в минуту (или больше, если это рабочее пространство не использует лимит) затем доступны для использования другими рабочими пространствами.

Примечание:

• Вы не можете установить лимиты для рабочего пространства по умолчанию.
• Если не установлены, лимиты рабочего пространства соответствуют лимиту организации.
• Лимиты рабочего пространства устанавливаются для каждого типа ограничителя (например, запросы в минуту, входные токены в минуту или выходные токены в минуту).
• Лимиты на уровне всей организации всегда применяются, даже если сумма лимитов рабочих пространств превышает их.

Чтобы программно прочитать текущие ограничения скорости вашей организации и рабочих пространств, используйте Rate Limits API.



Заголовки ответа

Ответ API включает заголовки, которые показывают вам применяемое ограничение скорости, текущее использование и когда лимит будет сброшен.

Возвращаются следующие заголовки:

Заголовки anthropic-ratelimit-tokens-* отображают значения для наиболее ограничивающего лимита, действующего в данный момент. Например, если вы превысили лимит токенов в минуту для рабочего пространства, заголовки будут содержать значения ограничения скорости токенов в минуту для рабочего пространства. Если лимиты рабочего пространства не применяются, заголовки вернут общее количество оставшихся токенов, где общее количество — это сумма входных и выходных токенов. Такой подход обеспечивает вам видимость наиболее значимого ограничения для вашего текущего использования API.