속도 제한

제한에는 두 가지 유형이 있습니다.

1. 지출 한도는 조직이 API 사용에 대해 발생시킬 수 있는 최대 월간 비용을 설정합니다.
2. 속도 제한은 조직이 정의된 기간 동안 수행할 수 있는 최대 API 요청 수를 설정합니다.

API는 조직 수준에서 서비스 구성 제한을 적용하지만, 조직의 워크스페이스에 대해 사용자 구성 가능한 제한을 설정할 수도 있습니다.

이러한 제한은 Standard Tier와 Priority Tier 사용 모두에 적용됩니다. 약정 지출의 대가로 향상된 서비스 수준을 제공하는 Priority Tier에 대한 자세한 내용은 서비스 티어를 참조하세요.



속도 제한 소개

• 제한은 일반적인 고객 사용 패턴에 미치는 영향을 최소화하면서 API 남용을 방지하도록 설계되었습니다.
• 제한은 사용 티어별로 정의되며, 각 티어는 서로 다른 지출 및 속도 제한 세트와 연결됩니다.
• API를 사용하면서 특정 임계값에 도달하면 조직의 티어가 자동으로 상향됩니다. 제한은 조직 수준에서 설정됩니다. Claude Console의 Limits 페이지에서 조직의 제한을 확인할 수 있습니다.
• 더 짧은 시간 간격에서 속도 제한에 도달할 수 있습니다. 예를 들어, 분당 60개 요청(RPM)의 속도는 초당 1개 요청으로 적용될 수 있습니다. 짧은 시간에 집중된 요청은 제한을 초과하여 속도 제한 오류를 유발할 수 있습니다.
• 아래에 설명된 제한은 표준 티어 제한입니다. 더 높은 맞춤형 제한이나 향상된 서비스 수준을 위한 Priority Tier를 원하시면 Limits 페이지에서 영업팀에 문의하세요.
• API는 토큰 버킷 알고리즘을 사용하여 속도 제한을 수행합니다. 즉, 용량이 고정된 간격으로 재설정되는 것이 아니라 최대 제한까지 지속적으로 보충됩니다.
• 여기에 설명된 모든 제한은 보장된 최소값이 아니라 허용되는 최대 사용량을 나타냅니다. 이러한 제한은 의도하지 않은 과다 지출을 줄이고 사용자 간에 리소스를 공정하게 분배하기 위한 것입니다.



지출 한도

각 사용 티어에는 매월 API에 지출할 수 있는 금액에 대한 한도가 있습니다. 해당 티어의 지출 한도에 도달하면 다음 티어 자격을 얻을 때까지 다음 달까지 기다려야 API를 다시 사용할 수 있습니다.

다음 티어 자격을 얻으려면 예치금 요건을 충족해야 합니다. 계정에 과도한 자금이 예치되는 위험을 최소화하기 위해 월간 지출 한도를 초과하여 예치할 수 없습니다.



티어 승급 요건



지출 한도 상향

조직에는 두 가지 종류의 지출 한도가 있습니다. 직접 제어하는 고객 설정 한도와 사용 티어에 의해 설정되는 티어 적용 상한입니다. 각각 상향하는 절차가 다릅니다.



고객 설정 지출 한도

비용을 제어하기 위해 티어의 상한보다 낮은 지출 한도를 설정할 수 있습니다. 조정하려면 다음을 수행하세요.



티어 적용 지출 한도

티어의 상한보다 높은 한도가 필요한 경우(Tier 4의 상한은 월 $200,000), Limits 페이지에서 Contact Sales를 클릭하세요. 그러면 새 탭에서 문의 양식이 열리며, 조직이 업그레이드되면 영업팀 담당자가 이메일로 후속 연락을 드립니다.

월간 인보이스는 월간 지출 상한을 완전히 제거하며 기본적으로 Net-30 결제 조건을 사용합니다.



속도 제한

Messages API의 속도 제한은 각 모델 클래스에 대해 "requests per minute"(분당 요청 수), 즉 RPM, "input tokens per minute"(분당 입력 토큰 수), 즉 ITPM, "output tokens per minute"(분당 출력 토큰 수), 즉 OTPM으로 측정됩니다. 속도 제한 중 하나라도 초과하면 어떤 속도 제한이 초과되었는지 설명하는 429 오류와 함께 대기 시간을 나타내는 retry-after 헤더를 받게 됩니다.



캐시 인식 ITPM

많은 API 제공업체는 캐시된 토큰과 캐시되지 않은 토큰, 입력 및 출력을 모두 포함할 수 있는 통합 "tokens per minute"(분당 토큰 수), 즉 TPM 제한을 사용합니다. 대부분의 Claude 모델에서는 캐시되지 않은 입력 토큰만 ITPM 속도 제한에 포함됩니다. 이는 속도 제한이 처음 보이는 것보다 실질적으로 더 높게 작용하도록 하는 주요 이점입니다.

ITPM 속도 제한은 각 요청 시작 시 추정되며, 요청 중에 실제 사용된 입력 토큰 수를 반영하도록 추정치가 조정됩니다.

ITPM에 포함되는 항목은 다음과 같습니다.

• input_tokens (마지막 캐시 중단점 이후의 토큰) ✓ ITPM에 포함됨
• cache_creation_input_tokens (캐시에 기록되는 토큰) ✓ ITPM에 포함됨
• cache_read_input_tokens (캐시에서 읽은 토큰) ✗ 대부분의 모델에서 ITPM에 포함되지 않음

total_input_tokens = cache_read_input_tokens + cache_creation_input_tokens + input_tokens

예시: ITPM 제한이 2,000,000이고 캐시 적중률이 80%인 경우, 캐시된 토큰은 속도 제한에 포함되지 않으므로 분당 총 10,000,000개의 입력 토큰(캐시되지 않은 2M + 캐시된 8M)을 실질적으로 처리할 수 있습니다.

OTPM 속도 제한은 출력 토큰이 생성되는 동안 실시간으로 평가되며, 실제로 생성된 토큰만 계산합니다. max_tokens 매개변수는 OTPM 속도 제한 계산에 반영되지 않으므로, 더 높은 max_tokens 값을 설정해도 속도 제한 측면에서 불이익이 없습니다.

속도 제한은 각 모델에 대해 별도로 적용되므로, 서로 다른 모델을 각각의 제한까지 동시에 사용할 수 있습니다. Claude Console에서 현재 속도 제한 및 동작을 확인하거나, Rate Limits API를 사용하여 구성된 제한을 프로그래밍 방식으로 읽을 수 있습니다.

^{* - Opus 속도 제한은 Claude Opus 4.8, Opus 4.7, Opus 4.6, Opus 4.5 및 Opus 4.1(지원 중단됨)의 통합 트래픽에 적용되는 총 제한입니다.}

^{** - Sonnet 4.x 속도 제한은 Sonnet 4.6 및 Sonnet 4.5의 통합 트래픽에 적용되는 총 제한입니다.}

^{† - 제한이 cache_read_input_tokens를 ITPM 사용량에 포함합니다.}



Message Batches API

Message Batches API에는 모든 모델에서 공유되는 자체 속도 제한 세트가 있습니다. 여기에는 모든 API 엔드포인트에 대한 분당 요청 수(RPM) 제한과 동시에 처리 대기열에 있을 수 있는 배치 요청 수에 대한 제한이 포함됩니다. 여기서 "배치 요청"은 Message Batch의 일부를 의미합니다. 수천 개의 배치 요청을 포함하는 Message Batch를 생성할 수 있으며, 각 요청은 이 제한에 포함됩니다. 배치 요청은 모델에 의해 아직 성공적으로 처리되지 않은 경우 처리 대기열의 일부로 간주됩니다.



Managed Agents

Claude Managed Agents 엔드포인트는 조직별로 속도 제한이 적용됩니다. 이러한 제한은 위의 Messages API 속도 제한과 별개입니다.



Fast mode 속도 제한

Claude Opus 4.8, Opus 4.7 또는 Opus 4.6에서 speed: "fast"로 fast mode(연구 프리뷰)를 사용하는 경우, 표준 Opus 속도 제한과 별개인 전용 속도 제한이 적용됩니다. Fast mode 속도 제한을 초과하면 API는 retry-after 헤더와 함께 429 오류를 반환합니다.

응답에는 fast mode 속도 제한 상태를 나타내는 anthropic-fast-* 헤더가 포함됩니다. 이러한 헤더에 대한 자세한 내용은 Fast mode를 참조하세요.



Console에서 속도 제한 모니터링

Claude Console의 Usage 페이지에서 속도 제한 사용량을 모니터링할 수 있습니다.

토큰 및 요청 차트를 제공하는 것 외에도 Usage 페이지는 두 개의 별도 속도 제한 차트를 제공합니다. 이러한 차트를 사용하여 성장할 수 있는 여유 공간, 최대 사용량에 도달하는 시점, 요청할 속도 제한, 캐싱 비율을 개선하는 방법을 더 잘 이해할 수 있습니다. 차트는 주어진 속도 제한(예: 모델별)에 대한 여러 지표를 시각화합니다.

• Rate Limit - Input Tokens 차트에는 다음이 포함됩니다.
  • 시간당 최대 캐시되지 않은 분당 입력 토큰 수
  • 현재 분당 입력 토큰 속도 제한
  • 입력 토큰의 캐시 비율(즉, 캐시에서 읽은 입력 토큰의 백분율)
• Rate Limit - Output Tokens 차트에는 다음이 포함됩니다.
  • 시간당 최대 분당 출력 토큰 수
  • 현재 분당 출력 토큰 속도 제한



워크스페이스에 더 낮은 제한 설정

워크스페이스에 대한 자세한 내용은 워크스페이스를 참조하세요.

조직의 워크스페이스를 잠재적인 과다 사용으로부터 보호하기 위해 워크스페이스별로 맞춤형 지출 및 속도 제한을 설정할 수 있습니다.

예시: 조직의 제한이 분당 40,000개 입력 토큰 및 분당 8,000개 출력 토큰인 경우, 한 워크스페이스를 분당 30,000개 입력 토큰으로 제한할 수 있습니다. 이렇게 하면 다른 워크스페이스를 잠재적인 과다 사용으로부터 보호하고 조직 전체에서 리소스를 더 공평하게 분배할 수 있습니다. 남은 분당 미사용 토큰(또는 해당 워크스페이스가 제한을 사용하지 않는 경우 그 이상)은 다른 워크스페이스에서 사용할 수 있습니다.

참고:

• 기본 워크스페이스에는 제한을 설정할 수 없습니다.
• 설정하지 않으면 워크스페이스 제한은 조직의 제한과 일치합니다.
• 워크스페이스 제한은 제한 유형별(예: 분당 요청 수, 분당 입력 토큰 수, 분당 출력 토큰 수)로 설정됩니다.
• 워크스페이스 제한의 합계가 더 크더라도 조직 전체 제한은 항상 적용됩니다.

현재 조직 및 워크스페이스 속도 제한을 프로그래밍 방식으로 읽으려면 Rate Limits API를 사용하세요.



응답 헤더

API 응답에는 적용된 속도 제한, 현재 사용량 및 제한이 재설정되는 시점을 보여주는 헤더가 포함됩니다.

다음 헤더가 반환됩니다.

anthropic-ratelimit-tokens-* 헤더는 현재 적용 중인 가장 제한적인 제한의 값을 표시합니다. 예를 들어, 워크스페이스 분당 토큰 제한을 초과한 경우 헤더에는 워크스페이스 분당 토큰 속도 제한 값이 포함됩니다. 워크스페이스 제한이 적용되지 않는 경우 헤더는 남은 총 토큰 수를 반환하며, 여기서 총합은 입력 토큰과 출력 토큰의 합입니다. 이 방식은 현재 API 사용에 대한 가장 관련성 높은 제약 조건을 파악할 수 있도록 보장합니다.