Batas laju

Ada dua jenis batas:

1. Spend limits (batas pengeluaran) menetapkan biaya bulanan maksimum yang dapat dikeluarkan organisasi untuk penggunaan API.
2. Rate limits (batas laju) menetapkan jumlah maksimum permintaan API yang dapat dibuat organisasi dalam periode waktu tertentu.

API menerapkan batas yang dikonfigurasi layanan pada tingkat organisasi, tetapi Anda juga dapat menetapkan batas yang dapat dikonfigurasi pengguna untuk workspace organisasi Anda.



Tentang batas laju

• Batas dirancang untuk mencegah penyalahgunaan API, sambil meminimalkan dampak pada pola penggunaan pelanggan yang umum.
• Batas ditentukan berdasarkan usage tier (tingkat penggunaan). Organisasi ditempatkan pada sebuah tier secara otomatis berdasarkan riwayat penggunaan dan status akun, dan dapat berpindah ke tier yang lebih tinggi seiring waktu saat mereka menggunakan API.
• Organisasi baru dan organisasi dengan riwayat penggunaan terbatas mungkin memulai di tier Evaluation, dengan batas di bawah batas standar yang ditampilkan di halaman ini sementara riwayat akun sedang dibangun. Batas awal ini adalah bagian dari cara Anthropic mencegah penipuan dan penyalahgunaan, dan batas tersebut meningkat secara otomatis seiring organisasi Anda membangun riwayat penggunaan.
• Batas ditetapkan pada tingkat organisasi. Anda dapat melihat tier organisasi Anda dan batas saat ini di halaman Rate limits di Claude Console.
• Anda mungkin mencapai batas laju dalam interval waktu yang lebih pendek. Misalnya, laju 60 permintaan per menit (RPM) mungkin diterapkan sebagai 1 permintaan per detik. Lonjakan singkat permintaan dapat melebihi batas dan memicu error batas laju.
• Batas berikut adalah batas standar untuk setiap tier. Jika Anda memerlukan batas yang lebih tinggi, lihat Meminta batas yang lebih tinggi.
• API menggunakan algoritma token bucket untuk melakukan pembatasan laju. Ini berarti kapasitas Anda terus diisi ulang hingga batas maksimum Anda, alih-alih direset pada interval tetap.
• Semua batas yang dijelaskan di sini mewakili penggunaan maksimum yang diizinkan, bukan minimum yang dijamin. Batas ini dimaksudkan untuk mengurangi pengeluaran berlebih yang tidak disengaja dan memastikan distribusi sumber daya yang adil di antara pengguna.



Batas pengeluaran

Masing-masing tier Start, Build, dan Scale memiliki batas pengeluaran bulanan, yaitu jumlah maksimum yang dapat dibelanjakan organisasi Anda pada API setiap bulan kalender. Setelah Anda mencapai batas pengeluaran tier Anda, penggunaan API dijeda hingga bulan berikutnya kecuali Anda meminta batas yang lebih tinggi. Anda dapat melihat batas pengeluaran bulanan organisasi Anda dan menetapkan batas Anda sendiri di halaman Billing.

Organisasi pada tier Custom tidak memiliki batas pengeluaran bulanan; batas diatur bersama tim akun mereka.

Anda juga dapat menetapkan batas pengeluaran Anda sendiri di bawah batas tier Anda untuk mengontrol biaya:



Batas laju

Batas laju untuk Messages API diukur dalam permintaan per menit (RPM), token input per menit (ITPM), dan token output per menit (OTPM) untuk setiap kelas model. Jika Anda melebihi salah satu batas laju, Anda akan mendapatkan error 429 yang menjelaskan batas laju mana yang terlampaui, beserta header retry-after yang menunjukkan berapa lama harus menunggu.



ITPM yang memperhitungkan cache

Banyak penyedia API menggunakan batas gabungan "tokens per minute" (TPM) yang mungkin mencakup semua token, baik yang di-cache maupun tidak, input maupun output. Untuk sebagian besar model Claude, hanya token input yang tidak di-cache yang dihitung terhadap batas laju ITPM Anda. Ini adalah keunggulan utama yang membuat batas laju secara efektif lebih tinggi daripada yang mungkin terlihat pada awalnya.

Batas laju ITPM diestimasi pada awal setiap permintaan, dan estimasi tersebut disesuaikan selama permintaan untuk mencerminkan jumlah token input aktual yang digunakan.

Berikut yang dihitung terhadap ITPM:

• input_tokens (token setelah breakpoint cache terakhir) ✓ Dihitung terhadap ITPM
• cache_creation_input_tokens (token yang sedang ditulis ke cache) ✓ Dihitung terhadap ITPM
• cache_read_input_tokens (token yang dibaca dari cache) ✗ TIDAK dihitung terhadap ITPM untuk sebagian besar model

Contoh: Dengan batas ITPM 2.000.000 dan tingkat cache hit 80%, Anda dapat secara efektif memproses 10.000.000 total token input per menit (2 juta tidak di-cache + 8 juta di-cache), karena token yang di-cache tidak dihitung terhadap batas laju Anda.

Batas laju OTPM dievaluasi secara real-time saat token output dihasilkan, hanya menghitung token aktual yang dihasilkan. Parameter max_tokens tidak diperhitungkan dalam perhitungan batas laju OTPM, sehingga tidak ada kerugian batas laju dalam menetapkan nilai max_tokens yang lebih tinggi.

Batas laju diterapkan secara terpisah untuk setiap model; oleh karena itu Anda dapat menggunakan model yang berbeda hingga batas masing-masing secara bersamaan. Anda dapat memeriksa batas laju dan perilaku Anda saat ini di halaman Rate limits di Claude Console, atau membaca batas yang dikonfigurasi secara terprogram dengan Rate Limits API.

^{* Batas laju Opus adalah batas total yang berlaku untuk lalu lintas gabungan di Claude Opus 4.8, Opus 4.7, Opus 4.6, dan Opus 4.5. Claude Opus 5 memiliki batas laju terpisah dan bukan bagian dari bucket gabungan ini.}

^{** Batas laju Sonnet 4.x adalah batas total yang berlaku untuk lalu lintas gabungan di Sonnet 4.6 dan Sonnet 4.5. Claude Sonnet 5 memiliki batas laju terpisah dan bukan bagian dari bucket gabungan ini.}

^{† Batas menghitung cache_read_input_tokens terhadap penggunaan ITPM.}



Message Batches API

Message Batches API memiliki serangkaian batas laju sendiri yang dibagi di semua model. Ini termasuk batas permintaan per menit (RPM) untuk semua endpoint API dan batas jumlah permintaan batch yang dapat berada dalam antrean pemrosesan pada saat yang sama. "Permintaan batch" di sini mengacu pada bagian dari Message Batch. Anda dapat membuat Message Batch yang berisi ribuan permintaan batch, yang masing-masing dihitung terhadap batas ini. Permintaan batch dianggap sebagai bagian dari antrean pemrosesan ketika belum berhasil diproses oleh model.



Managed Agents

Endpoint Claude Managed Agents dibatasi lajunya per organisasi. Batas ini terpisah dari batas laju Messages API di atas.



Batas laju fast mode

Saat menggunakan fast mode (pratinjau riset) dengan speed: "fast" pada Claude Opus 5 atau Opus 4.8, batas laju khusus berlaku yang terpisah dari batas laju Opus standar. Ketika batas laju fast mode terlampaui, API mengembalikan error 429 dengan header retry-after. Fast mode tidak tersedia pada Claude Opus 4.7 (permintaan mengembalikan error) atau Claude Opus 4.6 (permintaan ke claude-opus-4-6 dengan speed: "fast" berjalan pada kecepatan standar). Lihat Fast mode.

Respons menyertakan header anthropic-fast-* yang menunjukkan status batas laju fast mode Anda. Lihat Batas laju fast mode untuk detail tentang header ini.



Memantau batas laju Anda di Console

Anda dapat memantau penggunaan batas laju Anda di halaman Usage di Claude Console.

Selain menyediakan grafik token dan permintaan, halaman Usage menyediakan dua grafik batas laju terpisah. Gunakan grafik ini untuk melihat ruang yang Anda miliki untuk berkembang, mengidentifikasi kapan Anda mungkin mencapai penggunaan puncak, memahami batas laju apa yang perlu diminta, dan mempelajari cara meningkatkan tingkat caching Anda. Grafik memvisualisasikan sejumlah metrik untuk batas laju tertentu (misalnya, per model):

• Grafik Rate Limit - Input Tokens mencakup:
  • Token input maksimum per menit yang tidak di-cache per jam
  • Batas laju token input per menit Anda saat ini
  • Tingkat cache untuk token input Anda (yaitu, persentase token input yang dibaca dari cache)
• Grafik Rate Limit - Output Tokens mencakup:
  • Token output maksimum per menit per jam
  • Batas laju token output per menit Anda saat ini



Meminta batas yang lebih tinggi

Untuk meminta batas laju yang lebih tinggi atau batas pengeluaran bulanan yang lebih tinggi, gunakan Request rate limit increase di halaman Rate limits.



Menetapkan batas yang lebih rendah untuk Workspace

Untuk informasi lebih lanjut tentang workspace, lihat Workspaces.

Untuk melindungi Workspace di Organisasi Anda dari potensi penggunaan berlebih, Anda dapat menetapkan batas pengeluaran dan batas laju kustom per Workspace.

Contoh: Jika batas Organisasi Anda adalah 40.000 token input per menit dan 8.000 token output per menit, Anda mungkin membatasi satu Workspace menjadi 30.000 token input per menit. Ini melindungi Workspace lain dari potensi penggunaan berlebih dan memastikan distribusi sumber daya yang lebih adil di seluruh Organisasi Anda. Token per menit yang tersisa dan tidak terpakai (atau lebih, jika Workspace tersebut tidak menggunakan batasnya) kemudian tersedia untuk digunakan oleh Workspace lain.

Catatan:

• Anda tidak dapat menetapkan batas pada Workspace default.
• Jika tidak ditetapkan, batas Workspace mengikuti batas Organisasi.
• Batas Workspace ditetapkan per jenis pembatas (seperti permintaan per menit, token input per menit, atau token output per menit).
• Batas tingkat Organisasi selalu berlaku, bahkan jika jumlah batas Workspace melebihinya.

Untuk membaca batas laju organisasi dan workspace Anda saat ini secara terprogram, gunakan Rate Limits API.



Header respons

Respons API menyertakan header yang menunjukkan batas laju yang diterapkan, penggunaan saat ini, dan kapan batas akan direset.

Header berikut dikembalikan:

Header anthropic-ratelimit-tokens-* menampilkan nilai untuk batas paling ketat yang saat ini berlaku. Misalnya, jika Anda telah melebihi batas token per menit Workspace, header akan berisi nilai batas laju token per menit Workspace. Jika batas Workspace tidak berlaku, header akan mengembalikan total token yang tersisa, di mana total adalah jumlah token input dan output. Pendekatan ini memastikan bahwa Anda memiliki visibilitas terhadap batasan yang paling relevan pada penggunaan API Anda saat ini.