Batas laju

Ada dua jenis batas:

1. Batas pengeluaran menetapkan biaya bulanan maksimum yang dapat dikeluarkan organisasi untuk penggunaan API.
2. Batas laju menetapkan jumlah maksimum permintaan API yang dapat dibuat organisasi dalam periode waktu tertentu.

API menerapkan batas yang dikonfigurasi layanan pada tingkat organisasi, tetapi Anda juga dapat menetapkan batas yang dapat dikonfigurasi pengguna untuk workspace organisasi Anda.



Tentang batas laju

• Batas dirancang untuk mencegah penyalahgunaan API, sambil meminimalkan dampak pada pola penggunaan pelanggan yang umum.
• Batas ditentukan berdasarkan tier penggunaan. Organisasi Anda ditempatkan pada sebuah tier secara otomatis dan dapat berpindah ke tier yang lebih tinggi seiring waktu saat Anda menggunakan API.
• Batas ditetapkan pada tingkat organisasi. Anda dapat melihat tier organisasi Anda dan batas saat ini pada halaman Limits di Claude Console.
• Anda mungkin mencapai batas laju dalam interval waktu yang lebih pendek. Misalnya, laju 60 permintaan per menit (RPM) mungkin diterapkan sebagai 1 permintaan per detik. Lonjakan permintaan dalam waktu singkat dapat melebihi batas dan memicu error batas laju.
• Batas berikut adalah batas standar untuk setiap tier. Jika Anda memerlukan batas yang lebih tinggi, lihat Meminta batas yang lebih tinggi.
• API menggunakan algoritma token bucket untuk melakukan pembatasan laju. Ini berarti kapasitas Anda terus diisi ulang hingga batas maksimum Anda, alih-alih direset pada interval tetap.
• Semua batas yang dijelaskan di sini mewakili penggunaan maksimum yang diizinkan, bukan minimum yang dijamin. Batas ini dimaksudkan untuk mengurangi pengeluaran berlebih yang tidak disengaja dan memastikan distribusi sumber daya yang adil di antara pengguna.



Batas pengeluaran

Masing-masing tier Start, Build, dan Scale memiliki batas pengeluaran bulanan, yaitu jumlah maksimum yang dapat dibelanjakan organisasi Anda pada API setiap bulan kalender. Setelah Anda mencapai batas pengeluaran tier Anda, penggunaan API dijeda hingga bulan berikutnya kecuali Anda meminta batas yang lebih tinggi. Anda dapat melihat batas pengeluaran bulanan organisasi Anda pada halaman Limits.

Organisasi pada tier Custom tidak memiliki batas pengeluaran bulanan; batas diatur bersama tim akun mereka.

Anda juga dapat menetapkan batas pengeluaran Anda sendiri di bawah batas tier Anda untuk mengontrol biaya:



Batas laju

Batas laju untuk Messages API diukur dalam "requests per minute" (permintaan per menit), atau RPM, "input tokens per minute" (token input per menit), atau ITPM, dan "output tokens per minute" (token output per menit), atau OTPM, untuk setiap kelas model. Jika Anda melebihi salah satu batas laju, Anda akan mendapatkan error 429 yang menjelaskan batas laju mana yang terlampaui, beserta header retry-after yang menunjukkan berapa lama harus menunggu.



ITPM yang memperhitungkan cache

Banyak penyedia API menggunakan batas gabungan "tokens per minute" (TPM) yang mungkin mencakup semua token, baik yang di-cache maupun tidak, input maupun output. Untuk sebagian besar model Claude, hanya token input yang tidak di-cache yang dihitung terhadap batas laju ITPM Anda. Ini adalah keunggulan utama yang membuat batas laju secara efektif lebih tinggi daripada yang mungkin terlihat pada awalnya.

Batas laju ITPM diestimasi pada awal setiap permintaan, dan estimasi tersebut disesuaikan selama permintaan untuk mencerminkan jumlah token input yang sebenarnya digunakan.

Berikut adalah apa yang dihitung terhadap ITPM:

• input_tokens (token setelah breakpoint cache terakhir) ✓ Dihitung terhadap ITPM
• cache_creation_input_tokens (token yang sedang ditulis ke cache) ✓ Dihitung terhadap ITPM
• cache_read_input_tokens (token yang dibaca dari cache) ✗ TIDAK dihitung terhadap ITPM untuk sebagian besar model

total_input_tokens = cache_read_input_tokens + cache_creation_input_tokens + input_tokens

Contoh: Dengan batas ITPM 2.000.000 dan tingkat cache hit 80%, Anda secara efektif dapat memproses 10.000.000 total token input per menit (2 juta tidak di-cache + 8 juta di-cache), karena token yang di-cache tidak dihitung terhadap batas laju Anda.

Batas laju OTPM dievaluasi secara real time saat token output dihasilkan, hanya menghitung token yang benar-benar dihasilkan. Parameter max_tokens tidak diperhitungkan dalam kalkulasi batas laju OTPM, sehingga tidak ada kerugian batas laju dalam menetapkan nilai max_tokens yang lebih tinggi.

Batas laju diterapkan secara terpisah untuk setiap model; oleh karena itu Anda dapat menggunakan model yang berbeda hingga batas masing-masing secara bersamaan. Anda dapat memeriksa batas laju dan perilaku Anda saat ini di Claude Console, atau membaca batas yang dikonfigurasi secara terprogram dengan Rate Limits API.

^{* - Batas laju Opus adalah batas total yang berlaku untuk gabungan lalu lintas di Claude Opus 4.8, Opus 4.7, Opus 4.6, dan Opus 4.5.}

^{** - Batas laju Sonnet 4.x adalah batas total yang berlaku untuk gabungan lalu lintas di Sonnet 4.6 dan Sonnet 4.5. Claude Sonnet 5 memiliki batas laju terpisah dan bukan bagian dari bucket gabungan ini.}

^{† - Batas menghitung cache_read_input_tokens terhadap penggunaan ITPM.}



Message Batches API

Message Batches API memiliki kumpulan batas laju sendiri yang dibagi di seluruh model. Ini mencakup batas permintaan per menit (RPM) untuk semua endpoint API dan batas jumlah permintaan batch yang dapat berada dalam antrean pemrosesan pada saat yang sama. "Permintaan batch" di sini mengacu pada bagian dari Message Batch. Anda dapat membuat Message Batch yang berisi ribuan permintaan batch, yang masing-masing dihitung terhadap batas ini. Permintaan batch dianggap sebagai bagian dari antrean pemrosesan ketika belum berhasil diproses oleh model.



Managed Agents

Endpoint Claude Managed Agents dibatasi lajunya per organisasi. Batas ini terpisah dari batas laju Messages API di atas.



Batas laju fast mode

Saat menggunakan fast mode (pratinjau riset) dengan speed: "fast" pada Claude Opus 4.8 atau Opus 4.7, batas laju khusus berlaku yang terpisah dari batas laju Opus standar. Ketika batas laju fast mode terlampaui, API mengembalikan error 429 dengan header retry-after. Fast mode tidak tersedia pada Claude Opus 4.6: permintaan ke claude-opus-4-6 dengan speed: "fast" berjalan pada kecepatan standar. Lihat Fast mode.

Respons menyertakan header anthropic-fast-* yang menunjukkan status batas laju fast mode Anda. Lihat Fast mode untuk detail tentang header ini.



Memantau batas laju Anda di Console

Anda dapat memantau penggunaan batas laju Anda pada halaman Usage di Claude Console.

Selain menyediakan grafik token dan permintaan, halaman Usage menyediakan dua grafik batas laju terpisah. Gunakan grafik ini untuk melihat ruang yang Anda miliki untuk berkembang, kapan Anda mungkin mencapai penggunaan puncak, lebih memahami batas laju apa yang perlu diminta, atau bagaimana Anda dapat meningkatkan tingkat caching Anda. Grafik memvisualisasikan sejumlah metrik untuk batas laju tertentu (misalnya, per model):

• Grafik Rate Limit - Input Tokens mencakup:
  • Token input tidak di-cache maksimum per menit per jam
  • Batas laju token input per menit Anda saat ini
  • Tingkat cache untuk token input Anda (yaitu, persentase token input yang dibaca dari cache)
• Grafik Rate Limit - Output Tokens mencakup:
  • Token output maksimum per menit per jam
  • Batas laju token output per menit Anda saat ini



Meminta batas yang lebih tinggi

Untuk meminta batas laju yang lebih tinggi atau batas pengeluaran bulanan yang lebih tinggi, gunakan Request rate limit increase pada halaman Limits.



Menetapkan batas yang lebih rendah untuk Workspace

Untuk informasi lebih lanjut tentang workspace, lihat Workspace.

Untuk melindungi Workspace di Organisasi Anda dari potensi penggunaan berlebih, Anda dapat menetapkan batas pengeluaran dan batas laju kustom per Workspace.

Contoh: Jika batas Organisasi Anda adalah 40.000 token input per menit dan 8.000 token output per menit, Anda mungkin membatasi satu Workspace menjadi 30.000 token input per menit. Ini melindungi Workspace lain dari potensi penggunaan berlebih dan memastikan distribusi sumber daya yang lebih adil di seluruh Organisasi Anda. Sisa token per menit yang tidak terpakai (atau lebih, jika Workspace tersebut tidak menggunakan batasnya) kemudian tersedia untuk digunakan oleh Workspace lain.

Catatan:

• Anda tidak dapat menetapkan batas pada Workspace default.
• Jika tidak ditetapkan, batas Workspace mengikuti batas Organisasi.
• Batas Workspace ditetapkan per jenis pembatas (seperti permintaan per menit, token input per menit, atau token output per menit).
• Batas tingkat Organisasi selalu berlaku, bahkan jika jumlah batas Workspace melebihinya.

Untuk membaca batas laju organisasi dan workspace Anda saat ini secara terprogram, gunakan Rate Limits API.



Header respons

Respons API menyertakan header yang menunjukkan batas laju yang diterapkan, penggunaan saat ini, dan kapan batas akan direset.

Header berikut dikembalikan:

Header anthropic-ratelimit-tokens-* menampilkan nilai untuk batas paling ketat yang sedang berlaku. Misalnya, jika Anda telah melebihi batas token per menit Workspace, header akan berisi nilai batas laju token per menit Workspace. Jika batas Workspace tidak berlaku, header akan mengembalikan total token yang tersisa, di mana total adalah jumlah token input dan output. Pendekatan ini memastikan bahwa Anda memiliki visibilitas terhadap kendala yang paling relevan pada penggunaan API Anda saat ini.