Jendela konteks

Seiring percakapan berkembang, Anda pada akhirnya akan mendekati batas jendela konteks. Untuk percakapan yang berjalan lama dan alur kerja agentik, compaction sisi server adalah strategi utama untuk manajemen konteks.



Cara kerja jendela konteks

"Context window" (jendela konteks) mengacu pada semua teks yang dapat direferensikan oleh model bahasa saat menghasilkan respons, termasuk respons itu sendiri. Ini berbeda dari corpus data besar tempat model bahasa dilatih, dan sebaliknya mewakili "memori kerja" untuk model. Jendela konteks yang lebih besar memungkinkan model menangani prompt yang lebih kompleks dan panjang, tetapi lebih banyak konteks tidak secara otomatis lebih baik. Seiring bertambahnya jumlah token, akurasi dan recall menurun, sebuah fenomena yang dikenal sebagai context rot. Ini membuat kurasi apa yang ada dalam konteks sama pentingnya dengan berapa banyak ruang yang tersedia.

Diagram berikut mengilustrasikan perilaku standar jendela konteks untuk permintaan API¹:

¹ Antarmuka chat seperti claude.ai juga dapat mengelola jendela konteks secara bergulir dengan basis "first in, first out".

• Akumulasi token progresif: Seiring percakapan berlanjut melalui giliran-giliran, setiap pesan pengguna dan respons asisten terakumulasi dalam jendela konteks, dan giliran sebelumnya dipertahankan sepenuhnya.
• Kapasitas jendela konteks: Jendela konteks (hingga 1M token, tergantung pada model) menampung riwayat percakapan ditambah output baru yang dihasilkan Claude.
• Alur input-output: Setiap giliran terdiri dari:
  • Fase input: Berisi semua riwayat percakapan sebelumnya ditambah pesan pengguna saat ini
  • Fase output: Menghasilkan respons teks yang menjadi bagian dari input untuk giliran berikutnya

Semua yang ada dalam permintaan dihitung dalam jendela konteks: prompt sistem, setiap pesan dalam messages (termasuk hasil alat, gambar, dan dokumen), dan definisi alat Anda. Output yang dihasilkan Claude untuk giliran tersebut, termasuk pemikiran diperpanjangnya, juga dihitung. Setiap respons melaporkan apa yang dikonsumsi permintaan dalam field usage-nya. Jika Anda menggunakan caching prompt, jumlah input dibagi menjadi input_tokens, cache_read_input_tokens, dan cache_creation_input_tokens, dan ketiganya dihitung dalam jendela konteks. Untuk memperkirakan permintaan sebelum Anda mengirimnya, gunakan API penghitungan token.



Ukuran jendela konteks berdasarkan model

Claude Opus 5, Claude Opus 4.8, Claude Opus 4.7, Claude Opus 4.6, Claude Sonnet 5, dan Claude Sonnet 4.6 memiliki jendela konteks 1M token di Claude API, Amazon Bedrock, Google Cloud, dan Microsoft Foundry. Claude Mythos Preview juga memiliki jendela konteks 1M token.

Claude Fable 5 dan Claude Mythos 5 (claude-fable-5 dan claude-mythos-5) juga memiliki jendela konteks 1M token. Satu permintaan ke model mana pun dengan jendela konteks 1M token dapat menghasilkan hingga 128k token output (max_tokens). Model Claude lainnya, termasuk Claude Sonnet 4.5, memiliki jendela konteks 200k token.

Untuk setiap model dengan jendela konteks 1M token, 1M adalah default: Anda tidak memerlukan header beta, dan permintaan konteks panjang ditagih dengan harga standar.

Satu permintaan dapat mencakup hingga 600 gambar atau halaman PDF (100 untuk model dengan jendela konteks 200k token). Jika Anda mengirim banyak gambar atau dokumen besar, Anda mungkin mencapai batas ukuran permintaan sebelum batas token.

Lihat tabel perbandingan model untuk daftar ukuran jendela konteks berdasarkan model.



Jendela konteks dengan pemikiran

Dengan pemikiran, semua token input dan output, termasuk token pemikiran, dihitung dalam batas jendela konteks, dengan beberapa nuansa dalam situasi multi-giliran.

Token pemikiran adalah bagian dari parameter max_tokens Anda, ditagih sebagai token output, dan dihitung dalam batas laju. Dengan pemikiran adaptif, Claude menentukan alokasi pemikirannya secara dinamis, sehingga penggunaan token pemikiran bervariasi dari permintaan ke permintaan.

Apakah blok pemikiran dari giliran asisten sebelumnya tetap berada dalam jendela konteks tergantung pada model. Pada Claude Opus 4.5 dan model Opus yang lebih baru, Claude Sonnet 4.6 dan model Sonnet yang lebih baru, Claude Fable 5, Claude Mythos 5, dan Claude Mythos Preview, API mempertahankan blok pemikiran sebelumnya secara default, dan blok tersebut dihitung dalam jendela konteks seperti token input lainnya. Pada model Opus dan Sonnet yang lebih lama dan semua model Haiku, API secara otomatis menghapus blok pemikiran sebelumnya dari riwayat percakapan saat Anda mengirimkannya kembali, yang mempertahankan kapasitas token untuk konten percakapan. Untuk default per model, lihat preservasi blok pemikiran berdasarkan model. Untuk mengganti default ke arah mana pun, gunakan pembersihan blok pemikiran.

Diagram berikut menunjukkan bagaimana token dikelola saat pemikiran diaktifkan pada model yang menghapus blok pemikiran sebelumnya:

• Penghapusan blok pemikiran: Pada model yang menghapus blok pemikiran sebelumnya, blok pemikiran (ditampilkan dalam abu-abu gelap) dihasilkan selama fase output setiap giliran tetapi tidak dibawa sebagai token input untuk giliran berikutnya. Anda tidak perlu menghapus blok pemikiran sendiri: jika Anda mengirimkannya kembali, Claude API menghapusnya secara otomatis.
• Penagihan: Token pemikiran ditagih sebagai token output satu kali, saat dihasilkan. Pada model yang mempertahankan blok pemikiran sebelumnya, blok yang dipertahankan kemudian menjadi bagian dari input permintaan berikutnya dan ditagih sebagai token input, seperti sisa riwayat percakapan.



Jendela konteks dengan pemikiran dan penggunaan alat

Diagram berikut mengilustrasikan bagaimana token dikelola saat Anda menggabungkan pemikiran dengan penggunaan alat pada model yang menghapus blok pemikiran sebelumnya:

• Pertimbangan untuk penggunaan alat dengan pemikiran:
  • Saat Anda mengirimkan hasil alat, Anda harus menyertakan seluruh blok pemikiran yang tidak dimodifikasi yang menyertai permintaan alat tersebut, termasuk tanda tangannya.
  • API menggunakan tanda tangan kriptografis untuk memverifikasi keaslian blok pemikiran. Jika Anda memodifikasi blok pemikiran, API mengembalikan error.

Untuk mengurangi konteks yang dikonsumsi oleh definisi alat itu sendiri, lihat Kelola konteks alat, atau tunda definisi alat dengan tool search tool.



Kesadaran konteks

Claude Sonnet 5, Claude Sonnet 4.6, Claude Sonnet 4.5, dan Claude Haiku 4.5 memiliki kesadaran konteks: model-model ini melacak sisa jendela konteks mereka ("anggaran token" mereka) sepanjang percakapan. Ini memungkinkan model mengelola tugas yang berjalan lama berdasarkan ruang yang tersisa daripada menebak berapa banyak token yang tersisa. Kesadaran konteks bersifat otomatis: tidak ada yang perlu Anda aktifkan, dan Anda tidak pernah mengirim tag yang ditampilkan di bagian ini sendiri. API yang menyuntikkannya.



Cara kerjanya

Dalam prompt sistem setiap permintaan, API memberi Claude total jendela konteksnya:

<budget:token_budget>200000</budget:token_budget>

Anggaran tersebut sesuai dengan jendela konteks yang tersedia untuk permintaan Anda: 1M token untuk Claude Sonnet 5 dan Claude Sonnet 4.6, dan 200k token untuk Claude Sonnet 4.5 dan Claude Haiku 4.5. Contoh di bagian ini menunjukkan model dengan jendela konteks 200k token.

Setelah setiap panggilan alat, API memberi Claude pembaruan tentang kapasitas yang tersisa:

<system_warning>Token usage: 35000/200000; 165000 remaining</system_warning>

Token gambar termasuk dalam anggaran ini.

Claude Opus 4.7 dan model Opus yang lebih baru, Claude Fable 5, dan Claude Mythos 5 tidak menerima tag yang disuntikkan ini. Pada Claude Opus 4.7 dan model Opus yang lebih baru, Claude Fable 5, dan Claude Mythos 5, Anda dapat memberi model anggaran eksplisit dengan anggaran tugas, yang masih dalam beta.

Untuk panduan prompting tentang menggunakan kesadaran konteks, lihat Praktik terbaik prompting.



Kelola konteks dengan compaction

Jika percakapan Anda secara teratur mendekati batas jendela konteks, gunakan compaction sisi server. Compaction secara otomatis merangkum bagian awal percakapan di server, sehingga percakapan dapat berlanjut melewati batas jendela konteks. Ini tersedia dalam beta untuk model Claude 4.6 dan yang lebih baru serta Claude Mythos Preview.

Untuk kebutuhan yang lebih khusus, pengeditan konteks menawarkan strategi tambahan:

• Pembersihan hasil alat: Bersihkan hasil alat lama dalam alur kerja agentik
• Pembersihan blok pemikiran: Kelola blok pemikiran saat Anda menggunakan pemikiran diperpanjang

Prefiks prompt yang di-cache masih menempati jendela konteks: caching prompt mengubah apa yang Anda bayar untuk token tersebut, bukan apakah token tersebut dihitung.



Perilaku overflow jendela konteks

Jika input saja sudah melebihi jendela konteks model, API mengembalikan 400 invalid_request_error ("prompt is too long") pada setiap model.

Pada model Claude 4.5 dan yang lebih baru, jika token input ditambah max_tokens melebihi ukuran jendela konteks, API menerima permintaan tersebut. Jika generasi kemudian mencapai batas jendela konteks, generasi berhenti dengan stop_reason: "model_context_window_exceeded". Pada model yang lebih lama, API mengembalikan error validasi sebagai gantinya. Untuk memilih perilaku model_context_window_exceeded pada model-model tersebut, gunakan header beta model-context-window-exceeded-2025-08-26. Lihat Stop reasons dan fallback untuk detailnya.

Untuk tetap berada dalam batas jendela konteks, gunakan API penghitungan token untuk memperkirakan penggunaan token sebelum mengirim pesan ke Claude.



Langkah selanjutnya