Mengoptimalkan biaya dan kecerdasan
Seimbangkan biaya dan kecerdasan di Claude Platform, dengan hasil terukur untuk caching prompt, effort, pilihan model, batas output, dan strategi multi-model.
Model yang paling mumpuni bisa terlalu mahal dalam skala besar, dan model yang paling murah bisa kurang memadai dari segi kualitas. Claude Platform memberi Anda kendali langsung atas “tradeoff” (kompromi) tersebut. Anda memilih model, tingkat “effort” (upaya), dan arsitektur untuk setiap permintaan, sehingga Anda dapat menempatkan beban kerja hampir di mana saja pada “cost-to-intelligence frontier” (frontier biaya-terhadap-kecerdasan).
Biaya dan kecerdasan biasanya digambarkan sebagai sebuah frontier, tempat yang satu dibeli dengan mengorbankan yang lain. Kelompok tuas pertama di halaman ini menggerakkan beban kerja menuju frontier tersebut dengan memangkas biaya tanpa menyentuh kualitas; hanya kelompok kedua yang bergerak di sepanjang frontier itu:
Tuas-tuas ini terbagi menjadi dua jenis:
- Keuntungan gratis memangkas pengeluaran tanpa menyentuh kualitas: “prompt caching” (caching prompt), “token hygiene” (kebersihan token), audit prompt terhadap model yang Anda jalankan, dan “batch processing” (pemrosesan batch) dengan diskon 50% untuk pekerjaan yang dapat menunggu hingga 24 jam.
- Tradeoff menukar biaya dengan kecerdasan: pilihan model, effort, batas output dan anggaran sesi, jam waktu yang telah berlalu, dan arsitektur multi-model.
Batas pengeluaran workspace adalah pengaman terakhir untuk kedua jenis tuas: lihat Tetapkan anggaran dan batas output.
Setiap tuas disertai hasil terukur dan aturan kapan tuas tersebut menguntungkan. Dalam pengukuran Anthropic, caching prompt biasanya merupakan tuas terbesar. Tuas multi-model lebih sempit; model kedua diukur dalam dua bentuk, yaitu “advisor” (penasihat) dan “orchestrator” (orkestrator).
Mulai di sini
Cocokkan situasi Anda dengan salah satu baris.
| Situasi Anda | Lakukan ini | Di mana |
|---|---|---|
| Beban kerja apa pun, model apa pun | Aktifkan caching prompt dan pangkas token yang tidak diperlukan; keduanya gratis | Cache konteks berulang · Pangkas token |
| Seseorang menunggu di antara giliran | Hitung jeda di antara permintaan Anda, lalu pilih durasi cache dari tabel di bagian tersebut | Pilih durasi cache |
| Biaya terlalu tinggi; kualitas sudah baik | Coba effort yang lebih rendah pada model yang Anda gunakan sekarang | Setel effort |
| Anda tidak menggunakan model terbaru | Lakukan upgrade; pada benchmark coding di bagian tersebut, setiap model yang lebih baru menyelesaikan setidaknya sebanyak tugas yang diselesaikan model sebelumnya, biasanya dengan biaya lebih rendah per tugas yang diselesaikan | Upgrade model |
| Anda sedang memilih atau berganti model | Bandingkan berdasarkan biaya per tugas yang selesai, bukan per token | Bandingkan model |
| Pekerjaan bervolume tinggi dengan output yang dapat Anda periksa | Coba Claude Haiku 5.5 terlebih dahulu | Bandingkan model |
| Kualitas belum cukup baik | Jika Anda menurunkan effort, kembalikan; jika tidak, coba tingkat berikutnya di atasnya pada effort default-nya | Setel effort · Bandingkan model |
Percobaan berakhir dengan stop_reason: max_tokens | Naikkan max_tokens menjadi 64.000: dalam pengujian Anthropic hanya 7 dari sekitar 18.000 giliran yang lebih panjang, dan biaya per tugas yang diselesaikan tidak naik | Tetapkan anggaran |
| Anda dapat memeriksa output (tes, verifier) | Jalankan pada effort low dan jalankan ulang kegagalan pada high: dalam pengujian Anthropic, biayanya sekitar 40% lebih rendah daripada menjalankan semuanya pada high, dengan tingkat kelulusan yang sama | Jalankan ulang kegagalan |
| Loop agen dengan beberapa run yang sangat mahal | Tetapkan anggaran sesi Claude Managed Agents dan batas pengeluaran workspace | Tetapkan anggaran |
| Anda ingin run agen selesai lebih cepat | Beri tahu model bahwa waktu itu penting dan tunjukkan waktu yang telah berlalu: 7% hingga 47% lebih sedikit waktu dalam pengujian Anthropic, dengan pengorbanan beberapa poin skor | Tunjukkan waktu yang telah berlalu kepada model |
| Model yang lebih murah hanya macet pada keputusan sulit | Coba advisor. Advisor hanya dapat membantu ketika model Anda berkonsultasi dengannya; pertama-tama hitung harga model advisor saja pada effort rendah dan ukur tingkat konsultasinya | Strategi advisor |
| Pekerjaan melebihi satu jendela konteks | Pecah pekerjaan dan serahkan bagian-bagiannya ke model berbiaya lebih rendah | Strategi orchestrator |
Hasil ini berasal dari pengukuran internal Anthropic (Benchmark yang dirujuk) dan bersifat indikatif, bukan jaminan, jadi ukurlah pada beban kerja Anda sendiri dengan metode empat langkah.
Pangkas pengeluaran tanpa kehilangan kualitas
Caching prompt, kebersihan token, pemrosesan batch, dan audit prompt terhadap model Anda saat ini semuanya menurunkan apa yang Anda bayar tanpa menurunkan kualitas output. Dua catatan berlaku: pemrosesan batch menukar latensi dengan diskonnya, dan pengeditan konteks, sebuah tuas kebersihan token, berbiaya lebih besar daripada yang dihematnya pada eksekusi pendek yang diukur di bagian ini dan tidak mengubah apa pun pada eksekusi panjang.
Cache konteks berulang
Mengapa caching didahulukan
Aktifkan caching prompt sebelum tuas lainnya, karena secara default setiap giliran dari tugas agentik mengirim ulang seluruh percakapan yang terus bertambah: “system prompt” (prompt sistem), definisi alat, dan setiap giliran sebelumnya.
- Tugas dengan 40 giliran mengirim giliran pertamanya sebanyak 40 kali, sehingga biaya tugas tumbuh kira-kira sebanding dengan kuadrat jumlah giliran.
- Caching tidak menghentikan pengiriman ulang, tetapi setiap pengiriman ulang hanya berbiaya sekitar sepersepuluh (seperdua puluh pada Claude Opus 5.5 dan Claude Sonnet 5.5, seperempat puluh pada Claude Fable 5.2, Claude Mythos 5.2, Claude Fable 5.1, dan Claude Mythos 5.1) dan diproses lebih cepat.
- Prefiks ditagih dengan tarif cache-read alih-alih harga input, dan setiap giliran membayar tarif cache-write 1,25x hanya untuk bagian yang baru.
Thread pesan, dalam beta, menghentikan pengiriman ulang selama sebuah thread berlangsung, yaitu hingga 5 menit berlalu sejak permintaan terakhir pada thread tersebut. Thread menurunkan waktu hingga token pertama, bukan biaya: model tetap membaca seluruh percakapan, jadi tetap sertakan cache_control pada setiap permintaan. Thread tidak mendukung compaction atau sebagian besar pengeditan konteks.
Seperti apa kondisi yang baik.
- Selama satu hari penuh lalu lintas nyata, loop agen membaca median 84% input mereka dari cache, dan 10% teratas di antaranya, baik untuk coding maupun bukan, membaca 94% atau lebih17.
- Jauh di dalam sebuah tugas, loop yang dibangun dengan baik membayar harga penuh untuk kurang dari 1% inputnya.
- Di bawah sekitar 80%, carilah sesuatu yang merusak cache (lihat Apa yang merusak cache).
Anthropic menghitung biaya run DeepResearch Bench II7 dengan dan tanpa diskon cache:
Masa hidup default cache adalah 5 menit dan giliran loop agen berjarak beberapa detik, sehingga diskon berlaku untuk sebagian besar token di setiap giliran. Run pada grafik caching membaca 89% hingga 93% token input mereka dari cache.
Menghitung harga jumlah token yang tercatat dari run lain dengan cara yang sama, setiap model pada effort default-nya, memberikan rata-rata biaya token per tugas tanpa caching:
| Benchmark | Model | Tanpa caching |
|---|---|---|
| SWE-bench Pro3 | Claude Opus 5.5 | 3,3 kali biaya dengan caching |
| SWE-bench Pro | Claude Sonnet 5.5 | 3,1 kali biaya dengan caching |
| Set tugas Claude Managed Agents25, yang sesinya pendek | Claude Haiku 5.5 | 1,7 kali biaya dengan caching |
| Agen kecil yang melakukan triase laporan bug (Pangkas token input dan konteks)16 | Claude Sonnet 5.5 | 7,3 kali biaya dengan caching |
Penghematan bervariasi sesuai jumlah giliran yang dibutuhkan sebuah tugas, karena loop yang lebih pendek membaca ulang lebih sedikit.
Pilih durasi cache
Jika loop Anda menunggu seseorang di antara giliran, gunakan durasi cache 1 jam begitu sekitar 1 dari 20 giliran terjadi setelah jeda antara 5 menit dan satu jam dan hanya sedikit jeda yang melebihi satu jam. Pada Claude Fable 5.2, Claude Fable 5.1, Claude Opus 5.5, dan Claude Sonnet 5.5, menjaga cache 5 menit tetap hangat bisa lebih murah.
Durasi 1 jam lebih mahal untuk ditulis (2x harga input alih-alih 1,25x). Miss pada durasi mana pun menagih seluruh prefiks dengan harga tulis alih-alih harga baca.
Pilih durasi cache saat percakapan dimulai. Dalam pengujian Anthropic, giliran pertama yang ditambahkan dengan durasi cache 1 jam ke percakapan yang di-cache dengan durasi 5 menit menulis ulang seluruh prompt, sekali: $0,80 USD pada 100.000 token di Claude Opus 5.5, dibandingkan dengan $0,02 USD input untuk giliran yang membaca cache16.
Anthropic mengukur agen kecil yang melakukan triase laporan bug (Pangkas token input dan konteks) dengan jeda yang disisipkan sebelum beberapa giliran untuk mensimulasikan penundaan dari seseorang16. Akurasi tetap berada dalam noise antar-run pada setiap pengaturan yang diukur. Anthropic juga mengukur permintaan tambahan yang menjaga cache 5 menit tetap hangat (permintaan keep-alive).
Untuk memutuskan, hitung jeda di antara permintaan berurutan dalam sebuah percakapan, lalu temukan baris Anda pada tabel berikut. Baris yang menyebutkan model Anda lebih diutamakan daripada baris dengan “Apa pun” di kolom Model:
| Jeda di antara permintaan Anda | Model | Gunakan |
|---|---|---|
| Giliran datang berjarak beberapa detik | Apa pun | Default 5 menit |
| Sekitar 1 dari 20 jeda atau lebih berada antara 5 menit dan satu jam, dan hanya sedikit jeda yang melebihi satu jam | Apa pun | Durasi 1 jam |
| Jeda lebih dari satu jam sering terjadi: sekitar 60% atau lebih dari jeda Anda yang lebih dari 5 menit juga melewati satu jam | Apa pun | Default 5 menit |
| Hanya 1 atau 2 dari 20 jeda yang berada antara 5 menit dan satu jam, dan tidak ada yang berlangsung lebih dari sekitar setengah jam | Claude Opus 5.5 dan Claude Sonnet 5.5 | Cache 5 menit yang dijaga tetap hangat, alih-alih durasi 1 jam |
| Ada jeda lebih dari 5 menit sebelum setiap giliran, dan hanya sedikit jeda yang melebihi satu jam | Claude Opus 5.5 dan Claude Sonnet 5.5 | Durasi 1 jam |
| Jeda berlangsung beberapa menit | Claude Fable 5.1 dan Claude Fable 5.2 | Cache 5 menit yang dijaga tetap hangat, alih-alih durasi 1 jam |
| Jeda berlangsung mendekati satu jam, dan hanya sedikit yang melebihi satu jam | Claude Fable 5.1 dan Claude Fable 5.2 | Durasi 1 jam |
Pada Claude Haiku 5.5, gunakan baris “Apa pun”: model ini membaca cache pada tarif standar 0,1x harga input, dua kali lipat dari 0,05x pada Claude Opus 5.5 dan Claude Sonnet 5.5, sehingga berdasarkan harga daftar setiap permintaan keep-alive berbiaya, relatif terhadap harga input, dua kali lipat dibandingkan pada kedua model tersebut. Permintaan max_tokens: 0 menyegarkan cache-nya dalam pengujian terpisah (referensi 16).
Alasannya, baris demi baris.
- Model apa pun.
- Giliran datang berjarak beberapa detik. Tanpa jeda: default berbiaya sekitar 19% lebih rendah daripada pengaturan 1 jam pada Claude Sonnet 5.5, sekitar 15% hingga 18% lebih rendah pada Claude Opus 5.5.
- Sekitar 1 dari 20 jeda atau lebih. Titik impas, yang dihitung dari jumlah token, adalah sekitar 1 dari 30 giliran pada Claude Sonnet 5.5 dan Claude Opus 5.5.
- Jeda lebih dari satu jam sering terjadi. Pada model apa pun, jeda lebih dari satu jam membuat kedua durasi kedaluwarsa, dan pengaturan 1 jam kemudian menulis ulang prefiks dengan harga tulisnya yang lebih tinggi.
- Claude Opus 5.5 dan Claude Sonnet 5.5, yang pembacaan cache-nya berbiaya 0,05x harga input.
- Hanya 1 atau 2 dari 20 jeda. Pada effort default, permintaan keep-alive berbiaya 8% hingga 13% lebih rendah daripada durasi 1 jam pada Claude Opus 5.5, 8% hingga 16% lebih rendah pada Claude Sonnet 5.5.
- Ada jeda sebelum setiap giliran. Pada Claude Opus 5.5 dan Claude Sonnet 5.5, permintaan keep-alive berbiaya beberapa persen lebih tinggi daripada durasi 1 jam pada jeda 6 menit dan lebih dari 50% lebih tinggi pada jeda 45 menit.
- Claude Fable 5.1 dan Claude Fable 5.2, yang pembacaan cache-nya berbiaya 0,025x harga input.
- Jeda berlangsung beberapa menit. Pada Claude Fable 5.2, permintaan keep-alive19 berbiaya sekitar 4,5% hingga 19% lebih rendah daripada cache 1 jam, dengan 10% giliran dijeda maupun dengan jeda 6 menit sebelum setiap giliran.
- Jeda berlangsung mendekati satu jam. Pada Claude Fable 5.2, hanya dengan jeda 45 menit sebelum setiap giliran cache 1 jam unggul, dengan selisih sekitar $0,12 USD19 pada sesi berisi 5 laporan bug.
Grafik berikut memplot biaya per sesi terhadap proporsi giliran yang dijeda pada Claude Sonnet 5.5:
Grafik berikut menambahkan cache 5 menit yang dijaga tetap hangat oleh permintaan keep-alive, pada Claude Fable 5.1, Claude Opus 5.5, dan Claude Sonnet 5.5:
Yang perlu diketahui.
- Aturan 1 dari 20 menyisakan margin di atas titik impas sekitar 1 dari 30 giliran. Pada 1 dari 20 giliran, pengaturan 5 menit dan 1 jam berbiaya kurang lebih sama pada Claude Sonnet 5.5, dalam variasi antar-run; pada 1 dari 10 giliran, pengaturan 5 menit berbiaya 54% lebih tinggi (referensi 16).
- Pada model selain Claude Sonnet 5.5 dan Claude Opus 5.5, harga menempatkan titik impas dalam rentang yang sama: setiap model saat ini menggunakan pengali cache-write yang sama, dan setiap model kecuali Claude Fable 5.2, Claude Mythos 5.2, Claude Fable 5.1, Claude Mythos 5.1, Claude Opus 5.5, dan Claude Sonnet 5.5 menggunakan harga baca yang sama.
- Angka keep-alive Claude Opus 5.5 dan Claude Sonnet 5.5 berasal dari permintaan yang dikirim dengan
max_tokens: 1. Permintaanmax_tokens: 0juga menyegarkan entri cache yang sudah ada pada Claude Fable 5.1, Claude Opus 5.5, Claude Sonnet 5.5, dan Claude Haiku 5.5 (referensi 16).
Untuk menjaga cache tetap hangat:
- Ambil permintaan sebelumnya, atur
max_tokenske 0, dan jangan sertakanstreamjika sebelumnya diatur. Jangan ubah satu byte pun dari prefiks. - Kirim ulang header permintaan bersama body-nya. Tanpa header
anthropic-betadari permintaan asli, field yang dibatasi beta dalam body yang diputar ulang akan ditolak. - Kirim dalam 4 menit sejak awal permintaan sebelumnya, dan setiap 4 menit setelahnya, hingga giliran berikutnya tiba atau sesi berakhir. Hitung dari awal permintaan, karena masa hidup 5 menit cache dimulai dari sana.
Itulah permintaan pre-warming: permintaan ini menyegarkan masa hidup cache, tidak mengembalikan output, dan berbiaya sedikit lebih tinggi daripada pembacaan cache. Begitu cache kedaluwarsa, permintaan berikutnya, baik keep-alive maupun bukan, menulis ulang prefiks dengan harga penulisan cache16.
Permintaan max_tokens: 0 ditolak dalam kasus berikut:
- Permintaan mengatur
thinking.type: "enabled"(pemikiran adaptif default pada Claude Fable 5.1 dan Claude Fable 5.2 tidak masalah), output terstruktur, atau pilihan alat yang dipaksakan (batasannya). Pada beban kerja tersebut, gunakan durasi 1 jam sebagai gantinya. - Permintaan membawa parameter tingkat atas
compaction, jadi jangan kirim ulang permintaan compaction dari compaction sesuai permintaan sebagai permintaan keep-alive.
# Dalam 4 menit sejak awal permintaan terakhir (waktu pembuatan dihitung
# terhadap masa hidup cache), kirim ulang permintaan itu dengan max_tokens diatur ke
# 0, tidak menyertakan stream (permintaan max_tokens: 0 tidak dapat streaming). Kirim header
# yang sama dengan permintaan asli, termasuk header anthropic-beta apa pun.
jq '.max_tokens = 0 | del(.stream)' last_request.json | \
curl https://api.anthropic.com/v1/messages \
-H "x-api-key: $ANTHROPIC_API_KEY" \
-H "anthropic-version: 2026-10-21" \
-H "content-type: application/json" \
--data-binary @-Aktifkan caching
Penyiapannya hanya membutuhkan sedikit usaha. Caching otomatis menempatkan breakpoint untuk Anda; jika tidak, skill Claude API yang disertakan dengan Claude Code dapat menambahkan caching ke integrasi yang sudah ada dari satu prompt:
Claude Code
Biarkan Claude Code menambahkan caching untuk Anda
/claude-api tambahkan caching prompt ke integrasi iniPada kode yang menghasilkan pengukuran ini, skill tersebut menempatkan satu breakpoint pada blok system dan satu pada masing-masing dari dua giliran pengguna terbaru; Breakpoint cache eksplisit menjelaskan di mana menempatkannya.
Apa yang merusak cache
Simpan teks per permintaan, seperti baris status, di akhir giliran pengguna terbaru, setelah breakpoint cache terakhir. Pada permintaan berikutnya, biarkan setiap giliran sebelumnya persis seperti saat Anda mengirimkannya, dengan baris status lamanya tetap di dalamnya. Lakukan perubahan yang membatalkan cache pada jeda alami, seperti permintaan pertama setelah compaction. Pada model yang menjalankan pemeriksaan prefiks, permintaan yang mengedit prompt sistem atau tools bisa mendapatkan error 400 bahkan pada jeda semacam itu. Kirimkan perubahan tersebut di messages sebagai gantinya, jika platform Anda mendukungnya (lihat Ubah alat atau instruksi tanpa gagal dalam pemeriksaan prefiks). Cache adalah pencocokan prefiks byte-exact atas permintaan secara berurutan (tools, lalu prompt sistem, lalu messages), sehingga perubahan di mana pun membatalkan semua yang ada setelahnya.
Ketika sesuatu harus berubah di tengah percakapan, kirimkan dalam bentuk yang mempertahankan cache, jika model mendukungnya. Anthropic menguji setiap perubahan dengan kedua cara pada Claude Fable 5.1, Claude Opus 5.5, dan Claude Sonnet 5.5, pada percakapan ter-cache sekitar 100.000 token yang memuat balasan pertama model beserta thinking-nya. Mengedit prompt sistem berbiaya sekitar 25 hingga 50 kali lipat biaya teks yang sama sebagai pesan sistem di tengah percakapan. Mengubah effort di tingkat atas berbiaya 20 hingga 40 kali lipat biaya mengubahnya dalam sebuah pesan18:
Ketika sebuah perubahan membatalkan cache, bagian prefiks yang terdampak ditulis ulang alih-alih dibaca. Penulisan ke cache 5 menit berbiaya 1,25x harga input, dan pembacaan cache berbiaya sebagian kecil dari harga input. Berdasarkan harga daftar, penulisan tersebut berbiaya 50 kali lipat pembacaan pada Claude Fable 5.2, Claude Mythos 5.2, Claude Fable 5.1, dan Claude Mythos 5.1, di mana pembacaan cache berbiaya 0,025x harga input. Penulisan tersebut berbiaya 25 kali lipat pembacaan pada Claude Opus 5.5 dan Claude Sonnet 5.5 (0,05x), dan 12,5 kali lipat pada Claude Haiku 5.5 (0,1x). Angka-angka pada diagram berasal dari Messages API.
Dalam pengujian Anthropic terpisah pada Claude Opus 5.5 dan Claude Fable 5.2, permintaan yang mengedit prompt sistem atau tools dan mengirim kembali blok pemikiran sebelumnya tetap mendapatkan error 400. Permintaan tersebut mendapatkannya bahkan sebagai permintaan pertama setelah compaction pada ambang batas token18.
Yang perlu dilakukan.
- Jangan letakkan apa pun yang berubah per permintaan, seperti timestamp atau posisi antrean, di depan prefiks yang stabil: hal itu mengubah setiap permintaan menjadi penulisan cache penuh. Dalam pengujian Anthropic, baris status 25 token di bagian depan prompt sistem membuat setiap permintaan menulis seluruh percakapan; jika dipindahkan ke akhir giliran pengguna terbaru, pembacaan cache tetap utuh18.
- Halaman caching prompt mencantumkan perubahan yang membatalkan cache, seperti perubahan pada
effort, konfigurasi thinking, pengaturanspeed, prompt sistem, atau definisi alat. Mengubah format output membatalkan cache untuk percakapan tersebut (lihat output terstruktur). - Periksa model mana yang mendukung setiap bentuk: pesan sistem di tengah percakapan, dan effort per pesan, yang masih dalam beta.
- Setelah perubahan yang membatalkan cache, pastikan pembacaan cache tidak turun; jika turun, diagnostik cache menunjukkan di mana prefiks menyimpang.
Pada model sebelumnya, Anthropic mengukur kapan perubahan semacam itu sebaiknya dilakukan, pada sesi panjang agen triase issue yang dijelaskan di Pangkas token input dan konteks18. Sesi yang melakukan perubahan dimulai pada effort rendah, lalu beralih ke effort default dan menambahkan satu alat. Melakukan kedua perubahan tersebut di tengah sesi berbiaya paling tinggi. Melakukannya pada permintaan yang memicu compaction berbiaya hampir sama tingginya, karena permintaan tersebut masih membawa seluruh percakapan dan menulisnya ke cache lagi. Melakukannya pada permintaan berikutnya, yaitu yang pertama setelah compaction, berbiaya paling rendah. Akurasi berada dalam noise antar-run. Model tersebut tidak menjalankan pemeriksaan prefiks. Pada model yang menjalankannya, tambahkan alat dalam sebuah pesan sebagai gantinya: lihat Tambah, hapus, atau nonaktifkan alat, yang masih dalam beta. Grafik berikut juga menampilkan sesi tanpa perubahan. Sesi tersebut bukan baseline yang sebanding, karena sesi tersebut berjalan pada effort default sepanjang waktu dan dua di antaranya melakukan compaction untuk kedua kalinya:
Pangkas token input dan konteks
Sebagian besar permintaan agen membawa token yang tidak pernah memengaruhi jawaban. Memangkasnya jarang mengorbankan kualitas output, meskipun tidak semua tuas di sini menghasilkan penghematan saat diukur. Ada dua tempat yang perlu diperiksa:
- Pemangkasan input.
- “Dynamic filtering” (pemfilteran dinamis) pada alat web fetch mencegah boilerplate dari halaman yang diambil masuk ke konteks.
- Pengubahan ukuran gambar menyesuaikan ukuran input vision.
- “Tool search” (pencarian alat) dengan pemuatan yang ditangguhkan memuat definisi alat hanya saat dibutuhkan (lihat Tunda definisi alat yang tidak digunakan).
- “Programmatic tool calling” (pemanggilan alat terprogram) memungkinkan Claude menjalankan beberapa panggilan alat dari kode sehingga hanya hasil yang telah difilter yang masuk ke konteks; dokumentasinya melaporkan 24% lebih sedikit token input pada benchmark pencarian agentik, dengan skor yang lebih tinggi.
- Mengelola konteks alat membandingkan pencarian alat, pemanggilan alat terprogram, caching prompt, dan pengeditan konteks.
- Siklus hidup konteks. Pengeditan konteks membersihkan hasil alat yang sudah usang, dan compaction otomatis beserta ambang batasnya mencegah loop panjang membawa seluruh riwayatnya ke depan.
Tuas-tuas ini berinteraksi dengan cache dan satu sama lain, jadi nilailah berdasarkan efek bersihnya, dan gunakan diagnostik cache untuk memastikan prefiks ter-cache Anda bertahan dari setiap perubahan.
Dalam pengukuran pada model sebelumnya28, Anthropic menjalankannya pada agen triase issue yang mengerjakan 20 laporan bug nyata dengan tangkapan layar dari repositori publik, dan pada varian yang lebih panjang dari pekerjaan yang sama dengan 2,6 kali jumlah token. Dengan caching aktif, pemangkasan input (pengubahan ukuran gambar dan pencarian alat) memangkas biaya kedua run lebih jauh lagi.
Tunda definisi alat yang tidak digunakan
Setiap definisi alat yang dilampirkan ke permintaan merupakan input di setiap giliran, dan beberapa server MCP dapat menambahkan hingga ratusan definisi.
Dalam pengukuran pada model sebelumnya27, Anthropic menjalankan agen triase dengan dua alatnya sendiri ditambah katalog definisi alat nyata dari server MCP publik, dengan total hingga 502 alat, memuat semuanya atau menandai alat tambahan dengan defer_loading di balik pencarian alat:
- Dengan setiap definisi dimuat, biaya eksekusi naik seiring bertambahnya katalog, mengikuti token skema pada setiap permintaan.
- Dengan pencarian alat, biaya eksekusi tetap datar pada setiap ukuran katalog.
- Akurasi berada dalam rentang yang sama di kedua cara, dan model tidak pernah memanggil alat yang salah, sehingga pada skala ini definisi yang tidak digunakan menghabiskan uang, bukan kebenaran.
- Tetap muat 3 hingga 5 alat yang paling sering Anda gunakan, sehingga Claude dapat memanggilnya tanpa mencari terlebih dahulu.
- Pada model sebelumnya yang sama, menunda toolset server MCP GitHub publik (
default_config: {defer_loading: true}pada konektor MCP) memangkas biaya eksekusi dengan akurasi yang sama. Dengan toolset yang ditunda dan tanpa alat pencarian alat dalam permintaan, tidak ada eksekusi yang memanggil alat dari server tersebut.
Jauhkan file data dari prompt
Ketika model harus melakukan komputasi atas sebuah tabel, unggah tabel tersebut dengan Files API dan biarkan model mengkuerinya dengan eksekusi kode alih-alih menempelkannya. Anthropic mengajukan 25 pertanyaan agregat15 (penjumlahan, hitungan terfilter, group-by, dan filter tanggal) atas CSV publik 1.862 baris, dengan jawaban yang dihitung oleh pandas:
Jika ditempelkan ke prompt, tabel tersebut berukuran sekitar 91.000 token input di setiap permintaan, dan Claude Sonnet 5 menjawab 7 dari 25 pertanyaan dengan benar. Jika diunggah, dengan eksekusi kode, model menjawab ke-25 pertanyaan, dan keseluruhan eksekusinya berbiaya sekitar seperdua belas. Claude Opus 5 menunjukkan pola yang sama. Tidak satu pun dari kedua pendekatan menggunakan caching prompt.
Kelola siklus hidup konteks
Tuas konteks hanya menguntungkan pada sesi yang cukup panjang untuk membutuhkannya:
Anthropic mengukur tuas-tuas ini pada model sebelumnya28:
- Dalam eksekusi ini, prune adalah fungsi pendek dalam kode agen triase issue itu sendiri: di setiap batas tugas, fungsi ini mengganti setiap hasil pencarian yang lebih dari 2.000 karakter dengan ekstrak satu baris.
- Pada eksekusi 20 issue, tuas-tuas tersebut menghemat sedikit atau tidak sama sekali, dan pengeditan konteks membuat eksekusi berbiaya lebih tinggi.
- Pada eksekusi panjang, prune dan compaction sama-sama memangkas biaya, sementara pengeditan konteks tidak mengubah apa pun.
- Jika Anda menggunakan pengeditan konteks, bersihkan dalam beberapa batch besar, karena setiap pembersihan memakan biaya penulisan cache.
Batch pekerjaan yang bisa menunggu
Arahkan setiap permintaan yang tidak ditunggu siapa pun melalui Batch API, dan pertahankan jalur interaktif untuk sisanya. Batch API memberikan potongan 50% untuk setiap token dari sebuah permintaan, termasuk yang ter-cache, dengan imbalan hasil yang tiba kapan saja dalam 24 jam.
- Batching adalah tuas gratis terbesar kedua setelah caching untuk pekerjaan agen tanpa pengawasan: eksekusi evaluasi, backfill, dan pekerjaan terjadwal seperti eksekusi berulang dari agen triase issue dari pengukuran pemangkasan token.
- Batching dapat dikombinasikan dengan sebagian besar isi halaman ini, tetapi tidak dengan mode cepat, thread pesan, atau sesi Claude Managed Agents (lihat harga Claude Managed Agents).
Audit prompt terhadap model saat ini
Audit prompt terhadap model yang Anda jalankan sekarang, dan lakukan lagi setiap kali Anda berganti model: ini adalah keuntungan gratis.
- Setiap generasi model merespons prompt secara berbeda, sehingga sebuah prompt mengakumulasi teks yang ditulis untuk model yang tidak lagi Anda gunakan.
- Kasus yang umum adalah instruksi yang terlalu spesifik yang ditambahkan untuk mengompensasi model lama: “verify twice”, “be maximally thorough”, prosedur langkah demi langkah yang wajib, atau scratchpad penalaran buatan sendiri.
- Model yang lebih baru mengikuti instruksi semacam itu secara harfiah, menghasilkan putaran alat tambahan dan tulisan tambahan yang Anda bayar tanpa peningkatan akurasi.
Audit ini hanya satu perintah. Skill Claude API yang disertakan dengan Claude Code memiliki perintah prompt-audit yang membaca prompt dan kode permintaan sebuah proyek dan melaporkan apa yang ditulis untuk model yang berbeda:
Claude Code
Biarkan Claude Code mengaudit prompt Anda
/claude-api prompt-auditKutipan yang dipersingkat ini menunjukkan perintah tersebut dijalankan terhadap prompt support-desk dan kode permintaan yang mengandung pola-pola tersebut:
$ claude
> /claude-api prompt-audit
10 findings. The three that matter most:
1. budget_tokens returns a 400 on Opus 5 (support_agent.py:10). This code
does not run against its own target model. Everything else here is
quality; this one is an outage.
2. The prompt contains two live contradictions. Line 15 says confirm before
every refund, line 17 says process every eligible refund immediately.
Line 19 asks for a complete recap *and* a three-sentence maximum.
3. The reasoning scaffold and the 6-step script fight the model rather than
steer it. <scratchpad> + "reason step by step" is now a request
parameter, not prose; the mandatory 6-step procedure plus "investigate
fully even when the ticket looks simple" forces four tool calls on a
"where's my package" ticket.
...
-After any refund or escalation, verify twice before submitting: re-fetch
-the order, re-check every figure in your reply against the fresh lookup,
-and review the reply a second time for errors.
+Before submitting a refund or an escalation, re-fetch the order and confirm
+every figure in your reply matches the fresh lookup.Perintah tersebut kemudian mengusulkan pengeditannya sebagai diff (satu hunk ditampilkan) dan mencantumkan apa yang sengaja dibiarkannya: jendela pengembalian dana, persyaratan nada, dan standar kualitas. Anda meninjau sebuah patch, bukan penulisan ulang.
Anthropic mengukur efeknya pada evaluasi support-desk14, di dua migrasi antara model-model sebelumnya:
- Dari Claude Opus 4.8 ke Claude Opus 5, prompt yang ditulis untuk model lama berbiaya lebih tinggi per tiket pada model yang lebih baru, tanpa perubahan akurasi.
- Menjalankan audit atas prompt yang sama membuat Claude Opus 5 lebih murah daripada versi yang tidak diaudit sekaligus lebih akurat, sebuah peningkatan di luar noise.
- Dari Claude Sonnet 4.6 ke Claude Sonnet 5, audit memangkas biaya per tiket dengan akurasi yang sama.
Kedua jenis teks usang memiliki biaya yang berbeda:
- Instruksi yang diikuti model baru terlalu harfiah menghabiskan uang: menghapus “verify twice” memangkas biaya per tiket Claude Opus 5, dan menghapus “be maximally thorough” memangkasnya hampir sebanyak itu.
- Teks yang tidak lagi cocok dengan model justru mengorbankan akurasi: pengaturan thinking yang sudah dihentikan, aturan yang kontradiktif, dan scratchpad buatan sendiri yang bertentangan dengan thinking milik model masing-masing memulihkan akurasi pada Claude Opus 5 ketika dihapus.
Pola yang sama cenderung muncul dalam deskripsi alat dan skill, yang juga layak diaudit.
Menukar biaya dengan kecerdasan
Tuas-tuas ini menentukan posisi satu model di antara biaya dan kecerdasan: pilihan model, effort, menjalankan ulang yang gagal dengan pengaturan lebih tinggi, anggaran dan batas yang menjadi ruang kerjanya, dan apakah model dapat melihat berapa banyak waktu yang telah berlalu. Jika Anda tertinggal satu atau dua model, lakukan upgrade terlebih dahulu (Upgrade model); jika tidak, mulailah dengan sapuan effort pada model Anda saat ini (Setel effort). Dari biaya dan kemampuan terendah hingga tertinggi, model-model saat ini adalah Claude Haiku 5.5, Claude Sonnet 5.5, Claude Opus 5.5, dan Claude Fable 5.2 (model frontier); Ikhtisar model memuat jajaran lengkap dan harganya.
Bandingkan model berdasarkan biaya per tugas
Bandingkan model berdasarkan “cost per completed task” (biaya per tugas yang selesai), bukan per token, karena yang Anda bayar adalah tugas yang selesai. Untuk sebagian besar beban kerja agen, mulailah dengan Claude Opus 5.5 pada effort default-nya (medium).
Model yang lebih mampu dapat menyelesaikan tugas dengan pekerjaan yang lebih sedikit, yang dapat mengimbangi sebagian besar selisih harga per token. Anthropic mengukur hal ini pada subset SWE-bench Pro3, yang skornya tidak dapat dibandingkan dengan leaderboard publik, dengan harga sesuai tagihan pelanggan:
Tabel berikut mencantumkan hasilnya:
| Benchmark | Model | Effort | Skor | Biaya |
|---|---|---|---|---|
| Subset SWE-bench Pro3 | Claude Sonnet 5.5 | high (default) | 87,6% tugas diselesaikan | $0,11 USD per tugas yang diselesaikan |
| Subset SWE-bench Pro | Claude Opus 5.5 | low | 87,4% tugas diselesaikan | $0,12 USD per tugas yang diselesaikan |
| Subset SWE-bench Pro | Claude Opus 5.5 | medium (default) | 92,8% tugas diselesaikan | $0,22 USD per tugas yang diselesaikan |
| Subset SWE-bench Pro | Claude Fable 5.1 | high (default) | 92,3% tugas diselesaikan (satu eksekusi) | $1,19 USD per tugas yang diselesaikan |
| Benchmark agentic-coding internal11 | Claude Opus 5.5 | medium (default) | 86,6% | $0,84 USD per percobaan |
| Benchmark agentic-coding internal | Claude Fable 5.2 | medium | 88,9% (satu eksekusi) | $1,34 USD per percobaan |
| GPQA Diamond9 | Claude Haiku 5.5 | medium (default) | Akurasi 85%, dibandingkan dengan 91% untuk masing-masing Claude Opus 5.5 dan Claude Sonnet 5.5 | Sekitar seperdua puluh biaya Claude Opus 5.5 per jawaban benar dan sekitar sepersepuluh biaya Claude Sonnet 5.5 |
| Set tugas Claude Managed Agents25, 79 tugas | Claude Haiku 5.5 | medium | 93% percobaan lulus (satu eksekusi) | Sekitar $0,011 USD per percobaan yang lulus |
Pada 463 dari 478 soal dalam subset SWE-bench Pro, yaitu soal-soal yang solusi referensinya juga lulus tanpa akses jaringan (referensi 3), Claude Fable 5.2 pada high, default-nya di Messages API, menyelesaikan 96,3% tugas dengan $1,39 USD per tugas yang diselesaikan. Eksekusi Claude Fable 5.1 yang sama pada default-nya, dihitung atas 463 soal ini, menyelesaikan 92,4% dengan $1,17 USD. Pada low, Fable 5.2 menyelesaikan 94,6% dengan $0,39 USD per tugas yang diselesaikan: lebih banyak tugas daripada Fable 5.1 pada default-nya, dengan sekitar sepertiga biayanya. Pada tingkat kelulusan yang serupa, Claude Opus 5.5 tetap lebih murah per tugas yang diselesaikan pada soal-soal ini: pada default-nya model ini menyelesaikan 93,1% dengan $0,22 USD, pada high 95,5% dengan $0,30 USD, dan pada xhigh 96,5% dengan $0,75 USD, setara dengan Fable 5.2 pada high dengan biaya sedikit di atas setengahnya.
Yang perlu dilakukan.
- Mulailah dengan Claude Opus 5.5 pada effort default-nya: pada subset SWE-bench Pro, model ini menyamai Claude Fable 5.1 pada default-nya, dalam noise antar-run, dengan sekitar seperlima biaya per tugas yang diselesaikan. Opus 5.5 dan Fable 5.1 sama-sama hampir menjenuhkan subset SWE-bench Pro. Gunakan Claude Fable 5.2 untuk penalaran yang menuntut dan pekerjaan agentik jangka panjang, atau ketika eval Anda pada Claude Opus 5.5 dengan effort yang lebih tinggi masih belum memadai.
- Di ujung lainnya, Claude Haiku 5.5 cocok untuk pekerjaan bervolume tinggi dan sensitif terhadap latensi dengan output yang dapat diperiksa.
- Hitung harga setiap kandidat dalam biaya per tugas yang selesai pada lalu lintas Anda sendiri, termasuk Claude Opus 5.5 pada effort default-nya dan model frontier pada effort yang dikurangi. Setiap harga token Claude Opus 5.5, termasuk pembacaan cache, dua kali lipat harga Claude Sonnet 5.5, tetapi pada subset SWE-bench Pro, Opus 5.5 pada
lowmenyelesaikan porsi tugas yang kurang lebih sama dengan Sonnet 5.5 pada default-nya, dalam noise antar-run, dengan biaya sekitar 7% lebih tinggi per tugas yang diselesaikan. - Ukur apa yang diperoleh dari model yang lebih mahal pada beban kerja Anda sendiri. Pada 44 tugas DeepResearch Bench II7 yang dinilai untuk setiap model, pada effort default di Messages API, Claude Opus 5.5 mencetak skor 2,4 poin di atas Claude Sonnet 5.5 dengan 1,5 kali biaya per tugas. Claude Fable 5.2 berbiaya 4,3 kali lipat biaya Claude Sonnet 5.5 tanpa peningkatan skor yang terukur, dan 2,9 kali lipat biaya Claude Opus 5.5 dengan skor 1,9 poin lebih rendah. Dibandingkan dengan Claude Fable 5.1, model ini berbiaya 20% hingga 61% lebih rendah pada setiap tingkat effort dan mencetak skor 4,7 hingga 7,0 poin lebih rendah. Pada seluruh 50 tugas, Claude Opus 5.5 tidak unggul secara terukur atas Claude Sonnet 5.5: safeguard hampir selalu menghentikannya pada empat tugas biologi yang dijawab oleh Claude Sonnet 5.5, dan percobaan yang dihentikan dihitung sebagai kegagalan.
- Hitung harga bagian ekor beban kerja Anda, bukan mediannya: bandingkan model pada sepersepuluh tugas tersulit Anda, bukan tugas yang umum.
Tagihan ditentukan oleh tugas-tugas yang gagal diselesaikan oleh model yang lebih murah, karena tugas yang gagal tetap menagih token-nya, lalu percobaan ulangnya, lalu apa pun biaya kegagalan tersebut di tahap selanjutnya. Bagian ekor juga merupakan tempat uang dihabiskan bahkan ketika tidak ada yang gagal. Pada eksekusi WideSearch1 dengan 20 soal, dua soal menanggung 43% dari pengeluaran:
Strategi multi-model ada untuk menghabiskan kecerdasan frontier pada ekor tersebut tanpa membayar tarif frontier untuk sisanya.
Upgrade model
Jika Anda tertinggal satu atau dua model, tuas termurah adalah string model. Pada benchmark coding di bagian ini dan di Bandingkan model, setiap model yang lebih baru menyelesaikan setidaknya sebanyak tugas yang diselesaikan model sebelumnya; sebagian besar berbiaya lebih rendah per tugas yang diselesaikan, dan Claude Fable 5.2, pada high, berbiaya lebih tinggi daripada Claude Fable 5.1. Pada benchmark riset, Claude Fable 5.2 melakukan kebalikannya: model ini berbiaya lebih rendah per tugas daripada Claude Fable 5.1 pada setiap tingkat effort dan mencetak skor lebih rendah (Bandingkan model). Diagram ini memetakan model-model Claude terbaru pada dua benchmark di mana satu agen bekerja sendiri pada satu tugas tertulis dan pengujian memeriksa hasilnya: subset SWE-bench Pro3, tempat setiap model dijalankan melalui penyiapan pengujian yang sama, dan Terminal-Bench 320. Tabel mencantumkan apa yang diubah oleh setiap peningkatan:
| Benchmark | Peningkatan | Effort | Skor | Biaya |
|---|---|---|---|---|
| Subset SWE-bench Pro3 | Claude Sonnet 4.6 ke Claude Sonnet 5 | Default | 5 poin lebih tinggi | 16% lebih rendah per tugas yang diselesaikan |
| Subset SWE-bench Pro | Claude Sonnet 5 ke Claude Sonnet 5.5 | Default | Sekitar 10 poin lebih tinggi | 87% lebih rendah per tugas yang diselesaikan; 85% lebih rendah dengan harga Claude Sonnet 5 |
| Subset SWE-bench Pro | Claude Opus 5 ke Claude Opus 5.5 | Default: high ke medium | Kurang lebih sama: 91,9% ke 92,8% tugas diselesaikan | 78% lebih rendah per tugas yang diselesaikan; sekitar 69% lebih rendah dengan harga Claude Opus 5 |
| Subset SWE-bench Pro | Claude Fable 5 ke Claude Fable 5.1 | Default | Skor kurang lebih sama | 43% lebih rendah per tugas yang diselesaikan |
| Terminal-Bench 320 | Claude Opus 4.7 ke Claude Opus 4.8 | high | Dari 7% menjadi 15% tugas diselesaikan | Dari $183 USD menjadi $63 USD per tugas yang diselesaikan |
| Terminal-Bench 3 | Claude Opus 4.8 ke Claude Opus 5 | high | Dari 15% menjadi 41% tugas diselesaikan | Dari $63 USD menjadi $28 USD per tugas yang diselesaikan, penghematan 56% |
| Set tugas Claude Managed Agents25 | Claude Haiku 4.5 ke Claude Haiku 5.5 | Sesuai penyajian; medium pada Claude Haiku 5.5 | Dari 62% menjadi 93% percobaan lulus, satu eksekusi per model | Dari $0,041 USD menjadi sekitar $0,010 USD dalam biaya token per percobaan; sekitar 84% lebih rendah per percobaan yang lulus |
Kapan hal ini menguntungkan.
- Besarnya penghematan bergantung pada pekerjaannya. Dari Claude Opus 5 ke Claude Opus 5.5, penghematannya 78% per tugas yang diselesaikan pada subset SWE-bench Pro dan 40% pada beban kerja tipikal (Introducing Claude Opus 5.5). Dari Claude Sonnet 5 ke Claude Sonnet 5.5, penghematannya 87% pada subset yang sama dan hingga 30% untuk sebagian besar pekerjaan (Introducing Claude Sonnet 5.5).
- Ketika model lama sudah menyelesaikan sebagian besar tugas, biaya setiap percobaan menentukan penghematannya: pada subset SWE-bench Pro, Claude Opus 5.5 mendapat skor kurang lebih sama dengan Claude Opus 5 dengan biaya 78% lebih rendah per tugas yang diselesaikan.
- Ketika model lama sebagian besar gagal, tingkat kelulusan menentukan penghematannya: pada Terminal-Bench 320, peningkatan dari Claude Opus 4.8 ke Claude Opus 5 menaikkan tugas yang diselesaikan dari 15% menjadi 41% dan biayanya 56% lebih rendah per tugas yang diselesaikan.
- Bandingkan berdasarkan biaya per tugas yang diselesaikan, bukan per token: teks yang sama membutuhkan sekitar 30% lebih banyak token pada Claude 4.7 dan model yang lebih baru, sehingga perbandingan per token secara inheren membuat model yang lebih baru tampak lebih mahal.
Setel effort
Lakukan sapuan effort pada beban kerja Anda sendiri sebelum Anda menambahkan model kedua. Effort yang lebih rendah lebih murah dan sering kali lebih cepat, dan seberapa banyak akurasi yang dikorbankan bergantung pada tugasnya: pada coding jangka panjang, effort membeli akurasi, dan pada tugas riset effort membeli banyak akurasi dalam satu pengukuran dan sedikit dalam pengukuran lain. Parameter effort mengatur seberapa banyak pemikiran, pemanggilan alat, dan verifikasi diri yang dilakukan model; di Messages API, high adalah default pada sebagian besar model, dan medium pada Claude Opus 5.5 dan Claude Haiku 5.5.
Tabel berikut mencantumkan pengukuran Anthropic pada dua benchmark dengan model-model saat ini; skor dan biaya tidak dapat dibandingkan antara kedua benchmark. Biaya dihitung per tugas, bukan per tugas yang diselesaikan seperti di Bandingkan model berdasarkan biaya per tugas. Setiap skor menggabungkan dua run pada SWE-bench Pro dan tiga run pada DeepResearch Bench II, kecuali selnya menyatakan lain:
| Benchmark | Model | Effort | Skor | Biaya per tugas |
|---|---|---|---|---|
| Subset SWE-bench Pro3 | Claude Opus 5.5 | low | 87,4% tugas diselesaikan | $0,11 USD |
| Subset SWE-bench Pro | Claude Opus 5.5 | medium (default) | 92,8% tugas diselesaikan | $0,21 USD |
| Subset SWE-bench Pro | Claude Opus 5.5 | high | 95,3% tugas diselesaikan | $0,29 USD |
| Subset SWE-bench Pro | Claude Opus 5.5 | xhigh | 96,7% tugas diselesaikan (satu eksekusi) | $0,74 USD |
| DeepResearch Bench II7 | Claude Fable 5.2 | low | Skor rubrik 54,5% | $1,49 USD |
| DeepResearch Bench II | Claude Fable 5.2 | medium | Skor rubrik 55,0% | $2,16 USD |
| DeepResearch Bench II | Claude Fable 5.2 | high (default di Messages API) | Skor rubrik 57,7% | $4,82 USD |
Diagram berikut memetakan akurasi terhadap biaya per tugas untuk Claude Opus 5.5 pada subset SWE-bench Pro3:
Diagram berikut memetakan skor rubrik terhadap biaya per tugas untuk Claude Fable 5.1 pada DeepResearch Bench II7:
Yang perlu dilakukan.
- Lakukan sapuan pada dua atau tiga tingkat effort pada sampel lalu lintas Anda sendiri, masing-masing dalam sesi terpisah: mengubah effort tingkat atas di tengah sesi membatalkan cache dan mendistorsi perbandingan. Kurva tersebut adalah baseline yang harus dikalahkan oleh strategi multi-model apa pun (langkah 2 dari pengukuran pada beban kerja Anda sendiri).
- Pada coding jangka panjang, effort adalah tradeoff yang nyata, yang dapat diubah kembali menjadi penghematan dengan menjalankan ulang kegagalan pada effort yang lebih tinggi. Pada
medium, Claude Sonnet 5.5 mendapat skor sekitar 7 poin lebih rendah daripada pada default-nya,high, pada subset SWE-bench Pro3 dengan sekitar 59% biaya per tugas (masing-masing 2 run), dan mendapat skor 62,7% dibandingkan dengan 77,8% pada benchmark agentic-coding internal11 (1 percobaan per tugas). - Pada
xhighdanmax, Claude Sonnet 5.5 dapat memulai putaran peninjauannya sendiri setelah menyelesaikan tugas, yang membutuhkan lebih banyak waktu dan token. Agar pekerjaan itu tetap fokus pada tugas, tambahkan prompt di bawah “Ketelitian pada effortxhighdanmax” di Prompting untuk Claude Sonnet 5.5 ke prompt sistem Anda. - Pada tugas riset, ukur model yang Anda rilis. Claude Fable 5.2 mendapat skor 3,3 poin lebih tinggi pada
highdibandingkan padalowdi DeepResearch Bench II, dengan 3,2 kali biaya, dan tidak lebih tinggi secara terukur padamediumdibandingkan padalow; Claude Opus 5.5 mendapat skor 13,3 poin lebih rendah padalowdibandingkan padamediumdi DRACO21. Kedua hasil tersebut berasal dari model yang berbeda pada benchmark yang berbeda, sehingga keduanya menunjukkan bahwa jawabannya bervariasi, bukan alasannya. - Pada
low, tugas tipikal Claude Opus 5.5 memakan waktu 84% lebih singkat daripada padamediumdi DRACO21, 30% lebih singkat di HLE22, dan 47% lebih singkat pada kumpulan soal fisika internal23, dan skornya 13,3; 3,4; dan 14,0 poin lebih rendah (3, 3, dan 4 percobaan per tugas). - Pada benchmark pencarian cacat internal8 (10 eksekusi per pengaturan), Claude Opus 5.5 mencetak skor 34 poin lebih rendah pada
lowdibandingkan padamedium, dengan sekitar seperlima biaya. Claude Fable 5.2 mencetak skor 4,3 poin lebih rendah padalowdibandingkan padahigh, dengan biaya 37% lebih rendah.
Jalankan ulang kegagalan pada effort yang lebih tinggi
Ketika hasil suatu tugas dapat diperiksa, kebijakan termurah pada kurva effort bukanlah pengaturan tetap: jalankan setiap tugas pada pengaturan rendah dan jalankan ulang hanya kegagalannya pada pengaturan yang lebih tinggi.
Anthropic menghitung kebijakan ini tugas demi tugas dari run effort Claude Opus 5.5 pada subset SWE-bench Pro3 di Setel effort:
Dalam tabel berikut, biaya run ulang turut menghitung percobaan murah yang gagal:
| Kebijakan | Tugas diselesaikan | Biaya per tugas |
|---|---|---|
low, kegagalan dijalankan ulang pada high | Sekitar 97% | Sekitar $0,17 USD |
medium, kegagalan dijalankan ulang pada high | Sekitar 97% | Sekitar $0,24 USD |
Semuanya pada high | 95,3% | $0,29 USD |
- Pada
low, 13% tugas gagal. Dengan tugas-tugas tersebut dijalankan ulang padahigh, tingkat kelulusannya sedikit lebih tinggi daripada dengan semuanya padahigh, dengan biaya sedikit di atas setengahnya. - Gunakan kebijakan ini untuk penghematannya, bukan peningkatannya. Sebagian besar peningkatan kecil tersebut berasal dari percobaan kedua: menjalankan ulang kegagalan dari satu eksekusi
highpadahighmenghasilkan skor yang kurang lebih sama, dengan biaya lebih besar.
Ada dua syarat. Pertama, Anda memerlukan sinyal kegagalan (di sini, tes milik benchmark itu sendiri); pemeriksa yang meloloskan pekerjaan buruk akan membiarkan kegagalan tersebut lolos. Kedua, setiap kegagalan pada percobaan pertama memakan waktu nyata senilai dua run, sehingga penghematan dibayar dengan latensi pada kegagalan.
Tetapkan anggaran dan batas output
Dua kontrol melakukan dua tugas yang berbeda: anggaran sesi membatasi apa yang dapat dibelanjakan oleh satu sesi Claude Managed Agents, dan max_tokens membatasi panjang satu respons. Tetapkan masing-masing di tempat yang berlaku, dengan batas pengeluaran workspace sebagai pengaman terakhir.
- Anggaran sesi pada Claude Managed Agents adalah penghentian keras atas pengeluaran. Anggaran sesi adalah batas dalam dolar atas biaya daftar satu sesi, yang diukur oleh platform untuk token, pencarian web, dan waktu berjalan sesi.
- Pada batas tersebut, atau sedikit melewatinya, sesi dijeda dengan
stop_reason: budget_reached; menaikkan anggaran akan melanjutkannya. Anggaran ini ditegakkan oleh platform dan berfungsi pada model apa pun yang memiliki harga daftar. Deployment menerapkan anggaran yang sama pada setiap sesi yang dimulainya. max_tokensmembatasi satu respons, tanpa terlihat oleh model, sehingga menurunkannya tidak membuat model berhemat. Giliran yang membutuhkan ruang tersebut dibuang dan tetap ditagih. Mencoba ulang percobaan yang terpotong jarang membantu: pada batas yang sama sebagian besar gagal lagi, dan pada batas yang lebih tinggi Anda juga membayar percobaan yang terbuang.- Tetapkan
max_tokenske 64.000 untuk pekerjaan agentik, atau ke 128.000, nilai maksimum, ketika satu percobaan yang terpotong berbiaya mahal. Lakukan streaming respons sebesar itu, perlakukanstop_reason: max_tokenssebagai kegagalan, dan hemat biaya dengan effort, yang dapat dilihat oleh model. - Pada Claude Haiku 5.5, naikkan
max_tokensyang kecil atau turunkan effort: pemikiran aktif secara default dan dihitung dalam batas tersebut, sehingga respons dapat berakhir sebelum ada teks apa pun (lihat panduan migrasi Claude Haiku 5.5).
Tabel berikut menunjukkan apa yang diselesaikan setiap model dan berapa biaya satu tugas yang diselesaikan pada setiap batas di benchmark tugas repositori internal12, satu percobaan per tugas, setiap model pada effort default-nya di Messages API. Baris pada 16.384 merupakan rata-rata dua eksekusi, dan baris lainnya masing-masing satu eksekusi:
| Model | max_tokens | Percobaan yang dihentikan oleh batas | Tugas diselesaikan | Biaya per tugas yang diselesaikan |
|---|---|---|---|---|
| Claude Opus 5.5 | 16.384 | 25% | 57,6% | $5,38 USD dengan harga daftar |
| Claude Opus 5.5 | 64.000 | 0% | 75,6% | $5,38 USD dengan harga daftar |
| Claude Opus 5.5 | 128.000 | 0% | 68,9% | $5,94 USD dengan harga daftar |
| Claude Fable 5.2 | 16.384 | 85% | 20,3% | $27,96 USD dengan harga daftar |
| Claude Fable 5.2 | 64.000 | 2% | 77,4% | $24,42 USD dengan harga daftar |
| Claude Fable 5.2 | 128.000 | 0% | 78,2% | $24,52 USD dengan harga daftar |
Claude Opus 5.5 pada 64.000 dan 128.000: Tidak ada percobaan yang terpotong pada kedua batas tersebut, sehingga batas tidak menjelaskan mengapa kedua baris ini berbeda dalam tugas yang diselesaikan atau dalam biaya per tugas yang diselesaikan. Setiap baris adalah satu eksekusi.
Bandingkan batas-batas di dalam setiap model. Kedua model diukur dalam eksekusi terpisah.
Pada tugas repositori internal12, hampir setiap giliran selesai jauh di bawah batas 16.384 token, tetapi satu giliran yang lebih panjang mengakhiri seluruh percobaan: dengan batas yang lebih tinggi, 1,7% giliran Claude Fable 5.2 melewati 16.384 token, dan pada 16.384 batas tersebut mengakhiri 85% percobaannya. Giliran panjang yang jarang terjadi itulah yang dibeli oleh batas yang lebih tinggi (Claude Opus 5.5 dan Claude Fable 5.1 adalah dua model dalam diagram ini):
Mintalah jawaban yang lebih singkat. Token output berharga lima kali token input pada Claude Haiku 5.5, Claude Sonnet 5.5, Claude Opus 5.5, Claude Fable 5.2, dan Claude Fable 5.1, dan dalam loop agen setiap token yang ditulis model kembali sebagai input pada setiap giliran berikutnya, sehingga Anda membayar jawaban yang panjang berulang kali.
Dalam pengukuran pada model sebelumnya26, Anthropic menjalankan agen kecil yang melakukan triase laporan bug (Pangkas token input dan konteks) dengan tiga instruksi jawaban akhir, masing-masing tiga run, dengan model dan alat yang sama:
- Versi asli meminta dua baris.
- Varian yang lebih pendek meminta satu baris.
- Varian yang lebih panjang meminta memo dengan enam bagian berjudul.
Diagram berikut memetakan biaya per eksekusi dari setiap format:
Ketiganya mendapat skor dalam rentang noise antar-run satu sama lain terhadap label yang benar, sehingga format-format tersebut jauh lebih berbeda dalam hal yang Anda bayar daripada dalam hal ketepatannya. Mintalah jawaban yang akan Anda baca, bukan jawaban yang tampak menyeluruh.
Tunjukkan waktu yang telah berlalu kepada model
Agar agen selesai lebih cepat dan lebih murah, beri tahu agen bahwa waktu itu penting, dan tunjukkan waktu yang telah berlalu pada setiap permintaan. Dalam pengukuran Anthropic, kedua perubahan tersebut memangkas waktu satu agen Claude Opus 5.5 pada effort medium sebesar 47% dan biayanya sebesar 60% pada tugas riset DRACO21 yang tipikal (median), dan skor rata-ratanya 4,1 poin lebih rendah.
Pada HLE22 dan kumpulan soal fisika internal23, tugas tipikal memakan waktu 14% dan 7% lebih singkat, dan skor fisika 3,0 poin lebih rendah. Menurunkan effort ke low menghemat lebih banyak waktu dan biaya daripada perubahan tersebut, dan kehilangan lebih banyak skor (referensi 21). Periksa skor pada tugas Anda sendiri sebelum Anda menerapkan perubahan tersebut.
Referensi 21 memuat teks persis yang digunakan untuk kedua perubahan dalam eksekusi yang diukur. Untuk kode yang berfungsi, lihat resep Claude Cookbook Multi-agent teams under latency pressure and budgets, yang menerapkan kedua perubahan pada tim agen. Untuk menggunakan prompt sistem alih-alih pesan user pertama untuk menyatakan bahwa waktu itu penting, lihat Sinyal waktu untuk harness multiagen.
Diagram berikut juga memetakan sebuah tim, yang agen utamanya jarang memulai agen pembantu, dan satu agen pada effort low:
Untuk membayar demi kecepatan sebagai gantinya, tetapkan speed: "fast" pada Claude Fable 5.2 atau Claude Opus 5.5. Mode cepat memberikan token output per detik hingga 2,5x lebih tinggi dengan dua kali lipat harga token standar. Mengganti kecepatan di tengah percakapan menyebabkan miss pada cache prompt.
Menggabungkan model
Sesuaikan satu model sebelum Anda menambahkan model kedua: lakukan sapuan effort pada model Anda saat ini terlebih dahulu, karena sebagian besar beban kerja berakhir di sana, dan jika sapuan menunjukkan adanya kesenjangan, hitung harga model yang lebih kuat yang berjalan sendiri pada effort rendah. Bangun pasangan model hanya jika pasangan tersebut mengalahkan seluruh kurva skor terhadap pengeluaran dari model tunggal. Pada beban kerja Anda sendiri, nilai pasangan model terhadap model yang sama pada effort yang lebih rendah dan terhadap model satu tingkat di bawahnya yang berjalan sendiri.
Tabel berikut membandingkan kedua strategi:
| Strategi | Alur kontrol | Peran model frontier | Cocok untuk | Biaya frontier meningkat seiring |
|---|---|---|---|---|
| Advisor | Model lebih kecil menjalankan loop, mengeskalasi sesuai kebutuhan | Dikonsultasikan untuk rencana dan koreksi | Pekerjaan serial yang sulit di beberapa titik, seperti banyak giliran agen coding di antara beberapa keputusan nyata | Seberapa sering executor macet |
| Orchestrator | Model frontier menjalankan loop, mendelegasikan pekerjaan massal | Merencanakan, mengirim, dan mensintesis | Pekerjaan yang menyebar ke file, dokumen, atau kasus yang benar-benar independen, terutama yang lebih dari satu jendela konteks | Seberapa sulit bagian-bagiannya dikoordinasikan |
Strategi advisor: eskalasikan keputusan sulit
Advisor hanya dapat membantu ketika executor berkonsultasi dengannya.
Dalam pengukuran Anthropic, satu-satunya pasangan yang executor-nya sering berkonsultasi, pada benchmark coding, mendapat skor 1,7 poin lebih tinggi daripada executor saja pada effort yang sama, di batas noise antar-run, dengan biaya sekitar 2,1 kali lipat. Ketika executor jarang atau tidak pernah berkonsultasi, pasangan tersebut mendapat skor dalam batas noise antar-run dari executor saja, atau lebih rendah.
Untuk mengaktifkannya, tambahkan alat advisor, sebuah fitur beta, ke permintaan Anda. Pada Claude Managed Agents, berikan advisor kepada sesi. Untuk Claude Code, lihat mengeskalasikan keputusan sulit dengan alat advisor.
Tabel berikut membandingkan setiap pasangan dengan executor-nya saja pada effort yang sama:
| Benchmark | Skor | Biaya | Advisor dikonsultasikan |
|---|---|---|---|
| Benchmark agentic-coding internal11 | 90,1%, 1,7 poin di atas executor saja, di batas noise antar-run | $2,92 USD per percobaan, sekitar 2,1 kali executor saja | Sekitar 1,4 kali per percobaan; 4% percobaan tidak menerima saran |
| GPQA Diamond9 | Dalam batas noise antar-run dari executor saja | 12% lebih tinggi per pertanyaan untuk Claude Haiku 5.5, 25% lebih tinggi untuk Claude Sonnet 5.5 | Tidak pada satu pun dari 198 pertanyaan, dalam masing-masing dua run; tidak ada prompt sistem yang meminta konsultasi |
| Chartography13 | 61,7, 7 poin di bawah executor saja dan di luar noise antar-run | Kurang lebih sama dengan executor saja | Pada 1 dari 300 tugas |
- Benchmark agentic-coding internal. Claude Opus 5.5 pada
high, dengan advisor Claude Fable 5.1. - GPQA Diamond. Claude Haiku 5.5 atau Claude Sonnet 5.5 pada default masing-masing model (
mediumdanhigh), dengan advisor Claude Opus 5.5. - Chartography. Claude Opus 5.5 pada
low, dengan advisor Claude Fable 5.1.
Advisor hanya dapat menyerahkan kemampuan yang tidak dimiliki executor: pada GPQA Diamond, Claude Sonnet 5.5 saja menyamai Claude Opus 5.5 saja di 91% dengan penolakan dihitung sebagai salah, tetapi hanya karena Opus 5.5 menolak enam pertanyaan biologi per eksekusi dibandingkan dengan satu pertanyaan oleh Sonnet 5.5. Pada pertanyaan yang dijawab masing-masing, Opus 5.5 unggul sekitar 2 poin.
Pada benchmark coding, peningkatan dari pasangan tersebut berada di batas noise antar-run, dan posisinya kurang lebih berada pada kurva effort Claude Opus 5.5 sendiri, sehingga advisor membeli kurang lebih apa yang dihasilkan oleh effort yang lebih tinggi. Diagram berikut memetakan pasangan tersebut terhadap kurva itu dan kurva Claude Fable 5.1 dari bulan Agustus:
Yang perlu dilakukan.
- Ukur tingkat konsultasi pada tugas Anda sendiri. Definisi alat advisor, sekitar 1.000 token prompt per permintaan, menambah biaya bahkan ketika executor tidak pernah berkonsultasi. Dengan caching prompt, loop agen multi-giliran membayar definisi tersebut dengan harga pembacaan cache setelah permintaan pertama, sehingga overhead ini paling berpengaruh untuk tugas singkat dengan satu permintaan.
- Jika executor jarang berkonsultasi, lihat Prompting untuk tugas coding dan agen untuk prompt sistem yang meminta konsultasi, dan ukur lagi setelah Anda menambahkannya. Pada 20 soal SWE-bench Pro3, prompt yang disarankan tidak membuat perbedaan yang jelas untuk Claude Sonnet 5.5.
- Kembalikan effort executor jika tingkat konsultasi anjlok. Dalam pengukuran pada model-model sebelumnya, satu pasangan yang berkonsultasi pada sebagian besar tugas pada effort default hanya berkonsultasi pada sedikit tugas ketika effort diturunkan, lalu mendapat skor di bawah executor saja pada effort default-nya (SWE-bench Pro3).
- Periksa ulang pada setiap rilis model, karena rilis menggeser kesenjangan kemampuan maupun rasio harga.
Strategi orchestrator: delegasikan pekerjaan massal
Dalam pengukuran Anthropic, delegasi lebih unggul hanya dalam dua situasi:
- Pekerjaan rutin dengan ekor biaya yang panjang (bagian mudah dari BrowseComp4, pada model-model sebelumnya)
- Pekerjaan yang lebih besar dari satu jendela konteks (benchmark pencarian cacat internal8)
Ketika pekerjaan berupa satu rantai yang saling bergantung, atau muat dalam satu konteks tanpa ekor biaya yang panjang, model orchestrator saja pada effort yang lebih rendah lebih unggul dalam setiap kasus yang diukur pada model-model sebelumnya (kumpulan BrowseComp yang lebih sulit dan DeepWideSearch6); penelitian eksternal independen melaporkan pola yang sama5.
Untuk membangun orchestrator, gunakan orkestrasi multiagen di Claude Managed Agents: konfigurasikan agen orchestrator dan subagen yang dapat dipanggilnya, masing-masing dengan modelnya sendiri.
Diagram berikut memetakan sembilan dari tujuh belas konfigurasi benchmark pencarian cacat berdasarkan biaya dan skor (tidak satu pun dari lima konfigurasi Claude Fable 5.2):
Yang perlu dilakukan.
- Pekerjaan rutin dengan ekor biaya yang panjang: ukur kasus ini terlebih dahulu, untuk akurasi maupun biaya. Pengukuran yang mendasarinya hanya mencakup soal-soal yang dijawab dengan benar oleh konfigurasi yang didelegasikan di setiap run (referensi 4).
- Pekerjaan yang lebih besar dari satu jendela konteks: bagi pekerjaan menjadi beberapa bagian, satu sesi atau satu subagen per bagian. Pada benchmark pencarian cacat8, Claude Opus 5.5 dengan subagen Claude Sonnet 5.5 berbiaya sekitar sepertiga lebih murah daripada satu sesi Claude Opus 5.5 per bagian pada effort default-nya, dan mencetak skor yang kurang lebih sama. Claude Fable 5.2 sebagai orchestrator pengganti Claude Opus 5.5 berbiaya 19% lebih tinggi dan mencetak skor yang kurang lebih sama. Saat berjalan sendiri, dari
lowhinggahigh, Claude Fable 5.2 mencetak skor 1,6 hingga 5,9 poin lebih tinggi daripada Claude Opus 5.5 saja padahigh, dengan 1,5 hingga 2,4 kali biaya, dan 3,2 hingga 7,5 poin lebih tinggi daripada dengan subagen Claude Sonnet 5.5, dengan 2,2 hingga 3,4 kali biaya. Model ini juga mencetak skor lebih tinggi daripada Claude Fable 5.1 saja pada setiap tingkat effort: 3,6 poin padalow, dengan biaya 32% lebih rendah; 3,8 padamedium, dengan biaya 37% lebih rendah; dan 6,1 padahigh, dengan biaya 21% lebih rendah. - Subagen Claude Haiku 5.5 pada tugas coding: bandingkan terlebih dahulu dengan effort yang lebih rendah. Pada benchmark coding internal di Claude Managed Agents, subagen tersebut merupakan alternatif untuk menurunkan effort, bukan yang lebih baik. Menambahkannya ke Claude Opus 5.5 pada
medium, dengan prompt delegasi singkat, memangkas biaya per percobaan sebesar 32% dan tingkat kelulusan sekitar 4 poin persentase (interval 95% 1,3 hingga 7,1), kurang lebih sama dengan yang akan dihasilkan campuranlowdanmediumtanpa subagen pada biaya tersebut29.
Ukur pada beban kerja Anda sendiri
Ukur pada beban kerja Anda sendiri: angka-angka di halaman ini mencerminkan harga daftar pada saat pengukuran dan akan bergeser seiring perubahan model dan harga. Tingkat eskalasi Anda, seberapa rapi tugas terbagi, dan panjang transkrip juga ikut menggesernya. Metodenya tetap sama:
- Ambil beberapa tugas dari log produksi, dengan bobot seperti lalu lintas nyata, dan tulis pemeriksaan hasil untuk masing-masing: tes lulus, tiket ditutup, jumlah baris benar. Catat biaya per tugas di samping skornya.
- Buat baseline tingkatan model di berbagai tingkat effort, bukan hanya default, dan plot skor terhadap pengeluaran. Konfigurasi multi-model harus mengalahkan seluruh kurva model tunggal.
- Jika kurva menunjukkan kesenjangan yang tidak dapat ditutup oleh effort, tambahkan strategi multi-model yang sesuai dan jalankan ulang rangkaian tes.
- Jalankan pemenangnya dalam mode bayangan pada sebagian lalu lintas sebelum peralihan, lalu biarkan rangkaian tes tetap berjalan.
Cara menghitung harga sebuah tugas. Hitung masing-masing dari lima jumlah token dalam usage sebuah respons dengan tarifnya sendiri: input tanpa cache, penulisan cache 5 menit dan 1 jam pada 1,25x dan 2x harga input, pembacaan cache, dan output. Jumlahkan semuanya di seluruh permintaan dalam tugas tersebut (Usage and Cost Analytics API melaporkan agregatnya). Pada Claude Haiku 5.5, gunakan tarif untuk panjang prompt setiap permintaan, termasuk pembacaan dan penulisan cache (lihat Harga konteks panjang). Ketika usage.speed bernilai "fast", gunakan tarif mode cepat.
Contoh berikut menghitung biaya satu permintaan dengan harga daftar Claude Opus 5.5. Ubah ketiga harga tersebut untuk model lain:
INPUT_PER_MTOK = 4.00 # Claude Opus 5.5
# 0,05x harga input pada Claude Opus 5.5; pengali berbeda per model
CACHE_READ_PER_MTOK = 0.20
OUTPUT_PER_MTOK = 20.00
client = anthropic.Anthropic()
response = client.messages.create(
model="claude-opus-5-5",
max_tokens=1024,
messages=[{"role": "user", "content": "Hello, Claude"}],
)
usage = response.usage
cache_writes = usage.cache_creation
writes_1h = cache_writes.ephemeral_1h_input_tokens if cache_writes else 0
writes_5m = cache_writes.ephemeral_5m_input_tokens if cache_writes else 0
cost = (
usage.input_tokens * INPUT_PER_MTOK
# Penulisan cache 1 jam ditagih 2x harga input, 5 menit 1,25x; pembacaan dengan harga baca cache.
+ writes_1h * INPUT_PER_MTOK * 2.0
+ writes_5m * INPUT_PER_MTOK * 1.25
+ (usage.cache_read_input_tokens or 0) * CACHE_READ_PER_MTOK
+ usage.output_tokens * OUTPUT_PER_MTOK
) / 1_000_000
print(f"Request cost: ${cost:.6f}")Apa yang perlu diperiksa.
- Porsi pembacaan cache. Dalam loop agen, sebagian besar token input seharusnya berupa pembacaan cache. Jika
cache_read_input_tokenskecil dibandingkaninput_tokensditambahcache_creation_input_tokens, periksa apakah caching aktif dan apakah prefiks tetap sama di antara permintaan. - Alat advisor dan compaction. Ketika alat advisor atau “compaction” (pemadatan) diaktifkan, sebagian token hanya dilaporkan di
usage.iterationsdan tidak di total tingkat atas. Jumlahkan dariusage.iterationssebagai gantinya, dan hitung harga entriadvisor_messagedengan tarif model advisor.
Tabel berikut mencantumkan tuas-tuas sesuai urutan untuk dicoba. Angka-angkanya berasal dari pengujian Anthropic, postingan peluncuran, serta harga dan kecepatan yang dipublikasikan:
| Tuas | Penghematan | Dampak pada kualitas | Latensi | Lokasi |
|---|---|---|---|---|
| Caching prompt | Biaya turun dengan faktor 4,8 hingga 7,2 pada agen riset, dan sebesar 83% hingga 86% pada agen triase kecil | Tidak ada | Lebih cepat | Cache konteks berulang |
| Durasi cache 1 jam | Dengan 1 dari 10 giliran setelah jeda, default 5 menit berbiaya 54% lebih mahal; dengan 1 dari 20, kurang lebih sama | Tidak ada | Pada model-model sebelumnya, tetap hangat setelah jeda16 | Pilih durasi cache |
| Pemangkasan input | Tambahan 21% hingga 26% dari tagihan agen triase kecil | Dengan pencarian alat, akurasi dalam rentang yang sama seperti tanpanya27 | Netral | Pangkas token input dan konteks |
| Pencarian alat | 45% dengan 500 definisi alat terlampir; 20% dari menunda toolset server MCP GitHub | Tidak ada untuk alat yang tidak pernah dibutuhkan tugas | Netral | Pangkas token input dan konteks |
| File data melalui eksekusi kode | 92% pada tugas data berisi 25 pertanyaan, dengan caching prompt dinonaktifkan | Peningkatan: 25 dari 25 benar, bukan 7 | Lebih cepat | Pangkas token input dan konteks |
| Batch API | 50% | Tidak ada | Hasil dalam 24 jam | Batch pekerjaan yang bisa menunggu |
| Audit prompt terhadap model saat ini | 14% pada kedua peningkatan model yang diuji | Tidak ada; meningkat pada salah satunya | Lebih cepat (lebih sedikit putaran alat) | Audit prompt terhadap model saat ini |
| Upgrade model | Biasanya lebih murah: hingga 40% lebih murah pada beban kerja tipikal, dan hingga 87% lebih murah per tugas yang diselesaikan pada benchmark coding | Tidak ada pada coding, peningkatan pada sebagian besar; lebih rendah pada satu benchmark riset untuk Claude Fable 5.2 | Netral | Upgrade model |
| Turunkan effort | Pada tugas coding yang panjang, medium berbiaya sekitar 30% hingga 52% lebih murah daripada high, dan low sekitar dua pertiga lebih murah | Hingga 34 poin lebih rendah, tergantung tugas dan modelnya; 3,3 pada satu agen riset | Lebih cepat | Setel effort |
| Jalankan ulang tugas yang gagal | Sekitar 40% lebih murah daripada menjalankan semuanya pada high, dengan tingkat kelulusan yang sama atau sedikit lebih baik | Tidak ada | Percobaan kedua pada tugas yang gagal | Jalankan ulang kegagalan pada effort yang lebih tinggi |
| Minta jawaban yang lebih singkat | Sekitar 13% lebih murah, dari 39% lebih sedikit token output | Tidak ada | Lebih cepat | Tetapkan anggaran dan batas output |
Naikkan max_tokens | Tidak ada: biaya per tugas yang diselesaikan tidak naik pada 64.000 | Peningkatan: hingga 57 poin lebih banyak tugas diselesaikan pada 64.000 pada satu benchmark coding; tidak ada pada benchmark lain | Netral | Tetapkan anggaran dan batas output |
| Advisor | Tidak ada: sekitar 2,1 kali biaya model saja, pada benchmark coding | Pada coding, peningkatan kecil yang mungkin kebetulan; pada pembacaan grafik, penurunan | Sekitar 1,4 panggilan tambahan per percobaan, pada coding | Strategi advisor |
| Orchestrator | Dengan subagen pada model satu tingkat di bawahnya, sekitar sepertiga lebih murah daripada model orchestrator saja pada effort default-nya, pada pekerjaan yang lebih besar dari satu jendela konteks; pada pekerjaan rutin, ukur terlebih dahulu | Tidak ada penurunan yang terukur pada pekerjaan tersebut | Hingga 25 subagen sekaligus | Strategi orchestrator |
| Mode cepat | Tidak ada: dua kali lipat harga token standar | Tidak ada | Token output per detik hingga 2,5x lebih tinggi | Tunjukkan waktu yang telah berlalu kepada model |
Otomatiskan pencarian dengan skill Claude API
Jalankan perintah cost-optimize dari skill Claude API sebelum Anda mencari penghematan. Perintah ini memprofilkan ke mana token Anda digunakan dan menerapkan tuas-tuas secara berurutan, dimulai dari caching:
Claude Code
Biarkan Claude Code menemukan penghematan untuk Anda
/claude-api cost-optimizeKemudian jalankan perintah hillclimb di direktori yang berisi evaluasi Anda:
Claude Code
Biarkan Claude Code menjalankan pencarian untuk Anda
/claude-api hillclimbAnthropic mengukur tuas pertama dari cost-optimize dan dua pencarian pada tau2-bench retail24, semuanya pada model-model sebelumnya. Breakpoint cache yang dihasilkan cost-optimize memangkas biaya per tugas, dan tingkat kelulusan turun kurang dari sebaran antar-run yang identik.
Sebuah pencarian menemukan konfigurasi yang lebih murah dengan menurunkan effort dan turun satu tingkatan model. Tingkat kelulusannya tetap berada di dalam rentang yang ditetapkan sebelum pencarian dengan selisih sebagian kecil dari satu tugas, dan berakhir di bawah batas bawah yang lebih ketat yang digunakan pencarian untuk putusannya sendiri. Pencarian kedua, yang dimulai dari model berbiaya lebih rendah pada effort default-nya, tidak mempertahankan apa pun. Referensi 24 memuat angka-angkanya dan biaya menjalankan setiap pencarian.
Grafik berikut memplot setiap langkah dari pencarian pertama:
Dua pengaturan menentukan apakah Anda dapat memercayai jawaban pencarian:
- Sisihkan satu bagian data yang tidak pernah dibaca oleh pencarian. Pencarian menilai adopsi di sana, sehingga konfirmasi menangkap perubahan yang hanya cocok dengan tugas-tugas yang dilihat pencarian, seperti yang terjadi pada suntingan prompt (referensi 24).
- Ulangi baseline sebelum perubahan pertama. Run identik dari satu konfigurasi awal berbeda beberapa tugas dalam pengukuran ini (referensi 24). Pengulangan tersebut memberi gerbang adopsi pencarian sebuah batas noise.
Benchmark yang dirujuk
Kecuali jika suatu referensi menyatakan lain, pengukuran merupakan eksekusi internal Anthropic atas benchmark-benchmark ini. Kecuali dinyatakan lain, biaya dinyatakan dalam USD pada harga daftar yang berlaku saat setiap benchmark dijalankan; angka Claude Sonnet 5 menggunakan $2 USD dan $10 USD per juta token input dan output. Angka Claude Sonnet 5.5 dari eksekusi 24 September 2026 menggunakan harga input dan output yang sama serta harga “cache read” (pembacaan cache) saat ini, yaitu $0,10 USD per juta token, alih-alih harga peluncurannya sebesar $0,20 USD, yang diterapkan pada jumlah token yang tercatat di setiap eksekusi. Eksekusi tersebut menggunakan build pra-rilis Claude Sonnet 5.5, dan tidak ada percobaan di dalamnya yang dijawab oleh model fallback. Grafik berlabel “notional USD” menghitung harga jumlah token setiap permintaan pada tarif tersebut alih-alih melaporkan tagihan.
- WideSearch: Wong et al., “WideSearch: Benchmarking Agentic Broad Info-Seeking,” arXiv:2508.07999, 2025. Tugas riset web yang luas yang dinilai berdasarkan kelengkapan dan akurasi sebuah tabel dengan banyak baris; 200 soal, 3 eksekusi per konfigurasi, dijalankan 1 hingga 2 Agustus 2026. Dengan Claude Fable 5 pada benchmark ini, DeepWideSearch (referensi 6), BrowseComp (referensi 4), dan GDPval (referensi 2), effort
lowmengorbankan 1 hingga 3 poin untuk penghematan sepertiga hingga setengah biaya per tugas,mediummenyamai akurasi default dengan sekitar 70% hingga 87% biayanya, dan default tidak memberikan keuntungan terukur apa pun dibandingkanmediumpada keempatnya. Grafik konsentrasi biaya adalah eksekusi terpisah dengan 20 soal, 3 eksekusi per soal, dijalankan 3 hingga 4 Agustus 2026, dengan biaya dihitung dari catatan penagihan per permintaan. Grafik ini mencakup 59 dari 60 eksekusi. Eksekusi keenam puluh, yang ditagih $10,91 USD dari total $432,31 USD, tidak memiliki biaya yang tercatat bersama hasilnya dan tidak disertakan. - GDPval: OpenAI, “GDPval: Evaluating AI Model Performance on Real-World Economically Valuable Tasks,” 2025. Hasil kerja pengetahuan yang dinilai terhadap rubrik tugas; eksekusi 210 tugas dari gold set yang dirilis, satu percobaan per tugas, dijalankan 2 Agustus 2026. Penilaian dilakukan oleh model Claude, sehingga skor absolut dapat berbeda dari hasil yang dipublikasikan.
- SWE-bench Pro: Scale AI, “SWE-Bench Pro: Can AI Agents Solve Long-Horizon Software Engineering Tasks?”, 2025.
- Apa yang diukur: Subset 482 soal yang dipilih karena kompatibel dengan harness evaluasi Anthropic; skornya tidak dapat dibandingkan dengan leaderboard publik. Skor ini juga tidak dapat dibandingkan dengan hasil SWE-bench Pro dalam kartu sistem Claude Opus 5.5, yang berasal dari eksekusi pada effort
maxdengan kumpulan soal yang berbeda. - Cara penetapan harga: Biaya pada subset ini dihargai sebagaimana organisasi pelanggan diukur: prompt sebelumnya dari setiap permintaan sebagai pembacaan cache dan token barunya sebagai “cache write” (penulisan cache) 5 menit, dari catatan penggunaan eksekusi itu sendiri, diperiksa terhadap buku besar pelanggan.
- Eksekusi Claude Opus 5.5: Angka Claude Opus 5.5 merata-ratakan dua eksekusi pada
low,medium(default-nya), danhigh, serta menggunakan satu eksekusi padaxhigh, semuanya dijalankan 19 hingga 20 September 2026, dengan batas 16.384 token per giliran yang sama seperti eksekusi Claude Opus 5 bulan Agustus; batas tersebut memotong 2 percobaanxhighdan tidak ada pada pengaturan lain. Diukur terhadaphigh, Claude Opus 5.5 mencetak skor sekitar 2,5 poin lebih rendah pada default-nya,medium, dengan sekitar 70% biaya per tugas, dan sekitar 8 poin lebih rendah padalowdengan sekitar sepertiga biaya;xhighmencetak skor sekitar 1,4 poin lebih tinggi dengan 2,5 kali biayahigh. Rasio-rasio tersebut berasal dari biaya yang tidak dibulatkan. - 478 soal: Eksekusi Opus 5.5 menggunakan versi benchmark yang container penilaiannya hanya dapat menjangkau mirror paket internal. Versi tersebut menghapus satu soal yang pengujiannya memerlukan situs web aktif, dan pada tiga soal lainnya solusi referensi gagal di sana, sehingga perbandingan Opus 5.5, dan angka Claude Fable 5.1 yang disandingkan dengannya, menggunakan 478 soal yang tersisa.
- Eksekusi Claude Sonnet 5.5: Claude Sonnet 5.5 menjalankan versi benchmark yang sama: dua eksekusi pada default-nya,
high, dan dua padamedium, semuanya pada 24 September 2026, dengan batas 16.384 token per giliran yang sama, yang tidak memotong satu pun percobaannya. Angkanya menggunakan 478 soal, demikian pula angka Claude Sonnet 5 yang disandingkan dengannya, yang dihitung atas soal-soal tersebut dari eksekusi Agustus mereka. - Eksekusi Claude Opus 5: Angka SWE-bench Pro Claude Opus 5 di Upgrade model dan dalam referensi ini merata-ratakan dua eksekusi pada effort default-nya dan menggunakan satu eksekusi pada
low, semuanya dijalankan 4 Agustus 2026. - Advisor, pasangan Claude Sonnet 5: Pasangan executor Claude Sonnet 5 dengan advisor Claude Opus 5 di balik contoh tingkat konsultasi di Strategi advisor dijalankan pada subset ini melalui penyiapan pengujian yang sama: pasangan pada effort default dijalankan dua kali (7 Agustus dan 8 Agustus 2026, satu eksekusi dan replikasi persisnya), pasangan effort rendah sekali (8 Agustus 2026), dan, sepuluh hari kemudian, Claude Sonnet 5 sendiri dua kali pada effort default-nya (77,4%, baseline untuk kedua pasangan).
- Advisor, pemeriksaan konsultasi Claude Sonnet 5.5: Pemeriksaan konsultasi Claude Sonnet 5.5 yang dikutip di Strategi advisor menjalankan satu percobaan pada masing-masing 20 dari 478 soal, pada 24 September 2026, dengan advisor Claude Opus 5.5 melalui alat advisor. Empat konfigurasi dijalankan:
highdanxhigh, masing-masing dengan dan tanpa prompt sistem yang disarankan dokumentasi alat advisor untuk tugas coding. Pada effort default-nya,high, Claude Sonnet 5.5 tidak berkonsultasi dengan advisor pada satu pun dari 20 soal, dengan atau tanpa prompt tersebut. Padaxhigh, ia berkonsultasi pada 3 dari 20 soal tanpa prompt dan 4 dengan prompt, setiap kali pada percobaannya dengan giliran terbanyak. - Angka eskalasi: Angka eskalasi berasal tugas demi tugas dari eksekusi Opus 5.5:
lowterlebih dahulu, laluhighpada kegagalannya, menyelesaikan 96,4% hingga 97,5% di seluruh pasangan eksekusi dengan sekitar $0,17 USD;mediumterlebih dahulu, 96,0% hingga 97,1% dengan sekitar $0,24 USD;highdijalankan ulang pada kegagalannya sendiri, 96,9% dengan $0,31 USD; semuanya padahigh, 94,8% hingga 95,8% dengan $0,29 USD. - Bandingkan model: Angka Claude Fable 5.1 di Bandingkan model berasal dari satu eksekusi pada subset yang sama pada effort default, dijalankan 26 Agustus 2026: dihitung atas 478 soal, ia menyelesaikan 92,3% dengan $1,19 USD per tugas yang diselesaikan. Grafik bagian tersebut serta angka Claude Opus 5.5 dan Claude Sonnet 5.5 pada tabelnya menggabungkan dua eksekusi pada setiap pengaturan yang diplot, semuanya dihitung atas 478 soal: Claude Opus 5.5 pada
low,medium, danhigh, serta Claude Sonnet 5.5 padamediumdanhigh. Angka Claude Fable 5.2 masing-masing berasal dari satu eksekusi padalowdan padahigh(default-nya di Messages API), keduanya dengan batas 16.384 token per giliran yang sama, yang memotong 8 dari 463 percobaanhighdan tidak ada padalow; percobaan yang terpotong dihitung sebagai kegagalan. Satu percobaanhighlainnya dihentikan oleh monitor keamanan di lingkungan evaluasi sebelum selesai dan juga dihitung sebagai kegagalan, meskipun perubahan yang telah dibuatnya hingga saat itu lulus pengujian; mengecualikannya akan menghasilkan 96,5% untukhigh. Eksekusi tersebut menggunakan versi benchmark yang container penilaiannya tidak memiliki akses jaringan. Dari 478 soal yang digunakan untuk perbandingan Opus 5.5, solusi referensi gagal tanpa akses jaringan pada 15 soal, sehingga perbandingan Fable 5.2 menggunakan 463 soal yang tersisa. Dalam perbandingan tersebut, angka Claude Opus 5.5 adalah eksekusi yang sama yang dihitung atas 463 soal: masing-masing dua eksekusi padamediumdanhigh, dan satu padaxhigh. Angka Claude Fable 5.1 dan Claude Opus 5.5 yang disandingkan dengannya dinilai dengan akses jaringan, sehingga hanya kumpulan soalnya yang disamakan, bukan penyiapan penilaiannya. Biaya Claude Fable 5.2 menggunakan pengukuran yang dijelaskan di bawah Cara penetapan harga, yang diterapkan pada total token setiap percobaan alih-alih pada setiap permintaan secara terpisah, sehingga biaya tersebut merupakan estimasi. - Bandingkan model, pekerjaan per tugas: Dalam angka-angka tersebut, Claude Opus 5.5 pada
lowmelakukan lebih sedikit pekerjaan pada setiap tugas dibandingkan Claude Sonnet 5.5 pada default-nya: sedikit lebih dari setengah token output Sonnet 5.5 dan sedikit lebih dari sepertiga cache read-nya. Pada default masing-masing, Opus 5.5 padamediummenyelesaikan sekitar 5 poin persentase lebih banyak daripada Sonnet 5.5 dengan sekitar dua kali biayanya. Pada pengaturan tersebut, ia melakukan sedikit lebih banyak pekerjaan per tugas dibandingkan Sonnet 5.5. - Upgrade model, eksekusi: Titik Claude Fable 5 di Upgrade model menggabungkan tiga eksekusi pada effort default, dijalankan 26 Agustus 2026, dihargai sebagaimana organisasi pelanggan diukur. Tangga peningkatan menghitung setiap model atas 478 soal, masing-masing pada default bawaannya. Tangga ini menggunakan satu eksekusi per model kecuali Opus 5, Opus 5.5, Sonnet 5, dan Sonnet 5.5 (masing-masing dua eksekusi) serta Fable 5 (tiga eksekusi yang dijelaskan di atas). Eksekusi Opus 4.7, Opus 4.8, Sonnet 4.6, dan Sonnet 5 dijalankan 17 hingga 19 Agustus 2026, dan eksekusi Opus 5 pada 4 Agustus, semuanya dalam satu harness dan organisasi; eksekusi Opus 5.5 dan Sonnet 5.5 adalah yang dijelaskan sebelumnya dalam referensi ini.
- Upgrade model, biaya per tugas yang diselesaikan: Claude Opus 5 berbiaya 21% lebih tinggi per tugas yang diselesaikan dibandingkan Claude Opus 4.8 ketika eksekusi Claude Opus 5 tersebut dibandingkan dengan satu eksekusi Claude Opus 4.8 pada default bawaannya dari seri 17 hingga 19 Agustus, dihitung atas 478 soal yang sama; panel SWE-bench Pro pada grafik tidak menampilkan Claude Opus 4.7 maupun Claude Opus 4.8. Dalam pengukuran yang sama, dihargai sebagaimana pelanggan ditagih, Claude Opus 5 menyelesaikan 12 poin tugas lebih banyak daripada Claude Opus 4.8 dengan biaya 21% lebih tinggi per tugas yang diselesaikan tersebut, Claude Opus 4.8 menyelesaikan porsi tugas yang sama dengan Claude Opus 4.7 dengan biaya 14% lebih rendah per tugas yang diselesaikan, dan Claude Opus 5 pada effort
lowmengungguli default Claude Opus 4.8 pada benchmark ini dengan sekitar 30% biaya per tugas yang diselesaikan. - Upgrade model, harga: Penghematan Claude Sonnet 5 dibandingkan Claude Sonnet 4.6 di Upgrade model berasal dari harga per token yang lebih rendah, yang lebih dari cukup untuk mengimbangi token tambahan yang digunakannya per tugas. Claude Sonnet 5.5 mengenakan biaya yang sama dengan Claude Sonnet 5 untuk semuanya kecuali cache read, yang biayanya setengahnya. Harga token Claude Opus 5.5 lebih rendah daripada Claude Opus 5, terutama untuk cache read. Seperti Claude Sonnet 5, tingkat frontier memperoleh keuntungan melalui harga: sebagian besar penghematan Claude Fable 5.1 adalah harga cache read yang lebih rendah.
- Biaya tanpa caching, dihargai dari jumlah token yang tercatat: Anthropic menghitung ulang harga jumlah token yang tercatat dari eksekusi Claude Opus 5.5 dan Claude Sonnet 5.5, atas 478 soal, untuk faktor caching di Mengapa caching didahulukan.
- Faktor, per model: Setiap faktor adalah biaya token dengan setiap token input pada harga input, token output tidak berubah, dibagi dengan biaya yang dihargai sebagaimana organisasi pelanggan diukur: untuk Claude Opus 5.5, 3,3 pada
medium, 2,4 padalow, 3,8 padahigh, dan 5,4 padaxhigh(satu eksekusi); untuk Claude Sonnet 5.5, dengan pembacaan cache pada $0,10 USD per juta token, 3,1 padahighdan 2,4 padamedium, atau 2,8 padahighdengan harga peluncuran $0,20 USD. Permintaan pertama suatu tugas dihargai sebagai penulisan cache.
- Apa yang diukur: Subset 482 soal yang dipilih karena kompatibel dengan harness evaluasi Anthropic; skornya tidak dapat dibandingkan dengan leaderboard publik. Skor ini juga tidak dapat dibandingkan dengan hasil SWE-bench Pro dalam kartu sistem Claude Opus 5.5, yang berasal dari eksekusi pada effort
- BrowseComp: Wei et al., “BrowseComp: A Simple Yet Challenging Benchmark for Browsing Agents,” OpenAI, 2025. Angka effort menggunakan potongan 500 soal, satu hingga tiga eksekusi per pengaturan, dijalankan 3 Agustus 2026, dengan titik default menggabungkan dua eksekusi dari 26 hingga 27 Juli 2026. Pengukuran pekerjaan rutin dengan ekor biaya panjang di Strategi orchestrator menggunakan 10 soal yang diselesaikan model secara andal sendirian ketika protokol ditetapkan, dari irisan 26 soal, 50 eksekusi terdelegasi (5 per soal; 1 hingga 2 Agustus 2026) dan 70 eksekusi model sendirian (50 dari 2 hingga 3 Agustus 2026; 20 diarsipkan dari 12 hingga 13 Juli dan 1 Agustus 2026), $6,45 USD dibandingkan $11,99 USD per eksekusi secara ekspektasi; angka terdelegasi memiliki rentang pengukuran sekitar 20%. Ke-10 soal tersebut adalah soal-soal di mana konfigurasi terdelegasi, yaitu orchestrator Claude Fable 5 dengan satu worker Claude Sonnet 5, benar di kelima eksekusi dan Claude Fable 5 sendirian benar di kedua eksekusi yang diarsipkan; eksekusi terdelegasi adalah eksekusi yang sama tersebut, dan hanya Claude Fable 5 sendirian yang dijalankan lagi pada kesepuluh soal itu. Dari 70 eksekusinya, yang diarsipkan maupun yang baru, Claude Fable 5 sendirian benar di 68. Pada soal-soal tersebut, konfigurasi terdelegasi berbiaya sekitar setengah dari Claude Fable 5 sendirian secara rata-rata ($6,45 USD dan $11,99 USD yang disebutkan sebelumnya) dan sekitar sepertiga pada persentil ke-90 ($12 USD dibandingkan $33 USD per eksekusi), dan eksekusi termahalnya berbiaya $42 USD dibandingkan $84 USD; eksekusi $84 USD tersebut juga salah. Pada set BrowseComp lengkap yang lebih sulit, Claude Fable 5 sendirian mencapai akurasi konfigurasi orchestrator yang diukur pada set tersebut dengan biaya 22% hingga 30% lebih rendah.
- Penskalaan arsitektur agen: Kim et al., “Towards a Science of Scaling Agent Systems,” arXiv:2512.08296, 2025. Studi eksternal independen, dikutip hanya untuk arah temuan tentang kapan delegasi tidak menguntungkan, bukan untuk angka apa pun.
- DeepWideSearch: “DeepWideSearch: Benchmarking Depth and Width in Agentic Information Seeking,” arXiv:2510.20168, 2025. Ke-220 pertanyaan mencakup 15 domain, masing-masing menggabungkan pengumpulan banyak baris dengan pengambilan multi-hop; diukur pada set baris tetap benchmark, 3 eksekusi per konfigurasi, dijalankan 2 Agustus 2026 (titik tim dengan satu worker dijalankan 26 hingga 27 Juli 2026). Dengan Claude Fable 5, effort
lowmenyamai orchestrator dengan worker Claude Sonnet 5 dengan biaya 29% lebih rendah, dan membutuhkan 4,5 menit per soal, dibandingkan 7,9 menit pada default. - DeepResearch Bench II: Li et al., “DeepResearch Bench II: Diagnosing Deep Research Agents via Rubrics from Expert Report,” arXiv:2601.08536, 2026.
- Apa yang diukur: 132 tugas risetnya di 22 domain dinilai terhadap rubrik biner yang diturunkan dari pakar. Diukur pada 3 November 2026, pada subset 50 tugas yang diambil dari semua temanya, separuh dalam bahasa Inggris dan separuh dalam bahasa Mandarin, satu percobaan per tugas, 3 eksekusi per pengaturan: Claude Sonnet 5.5 pada
high, Claude Opus 5.5 padamedium, serta Claude Fable 5.1 dan Claude Fable 5.2 padalow,medium, danhigh. Setiap pengaturan dijalankan di Messages API dengan pemikiran adaptif, dan ketiga model yang telah dirilis dengan classifier keamanan produksi aktif. Claude Fable 5.2 dijalankan sebelum rilisnya, pada 46 dari 50 tugas, tanpa empat tugas biologi. - Alat: Agen menggunakan alat pencarian dan fetch yang di-host oleh harness evaluasi atas indeks web Anthropic tanpa konten bertanggal setelah 17 Maret 2026, dan tidak memiliki shell. Kueri pencarian lebih dari 120 karakter dipotong pada kata utuh terakhir, dan agen diberi tahu tentang hal tersebut: 57% hingga 59% pencarian pada Claude Fable 5.2, 49% pada Claude Sonnet 5.5, dan 26% hingga 31% pada pengaturan lainnya. Dalam satu tugas, eksekusi Claude Fable 5.2 dengan lebih banyak pencarian yang terpotong tidak mencetak skor lebih rendah. Eksekusi lanjutan Claude Fable 5.2 dan Claude Opus 5.5 menyusul pada 6 dan 7 November 2026, tiga per model di masing-masing dari dua set. Alat tersebut memotong kueri yang lebih panjang seperti sebelumnya di satu set dan menolaknya di set lainnya. Pada 43 tugas yang dinilai di kedua set, Claude Fable 5.2 pada
highmencetak skor 0,9 poin di bawah Claude Opus 5.5 dengan pemotongan (interval 95% 1,0 di atas hingga 2,7 di bawah). Interval tersebut mencakup selisih 1,9 poin yang diukur pada 3 November, pada 44 tugas. Dengan penolakan, skornya 1,9 poin di bawah (0,0 hingga 3,7). Selisih tersebut 1,0 poin lebih besar daripada dengan pemotongan (0,8 lebih kecil hingga 2,8 lebih besar), bukan perubahan yang terukur. Sekitar seperempat fetch mengembalikan error. Artikel sumber setiap tugas serta makalah dan dataset milik benchmark itu sendiri disaring keluar. - Cara penilaian: Claude Opus 4.6 menilai berdasarkan protokol rubrik benchmark; versi aslinya menggunakan penilai yang berbeda, dan penilai Anthropic mungkin lebih menyukai gaya internal. Skor adalah rata-rata atas 44 tugas yang dijawab oleh setiap pengaturan dan dinilai sepenuhnya oleh penilai. Enam sisanya: empat tugas biologi yang dijawab Claude Sonnet 5.5 di setiap eksekusi, dan pada tugas-tugas tersebut classifier keamanan menghentikan setiap percobaan Claude Fable 5.1 (36) dan 11 dari 12 percobaan Claude Opus 5.5; satu tugas, survei riset keamanan komputer, yang padanya classifier menghentikan satu percobaan Claude Fable 5.1 pada
lowdan dua dari tiga percobaan Claude Fable 5.2 padahigh; dan satu tugas di mana pemeriksaan keamanan yang ditambahkan Anthropic ke evaluasinya sendiri menghentikan satu percobaan Claude Sonnet 5.5. - Skor: Pada 44 tugas, dan pada seluruh 50, dengan percobaan yang ditolak atau dihentikan dihitung sebagai 0 dan satu percobaan yang dijawab tetapi tidak dinilai sepenuhnya oleh penilai tetap pada skor parsialnya: Claude Sonnet 5.5, 57,2% dan 56,8%; Claude Opus 5.5, 59,6% dan 54,6%; Claude Fable 5.1, 60,2% dan 54,7% pada
low, 62,1% dan 56,6% padamedium, serta 62,5% dan 57,0% padahigh. Claude Fable 5.2, pada 44 tugas: 54,5% padalow, 55,0% padamedium, dan 57,7% padahigh. Selisih per tugas pada 44 tugas, diambil sebelum pembulatan, dengan interval 95%: Claude Fable 5.1 padahighdibandingkanlow, 2,3 poin (1,3 hingga 3,3); Claude Opus 5.5 dibandingkan Claude Sonnet 5.5, 2,4 (1,0 hingga 3,8); Claude Fable 5.1 padahighdibandingkan Claude Opus 5.5, 2,8 (1,4 hingga 4,3), dan dibandingkan Claude Sonnet 5.5, 5,2 poin (4,0 hingga 6,5); Claude Fable 5.1 padamediumdibandingkanlow, 1,9 (0,6 hingga 3,1); Claude Fable 5.2 padahighdibandingkanlow, 3,3 (1,7 hingga 4,9), dan padamediumdibandingkanlow, 0,6 (-0,6 hingga 1,8); Claude Fable 5.2 padahighdibandingkan Claude Sonnet 5.5, 0,5 (-1,2 hingga 2,2), dan dibandingkan Claude Opus 5.5, -1,9 (-3,6 hingga -0,2); Claude Fable 5.2 dibandingkan Claude Fable 5.1, -5,8 (-8,0 hingga -3,5) padalow, -7,0 (-9,3 hingga -4,8) padamedium, dan -4,7 (-6,4 hingga -3,1) padahigh. Pada seluruh 50 tugas: Claude Opus 5.5 dibandingkan Claude Sonnet 5.5, -2,2 (-7,6 hingga 3,2); Claude Fable 5.1 padahighdibandingkan Claude Sonnet 5.5, 0,2 (-5,5 hingga 5,9). - Cara penetapan harga: Setiap biaya per tugas adalah token model itu sendiri pada harga daftar, dari catatan penggunaan percobaan, atas seluruh 50 tugas dan setiap percobaan, dirata-ratakan atas tiga eksekusi: $1,11 USD pada Claude Sonnet 5.5, $1,61 USD pada Claude Opus 5.5, dan $3,55 USD, $4,44 USD, dan $5,69 USD pada Claude Fable 5.1. Biaya Claude Fable 5.2 dihitung atas 46 tugasnya: $1,49 USD, $2,16 USD, dan $4,82 USD; atas 46 tugas yang sama, kelima pengaturan lainnya berbiaya $1,13 USD, $1,69 USD, $3,85 USD, $4,82 USD, dan $6,18 USD. Pada empat tugas biologi, setiap percobaan Claude Fable 5.1 dihentikan pada permintaan pertamanya, dan percobaan berbiaya rata-rata sekitar satu sen pada Claude Fable 5.1 dan $0,74 USD pada Claude Opus 5.5. Pada 44 tugas saja, biayanya adalah $1,13 USD, $1,68 USD, $3,85 USD, $4,77 USD, dan $6,10 USD, serta $1,50 USD, $2,20 USD, dan $4,86 USD pada Claude Fable 5.2. Perbandingan biaya di Bandingkan model (1,5, 4,3, dan 2,9 kali; 61%, 54%, dan 20% lebih rendah daripada Claude Fable 5.1 pada
low,medium, danhigh) dan di Setel effort (3,2 kali) dihitung pada 44 tugas tersebut, seperti skor di sampingnya. Biaya hanya mencakup token model; alat harness tidak menambahkan biaya. Agen melakukan 12 hingga 33 pencarian per tugas, dengan percobaan yang ditolak ikut dihitung. - Grafik: Grafik caching dan grafik effort menampilkan eksekusi dari 22 Oktober 2026 untuk Claude Fable 5.1, Claude Opus 5.5, dan Claude Sonnet 5.5 pada tingkat effort yang sama. Grafik caching menghitung ulang harga permintaan dari eksekusi tersebut dengan setiap token input pada tarif tanpa cache. Harness evaluasi menetapkan breakpoint cache.
- Keterbandingan: Skor-skor ini tidak dapat dibandingkan dengan leaderboard benchmark tersebut.
- Apa yang diukur: 132 tugas risetnya di 22 domain dinilai terhadap rubrik biner yang diturunkan dari pakar. Diukur pada 3 November 2026, pada subset 50 tugas yang diambil dari semua temanya, separuh dalam bahasa Inggris dan separuh dalam bahasa Mandarin, satu percobaan per tugas, 3 eksekusi per pengaturan: Claude Sonnet 5.5 pada
- Benchmark pencarian cacat internal:
- Apa yang diukur: Internal Anthropic, untuk pekerjaan yang lebih besar dari satu jendela konteks: korpus sekitar 22 juta token dari 14 sumber paket Python publik, dalam 201 bagian, dengan 130 cacat yang ditanam dan penilaian deterministik. Sepuluh eksekusi per konfigurasi, pada Claude Managed Agents: 51 dari 170 eksekusi pada 27 hingga 29 Oktober 2026, 69 pada 2 hingga 3 November 2026, dan 50 eksekusi Claude Fable 5.2 pada 3 hingga 4 November 2026, sebelum rilisnya.
- Konfigurasi: Saat berjalan sendiri, setiap model menjalankan satu sesi per bagian, dan setiap sesi diberi temuan sejauh ini: Claude Fable 5.2, Claude Fable 5.1, dan Claude Opus 5.5 pada
low,medium, danhigh, serta Claude Sonnet 5.5 dan Claude Haiku 5.5 pada default masing-masing model (highdanmedium). Dengan subagen, Claude Fable 5.2, Claude Fable 5.1, atau Claude Opus 5.5 berjalan padahighsebagai orchestrator, melalui orkestrasi multiagen (tipemultiagent_20261001): satu agen predefined sebagai subagen, pada effort default modelnya, dipanggil sekali untuk setiap bagian, hingga 25 sekaligus, dengan agen inline dan alur kerja dinamis sama-sama dinonaktifkan. Setiap konfigurasi diakhiri dengan satu sesi lagi, tanpa subagen, yang merangkai temuan. Pemikiran berjalan pada default platform: aktif, dengan model memilih kapan harus berpikir. - Alat: Setiap agen menggunakan alat shell dan file milik benchmark itu sendiri, di mesin virtual yang terisolasi. Sebelum agen mana pun dimulai, evaluasi menghapus salinan terinstal paket-paket korpus dari mesin tersebut dan memeriksa bahwa tidak ada koneksi dari mesin itu yang berhasil.
- Hasil: F1 rata-rata (rentang) dan biaya rata-rata per eksekusi. Claude Haiku 5.5 saja: 0,577 (0,550 hingga 0,606), $25 USD. Claude Sonnet 5.5 saja: 0,760 (0,669 hingga 0,788), $103 USD. Claude Opus 5.5 saja pada
low: 0,489 (0,437 hingga 0,551), $38 USD; padamedium: 0,827 (0,797 hingga 0,850), $200 USD; padahigh: 0,850 (0,829 hingga 0,876), $236 USD. Claude Fable 5.1 saja padalow: 0,829 (0,807 hingga 0,841), $527 USD; padamedium: 0,839 (0,817 hingga 0,856), $603 USD; padahigh: 0,847 (0,829 hingga 0,861), $716 USD. Claude Fable 5.2 saja padalow: 0,866 (0,852 hingga 0,884), $357 USD; padamedium: 0,877 (0,863 hingga 0,884), $378 USD; padahigh: 0,909 (0,896 hingga 0,925), $563 USD. Claude Opus 5.5 dengan subagen Claude Sonnet 5.5: 0,831 (0,814 hingga 0,850), $139 USD; dengan subagen Claude Haiku 5.5: 0,677 (0,640 hingga 0,718), $47 USD. Claude Fable 5.1 dengan subagen Claude Sonnet 5.5: 0,825 (0,812 hingga 0,858), $172 USD; dengan subagen Claude Haiku 5.5: 0,687 (0,660 hingga 0,723), $88 USD. Claude Fable 5.2 dengan subagen Claude Sonnet 5.5: 0,833 (0,795 hingga 0,856), $165 USD; dengan subagen Claude Haiku 5.5: 0,716 (0,683 hingga 0,773), $85 USD. Di antara konfigurasi model lain dengan skor di atas 0,80, rentang setiap pasangan saling tumpang tindih. Selisih F1 rata-rata, dengan interval 95%: Claude Opus 5.5 dengan subagen Claude Sonnet 5.5 memperoleh skor 0,4 poin lebih tinggi daripada Claude Opus 5.5 saja padamedium(1,1 lebih rendah hingga 1,9 lebih tinggi), 1,9 lebih rendah daripada Claude Opus 5.5 saja padahigh(0,6 hingga 3,2), dan 7,1 lebih tinggi daripada Claude Sonnet 5.5 saja (4,6 hingga 9,7). Saat berjalan sendiri, Claude Opus 5.5 memperoleh skor 2,3 poin lebih tinggi padahighdaripada padamedium(0,7 hingga 3,9). Claude Fable 5.1 saja memperoleh skor 1,8 poin lebih rendah padalowdaripada padahigh(0,8 hingga 2,8); padahigh, skornya 2,0 poin lebih tinggi daripada Claude Opus 5.5 saja padamedium(0,7 hingga 3,4) dan 0,3 lebih rendah daripada Claude Opus 5.5 saja padahigh(1,5 lebih rendah hingga 1,0 lebih tinggi). Dengan subagen Claude Sonnet 5.5, Claude Fable 5.1 memperoleh skor 0,6 poin lebih rendah daripada Claude Opus 5.5 (1,9 lebih rendah hingga 0,6 lebih tinggi). Dibandingkan dengan Claude Opus 5.5 saja padamediumdan padahigh, Claude Fable 5.2 saja memperoleh skor lebih tinggi pada setiap tingkat, dengan selisih diambil sebelum pembulatan: padalow, sebesar 3,9 poin (2,4 hingga 5,3) dan 1,6 (0,3 hingga 2,9), dengan 1,8 dan 1,5 kali biaya; padamedium, sebesar 5,0 (3,6 hingga 6,3) dan 2,7 (1,5 hingga 3,8), dengan 1,9 dan 1,6 kali biaya; padahigh, sebesar 8,2 (6,8 hingga 9,6) dan 5,9 (4,7 hingga 7,1), dengan 2,8 dan 2,4 kali biaya. Model ini memperoleh skor lebih tinggi daripada Claude Fable 5.1 saja pada tingkat yang sama: sebesar 3,6 poin padalow(2,6 hingga 4,7), 3,8 padamedium(2,8 hingga 4,8), dan 6,1 padahigh(5,3 hingga 7,0), dengan biaya 32%, 37%, dan 21% lebih rendah. Skornya 4,3 poin lebih rendah padalowdaripada padahigh(3,3 hingga 5,3), dengan biaya 37% lebih rendah. Dengan subagen Claude Sonnet 5.5, Claude Fable 5.2 memperoleh skor 0,2 poin lebih tinggi daripada Claude Opus 5.5 (1,3 lebih rendah hingga 1,7 lebih tinggi), dengan biaya 19% lebih tinggi, dan memperoleh skor 3,2 poin lebih rendah daripada Claude Fable 5.2 saja padalow(1,8 hingga 4,7), 4,3 lebih rendah daripada padamedium(3,0 hingga 5,7), dan 7,5 lebih rendah daripada padahigh(6,1 hingga 9,0), dengan biaya 54%, 56%, dan 71% lebih rendah. Satu eksekusi Claude Fable 5.2 saja padahighberakhir lebih awal, tanpa skor, dan diganti. Pasangan Claude Opus 5.5 berbiaya 31% lebih rendah daripada Claude Opus 5.5 saja padamediumdan 41% lebih rendah daripada Claude Opus 5.5 saja padahigh. Saat berjalan sendiri, Claude Opus 5.5 berbiaya 15% lebih rendah padamediumdaripada padahigh. Ketujuh eksekusi Claude Sonnet 5.5 saja pada bulan November seluruhnya memperoleh skor di bawah tiga eksekusi bulan Oktober (0,669 hingga 0,775, dibandingkan dengan 0,783 hingga 0,788); penyebabnya tidak diketahui, dan setiap eksekusi diperhitungkan. Claude Fable 5.1 dengan subagen Claude Haiku 5.5 berbiaya $85,77 USD per eksekusi pada bulan Oktober dan $89,06 USD pada bulan November. - Cara penetapan harga: Biaya sesi-sesi setiap eksekusi menurut harga daftar platform: token dengan caching prompt, ditambah runtime sesi. Lima di antara eksekusi Claude Opus 5.5 pada
highdihargai hanya dari jumlah tokennya, dengan harga cache 5 menit, karena masing-masing eksekusi tersebut berjalan sebagian waktunya dengan durasi cache 1 jam, yang penulisan cache-nya lebih mahal. Token milik Claude Fable 5.2 sendiri dihargai dari jumlahnya, pada harga daftar dengan penulisan cache 5 menit; dalam eksekusinya sendirian, runtime sesinya, kurang dari 0,2% biaya satu eksekusi, tidak diperhitungkan. Biaya pemeriksaan tambahan pada panggilan alat, bagian dari pengaturan keamanan evaluasi, tidak diperhitungkan.
- GPQA Diamond: Rein et al., “GPQA: A Graduate-Level Google-Proof Q&A Benchmark,” 2023. Subset Diamond dengan 198 pertanyaan, dinilai oleh model terhadap jawaban referensi, token advisor diukur per permintaan. Claude Haiku 5.5 dan Claude Sonnet 5.5, masing-masing sendirian dan dengan advisor Claude Opus 5.5, serta Claude Opus 5.5 sendirian menjalankan dua eksekusi per konfigurasi pada 7 Oktober 2026, semuanya dengan fallback sisi server dinonaktifkan, pada effort default setiap model, dan dengan penolakan dihitung sebagai salah. Pemeriksaan keamanan platform menolak satu pertanyaan biologi per eksekusi pada Claude Haiku 5.5 dan Claude Sonnet 5.5 sendirian, satu dalam dua eksekusi pada Haiku 5.5 dengan advisor, tidak ada pada Sonnet 5.5 dengan advisor, dan enam per eksekusi pada Opus 5.5, yang mencetak skor 91% dengan penolakan tersebut dihitung sebagai salah dan 93,5% pada pertanyaan yang dijawabnya. Claude Haiku 5.5 sendirian mencetak skor 85%, 6 poin di bawah Opus 5.5. Konfigurasi advisor menambahkan alat tersebut tanpa prompt yang meminta konsultasi, dan tidak ada executor yang memanggil advisor pada pertanyaan mana pun. Pasangan-pasangan tersebut mencetak skor 0,5 poin (Claude Haiku 5.5) dan 1,0 poin (Claude Sonnet 5.5) di atas executor sendirian, keduanya dalam batas noise antar-eksekusi.
- DeepSWE: Datacurve, “DeepSWE: Measuring Frontier Coding Agents on Original, Long-Horizon Engineering Tasks,” arXiv:2607.07946, 2026. Set ini memiliki 113 tugas orisinal dalam lima bahasa dengan verifier berbasis program. Pasangan masing-masing dua eksekusi, dijalankan 7 Agustus 2026, dengan token advisor diukur per permintaan, dan menggunakan loop advisor sisi klien alih-alih alat advisor, dengan akuntansi yang identik. Sapuan effort model tunggal adalah eksekusi tunggal yang dihargai dari jumlah token, sebuah aproksimasi yang memperhitungkan cache. Biaya per tugas adalah total eksekusi dibagi 113. Pada benchmark ini, executor Claude Sonnet 5 dengan effort rendah yang disertai advisor mencetak skor 23 poin di atas executor yang sama sendirian.
- Benchmark agentic-coding internal:
- Apa yang diukur: Internal Anthropic: 370 tugas repositori yang dinilai oleh pengujian repositori itu sendiri. Angka API diukur dengan agen API sederhana dan batas output 128.000 token, satu eksekusi per konfigurasi: Opus 5 sendirian pada effort default 9 hingga 10 Agustus 2026, dan pada
lowsertamedium10 Agustus 2026; Claude Fable 5.1 sendirian pada lima nilai effort yang ditetapkan secara eksplisit 20 Agustus 2026 (grafik menampilkan tiga di antaranya); dan pasangan 24 hingga 25 Agustus 2026. - Eksekusi Agustus: Eksekusi Agustus memiliki lima percobaan per tugas untuk pasangan dan kontrol Claude Opus 5 serta satu untuk titik-titik lainnya.
- Cara penetapan harga: Biaya dihitung per percobaan. Biaya dihargai sebagaimana organisasi pelanggan diukur: prompt sebelumnya dari setiap permintaan loop agen sebagai pembacaan cache dan token barunya sebagai penulisan cache 5 menit, dari catatan penggunaan eksekusi itu sendiri, dan setiap panggilan advisor, yang tidak menggunakan cache, dari token yang tercatat, semuanya pada harga daftar.
- Claude Opus 5.5 sendirian: Claude Opus 5.5 sendirian dijalankan pada seluruh 370 tugas, 19 hingga 20 September 2026: pada effort default-nya (
medium) dan padahighdengan lima percobaan per tugas, serta padalowdanxhighdengan satu (369 dari 370 dinilai pada masing-masing, setelah kegagalan pemeriksaan penyiapan). Claude Opus 5.5 sendirian menyelesaikan 74,8% percobaan padalowdengan $0,35 USD per percobaan, 86,6% padamediumdengan $0,84 USD, 88,4% padahighdengan $1,38 USD, dan 91,1% padaxhighdengan $4,11 USD. - Claude Opus 5.5 dengan advisor Claude Fable 5.1, eksekusi: Executor Claude Opus 5.5 pada
highdengan Claude Fable 5.1 yang telah dirilis sebagai advisor (eksekusi Agustus menggunakan snapshot pra-rilis) menjalankan lima percobaan per tugas pada tanggal yang sama; satu tugas gagal dalam pemeriksaan penyiapannya, sehingga 1.845 percobaan dinilai. 279 percobaan di mana advisor ditolak karena beban dijalankan ulang, dan percobaan yang konsultasinya mengalami timeout dipertahankan, seperti pada bulan Agustus. - Claude Fable 5.1 dan Claude Fable 5.2 sendirian: Sebagai perbandingan, Claude Fable 5.1 yang telah dirilis sendirian pada
high, default-nya, mencetak skor 85,7% (317 dari 370 tugas), satu percobaan per tugas pada 7 Oktober 2026. Claude Fable 5.2 sendirian dijalankan pada seluruh 370 tugas, satu percobaan per tugas padalow,medium, danhigh(369 dari 370 dinilai padamedium, setelah kegagalan pemeriksaan penyiapan). - Konsultasi: Pasangan Agustus rata-rata melakukan sekitar dua konsultasi advisor per percobaan; pasangan Claude Opus 5.5 meminta 1,39 dan menerima 1,35.
- Claude Opus 5.5 dengan advisor Claude Fable 5.1, hasil: Pasangan Claude Opus 5.5 mencetak skor 90,1% dengan $2,92 USD per percobaan: dibandingkan dengan Claude Opus 5.5 pada default-nya,
medium, itu berarti 3,5 poin dengan sekitar 3,5 kali biayanya. Biaya latensinya adalah konsultasi itu sendiri: sekitar satu atau dua panggilan model frontier tambahan per tugas, masing-masing berada di jalur kritis tugas. Dengan executor Claude Opus 5.5, saran tersebut hampir tidak menghemat biaya executor: $1,36 USD per percobaan dibandingkan $1,38 USD untuk Claude Opus 5.5 sendirian padahigh, sementara konsultasinya berbiaya $1,55 USD. - Pasangan Agustus: Pada bulan Agustus, dengan executor Claude Opus 5 dan advisor Claude Fable 5.1, executor menghabiskan $1,26 USD lebih sedikit per percobaan dibandingkan Claude Opus 5 sendirian pada default-nya, dan konsultasinya berbiaya $2,47 USD, sehingga penghematan tersebut membayar sekitar setengah dari biaya saran. Pasangan Agustus tersebut adalah konfigurasi paling akurat yang diukur pada saat itu, dengan $6,21 USD per percobaan.
- Claude Sonnet 5.5 sendirian, eksekusi: Claude Sonnet 5.5 sendirian dijalankan pada seluruh 370 tugas pada 24 September 2026, pada effort default-nya (
high) dan padamedium, satu percobaan per tugas, dengan batas output 128.000 token yang sama, yang tidak memotong satu pun percobaannya. Seluruh 370 dinilai padamedium, dan 369 dari 370 padahigh, setelah kegagalan pemeriksaan penyiapan. Biayanya dihargai sebagaimana organisasi pelanggan diukur. - Claude Sonnet 5.5 sendirian, hasil: Tanpa advisor, Claude Sonnet 5.5 mencetak skor 77,8% pada default-nya,
high, dengan $0,33 USD per percobaan, sekitar 9 poin di bawah Claude Opus 5.5 pada default-nya dengan sekitar dua perlima biayanya; padamedium, ia mencetak skor 62,7% dengan $0,16 USD. Padamedium, Claude Sonnet 5.5 mencetak skor sekitar 15 poin lebih rendah daripada pada default-nya,high, dengan sekitar 48% biaya per percobaan. - Bandingkan model: Di Bandingkan model, Claude Opus 5.5 pada default-nya berbiaya kurang dari dua pertiga biaya per percobaan Claude Fable 5.2 pada
medium, yang merupakan satu eksekusi. Padalow, Fable 5.2 juga mencetak skor 88,9% dengan $1,05 USD per percobaan. Padahigh, default-nya di Messages API, model ini mencetak skor 93,5% dengan $5,39 USD per percobaan.
- Apa yang diukur: Internal Anthropic: 370 tugas repositori yang dinilai oleh pengujian repositori itu sendiri. Angka API diukur dengan agen API sederhana dan batas output 128.000 token, satu eksekusi per konfigurasi: Opus 5 sendirian pada effort default 9 hingga 10 Agustus 2026, dan pada
- Benchmark tugas repositori internal (pengukuran batas):
- Apa yang diukur: Set internal Anthropic terpisah berisi sekitar 130 tugas repositori, dijalankan 20 Agustus 2026 (Claude Fable 5.1) dan 19 September 2026 (Claude Opus 5.5, pada effort default-nya,
medium), dengan loop agen API sederhana, satu percobaan per tugas. Eksekusi Claude Fable 5.2 menggunakan loop yang sama, satu percobaan per tugas; di dalamnya, seperti pada eksekusi Claude Opus 5.5, giliran yang mencapai batas mengakhiri percobaannya. - Cara penetapan harga: Biaya per tugas yang diselesaikan dihargai sebagaimana pelanggan ditagih, dengan cache prompt 5 menit, untuk Claude Fable 5.1, dan pada harga daftar dari jumlah token yang tercatat dalam eksekusinya untuk Claude Opus 5.5.
- Eksekusi Claude Fable 5.1 dan Claude Fable 5.2: Eksekusi Claude Fable 5.1 adalah 135 tugas per batas pada effort default yang ditetapkan secara eksplisit. Eksekusi Claude Fable 5.2 adalah 134 tugas per batas pada
high, default-nya di Messages API, yang ditetapkan secara eksplisit; satu tugas ditarik dari set setelah eksekusi Claude Fable 5.1 dan Claude Opus 5.5. Satu tugas lain gagal dalam pemeriksaan solusi referensi milik benchmark sebelum model dimulai, di setiap eksekusi, sehingga tugas tersebut dikecualikan dan 133 tugas dinilai per batas. Angka 16.384 token merata-ratakan dua eksekusi (19,5% dan 21,1%); angka 64.000 dan 128.000 adalah eksekusi tunggal (77,4% dan 78,2%). Pada 64.000, satu tugas gagal dalam pemeriksaan tersebut pada eksekusi pertamanya dan dijalankan lagi; tugas itu lulus pemeriksaan dan dinilai. Tidak ada percobaan Fable 5.2 pada 16.384 atau 64.000 yang memicu penolakan keamanan. Pada 128.000, satu percobaan memicu penolakan keamanan dan satu dihentikan oleh monitor keamanan di lingkungan evaluasi sebelum selesai; keduanya dihitung sebagai kegagalan. Perubahan yang telah dibuat oleh percobaan yang dihentikan hingga saat itu lulus pengujian; mengecualikannya akan menghasilkan 78,8% pada 128.000. Biaya Claude Fable 5.2 dan Claude Opus 5.5 dalam tabel menghitung harga penggunaan token yang tercatat dari setiap percobaan pada harga daftar model. Hasil kedua model dinilai oleh versi kode penilaian benchmark yang berbeda. - Eksekusi Claude Opus 5.5: Angka 16.384 token Claude Opus 5.5 merata-ratakan dua eksekusi (134 dan 135 tugas dinilai), dan angka 64.000 serta 128.000-nya adalah eksekusi tunggal (masing-masing 135 tugas); dua percobaan di setiap eksekusi 16.384 token dan satu di masing-masing eksekusi 64.000 dan 128.000 token berakhir dengan penolakan keamanan dan dihitung sebagai kegagalan. Claude Opus 5.5 menyelesaikan 57,6% pada 16.384 (58,2% dan 57,0%), 75,6% pada 64.000, dan 68,9% pada 128.000. Tidak ada percobaannya yang terpotong pada 64.000 atau 128.000, sehingga batas tersebut tidak menjelaskan perbedaan antara kedua eksekusi itu.
- Percobaan yang diakhiri oleh batas: Hanya 1 dari 66 percobaan Claude Opus 5.5 yang diakhiri oleh batas 16.384 token, dan 9 dari 117 percobaan Claude Fable 5.1, yang tetap lulus. Demikian pula 20 dari 226 percobaan Claude Fable 5.2.
- Biaya per percobaan: Biaya per percobaan adalah $3 USD pada 16.384 dan $4 USD pada 64.000 untuk Claude Opus 5.5, pada harga daftar, serta $8 USD dan $13 USD untuk Claude Fable 5.1, sebagaimana pelanggan ditagih. Untuk Claude Fable 5.2, biayanya $6 USD dan $19 USD, pada harga daftar.
- Angka batas SWE-bench Pro: Angka batas SWE-bench Pro adalah satu eksekusi Claude Fable 5.1 per batas pada effort default, dijalankan 26 Agustus 2026, pada subset 100 soal yang distratifikasi dari set 482 soal referensi 3, tidak dapat dibandingkan dengan skornya; pada effort default, eksekusi pada 16.384 dan pada 64.000 masing-masing menyelesaikan 94 dari 100 soal.
- Panjang giliran: Distribusi per giliran dalam diagram titik bagian tersebut berasal dari eksekusi Claude Opus 5.5 dan Claude Fable 5.1 pada 128.000: tidak ada giliran Opus 5.5 yang mencapai batas (yang terpanjang sekitar 61.000 token, dan 0,56% gilirannya melebihi 16.384), dan satu giliran Fable 5.1 mencapai 128.000 (0,46% gilirannya melebihi 16.384). Dengan batas pada 128.000, 2 dari 14.331 giliran Claude Fable 5.1 lebih panjang dari 64.000 token, dan tidak ada giliran Claude Opus 5.5 yang demikian. Dengan batas pada 128.000, 303 dari 17.750 giliran Claude Fable 5.2 (1,7%) lebih panjang dari 16.384 token dan 7 lebih panjang dari 64.000, termasuk giliran dari percobaan yang dibatalkan dan dijalankan lagi.
- Apa yang diukur: Set internal Anthropic terpisah berisi sekitar 130 tugas repositori, dijalankan 20 Agustus 2026 (Claude Fable 5.1) dan 19 September 2026 (Claude Opus 5.5, pada effort default-nya,
- Chartography: Surge AI, “Chartography,” 2026.
- Apa yang diukur: Set lengkap 100 pertanyaan yang dirilis, diukur 6 dan 9 Agustus 2026 (Claude Opus 5 sendirian) dan 20 September 2026 (Claude Opus 5.5), dengan implementasi Anthropic di Claude Managed Agents (sandbox cloud standar; konfigurasi advisor menggunakan advisor Managed Agents).
- Cara penilaian: Claude Sonnet 4.6 menilai alih-alih penilai referensi dan benchmark dijalankan dengan alat, sehingga skor dapat dibandingkan antar-konfigurasi di sini tetapi tidak dengan leaderboard yang dipublikasikan. Skor ini juga tidak dapat dibandingkan dengan hasil Chartography dalam kartu sistem Claude Opus 5.5, yang menggunakan penilai berbeda dan dijalankan pada effort
max. Dua eksekusi per konfigurasi (tiga untuk Claude Opus 5.5), digabungkan; sebaran antar-eksekusi mencapai hingga 10 poin. - Cara penetapan harga: Biaya adalah apa yang ditagihkan kepada pelanggan yang menjalankan agen secara rutin: permintaan pertama setiap grafik membaca prompt sistem dan alat bersama milik agen dari cache, sebagaimana terjadi ketika sesi lain dari agen yang sama berjalan dalam 5 menit sebelumnya. Satu grafik yang dijalankan sendiri berbiaya sekitar $0,03 USD lebih tinggi dengan Claude Opus 5 atau Claude Opus 5.5 dan sekitar $0,12 USD lebih tinggi dengan Claude Fable 5.1. Angka Agustus dihargai ulang dengan cara ini dari catatan penggunaan eksekusi. Biaya tidak termasuk waktu sandbox, yang menambahkan kurang dari 1% pada eksekusi Agustus.
- Claude Fable 5.1 sendirian, eksekusi Agustus: Eksekusi Claude Fable 5.1 sendirian berasal dari 24 Agustus 2026, di bawah pengaturan penyajian peluncuran platform, dua eksekusi per pengaturan; enam percobaan mencapai batas sesi 15 menit dan mendapat skor 0, dan dua grafik per eksekusi dijawab oleh Claude Opus 5 setelah penolakan keamanan.
- Claude Opus 5 dengan advisor Claude Fable 5.1: Executor Claude Opus 5 dengan effort rendah dan advisor Claude Fable 5.1 dijalankan dua kali pada 30 Agustus 2026, di bawah pengaturan yang sama (63,0 dan 67,0, rata-rata 65,0, dengan $0,47 USD per grafik; advisor dikonsultasikan pada 88% tugas di setiap eksekusi, dan 4 dari 219 balasannya berasal dari Claude Opus 5, masing-masing setelah filter keamanan produksi menghentikan balasan advisor itu sendiri). Pasangan tersebut menyamai Claude Fable 5.1 sendirian pada
mediumdalam batas noise antar-eksekusi (65,0 dibandingkan 67,5) dengan sekitar 1,8 kali biaya per tugas: konsultasi yang terpicu pada sebagian besar tugas berbiaya lebih tinggi daripada menjalankan model yang lebih kuat itu sendiri. - Eksekusi Claude Opus 5.5: Claude Opus 5.5 dijalankan pada
low, dengan fallback sisi server dinonaktifkan dan classifier keamanan menilai setiap panggilan alat: tiga eksekusi sendirian (70, 68, dan 68) dan tiga dengan advisor Claude Fable 5.1 yang dikonfigurasi (59, 63, dan 63), di mana ia berkonsultasi dengan advisor pada 1 dari 300 tugas. - Hasil pada effort
low: Pada benchmark pembacaan grafik ini, Claude Opus 5.5 padalowmencetak skor 68,7 dengan sekitar $0,03 USD per grafik, berbanding 62,5 dengan $0,15 USD dari Claude Fable 5.1 padalowdan 49 dengan $0,16 USD dari Claude Opus 5 padalow. - Claude Fable 5.1 sendirian, eksekusi Oktober: Sebagai perbandingan dengan pasangan Claude Opus 5.5, Claude Fable 5.1 sendirian pada
high, default-nya, dijalankan tiga kali pada 7 Oktober 2026, dengan implementasi dan pengaturan platform yang sama seperti eksekusi Claude Opus 5.5: 82, 79, dan 79, rata-rata 80,0. - Tingkat konsultasi: Perbandingan tingkat konsultasi untuk pasangan-pasangan sebelumnya berasal dari menjalankan ulang konfigurasi yang sama di Messages API dengan set alat container, 10 hingga 11 Agustus 2026.
- Evaluasi audit prompt meja dukungan:
- Apa yang diukur: Set 44 tiket dukungan yang disusun Anthropic dengan penilaian deterministik, dijalankan pada awal Agustus 2026 dan dilaporkan pada 8 Agustus 2026, di bawah enam prompt sistem, masing-masing menambahkan ke prompt bersih yang sama satu pola yang umum dalam prompt yang ditulis untuk Claude Opus 4.8 dan Claude Sonnet 4.6.
- Grafik: Setiap titik grafik adalah salah satu dari tiga kasus (model lama, model baru dengan prompt yang sama, model baru setelah audit) yang dirata-ratakan atas enam prompt dan 44 tiket.
- Hasil, Claude Opus 5: Pada Claude Opus 5, prompt yang ditulis untuk Claude Opus 4.8 berbiaya 36% lebih tinggi per tiket dibandingkan pada Claude Opus 4.8, tanpa perubahan akurasi. Setelah audit, biayanya 14% lebih rendah pada Claude Opus 5 dibandingkan sebelumnya (dari rata-rata yang tidak dibulatkan; biaya yang dibulatkan pada grafik, 3,43 dan 2,93 sen AS per tiket, menghasilkan 14,6%), dan Claude Opus 5 menyelesaikan 97% tiket dengan benar, naik dari 92%. Berdasarkan pola, pada Claude Opus 5: menghapus “verify twice” memangkas biaya per tiket sepertiga, dan menghapus “be maximally thorough” memangkasnya hampir sebanyak itu; menghapus pengaturan thinking yang sudah dihentikan, aturan yang saling bertentangan, dan scratchpad buatan sendiri masing-masing memulihkan 7 hingga 11 poin akurasi.
- Hasil, Claude Sonnet 5: Pada migrasi Claude Sonnet 4.6 ke Claude Sonnet 5, audit memangkas 14% biaya per tiket dengan akurasi yang sama.
- Catatan: Peningkatan akurasi Opus 5 memiliki interval kepercayaan 95% sebesar 3 hingga 8 poin; perbedaan akurasi Sonnet berada dalam batas noise.
- Set pertanyaan file data: Set 25 pertanyaan agregat yang disusun Anthropic atas irisan 1.862 baris dari CSV penjualan minuman keras publik, dengan ground truth yang dihitung oleh pandas dan penilaian exact-match, dijalankan pada Claude Sonnet 5 dan Claude Opus 5 dengan thinking dinonaktifkan (lengan in-context tidak dapat selesai pada default), batas output 4.000 token, dan tanpa caching prompt, tiga eksekusi per konfigurasi, dijalankan 19 Agustus 2026. Lengan file mengunggah CSV melalui Files API dan menggunakan alat
code_execution_20260120. Tiga eksekusi Claude Sonnet 5 pada lengan in-context menjawab 6, 7, dan 7 dari 25 pertanyaan dengan benar; label grafik dan teks memberikan rata-ratanya, 6,67, dibulatkan ke pertanyaan terdekat, dan titik grafik digambar pada rata-rata, 26,7%. - Pengukuran durasi cache:
- Apa yang diukur: Pekerjaan triase 20 issue dari Pangkas token input dan konteks, dijalankan pada Claude Sonnet 5 pada 23 Agustus 2026, dan pada Claude Opus 5.5 pada 19 dan 20 September 2026, pada effort default-nya (
medium) dan padahigh, di Messages API dengan harness yang sama (untuk Claude Opus 5.5, port dari harness tersebut yang mengirimkan body permintaan yang sama), sel Claude Opus 5.5 denganmax_tokensdinaikkan menjadi 4.096, dengan jeda yang disisipkan sebelum porsi giliran yang dipilih secara acak (tidak ada, 5%, 10%, dan setiap giliran pada 6 menit pada seluruh 20 issue di kedua model, ditambah setiap giliran pada 2 menit pada Claude Sonnet 5; jeda 20 menit dan 45 menit pada subset 5 issue di kedua model). Angka Claude Opus 5.5 di halaman ini mencakup kedua tingkat effort. - Model dan tanggal lain: Angka keep-alive Claude Opus 5 di bawah berasal dari pekerjaan yang sama pada 23 Agustus 2026, dengan
max_tokensdinaikkan menjadi 4.096, pada jadwal yang sama kecuali jeda 2 menit dan 45 menit. Claude Sonnet 5.5 menjalankan pengukuran yang sama seperti Claude Sonnet 5 (jadwal jeda yang sama dan tiga pengaturan cache, tiga eksekusi per sel), dengan harness port yang digunakan untuk Claude Opus 5.5, pada effort default-nya,high, pada 24 September 2026. - Cara penilaian dan penetapan harga: Tiga eksekusi per sel, biaya dihitung dari field
usagesetiap respons pada harga daftar (untuk Claude Opus 5.5, $4 USD input, $5 USD penulisan 5 menit, $8 USD penulisan 1 jam, $0,20 USD pembacaan cache, dan $20 USD output per juta token; Claude Sonnet 5 dijalankan pada organisasi internal Anthropic yang penggunaannya diukur dengan cara yang sama seperti organisasi pelanggan), akurasi terhadap gold label yang sama. - Cara eksekusi dan penetapan harga, Claude Sonnet 5.5: Claude Sonnet 5.5 menetapkan
max_tokenske 4.096 pada permintaan sesi dan ke 1 pada permintaan keep-alive, dijalankan pada organisasi internal Anthropic yang penggunaannya diukur dengan cara yang sama seperti organisasi pelanggan, dan dihargai pada harga daftarnya saat ini ($2 USD input, $2,50 USD penulisan 5 menit, $4 USD penulisan 1 jam, $0,10 USD pembacaan cache, dan $10 USD output per juta token). Selainmax_tokensyang lebih tinggi, yang tidak dicapai oleh giliran mana pun, satu input berbeda dari eksekusi Claude Sonnet 5: satu-satunya GIF animasi dalam pekerjaan tersebut dikirim sebagai PNG dari frame pertamanya, satu-satunya frame yang digunakan API (Vision), dan keduanya dihitung sebagai jumlah token input yang sama. - Titik impas: Titik impas adalah sekitar 3,3% giliran pada Claude Sonnet 5 dan 3,1% hingga 3,2% pada Claude Opus 5.5: median dari porsi titik impas setiap sesi, yang dihitung oleh model biaya dari ukuran konteks giliran demi giliran sesi tersebut, atas seluruh 45 sesi dua puluh issue Claude Sonnet 5 dan 36 sesi dua puluh issue Claude Opus 5.5 pada setiap tingkat effort (setiap jadwal jeda dijalankan pada pekerjaan lengkap, di bawah ketiga pengaturan cache, masing-masing tiga eksekusi; sel 5 issue tidak termasuk). Titik impas pada Claude Sonnet 5.5 adalah sekitar 3,1% giliran, median atas 45 sesi dua puluh issue-nya. Grafik durasi cache memplot sesi-sesi Claude Sonnet 5.5 ini, tiga per titik.
- Pengaturan 5 menit dan 1 jam, Claude Sonnet 5 dan Claude Opus 5.5: Pada sel 5%, pengaturan 5 menit dan 1 jam seri pada Claude Sonnet 5, karena jeda dalam undian tersebut jatuh pada prefiks kecil; pada Claude Opus 5.5 keduanya hampir seri. Pada Claude Sonnet 5, dengan harga cache read-nya sebesar $0,20 USD per juta token, satu sesi berbiaya $0,60 USD, $0,69 USD, dan $0,99 USD pada pengaturan 5 menit tanpa jeda, dengan 5%, dan 10% giliran dijeda, serta $0,70 USD, $0,70 USD, dan $0,71 USD pada pengaturan 1 jam.
- Permintaan keep-alive, Claude Sonnet 5 dan Claude Opus 5: Anthropic mengukur permintaan keep-alive yang menyegarkan cache 5 menit pada Claude Sonnet 5 dan Claude Opus 5 pada 23 Agustus 2026, dan pada Claude Opus 5.5 dalam eksekusi di atas, selalu dikirim dengan
max_tokens: 1. Pada Claude Sonnet 5, biayanya 7,7% lebih rendah daripada pengaturan 1 jam dengan 5% giliran dijeda dan kurang lebih sama dengan 10%; pada Claude Opus 5 tidak ada perbedaan yang terukur pada kedua porsi; pada keduanya, biayanya lebih tinggi dengan jeda 6 menit atau lebih sebelum setiap giliran. Jadi pada kedua model tersebut, pengaturan yang sebaiknya digunakan adalah durasi 1 jam, bukan permintaan keep-alive. - Permintaan keep-alive, Claude Opus 5.5: Pada Claude Opus 5.5, permintaan keep-alive berbiaya 8% hingga 18% lebih rendah daripada pengaturan 1 jam dengan 5% dan 10% giliran dijeda (8% hingga 13% lebih rendah pada effort default-nya,
medium, dan 10% hingga 18% lebih rendah padahigh; sekitar 10% hingga 15% setelah noise antar-sesi dihilangkan dengan menagih ulang token setiap sesi keep-alive itu sendiri pada harga cache 1 jam), dan lebih tinggi dengan jeda sebelum setiap giliran: 4% hingga 6% lebih tinggi pada 6 menit, 9% hingga 10% pada 20 menit, dan 56% hingga 58% pada 45 menit. - Permintaan dengan
max_tokens: 0: Diukur 20 Oktober 2026, pada Claude Fable 5.1, Claude Opus 5.5, Claude Sonnet 5.5, dan Claude Haiku 5.5, tiga kali per model, pada prompt sistem 10.000 token dengan cache 5 menit. Permintaanmax_tokens: 0yang dikirim 4 menit setelah penulisan cache tidak mengembalikan output, membaca seluruh entri, dan tidak menulis apa pun. Permintaan 4 menit kemudian, 8 menit setelah penulisan, masih membaca seluruh entri. Tanpa permintaanmax_tokens: 0, permintaan pada menit ke-8 tidak membaca apa pun dan menulis prefiks lagi, dalam semua 12 percobaan. - Pengaturan 5 menit dan 1 jam, Claude Sonnet 5.5: Dengan 5% giliran dijeda, pengaturan 5 menit berbiaya 5% lebih tinggi daripada pengaturan 1 jam secara rata-rata (2% lebih rendah hingga 12% lebih tinggi di ketiga eksekusi), yang masih dalam variasi antar-eksekusi: jeda dalam undian tersebut jatuh pada prefiks kecil, seperti pada Claude Sonnet 5, dan menagih ulang token setiap sesi 5 menit itu sendiri pada harga cache 1 jam menghasilkan sekitar 1% lebih tinggi. Dengan 10% dijeda, biayanya 54% lebih tinggi (36% hingga 73% lebih tinggi). Tanpa jeda, pengaturan 5 menit berbiaya 19% lebih rendah daripada pengaturan 1 jam secara rata-rata (3% hingga 32% lebih rendah di ketiga eksekusi; harga penulisan yang lebih tinggi pada pengaturan 1 jam memprediksi sekitar 20%), dan 21% hingga 24% lebih rendah di setiap eksekusi dengan jeda 2 menit.
- Permintaan keep-alive, Claude Sonnet 5.5: Permintaan keep-alive berbiaya 16% lebih rendah daripada pengaturan 1 jam secara rata-rata dengan 5% giliran dijeda (13% hingga 20% lebih rendah di ketiga eksekusi) dan 8% lebih rendah dengan 10% (3% hingga 10% lebih rendah), dan berbiaya lebih tinggi dengan jeda 6 menit atau lebih sebelum setiap giliran. Dengan 5% dan 10% giliran dijeda, jeda berlangsung 6 hingga 32 menit pada Claude Sonnet 5.5 dan pada Claude Opus 5.5. Menagih ulang token setiap sesi keep-alive itu sendiri pada harga cache 1 jam, seperti untuk Claude Opus 5.5 di atas, menghasilkan 15% hingga 16% lebih rendah pada 5% dijeda dan sekitar 10% lebih rendah pada 10%, dan dengan jeda sebelum setiap giliran 7% lebih tinggi pada 6 menit, 9% hingga 10% lebih tinggi pada 20 menit, dan 66% hingga 73% lebih tinggi pada 45 menit. Angka 6 menit mengecualikan eksekusi 3, di mana 2 dari 39 permintaan keep-alive sesi tersebut mengalami timeout: cache kedaluwarsa sebelum kedua giliran tersebut, sesi menulis 214.000 token ke cache berbanding 80.000 hingga 85.000 pada eksekusi 1 dan 2, dan biayanya 38% lebih tinggi daripada sesi 1 jam eksekusi 3.
- Permintaan keep-alive, Claude Sonnet 5.5, per eksekusi: Jika membandingkan sesi keep-alive setiap eksekusi dengan sesi 1 jam dari eksekusi yang sama, keep-alive berbiaya dari kurang lebih sama hingga 10% lebih tinggi pada 6 menit (eksekusi 1 dan 2; 4% lebih tinggi pada rata-ratanya), dari kurang lebih sama hingga 16% lebih tinggi pada 20 menit, dan 64% hingga 80% lebih tinggi pada 45 menit.
- Permintaan keep-alive, Claude Sonnet 5.5, ukuran sampel: Titik 6 menit pada grafik keep-alive merata-ratakan eksekusi 1 dan 2 untuk ketiga pengaturan. Setiap sel terdiri dari tiga sesi (dua untuk angka 6 menit di atas). Tanpa jeda, keep-alive tidak mengirimkan permintaan tambahan sehingga sama dengan pengaturan 5 menit, namun keduanya berbeda hingga 23% dalam satu eksekusi, sehingga perbedaan beberapa persen dalam rata-rata tiga eksekusi bukanlah efek yang jelas.
- Caching nonaktif dan aktif, Claude Sonnet 5: Pada Claude Sonnet 5, pekerjaan yang sama dijalankan dengan caching nonaktif dan dengan caching aktif, masing-masing tiga eksekusi pada 19 Agustus 2026, dengan
max_tokenspada 700: $3,36 USD berbanding $0,57 USD per sesi secara rata-rata, penghematan 83%. - Dihargai dari jumlah token yang tercatat, Claude Sonnet 5.5: Anthropic juga menghitung ulang harga jumlah token yang tercatat dari tiga sesi Claude Sonnet 5.5 dengan cache 5 menit dan tanpa jeda untuk angka caching di Mengapa caching didahulukan. Masing-masing dari ketiga sesi ini adalah satu percakapan berisi 40 permintaan atas 20 issue pekerjaan tersebut. Pada harga daftar per 12 Oktober 2026, sesi-sesi tersebut berbiaya rata-rata $0,51 USD masing-masing, dari field penggunaan, berbanding $3,70 USD dengan setiap token input pada harga input dan token output tidak berubah: penghematan 86% (86% hingga 87% di ketiga sesi), atau faktor 7,3. Pada harga cache read peluncuran sebesar $0,20 USD, penghematannya 82%, sehingga kenaikan dibandingkan angka Claude Sonnet 5 berasal dari harga cache read yang lebih rendah.
- Dihargai dari jumlah token yang tercatat, Claude Opus 5.5: Dihargai ulang dengan cara yang sama, tiga sesi Claude Opus 5.5 pada effort default-nya,
medium, dengan cache 5 menit dan tanpa jeda berbiaya rata-rata $1,02 USD masing-masing berbanding $6,93 USD, penghematan 85%, atau faktor 6,8; model menggunakan thinking pada 79% permintaan. - Cara thinking ditetapkan, hanya dua set eksekusi: Permintaan dari tiga sesi Claude Sonnet 5.5 dengan cache 5 menit dan tanpa jeda tidak menetapkan opsi thinking, sehingga thinking dibiarkan pada default model, dan model menggunakannya pada 38% permintaan. Permintaan dari eksekusi Claude Sonnet 5 dengan caching nonaktif dan dengan caching aktif juga tidak menetapkan opsi thinking, sehingga thinking dibiarkan pada default model, dan model menggunakannya pada 41 dari 121 permintaan dengan caching nonaktif dan 40 dari 120 dengan caching aktif.
- Latensi setelah jeda: Pada Claude Sonnet 5 dan Claude Opus 5, giliran setelah jeda mempertahankan latensi cache hangatnya pada pengaturan 1 jam.
- Mengubah durasi di tengah percakapan: Diukur 21 Oktober 2026, pada Claude Fable 5.1, Claude Opus 5.5, Claude Sonnet 5.5, dan Claude Haiku 5.5, di Messages API tanpa alat, dengan pemikiran adaptif, effort
high, breakpoint cache pada prompt sistem, dan caching otomatis atau breakpoint eksplisit pada blok terakhir. Percakapan tersebut memuat sekitar 5.000 atau 100.000 token teks pengisi, dengan giliran asisten satu kata yang tetap dan tanpa blok thinking. Dalam percakapan yang di-cache dengan durasi 5 menit, permintaan pertama dengan durasi cache 1 jam yang menambahkan giliran tidak membaca apa pun dan menulis seluruh prompt dengan harga cache 1 jam (55 dari 55). Permintaan berikutnya dengan durasi cache 1 jam membaca semuanya (36 dari 36). Prompt sistem yang sejak permintaan pertama di-cache dengan durasi 1 jam tetap dibaca (12 dari 12). Permintaan dengan durasi cache 1 jam yang tidak menambahkan apa pun membaca entri cache 5 menit (31 dari 31) dan tidak memperpanjangnya: 8 menit kemudian, permintaan yang sama tidak membaca apa pun (12 dari 12). Dalam percakapan yang di-cache dengan durasi 1 jam, permintaan dengan durasi cache 5 menit membaca semuanya dan hanya menulis giliran barunya (12 dari 12). Permintaan dijalankan dalam satu organisasi internal Anthropic di Claude API. - Mengubah durasi di tengah percakapan, cara penghitungan harga: Dari field
usagepada harga daftar, pada sedikit di atas 100.000 token, denganmax_tokenspada 16, permintaan pertama dengan durasi cache 1 jam yang menambahkan giliran berbiaya $2,01 USD, $0,80 USD, $0,40 USD, dan $0,10 USD pada keempat model sesuai urutan yang disebutkan. Giliran yang membaca cache berbiaya $0,026 USD, $0,020 USD, $0,010 USD, dan $0,005 USD. Claude Haiku 5.5 dihitung dengan harga konteks panjang miliknya.
- Apa yang diukur: Pekerjaan triase 20 issue dari Pangkas token input dan konteks, dijalankan pada Claude Sonnet 5 pada 23 Agustus 2026, dan pada Claude Opus 5.5 pada 19 dan 20 September 2026, pada effort default-nya (
- Porsi pembacaan cache dalam produksi: Penggunaan Claude API pihak pertama yang diagregasi selama 14 hari yang berakhir 23 Agustus 2026, hanya produk API langsung, organisasi internal Anthropic dikecualikan, tidak ada organisasi yang diidentifikasi. Satu hari-organisasi dihitung sebagai loop agen ketika permintaannya membawa definisi alat dan hasil alat, prompt-nya memuat rata-rata 9 atau lebih panggilan alat sebelumnya, caching digunakan, dan organisasi tersebut membuat setidaknya 10 permintaan semacam itu (API tidak memiliki pengidentifikasi percakapan, sehingga ini menjadi pengganti panjang percakapan): 303.003 hari-organisasi di 106.487 organisasi, median porsi pembacaan cache 84,2% dari seluruh token input, kuartil atas 91,7%. Label kasus penggunaan (kasus penggunaan yang dinyatakan organisasi, atau jika tidak ada, yang diklasifikasikan) mencakup 74% dari hari-organisasi tersebut dan 99% tokennya; sekitar 72% hari-organisasi coding membaca 80% atau lebih. Desil teratas hari-organisasi membaca 95,9% atau lebih untuk coding dan 94,2% hingga 94,8% untuk agen dukungan, riset, data, dan lainnya. Pembagian tingkat permintaan pada 25 atau lebih panggilan alat sebelumnya berasal dari sampel enam jam: coding 92% pembacaan, 7% penulisan, kurang dari 1% tanpa cache.
- Pengukuran kerusakan cache, waktu compaction, dan status line:
- Pengujian Oktober 2026, satu perubahan pada percakapan panjang: Diukur 20 Oktober 2026, pada Claude Fable 5.1, Claude Opus 5.5, Claude Sonnet 5.5, dan Claude Haiku 5.5, di Messages API tanpa alat, dengan pemikiran adaptif, effort default setiap model, cache 5 menit, breakpoint cache pada prompt sistem, dan caching otomatis. Percakapan tersebut memuat sekitar 101.000 token: prompt sistem 20.000 token, 13 giliran pengguna berisi teks pengisi, balasan model sendiri untuk giliran pertama beserta blok thinking-nya, dan balasan satu kata untuk sisanya. Setelah satu permintaan meng-cache percakapan, permintaan kedua menambahkan satu giliran pendek, dan setiap permintaan yang diukur mengirimkan percakapan yang lebih panjang tersebut dengan satu perubahan. Dua percakapan per model memberikan hasil yang sama.
- Pengujian Oktober 2026, token yang dibaca dan ditulis: Tanpa perubahan, dan dengan perubahan effort per pesan, permintaan membaca seluruh 101.000 token dan tidak menulis apa pun. Dengan pesan sistem 25 token di tengah percakapan, atau baris status 25 token di akhir giliran pengguna terbaru, permintaan membaca semuanya dan hanya menulis teks baru. Perubahan effort tingkat atas (ke
lowpada Claude Fable 5.1 dan Claude Sonnet 5.5, kehighpada Claude Opus 5.5 dan Claude Haiku 5.5) membaca prompt sistem 20.000 token dan menulis 81.000 token. 25 token yang sama di awal atau akhir prompt sistem tidak membaca apa pun dan menulis seluruh 101.000 token. Permintaan setelah pesan sistem di tengah percakapan, perubahan effort tingkat atas, atau 25 token yang ditambahkan ke akhir prompt sistem membaca prefiks baru; baris status baru di awal menulis semuanya lagi. Pengujian lanjutan pada 21 Oktober 2026, pada keempat model yang sama dengan percakapan 5.000 token, dan pada semua model kecuali Claude Fable 5.1 dengan percakapan 100.000 token, semuanya dengan balasan satu kata, mengirimkan header beta untuk pertama kalinya di tengah percakapan, seperti yang mungkin dilakukan oleh perubahan effort per pesan pertama: permintaan tersebut membaca semua yang telah di-cache oleh permintaan sebelumnya, dalam semua 54 percobaan. Pesan sistem yang dikirim tanpa header beta melakukan hal yang sama, dalam semua 15 percobaan. - Pengujian Oktober 2026, cara penghitungan harga: Diagram menunjukkan sisi prompt dari satu permintaan, dari field
usage-nya pada harga daftar. Nilai-nilai diagram, dalam urutan edit prompt sistem, pesan sistem, perubahan effort tingkat atas, dan perubahan effort per pesan: Claude Fable 5.1 $1,26 USD, $0,026 USD, $1,02 USD, dan $0,025 USD; Claude Opus 5.5 $0,50 USD, $0,020 USD, $0,41 USD, dan $0,020 USD; Claude Sonnet 5.5 $0,25 USD, $0,010 USD, $0,20 USD, dan $0,010 USD. Permintaan yang tidak berubah mengulang permintaan sebelumnya byte demi byte; giliran baru sekitar 25 token menambahkan kurang dari $0,001 USD. Pada Claude Haiku 5.5, yang permintaannya lebih dari 100.000 token prompt sehingga dikenai harga konteks panjang miliknya: $0,063 USD untuk edit prompt sistem, $0,052 USD untuk perubahan effort, dan $0,005 USD untuk pembacaan. Permintaan dijalankan pada organisasi internal Anthropic yang penggunaannya diukur dengan cara yang sama seperti organisasi pelanggan. Permintaan tersebut tidak menyertakan pengaturanprefix_mismatch_behavior, dan API meloloskan blok pemikiran mereka yang gagal dalam pemeriksaan prefiks, sehingga API menerima edit prompt sistem dalam pengujian ini. Setiap permintaan mengirim kembali sebuah blok pemikiran sebelumnya. Di Claude API, edit yang sama bisa mendapatkan error 400 pada keempat model. Lihat Pemeriksaan prefiks pada blok pemikiran. - Pengujian November 2026, edit setelah compaction: Dijalankan 9 November 2026, pada Claude Opus 5.5 dan Claude Fable 5.2, di Messages API dengan pemikiran adaptif, effort
high, tanpa caching, satu alat didefinisikan,tool_choicediatur kenone,prefix_mismatch_behaviordiatur ke"error", dan compaction pada ambang batas token dengan pemicu 50.000 token. Permintaan pertama sekitar 55.700 token memicu compaction, dan balasannya memuat blok compaction yang diikuti oleh blok thinking. Permintaan berikutnya mengirim kembali balasan tersebut dengan satu giliran pengguna baru. Tanpa perubahan, permintaan itu berhasil. Dengan satu alat ditambahkan ketools, atau dengan prompt sistem yang diubah susunan katanya, permintaan itu mendapatkan error 400. Dalam percakapan tanpa compaction, kedua edit yang sama mendapatkan error 400, demikian pula menghapus blok teks dari giliran pengguna sebelumnya. Satu percakapan dari setiap jenis per model. Pada Claude Fable 5.2, balasan dari percakapan besar pertama tidak memuat blok thinking. Percakapan kedua menggantikan yang pertama, dengan pertanyaan yang lebih sulit,max_tokensyang lebih tinggi, daninstructionscompaction kustom, dan hanya percakapan kedua yang dihitung. Permintaan dijalankan di Claude API. - Apa yang diukur: Varian panjang agen triase dari Pangkas token input dan konteks, dijalankan 24 Agustus 2026, pada Claude Sonnet 5 dengan cache 5 menit, biaya dari field penggunaan pada harga daftar, lima sesi per lengan: lengan tanpa perubahan pada effort default sepanjang waktu ($0,81 USD per sesi), dan dua lengan yang dimulai pada effort rendah dan membuat dua perubahan yang sama yang merusak cache, yaitu peralihan ke effort default dan satu alat tambahan, baik di tengah sesi pada permintaan 12 dan 17 ($0,95 USD) atau bersamaan pada permintaan pertama setelah compaction pertama ($0,75 USD).
- Lengan keempat: Lengan keempat dengan enam sesi, dijalankan 25 Agustus 2026, membuat dua perubahan yang sama pada permintaan yang memicu compaction pertama ($0,92 USD per sesi): proses peringkasan permintaan tersebut menulis konteks 81.000 token ke cache alih-alih membacanya, sehingga proses tersebut berbiaya $0,21 USD berbanding $0,04 USD untuk proses yang sama di lengan batas.
- Compaction: Sesi pertama kali melakukan compaction pada permintaan 21 hingga 25 (16 dari 21 sesi pada permintaan 22), setelah prompt melewati pemicu compaction 80.000 token, dan dua sesi tanpa perubahan melakukan compaction kedua kalinya menjelang akhir. Total lengan batas yang lebih rendah dibandingkan lengan tanpa perubahan mencerminkan permintaan effort rendahnya sebelum perubahan dan compaction kedua tersebut, bukan caching: biaya penulisan ulang kedua lengan berbeda kurang dari $0,01 USD.
- Lengan tengah sesi: Lengan tengah sesi membayar $0,23 USD per sesi untuk penulisan ulang cache; perbedaan antara lengan tengah sesi dan lengan batas adalah $0,20 USD dengan interval kepercayaan 95% sebesar $0,11 USD hingga $0,29 USD. Di lengan tengah sesi, perubahan effort dan alat tambahan menulis ulang 39.000 dan 60.000 token yang di-cache. Salah satu sesinya berjalan murah ($0,82 USD) setelah modelnya salah memanggil alat pencarian setelah compaction dan mendapatkan hasil kosong; sesi tersebut disertakan, dan tanpanya lengan tersebut rata-rata $0,98 USD.
- Akurasi dan cache read: Akurasi rata-rata 14,2 dari 20 label di setiap lengan 24 Agustus dan 14,7 di lengan 25 Agustus; cache read adalah 91% token prompt tanpa perubahan, 85% di tengah sesi, 91% di batas, dan 86% dengan perubahan pada permintaan pemicu.
- Pengukuran terpisah, baris status: Pengukuran terpisah pada pekerjaan triase 20 issue dari Pangkas token input dan konteks, dijalankan 18 Agustus 2026, juga pada Claude Sonnet 5 dengan cache 5 menit, dihargai dengan cara yang sama, tiga eksekusi per lengan: dengan baris status 25 token di awal prompt sistem, satu eksekusi berbiaya rata-rata $4,24 USD ($4,12 USD hingga $4,47 USD di ketiga eksekusi) dan tidak membaca apa pun dari cache; dengan baris yang sama di akhir giliran pengguna terbaru, setelah breakpoint cache terakhir, satu eksekusi berbiaya $0,59 USD ($0,55 USD hingga $0,61 USD). Yang pertama lebih mahal daripada biaya pekerjaan yang sama dengan caching nonaktif. Eksekusi ulang kemudian dengan konfigurasi yang sama menghasilkan $4,28 USD dan $0,61 USD.
- Pemicu compaction pada Claude Haiku 5.5: Diukur 21 Oktober 2026, di Messages API dengan compaction pada ambang batas token, tanpa alat, dengan pemikiran adaptif, effort default (
medium), cache 5 menit, breakpoint cache pada prompt sistem, dan caching otomatis. Setiap sesi adalah satu percakapan berisi 45 permintaan: prompt sistem 5.000 token, 10.000 token teks pengisi pada setiap giliran pengguna, dan giliran asisten satu kata, kecuali balasan dengan blok compaction yang dikirim kembali secara utuh. Empat pengaturan masing-masing menjalankan tiga sesi: pemicu 150.000 token (default), 90.000, dan 50.000 (terendah yang diizinkan), serta tanpa compaction. Biaya dalam satu pengaturan selaras dalam batas 4%. Dengan pemicu default, 15 dari 45 balasan setiap sesi dan ketiga ringkasan memiliki prompt lebih dari 100.000 token. Dengan pemicu 90.000, prompt terbesar memuat 97.269 token. Compaction dijalankan pada permintaan pertama yang seluruh prompt-nya telah mencapai pemicu, termasuk prompt sistem, pembacaan cache, dan penulisan cache. Ringkasan ditulis dari prompt tersebut ditambah 44 token, yang bersama-sama melebihi pemicu hingga 7.269 token. Tiga sesi tambahan, dengan prompt sistem 22.000 token dan pemicu 50.000, menunjukkan bahwa prompt sistem ikut dihitung. Ringkasannya pendek (184 hingga 640 token output) karena teksnya merupakan teks pengisi. Permintaan dijalankan dalam satu organisasi internal Anthropic di Claude API. - Pemicu compaction pada Claude Haiku 5.5, cara penghitungan harga: Dari field
usagepada harga daftar, satu sesi berbiaya $0,272 USD dengan pemicu default, $0,082 USD pada 90.000, $0,075 USD pada 50.000, dan $0,729 USD tanpa compaction. Per permintaan, dari permintaan setelah compaction pertama hingga compaction terakhir, ketiga pemicu berbiaya $0,00605 USD, $0,00181 USD, dan $0,00166 USD. Dengan setiap prompt pada harga untuk prompt hingga 100.000 token, default akan berbiaya $0,00206 USD per permintaan, dan pemicu 90.000 akan menghemat 12%. Ringkasan dan balasan dari sebuah compaction masing-masing dihargai berdasarkan ukuran prompt-nya sendiri.
- Pengukuran durasi cache pada Claude Fable 5.1 dan Claude Fable 5.2: Pekerjaan triase 20 issue dan harness yang sama seperti referensi 16, dengan
max_tokensdinaikkan menjadi 4.096, dijalankan 23 Agustus dan 26 Agustus 2026, pada snapshot peluncuran Claude Fable 5.1 dengan harga peluncurannya ($10 USD input, $12,50 USD penulisan 5 menit, $20 USD penulisan 1 jam, $0,25 USD pembacaan cache, $50 USD output per juta token), tiga pengaturan per jadwal: cache 5 menit, cache 1 jam, dan cache 5 menit yang dijaga tetap hangat oleh permintaanmax_tokens: 0pada prefiks yang tidak berubah setiap 4 menit, dihitung dari awal permintaan sebelumnya (eksekusi 23 Agustus mengirimkan permintaan keep-alive denganmax_tokens: 1; pada sel 26 Agustus yang dilaporkan di sini, setiap permintaan keep-alive yang dijawab menyegarkan cache dan responsnya melaporkan tidak ada token output). Jadwal: tanpa jeda, 10% giliran, dan setiap giliran pada 6 menit pada seluruh 20 issue, serta jeda 45 menit pada subset 5 issue; tiga eksekusi per sel (enam untuk sel keep-alive 26 Agustus dengan jeda 45 menit), biaya dihitung dari fieldusagesetiap respons pada harga daftar, akurasi terhadap gold label yang sama (12 hingga 18 label tepat dari 20). Rata-rata per sesi pada 26 Agustus untuk pengaturan 5 menit, 1 jam, dan keep-alive: tanpa jeda $2,42 USD, $3,09 USD, $2,29 USD; 10% dijeda $4,50 USD, $2,96 USD, $2,36 USD; setiap giliran $22,89 USD, $3,01 USD, $2,62 USD; sel 23 Agustus sesuai dalam batas 6%. Angka 45 menit ($1,68 USD, $0,59 USD, dan $0,71 USD per sesi 5 issue) berasal dari sesi-sesi selanjutnya pada 26 Agustus: set sesi pertama hari itu terputus ketika mesinnya dimatikan, dan set kedua terdampak oleh gangguan layanan dan dikesampingkan. Set ketiga memberikan angka 5 menit dan 1 jam; tiga sesi keep-alive-nya mengirimkan setiap permintaan keep-alive sekali, kehilangan permintaan karena penolakan batas laju, dan tidak termasuk dalam rata-rata. Angka keep-alive adalah rata-rata dari enam sesi tambahan yang mengirimkan kembali setiap permintaan keep-alive yang ditolak dalam dua detik. Eksekusi 23 Agustus menghasilkan $1,67 USD, $0,58 USD, dan $0,70 USD. Titik impas antara pengaturan 5 menit dan 1 jam adalah 3,1% giliran, ukuran yang sama seperti referensi 16. Pembacaan cache Claude Fable 5.1 berbiaya 0,025x harga input sementara penulisan cache-nya mempertahankan pengali standar, sehingga permintaan keep-alive yang membaca ulang prefiks itu murah dan premi penulisan durasi 1 jam menjadi tagihan yang lebih besar, kecuali dengan jeda 45 menit, di mana permintaan keep-alive berbiaya lebih tinggi daripada premi tersebut. Claude Fable 5.2 menjalankan pekerjaan yang sama padahigh, default-nya di Messages API, dan pada harga daftar ($8 USD input, $10 USD penulisan 5 menit, $16 USD penulisan 1 jam, $0,20 USD pembacaan cache, $40 USD output per juta token). Seperti sel Claude Opus 5.5 di referensi 16, model ini menggunakan port dari harness yang mengirimkan body permintaan yang sama, denganmax_tokensdinaikkan menjadi 4.096. Jadwal: tanpa jeda, 5% dan 10% giliran, dan setiap giliran pada 6 menit pada seluruh 20 issue, serta jeda 20 menit dan 45 menit pada subset 5 issue, tiga eksekusi per sel. Sel 45 menit diukur dua kali; angkanya menggabungkan kedua set yang masing-masing berisi tiga sesi dan, seperti pada Claude Fable 5.1, mengecualikan sesi keep-alive yang kehilangan permintaan keep-alive (di sini, karena timeout; satu di setiap set), sehingga angka keep-alive 45 menit adalah rata-rata dari empat sesi dan angka 5 menit serta 1 jam adalah rata-rata dari enam sesi. Di seluruh pengukuran, permintaan keep-alive dikirim denganmax_tokens: 0. Klien pengujian menunggu 30 detik untuk sebuah permintaan keep-alive dan tidak mencoba ulang. Di seluruh jadwal yang tercantum di atas, klien berhenti menunggu untuk 3 dari 886 permintaan keep-alive, semuanya di sel 45 menit, dan setiap kali cache kedaluwarsa dan permintaan keep-alive berikutnya menulis prefiks lagi. Rata-rata per sesi untuk pengaturan 5 menit, 1 jam, dan keep-alive: tanpa jeda $2,18 USD, $2,66 USD, $2,23 USD; 10% dijeda $4,16 USD, $2,82 USD, $2,29 USD; setiap giliran pada 6 menit $20,36 USD, $2,61 USD, $2,50 USD; serta $1,43 USD, $0,53 USD, dan $0,65 USD per sesi 5 issue dengan jeda 45 menit. Penghematan Claude Fable 5.2 di Pilih durasi cache diambil sebelum pembulatan. Dengan dua sesi yang kehilangan permintaan keep-alive disertakan, rata-rata keep-alive 45 menit adalah $0,73 USD, $0,20 USD lebih tinggi daripada pengaturan 1 jam. - Terminal-Bench 3: 74 tugas dari benchmark agen terminal publik, dijalankan di Claude Managed Agents dengan dua alat kustom, yaitu shell dan editor file yang dijalankan harness evaluasi di container masing-masing tugas, sebagai pengganti alat bawaan platform, dan selebihnya pada pengaturan default platform untuk akun eksternal, dua eksekusi per model pada effort
high, 27 hingga 28 Agustus 2026. Eksekusi ini menggunakan Terminal-Bench versi 3.0, dan skornya tidak dapat dibandingkan dengan leaderboard Terminal-Bench publik atau dengan hasil Terminal-Bench 4.0 dalam kartu sistem Claude Opus 5.5, yang berasal dari eksekusi di Claude Code pada effortmax. Batas waktu setiap tugas adalah 2,5 kali batas benchmark itu sendiri, yang memberi agen antara 75 menit dan 20 jam per tugas (5 jam untuk tugas median), dan setiap tugas mendapatkan tiga kali memori yang ditentukannya, dari 6 GiB hingga 96 GiB, dengan memori tambahan untuk 12 tugas yang menjalankan layanan pembantu. Agen tidak memiliki akses internet umum: container-nya dapat menjangkau mirror paket internal, daftar pendek situs unduhan termasuk GitHub dan Python Package Index, serta beberapa situs khusus untuk sebagian tugas, dan delapan tugas tidak memiliki akses jaringan sama sekali. Skor adalah tingkat kelulusan mentah atas 148 percobaan per model; eksekusi tunggal berayun 5 hingga 11 poin. Biaya adalah apa yang akan ditagihkan kepada pelanggan pada harga daftar, dihargai ulang permintaan demi permintaan dari catatan penggunaan eksekusi dengan masa hidup cache 5 menit. Claude Opus 4.7, Claude Opus 4.8, dan Claude Opus 5 masing-masing menghabiskan $8 USD hingga $15 USD per tugas. Claude Opus 4.7 mengakhiri 11 dari 148 percobaannya pada batas output-nya. - DRACO: Perplexity, “DRACO: a Cross-Domain Benchmark for Deep Research Accuracy, Completeness, and Objectivity,” arXiv:2602.11685, 2026.
- Apa yang diukur: 100 tugas risetnya di 10 domain dinilai terhadap rubrik yang ditulis pakar dengan masing-masing sekitar 40 kriteria berbobot, dan skornya adalah porsi berbobot dari kriteria yang terpenuhi, dari 0 hingga 100.
- Konfigurasi: Setiap konfigurasi dijalankan di Claude API dengan Claude Opus 5.5, pemikiran adaptif default, classifier keamanan produksi aktif, dan
max_tokenspada 128.000 dengan streaming: agen tunggal pada effortmedium(default model) dan padalow, agen tunggal padamediumdengan kalimat dan jam, serta tim padamediumdengan dan tanpa keduanya. Tim tersebut adalah agen utama yang dapat memulai agen pembantu dari model yang sama melalui sebuah alat, tanpa batas jumlah. - Kalimat: Kedua perubahan tersebut adalah sebuah kalimat dan sebuah jam. Kalimat tersebut, “Time matters here: do not spend time that can be avoided, and the earlier a correct result is obtained, the better.”, ditempatkan di akhir tugas dalam pesan
userpertama agen, setelah baris kosong, dan di akhir brief setiap pembantu. - Jam: Jam adalah waktu yang telah berlalu dalam detik bulat, seperti
[elapsed 252s], yang ditambahkan sebelum setiap permintaan, termasuk yang pertama, ke akhir pesanuserterbaru: dalam blok teksnya sendiri setelah tugas pada permintaan pertama, dan di akhir teks hasil alat terakhir, setelah baris kosong, ketika pesan membawa hasil alat. Jam-jam sebelumnya tetap di tempatnya, sehingga prefiks yang di-cache tetap cocok pada permintaan berikutnya. Setiap agen dalam tim membaca jam yang sama, dan prompt sistem tidak berubah. - Dalam eksekusi yang diukur: Eksekusi yang diukur menggunakan kata-kata dan format ini. Jamnya dimulai pada token pertama dari respons pertama, bukan pada awal tugas. Dalam eksekusi tim yang diukur, laporan pembantu mencapai agen utama dalam pesan terpisah setelah jam, bukan di dalam hasil alat terakhir.
- Kapan: Setiap konfigurasi melakukan tiga percobaan pada setiap tugas, dengan batas empat jam per percobaan, dijalankan 24 September 2026, dan semua konfigurasi dalam satu set dimulai bersamaan.
- Alat: Agen menggunakan alat pencarian dan fetch yang di-host oleh harness evaluasi atas indeks web Anthropic, serta Python dan shell dalam sandbox tanpa akses jaringan. Alat-alat tersebut menentukan sebagian waktu, dan alat Anda akan berjalan dengan kecepatan berbeda, sehingga halaman ini menyajikan waktu sebagai rasio antar-konfigurasi, bukan dalam menit.
- Cara pengukuran waktu: Waktu adalah waktu wall-clock dari suatu percobaan, dari permintaan pertamanya hingga akhir permintaan terakhir oleh agen mana pun, termasuk eksekusi alat, dirata-ratakan atas percobaan-percobaan suatu tugas. Angka tugas tipikal adalah median, atas tugas-tugas, dari rasio setiap tugas antara dua konfigurasi.
- Cara penetapan harga: Biaya setiap tugas adalah permintaannya yang dihargai pada harga daftar publik Claude Opus 5.5, dengan caching prompt ditagih sebagaimana untuk pelanggan yang menetapkan breakpoint cache di akhir setiap permintaan dan menggunakan masa hidup cache 5 menit. Setiap permintaan membaca prompt permintaan sebelumnya dari cache dan menulis sisanya. Permintaan pertama suatu percobaan, dan setiap permintaan yang dimulai lebih dari 5 menit setelah permintaan sebelumnya, menulis seluruh prompt-nya. Biaya hanya mencakup token model; alat harness tidak menambahkan biaya.
- Cara penilaian: Semua interval adalah interval bootstrap 95% atas tugas-tugas, dan perubahan skor adalah selisih berpasangan atas tugas-tugas. Claude Opus 5 menilai jawaban, sehingga Claude Opus 5.5 tidak menilai pekerjaannya sendiri, dan skor setiap jawaban merata-ratakan lima eksekusi penilaian.
- Catatan: Classifier keamanan produksi menghentikan tiga percobaan di setiap konfigurasi, semuanya pada satu tugas, dan percobaan tersebut mendapat skor 0; mengecualikan tugas tersebut tidak mengubah temuan apa pun. Eksekusi tersebut juga melewatkan penggunaan alat setiap agen melalui pemeriksaan keamanan internal Anthropic yang tidak dimiliki permintaan pelanggan, yang menambahkan waktu pada setiap permintaan di setiap konfigurasi. Pada DRACO, agen tunggal tanpa perubahan membuat sekitar dua kali lebih banyak permintaan, dan tim sekitar sepertiga lebih banyak, sehingga pemeriksaan tersebut kemungkinan membuat penghematan waktu DRACO tampak sedikit lebih besar.
- Hasil, agen tunggal: Hasil untuk Tunjukkan waktu yang telah berlalu kepada model: dengan perubahan tersebut, agen tunggal membutuhkan waktu 47% lebih sedikit dengan biaya 60% lebih rendah pada tugas tipikal, biaya rata-ratanya turun dari $1,13 USD menjadi $0,44 USD per tugas, dan skornya 4,1 poin lebih rendah (interval 95% 2,9 hingga 5,2 lebih rendah).
- Hasil, effort lebih rendah: Menurunkan effort agen tunggal menghemat lebih banyak waktu dan biaya daripada perubahan tersebut, dan kehilangan lebih banyak skor. Pada effort
low, ia mencetak skor 13,3 poin lebih rendah pada DRACO, 3,4 pada HLE, dan 14,0 pada set fisika dibandingkan padamedium, dan tugas tipikal membutuhkan waktu 84%, 30%, dan 47% lebih sedikit. Dengan perubahan tersebut pada effortmedium, ia mencetak skor 9,2, 2,5, dan 11,0 poin lebih tinggi daripada padalow, dan tugas tipikal membutuhkan waktu lebih lama daripada padalowdengan faktor 1,2 hingga 3,2. - Hasil, tim, pembantu: Agen utama tim jarang memulai pembantu. Tanpa perubahan tersebut, ia memulai pembantu hanya pada 5 dari 300 percobaan di DRACO, 13 dari 1.479 di HLE, dan tidak ada dari 280 di set fisika.
- Hasil, tim: Jadi hasil tim sebagian besar menunjukkan agen utama bekerja sendirian, dengan instruksi dan alat milik tim itu sendiri. Tanpa perubahan tersebut, tim sudah membutuhkan sekitar setengah waktu agen tunggal pada tugas DRACO tipikal, dan mencetak skor 3,3 poin lebih rendah (interval 95% 2,1 hingga 4,6 lebih rendah). Dengan perubahan tersebut, tim membutuhkan waktu 17% lebih sedikit dengan biaya 20% lebih rendah pada tugas DRACO tipikal, dan mencetak skor 1,6 poin lebih rendah (interval 95% 0,3 hingga 2,8 lebih rendah).
- HLE: Phan et al., “Humanity’s Last Exam,” arXiv:2501.14249, 2025. Pertanyaan yang ditulis pakar dengan jawaban pasti, dinilai terhadap jawaban referensi. Diukur pada 500 pertanyaan pertama dari rilis 10 September 2025, termasuk gambar, dengan sumber benchmark itu sendiri diblokir dari pencarian, dan pengaturan yang sama seperti referensi 21. Setiap konfigurasi melakukan tiga percobaan pada setiap pertanyaan, dijalankan 24 September 2026. Claude Opus 5 membandingkan setiap jawaban dengan jawaban referensi, menggunakan prompt penilai yang dipublikasikan benchmark, dan mayoritas dari tiga penilaian yang dihitung. Skor mencakup 493 pertanyaan di setiap konfigurasi. Untuk lima pertanyaan lainnya, permintaan penilaian melebihi batas 1M token penilai, dan dua lainnya dikecualikan karena eksekusi agen tunggal tanpa perubahan berhenti sebelum tiga percobaannya pada pertanyaan tersebut selesai. Rasio waktu dan biaya mencakup 492 pertanyaan untuk agen tunggal dan 491 untuk tim, karena satu atau dua pertanyaan tidak memiliki data waktu. Classifier keamanan produksi menghentikan 3% hingga 4% percobaan setiap konfigurasi, dan percobaan tersebut mendapat skor 0; mengecualikannya tidak mengubah temuan apa pun. Hasil untuk Tunjukkan waktu yang telah berlalu kepada model: dengan perubahan tersebut, agen tunggal membutuhkan waktu 14% lebih sedikit dengan biaya 9% lebih rendah pada pertanyaan tipikal. Dengan penilai Claude Opus 5, skornya tidak menunjukkan perubahan yang jelas (0,9 poin lebih rendah, interval 95% 2,5 lebih rendah hingga 0,7 lebih tinggi). Dengan penilai kedua, Claude Opus 4.6, skornya 1,9 poin lebih rendah (interval 95% 0,2 hingga 3,7 lebih rendah). Waktu rata-rata turun lebih jauh daripada pertanyaan tipikal: waktu rata-rata turun 43% dan biaya rata-rata 37%, karena perubahan tersebut memotong beberapa pertanyaan yang sangat panjang. Waktu tim pada pertanyaan tipikal berubah 3% atau kurang, dan skornya tidak berubah secara jelas.
- Set fisika: Set internal berisi 70 soal fisika tingkat riset, diadaptasi dari benchmark CritPt publik: Zhu et al., “Probing the Critical Point (CritPt) of AI Reasoning: a Frontier Physics Research Benchmark,” arXiv:2509.26574, 2025. Peninjau pakar mengoreksi pernyataan soal. Claude Opus 4.6 menilai setiap jawaban dengan kredit parsial, menggunakan prompt penilaian set tersebut, terhadap solusi referensi pakar yang tidak dipublikasikan, sehingga skornya tidak dapat dibandingkan dengan hasil yang dipublikasikan. Skornya adalah nilai rata-rata atas percobaan-percobaan suatu soal, dirata-ratakan atas soal-soal, dalam poin dari 100. Diukur pada seluruh 70 soal, empat percobaan per soal, dijalankan 24 September 2026. Setiap agen memiliki alat Python, shell, dan editor file dalam container sandbox tanpa akses jaringan, serta tanpa alat pencarian atau fetch. Tidak ada classifier keamanan yang menghentikan percobaan pada set fisika. Selebihnya, pengaturannya sama dengan referensi 21. Hasil untuk Tunjukkan waktu yang telah berlalu kepada model: dengan perubahan tersebut, agen tunggal membutuhkan waktu 7% lebih sedikit dengan biaya 4% lebih rendah pada soal tipikal, dan skornya 3,0 poin lebih rendah (interval 95% 0,4 hingga 5,6 lebih rendah). Waktu tim pada soal tipikal berubah 3% atau kurang, dan skornya tidak berubah secara jelas. Waktu rata-rata agen tunggal turun 14%. Seluruh penghematan waktu rata-rata agen tunggal berasal dari satu soal, di mana agen tanpa perubahan menjalankan kode selama sekitar setengah jam per percobaan; tanpa soal tersebut, waktu rata-ratanya kurang lebih sama dengan dan tanpa perubahan.
- tau2-bench retail: Barres et al., "τ²-Bench: Evaluating Conversational Agents in a Dual-Control Environment," arXiv:2506.07982, 2025.
- Apa yang diukur: 114 tugas domain retail dijalankan pada harness publik terhadap Claude API, dengan Claude Haiku 4.5 sebagai pengguna simulasi, Claude Sonnet 5 sebagai penilai bahasa alami, dan caching prompt aktif; tugas-tugas dibagi menjadi 57 untuk pencarian dan 57 held-out.
- Kapan: Kedua pencarian dijalankan pada 6 September 2026, digerakkan oleh perintah
hillclimbdari skill Claude API. Pasangan sebelum-dan-sesudah caching dijalankan pada 8 September 2026. - Cara penilaian: Dalam pencarian, titik awal dan konfigurasi yang dikonfirmasi adalah rata-rata dari tiga eksekusi held-out, langkah yang dipertahankan dinilai pada dua eksekusi, dan kandidat lain dinilai pada satu atau dua eksekusi. Pasangan caching: masing-masing tiga eksekusi pada seluruh 114 tugas dengan hanya breakpoint cache harness yang diubah, konfigurasi yang dihasilkan perintah
cost-optimizedalam eksekusi sebelumnya. Angka held-out berasal dari 57 tugas yang tidak pernah dibaca oleh pencarian. - Cara penetapan harga: Biaya per tugas menghitung harga jumlah token agen dan pengguna simulasi pada harga daftar (Claude Opus 5 $5 USD dan $25 USD, Claude Sonnet 5 $2 USD dan $10 USD per juta token input dan output, cache read dan write pada tarif yang dipublikasikan) dan tidak termasuk penilai; perubahan persentase berasal dari biaya yang tidak dibulatkan; angka bulanan adalah token agen saja, $0,135 USD dan $0,047 USD per tugas, dikalikan 10.000. Pada 10.000 percakapan per bulan, itu sekitar $1.350 USD sebelum pencarian pertama dan $470 USD sesudahnya.
- Catatan: Pengukuran ini dijalankan pada model Claude Opus dan Claude Sonnet sebelumnya: pasangan caching dijalankan pada Claude Sonnet 5, pencarian kedua dimulai dari Claude Sonnet 5, dan pencarian pertama beralih dari Claude Opus 5 ke Claude Sonnet 5.
- Pasangan caching: Pasangan tersebut dijalankan pada Claude Sonnet 5 pada effort default. Harness publik, sebagaimana dirilis, mengirimkan seluruh percakapan tanpa cache pada setiap giliran. Konfigurasi dengan cache memiliki satu breakpoint pada prompt sistem dan satu pada pesan terbaru. Kedua pencarian dijalankan dengan caching tersebut aktif. Biaya per tugas turun dari $0,223 USD tanpa cache menjadi $0,062 USD dengan cache, penghematan 72%, dan tingkat kelulusan dari 79,2% menjadi 76,0%. Eksekusi identik dengan cache dari konfigurasi tersebut berkisar dari 85 hingga 93 dari 114 di berbagai hari. Setiap eksekusi dengan cache mencetak skor sama dengan atau di bawah setiap eksekusi tanpa cache, tetapi selisih kurang dari 4 tugas berada di dalam sebaran eksekusi identik dengan cache, sehingga perubahan akurasi terlalu kecil untuk diukur pada ukuran sampel ini.
- Cara pencarian berjalan. Perintah
hillclimbmengajukan empat pertanyaan, menyajikan rencana, dan menunggu persetujuan sebelum menghabiskan apa pun. Dalam pencarian pertama, rencana tersebut membiarkan simulator pengguna, penilai, caching, temperature, dan tugas tidak berubah. Pertanyaan terakhir dari keempat pertanyaan tersebut dimulai dengan:One pass over the full set is 114 cases x 1 rep on claude-opus-5, roughly 22 minutes.Setiap putaran, pencarian mengusulkan satu perubahan dan menjalankan set lengkap. Pencarian mempertahankan perubahan hanya ketika angkanya bergerak dan mekanisme yang diprediksi terlihat dalam data penggunaan. Pencarian berhenti ketika tiga putaran berturut-turut tidak menghasilkan apa pun, lalu mengonfirmasi pemenangnya pada eksekusi baru. - Pencarian pertama, hasil. Pencarian memangkas biaya per tugas sebesar 61% sambil mempertahankan tingkat kelulusan dalam rentang 2 poin yang ditetapkan sebelum pencarian: dari Claude Opus 5 pada effort default ($0,142 USD per tugas, 76,0% lulus) ke Claude Sonnet 5 pada
lowdengan satu suntingan prompt yang netral biaya ($0,055 USD, 74,3%). Pencarian tersebut berbiaya $179 USD untuk eksekusi evaluasi dan $228 USD untuk tokennya sendiri. - Pencarian pertama, awal: Claude Opus 5, effort default. 76,0% dengan $0,142 USD. Tiga eksekusi identik berkisar 43 hingga 44 dari 57. Pencarian menetapkan batas bawah 2 poin di bawahnya, pada 74,0%, dan membulatkannya ke atas menjadi 43 dari 57 (75,4%) untuk keputusannya.
- Pencarian pertama, langkah 1, effort ke
low: dipertahankan. 77,2% pada dua eksekusi yang mempertahankannya, 77,8% pada konfirmasi tiga eksekusi setelah pencarian, dengan $0,119 USD, 17% lebih murah. Baris status pencarian itu sendiri berbunyi, sebagian:two runs held-out 42 and 46, mean 44.0 >= floor 43; cost mean $0.1187 <= gate $0.1208; mechanism confirmed (output tokens -34% with calls flat). - Pencarian pertama, langkah 2, Claude Sonnet 5 pada
low: dipertahankan. 75,4% dengan $0,055 USD, 61% lebih murah. - Pencarian pertama, langkah 3, suntingan prompt (mencari pesanan pelanggan setelah login alih-alih meminta ID pesanan): dipertahankan saat seleksi, lalu tidak bertahan. 79,8% pada dua eksekusi; 74,3% pada tiga eksekusi baru. Pencarian membiarkannya sebagai netral biaya: giliran yang dibebaskan menjadi giliran pencarian lainnya.
- Pencarian pertama, langkah 4, suntingan prompt (transfer ke manusia hanya ketika diminta): ditolak dan dikembalikan. 71,9%. Suntingan ini memperbaiki 3 kasus yang ditargetkannya dan merusak 10 kasus lainnya dengan templat generik “sebutkan apa yang dapat dan tidak dapat Anda lakukan”.
- Pencarian pertama, langkah 5, suntingan prompt: tidak dijalankan. Prediksi peningkatannya sebesar 0,5 tugas berada di bawah gerbang adopsi 2 tugas milik pencarian.
- Pencarian pertama, konfirmasi: Claude Sonnet 5 pada
lowdengan prompt langkah 3, tiga eksekusi baru. 74,3% dengan $0,055 USD, di dalam rentang 2 poin dengan selisih 0,14 tugas, 1 tugas dari 57 di bawah titik awal, dan di bawah batas bawah 43 dari 57 yang dicatat pencarian. Lima eksekusi konfigurasi ini berkisar 42 hingga 46, lebih lebar daripada 43 hingga 44 pada titik awal. - Pencarian pertama, apa yang ditunjukkannya. Tuas effort dan model menghasilkan penghematan, dan mekanisme masing-masing mengonfirmasinya. Tuas prompt menghasilkan perubahan perilaku yang nyata tetapi tidak ada peningkatan yang bertahan. Pada beban kerja ini, jumlah giliran dan prefiks yang di-cache yang dibaca ulang setiap giliran menentukan biaya per tugas, bukan kata-katanya.
- Pencarian kedua. Pencarian ini dimulai dari Claude Sonnet 5 pada effort default dengan caching aktif: 79,5% dengan $0,062 USD pada separuh held-out, dengan tiga eksekusi berkisar 42 hingga 47 dari 57, sehingga batas bawahnya adalah 45 dari 57 (78,9%). Eksekusi identik dari konfigurasi awal berbeda hingga 5 tugas dari 57 di sini. Pencarian kedua tidak mempertahankan apa pun. Effort pada
low, dua suntingan prompt, dan keduanya bersamaan masing-masing mencetak skor 77,2%, di bawah batas bawah, dan menghemat 10% hingga 14%, kurang dari gerbang biaya 15% milik pencarian. Suntingan prompt untuk akurasi mencetak skor 79,8% pada dua eksekusi dan 73,7% pada tiga eksekusi baru, dan dikembalikan. Pencarian tersebut membutuhkan sekitar 19 eksekusi evaluasi dan $120 USD.
- Set tugas Claude Managed Agents:
- Apa yang diukur: Set internal Anthropic berisi 79 tugas agen terskrip dalam delapan area, termasuk pekerjaan memori, multi-agen, dan konteks panjang, dijalankan sebagai sesi Claude Managed Agents di mana pengujian menjawab setiap panggilan alat. Setiap tugas dijalankan lima kali per model.
- Eksekusi: Angka-angka berasal dari satu eksekusi per model pada 7 Oktober 2026, dinilai pada hari itu. Dalam tiga eksekusi tambahan dari tugas yang sama pada 8 dan 9 Oktober 2026, Claude Haiku 5.5 lulus 91% hingga 93% percobaan, dan dalam satu eksekusi tambahan pada 8 Oktober, Claude Haiku 4.5 lulus 63%.
- Cara penilaian: Suatu percobaan lulus hanya jika penilai, Claude Sonnet 4.6, yang menilai sekali, menandai setiap baris daftar periksa tugas sebagai terpenuhi, sehingga tingkat kelulusan bergantung pada penilai. Pada semua tugas kecuali satu, panggilan terpisah, yang diperlihatkan hasil alat secara lengkap, menilai baris yang memeriksa file dan pesan yang ditulis agen melalui alatnya terhadap hasil tersebut.
- Cara penetapan harga: Biaya adalah biaya token pada harga daftar dengan caching prompt 5 menit, dihargai permintaan demi permintaan, dan tidak termasuk runtime sesi.
- Hasil, harga token dan biaya: Claude Haiku 4.5 tidak melakukan cache pada 80% permintaannya: masing-masing memiliki prompt sekitar 4.100 token atau kurang, dan panjang prompt minimum yang dapat di-cache adalah 4.096 token (512 untuk Claude Haiku 5.5). Dari Claude Haiku 4.5 ke Claude Haiku 5.5, harga token turun hingga 90%, dan biaya token dari 79 tugas turun sekitar 75%. Biaya token turun lebih sedikit daripada harga karena sekitar 5% permintaan Claude Haiku 5.5 memiliki prompt lebih dari 100.000 token, yang membayar harga lebih tinggi (Harga konteks panjang), dan permintaan tersebut menanggung 73% biayanya.
- Pemikiran: Anthropic menetapkan effort Claude Haiku 5.5 ke
mediumdan tidak mengirimkan pengaturan thinking atau batas output untuk kedua model, sehingga thinking diserahkan pada pengaturan Claude Managed Agents sendiri untuk setiap model. Claude Haiku 5.5 menggunakan thinking pada 59% permintaan, dan Claude Haiku 4.5 pada 22%. Perbandingan ini adalah perbandingan setiap model sebagaimana disajikan, bukan pada pengaturan yang setara. - Biaya tanpa caching, dihargai dari jumlah token yang tercatat: Anthropic juga menghitung ulang harga jumlah token yang tercatat dari eksekusi 7 Oktober Claude Haiku 5.5 untuk faktor caching di Mengapa caching didahulukan. Claude Managed Agents menerapkan caching prompt sendiri, sehingga faktor tersebut membandingkan dua harga untuk permintaan yang sama, bukan dua pengaturan.
- Faktor: Faktor tersebut, 1,7, adalah biaya token eksekusi dengan setiap token input pada harga input, token output tidak berubah, dibagi dengan biaya tokennya dengan setiap sesi dihargai secara terpisah: prompt sebelumnya dari setiap permintaan sebagai pembacaan cache dan token barunya sebagai penulisan cache 5 menit. Setiap permintaan dihargai sesuai panjang prompt-nya sendiri dalam kedua biaya, sehingga 87 permintaan di atas 100.000 token membayar harga lebih tinggi pada keduanya. Pada jumlah token sebagaimana tercatat, yang digunakan oleh biaya panduan ini untuk eksekusi tersebut, faktornya adalah 1,9, karena lima percobaan suatu tugas berjalan berdampingan dan membaca entri cache satu sama lain.
- Mengapa faktornya rendah: Faktornya rendah karena sesinya pendek, median 4 permintaan: sebagian besar token input tiba sebagai hasil alat pada permintaan kedua atau ketiga dan dibaca dari cache hanya sekali atau dua kali. Delapan tugas konteks panjang menanggung tiga perempat biaya. Eksekusi kedua, pada 8 Oktober, juga menghasilkan 1,7.
- Pengukuran format jawaban:
- Apa yang diukur: Pekerjaan triase 20 issue dari Pangkas token input dan konteks, dijalankan pada Claude Sonnet 5 dengan caching prompt aktif dan tanpa pengaturan thinking dalam permintaan, sehingga thinking dibiarkan pada default model, di bawah tiga instruksi jawaban akhir, tiga eksekusi per instruksi.
- Instruksi dua baris: Versi asli meminta dua baris:
4. Finish with exactly two lines: LABEL: <one of: bug-confirmed, needs-more-info, duplicate-candidate, feature-request, upstream-issue, perf, ui-polish> SUMMARY: <one or two sentences for the engineering team> - Instruksi satu baris: Varian yang lebih pendek meminta satu baris:
4. Finish with exactly one line in this form: DECISION | LABEL | REASON where DECISION is one of: triage-now, needs-info, close-duplicate; LABEL is one of: bug-confirmed, needs-more-info, duplicate-candidate, feature-request, upstream-issue, perf, ui-polish; REASON is one clause under 15 words. Output nothing after that line. - Instruksi memo: Varian yang lebih panjang meminta memo dengan enam bagian berjudul: ringkasan masalah, bukti, pemeriksaan duplikat, label yang direkomendasikan, langkah selanjutnya, dan tingkat keyakinan.
- Juga dalam instruksi sebagaimana dikirim: Sebagaimana dikirim, instruksi dua baris juga menyatakan “Be concise.” dan instruksi memo “Be thorough and explicit.”
- Kapan: Instruksi dua baris dan satu baris dijalankan pada 18 Agustus 2026, dengan
max_tokenspada 700, dan instruksi memo pada 19 Agustus 2026, denganmax_tokenspada 3.000. Tidak ada respons yang mencapai batasnya. - Cara penilaian dan penetapan harga: Angka-angka adalah rata-rata dari tiga eksekusi pada harga daftar Claude Sonnet 5, dan akurasi adalah kecocokan persis terhadap gold label.
- Hasil: Jawaban satu baris menggunakan 39% lebih sedikit token output daripada versi asli dua baris dan berbiaya 13% lebih rendah per eksekusi (dari rata-rata yang tidak dibulatkan; biaya yang dibulatkan pada grafik, $0,49 USD dan $0,57 USD, menghasilkan 14%). Memo menggunakan enam kali token output versi asli dua baris dan berbiaya 2,8 kali jawaban satu baris.
- Pemikiran: Sekitar setengah dari respons menyertakan thinking, dan tokennya dihitung dalam token output.
- Pengukuran pencarian alat:
- Apa yang diukur: Pekerjaan triase 20 issue dari Pangkas token input dan konteks, dijalankan pada Claude Sonnet 5 pada 19 Agustus 2026, dengan caching prompt aktif dan tanpa pengaturan thinking dalam permintaan, sehingga thinking dibiarkan pada default model, tiga eksekusi per konfigurasi. Agen memiliki dua alatnya sendiri ditambah definisi alat nyata dari server MCP publik, dengan total 7, 17, 52, 102, 252, atau 502 alat, dengan setiap definisi dimuat atau dengan definisi tambahan ditandai
defer_loadingdi balik pencarian alat. - Cara penilaian dan penetapan harga: Angka-angka adalah rata-rata dari tiga eksekusi pada harga daftar Claude Sonnet 5, dan akurasi adalah kecocokan persis terhadap gold label.
- Hasil: Dengan setiap definisi dimuat, biaya eksekusi naik dari $0,55 USD pada 7 alat menjadi $1,02 USD pada 502 alat, hampir dua kali lipat. Dengan pencarian alat, biayanya $0,55 USD hingga $0,56 USD pada setiap ukuran katalog, 45% lebih rendah pada 502 alat (dari biaya yang dibulatkan pada grafik, $0,56 USD dan $1,02 USD; rata-rata yang tidak dibulatkan menghasilkan 45,6%). Setiap eksekusi menjawab 15 hingga 18 dari 20 issue dengan benar, dengan atau tanpa pencarian alat.
- Catatan: Tidak ada eksekusi yang memanggil alat dari katalog atau alat pencarian alat: dua alat milik agen sendiri selalu dimuat, dan setiap panggilan alat ditujukan ke salah satunya. Pengukuran ini menunjukkan biaya membawa definisi yang tidak digunakan.
- Pengukuran terpisah: Dalam pengukuran terpisah pada model dan tanggal yang sama, dengan server MCP GitHub publik yang dilampirkan melalui konektor MCP dan tanpa katalog, tiga eksekusi dengan toolset server ditangguhkan berbiaya 20% lebih rendah daripada tiga eksekusi tanpanya ($0,56 USD dan $0,70 USD per eksekusi), dan tiga eksekusi dari setiap lengan menjawab 17, 16, dan 16 issue dengan benar. Permintaan dalam pengukuran terpisah ini tidak menyertakan alat pencarian alat. Dengan toolset dimuat, setiap eksekusi memanggil salah satu alat server,
issue_read, 3 atau 4 kali; dengan toolset ditangguhkan, tidak ada eksekusi yang memanggil alat server mana pun.
- Apa yang diukur: Pekerjaan triase 20 issue dari Pangkas token input dan konteks, dijalankan pada Claude Sonnet 5 pada 19 Agustus 2026, dengan caching prompt aktif dan tanpa pengaturan thinking dalam permintaan, sehingga thinking dibiarkan pada default model, tiga eksekusi per konfigurasi. Agen memiliki dua alatnya sendiri ditambah definisi alat nyata dari server MCP publik, dengan total 7, 17, 52, 102, 252, atau 502 alat, dengan setiap definisi dimuat atau dengan definisi tambahan ditandai
- Pengukuran pemangkasan input dan siklus hidup konteks:
- Apa yang diukur: Pekerjaan triase 20 issue dari Pangkas token input dan konteks dan varian panjangnya, dijalankan pada Claude Sonnet 5 pada 19 Agustus 2026 (bertanggal dalam UTC), tiga eksekusi per pengaturan, tanpa pengaturan thinking dalam permintaan, sehingga thinking dibiarkan pada default model; sekitar 3 dari 10 respons menyertakan thinking.
- Grafik: Grafik di Kelola siklus hidup konteks membandingkan empat pengaturan pada setiap pekerjaan: pekerjaan dengan caching prompt dan pemangkasan input (pengubahan ukuran gambar dan pencarian alat) aktif, dan yang sama dengan satu tuas ditambahkan, yaitu pengeditan konteks, compaction, atau prune. Grafik menghitung perubahan di bawah 10% sebagai tidak ada perubahan.
- Pengaturan tuas: Pengaturan tuas berbeda antara kedua pekerjaan: pengeditan konteks membersihkan setidaknya 2.000 token setelah prompt melewati 20.000 pada pekerjaan 20 issue, dan setidaknya 40.000 setelah melewati 50.000 pada pekerjaan panjang, dengan mempertahankan tiga penggunaan alat terbaru, dan compaction terpicu pada 50.000 token input pada pekerjaan 20 issue dan 80.000 pada pekerjaan panjang.
- Cara penetapan harga: Setiap biaya adalah rata-rata dari tiga eksekusi, dari field penggunaan respons pada harga daftar Claude Sonnet 5, dengan cache write pada $2,50 USD dan cache read pada $0,20 USD per juta token.
- Hasil, pemangkasan input: Pengaturan kelima, caching prompt tanpa pemangkasan input, berbiaya $0,57 USD per eksekusi pada pekerjaan 20 issue dan $1,38 USD pada pekerjaan panjang, sehingga pemangkasan input memangkas 26% dari yang pertama dan 21% dari yang kedua. Dibandingkan dengan pekerjaan 20 issue yang sama dengan caching nonaktif, yang berbiaya $3,36 USD per eksekusi (referensi 16), caching prompt dan pemangkasan input bersama-sama menghemat 88% (rata-rata yang tidak dibulatkan menghasilkan 87,5%).
- Hasil, eksekusi 20 issue: Pada eksekusi 20 issue, di mana pekerjaan tanpa tuas berbiaya $0,42 USD per eksekusi, pengeditan konteks berbiaya 73% lebih tinggi, compaction berjalan sekali menjelang akhir setiap eksekusi dan berbiaya 7% lebih rendah, dan prune tidak menulis ulang apa pun, karena tidak ada hasil pencarian yang melebihi ambang 2.000 karakternya.
- Hasil, eksekusi panjang: Pada eksekusi panjang, di mana pekerjaan tanpa tuas berbiaya $1,09 USD per eksekusi, prune berbiaya 39% lebih rendah, compaction 32% lebih rendah, dan pengeditan konteks 4% lebih tinggi.
- Pembacaan cache, eksekusi panjang: Dalam eksekusi panjang dengan prune, 89% token prompt dibaca dari cache pada permintaan pertama setelah batas tugas dan 81% pada permintaan lainnya. Di seluruh eksekusi panjang, 85% token prompt dibaca dari cache dengan prune dan 85% dengan pengeditan konteks, berbanding 95% tanpa tuas.
- Benchmark coding internal (pengukuran subagen):
- Apa yang diukur: 134 tugas coding repositori, masing-masing dinilai lulus atau gagal oleh pengujian yang tidak dapat dilihat agen, lima percobaan per tugas di setiap dari tiga eksekusi, 21 hingga 23 Oktober 2026, pada Claude Managed Agents dengan orkestrasi multiagen miliknya sendiri (tipe
multiagent_20261001): satu agen predefined sebagai subagen, dengan agen inline dan alur kerja dinamis sama-sama dinonaktifkan. - Konfigurasi: Claude Opus 5.5 saja pada
medium, default-nya, dan padalow; serta Claude Opus 5.5 padamediumdengan subagen Claude Haiku 5.5 padamedium, sekali tanpa prompt tambahan dan sekali dengan prompt delegasi 113 kata sebagai prompt sistem orchestrator. Konfigurasi kelima, dengan prompt yang lebih panjang, tidak dilaporkan. Evaluasi tidak menetapkan opsi thinking, sehingga thinking berjalan pada default-nya: aktif, dengan model memilih kapan harus berpikir. - Alat: Setiap agen menggunakan dua alat kustom, sebuah shell dan sebuah editor file yang dijalankan evaluasi di sandbox milik masing-masing percobaan, sebagai pengganti alat bawaan platform. Sebagai bagian dari pengaturan keamanan evaluasi, panggilan alat tersebut melewati pemeriksaan tambahan. Dalam pengaturan yang terdokumentasi, kebijakan izin tidak berlaku untuk alat kustom.
- Hasil: Percobaan yang lulus dan biaya per percobaan adalah 72,1% dan $4,78 USD untuk Claude Opus 5.5 saja pada
medium; 68,8% dan $3,35 USD dengan subagen dan tanpa prompt tambahan; 67,9% dan $3,27 USD dengan subagen dan prompt; serta 63,0% dan $1,84 USD untuk Claude Opus 5.5 saja padalow. - Dibandingkan dengan Claude Opus 5.5 saja pada
medium: Dengan prompt, biaya 32% lebih rendah (interval 95% 29% hingga 35%) dan 4,2 poin persentase lebih sedikit yang lulus (1,3 hingga 7,1). Tanpa prompt tambahan, 30% lebih rendah (27% hingga 33%) dan 3,3 lebih sedikit (0,8 hingga 5,8). Claude Opus 5.5 saja padalow, 62% lebih rendah (59% hingga 64%) dan 9,1 lebih sedikit (5,0 hingga 13,3), perbandingan yang ditambahkan setelah eksekusi. Perbedaan dipasangkan per tugas dalam setiap eksekusi, dan intervalnya adalah interval bootstrap atas 134 tugas. - Dibandingkan dengan effort yang lebih rendah: Mengirim sebagian tugas ke
lowdan sisanya kemediummenghasilkan garis lurus di antara kedua hasil tersebut, sebuah perhitungan dan bukan eksekusi. Pada biayanya sendiri, konfigurasi dengan subagen lulus, dengan prompt, 0,5 poin persentase lebih banyak daripada garis tersebut (2,3 lebih sedikit hingga 3,2 lebih banyak) dan, tanpa prompt tambahan, 1,1 lebih banyak (1,2 lebih sedikit hingga 3,3 lebih banyak): tidak di atas maupun di bawahnya. Biaya per percobaan yang lulus adalah $6,63 USD untuk Claude Opus 5.5 saja padamedium, $4,86 USD dengan subagen dan tanpa prompt tambahan, $4,81 USD dengan prompt, dan $2,92 USD padalow. - Cara penetapan harga: Biaya adalah biaya token pada harga daftar dengan caching prompt 5 menit, setiap permintaan dihargai sesuai panjang prompt-nya sendiri (Harga konteks panjang), dan tidak termasuk runtime sesi. Biaya tersebut tidak mencakup pemeriksaan tambahan evaluasi pada panggilan alat; jika pemeriksaan itu dihitung, penghematan dengan prompt adalah 27% (25% hingga 30%).
- Apa yang dihitung sebagai kegagalan: Suatu percobaan dihitung sebagai kegagalan jika pemeriksaan keamanan menghentikannya, jika safeguard platform menolak suatu giliran, atau jika evaluasi membatalkannya karena tidak dapat memastikan bahwa pemeriksaan keamanannya melihat setiap langkah. Percobaan yang dibatalkan hanya terjadi pada konfigurasi dengan subagen: 72 dari 2.010 dengan prompt, 57 di antaranya dalam satu eksekusi. Ketika bagian eksekusi dari konfigurasi tersebut dijalankan ulang, konfigurasi itu lulus 3,6 poin persentase lebih sedikit daripada Claude Opus 5.5 saja (1,0 hingga 6,3). Jika sebagai gantinya setiap percobaan yang dihentikan oleh pemeriksaan keamanan atau dibatalkan oleh evaluasi dikeluarkan di kedua sisi, konfigurasi itu lulus 1,7 lebih sedikit (4,4 lebih sedikit hingga 1,1 lebih banyak). Jadi sebagian dari penurunan tersebut, tetapi tidak seluruhnya, berasal dari aturan evaluasi itu sendiri. Satu percobaan Claude Opus 5.5 saja pada
medium, yang terpotong pada batas tiga jam, tidak memiliki hasil dan dikeluarkan; dengan subagen, pemotongan yang sama dihitung sebagai kegagalan.
- Apa yang diukur: 134 tugas coding repositori, masing-masing dinilai lulus atau gagal oleh pengujian yang tidak dapat dilihat agen, lima percobaan per tugas di setiap dari tiga eksekusi, 21 hingga 23 Oktober 2026, pada Claude Managed Agents dengan orkestrasi multiagen miliknya sendiri (tipe
Langkah selanjutnya
Keuntungan gratis terbesar di halaman ini: penyiapan, masa hidup, dan diagnostik.
Tukar kecerdasan dengan latensi dan biaya dalam satu model.
Evaluasi kemampuan, kecepatan, dan biaya di seluruh keluarga model Claude.
Tetapkan batas dolar yang tegas pada sesi Managed Agents.
Lihat harga per token saat ini untuk setiap model Claude.
Terapkan tuas-tuas ini satu per satu pada agen yang berfungsi dalam notebook yang dapat dijalankan, dengan biaya per tugas setelah setiap langkah.
Tonton panduan langkah demi langkah tentang pola advisor dan orchestrator.
Apakah halaman ini membantu?