Mengelola konteks alat
Pilih di antara pencarian alat, pemanggilan alat secara terprogram, caching prompt, dan pengeditan konteks untuk mengelola pembengkakan konteks.
Definisi alat dan blok tool_result yang terakumulasi menghabiskan “context window” (jendela konteks) Anda. Agen yang berjalan lama dengan banyak alat atau banyak giliran dapat menghabiskan konteks yang tersedia sebelum tugas selesai. Empat pendekatan mengatasi hal ini pada titik yang berbeda dalam pipeline.
Empat pendekatan
Setiap pendekatan menargetkan sumber tekanan konteks yang berbeda. Pilih pendekatan yang sesuai dengan ke mana token Anda mengalir.
| Pendekatan | Apa yang dikurangi | Kapan cocok digunakan | Pelajari lebih lanjut |
|---|---|---|---|
| Pencarian alat | Definisi alat yang dimuat di awal | Banyak alat (10+), yang sebagian besar tidak diperlukan setiap giliran | Alat pencarian alat |
| Pemanggilan alat secara terprogram | Bolak-balik tool_result | Rangkaian pemanggilan alat yang dapat dijalankan sebagai satu skrip | Pemanggilan alat secara terprogram |
| Caching prompt | Biaya token dari definisi alat yang berulang | Definisi alat yang stabil di banyak permintaan | Penggunaan alat dengan caching prompt |
| Pengeditan konteks | Blok tool_result lama dalam riwayat | Percakapan panjang di mana hasil awal tidak lagi relevan | Pengeditan konteks |
Pencarian alat
“Tool search” (pencarian alat) menjaga definisi alat tetap di luar jendela konteks sampai Claude memintanya. Alih-alih memuat 50 skema alat ke dalam konteks di awal, Anda menandainya dengan defer_loading: true, menambahkan alat pencarian alat, dan membiarkan Claude menemukannya sesuai permintaan. Ini menukar sedikit “latency” (latensi) (satu giliran tambahan untuk mencari alat) dengan pengurangan besar dalam penggunaan konteks dasar.
Pemanggilan alat terprogram
“Programmatic tool calling” (pemanggilan alat terprogram) meringkas serangkaian pemanggilan alat menjadi satu blok kode yang ditulis Claude dan dijalankan oleh sandbox eksekusi kode Anthropic. Alih-alih lima perjalanan bolak-balik tool_use dan tool_result, Claude menghasilkan satu skrip yang memanggil kelima fungsi dari dalam sandbox. Hasil perantara tidak pernah masuk ke riwayat percakapan.
Caching prompt
“Prompt caching” (caching prompt) tidak mengurangi jumlah token dalam konteks, tetapi mengurangi biaya yang Anda bayar untuk token tersebut pada permintaan berikutnya. Jika definisi alat Anda stabil, cache sekali dan gunakan kembali prefiks yang di-cache di ribuan permintaan. Ini adalah pilihan yang tepat ketika daftar alat Anda besar tetapi tetap.
Pengeditan konteks
“Context editing” (pengeditan konteks) menghapus blok tool_result lama dari riwayat percakapan setelah blok tersebut menjalankan fungsinya. Loop agen yang panjang dapat menghasilkan ratusan hasil perantara yang berguna pada saat itu tetapi tidak lagi diperlukan. Pengeditan konteks memungkinkan Anda memangkasnya tanpa memulai ulang percakapan.
Menggabungkan pendekatan
Anda dapat menggunakan pendekatan-pendekatan ini bersama-sama, karena masing-masing menyelesaikan bagian masalah yang berbeda. Agen yang berjalan lama mungkin menggunakan pencarian alat untuk memuat lebih sedikit definisi alat, caching prompt untuk mengamortisasi biaya definisi yang tersisa, dan pengeditan konteks untuk memangkas hasil yang sudah usang seiring bertambahnya percakapan.
Titik awal yang masuk akal untuk agen bervolume tinggi:
- Aktifkan caching prompt pada definisi alat Anda sejak awal. Penulisan cache dikenakan biaya tambahan 25 persen di atas harga input dasar, yang terbayar kembali pada permintaan kedua yang mengenai cache.
- Tambahkan pencarian alat setelah Anda memiliki 10 alat atau lebih atau penggunaan konteks dasar Anda menjadi terasa.
- Tambahkan pengeditan konteks setelah percakapan individual mulai berjalan cukup lama sehingga hasil awal menjadi tidak relevan.
- Pertimbangkan pemanggilan alat terprogram jika Anda melihat rangkaian berulang dari pemanggilan alat kecil yang dapat dijalankan sebagai satu batch.
Langkah selanjutnya
Muat definisi alat sesuai permintaan alih-alih di awal.
Ringkas rangkaian pemanggilan alat menjadi satu skrip yang dapat dieksekusi.
Cache definisi alat di seluruh permintaan untuk memangkas biaya token.
Pangkas hasil alat yang sudah usang dari percakapan yang berjalan lama.
Apakah halaman ini membantu?