Pemrosesan batch
Proses permintaan Messages dalam volume besar secara asinkron dengan Message Batches API, memangkas biaya sebesar 50 persen dan meningkatkan throughput.
“Batch processing” (pemrosesan batch) adalah pendekatan yang ampuh untuk menangani permintaan dalam volume besar secara efisien. Alih-alih memproses permintaan satu per satu dengan respons langsung, pemrosesan batch memungkinkan Anda mengirimkan beberapa permintaan sekaligus untuk diproses secara asinkron. Pola ini sangat berguna ketika:
- Anda perlu memproses data dalam volume besar
- Respons langsung tidak diperlukan
- Anda ingin mengoptimalkan efisiensi biaya
- Anda menjalankan evaluasi atau analisis berskala besar
Message Batches API mengimplementasikan pola ini.
Message Batches API
Message Batches API adalah cara yang ampuh dan hemat biaya untuk memproses permintaan MessagesPratinjau dengan tautan ke referensi API tersedia — tekan Tab hingga fokus masuk ke kartu, Escape untuk kembali. dalam volume besar secara asinkron. Pendekatan ini sangat cocok untuk tugas yang tidak memerlukan respons langsung, dengan sebagian besar batch selesai dalam waktu kurang dari 1 jam sambil mengurangi biaya sebesar 50 persen dan meningkatkan “throughput” (laju pemrosesan).
Anda dapat menjelajahi referensi API secara langsungPratinjau dengan tautan ke referensi API tersedia — tekan Tab hingga fokus masuk ke kartu, Escape untuk kembali., selain panduan ini.
Cara kerja Message Batches API
Saat Anda mengirim permintaan ke Message Batches API:
- Sistem membuat Message Batch baru dengan permintaan Messages yang diberikan.
- Batch kemudian diproses secara asinkron, dengan setiap permintaan ditangani secara independen.
- Anda dapat melakukan polling status batch dan mengambil hasil ketika pemrosesan telah berakhir untuk semua permintaan.
Ini sangat berguna untuk operasi massal yang tidak memerlukan hasil langsung, seperti:
- Evaluasi berskala besar: Proses ribuan kasus uji secara efisien.
- Moderasi konten: Analisis konten buatan pengguna dalam volume besar secara asinkron.
- Analisis data: Hasilkan wawasan atau ringkasan untuk dataset besar.
- Pembuatan konten massal: Buat teks dalam jumlah besar untuk berbagai keperluan (misalnya, deskripsi produk, ringkasan artikel).
Batasan batch
- Sebuah Message Batch dibatasi hingga 100.000 permintaan Message atau berukuran 256 MB, mana yang tercapai lebih dahulu.
- Sistem memproses setiap batch secepat mungkin, dengan sebagian besar batch selesai dalam 1 jam. Anda dapat mengakses hasil batch ketika semua pesan telah selesai atau setelah 24 jam, mana yang lebih dahulu. Batch akan kedaluwarsa jika pemrosesan tidak selesai dalam 24 jam.
- Hasil batch tersedia selama 29 hari setelah pembuatan. Setelah itu, Anda masih dapat melihat batch tersebut, tetapi hasilnya tidak lagi tersedia untuk diunduh.
- Batch tercakup dalam sebuah Workspace di Claude Console. Anda dapat melihat semua batch (dan hasilnya) yang dibuat di dalam Workspace tempat permintaan Anda dijalankan.
- “Rate limit” (batas laju) berlaku untuk permintaan HTTP Batches API maupun jumlah permintaan di dalam batch yang menunggu untuk diproses. Lihat batas laju Message Batches API. Selain itu, pemrosesan dapat melambat berdasarkan permintaan saat ini dan volume permintaan Anda. Dalam hal ini, Anda mungkin melihat lebih banyak permintaan yang kedaluwarsa setelah 24 jam.
- Karena throughput yang tinggi dan pemrosesan bersamaan, batch dapat sedikit melampaui batas pengeluaran yang dikonfigurasi di Claude Console untuk Workspace Anda.
- Setiap permintaan dalam batch harus memiliki
max_tokensPratinjau dengan tautan ke referensi API tersedia — tekan Tab hingga fokus masuk ke kartu, Escape untuk kembali. setidaknya1.max_tokens: 0(pre-warming cache) tidak didukung di dalam batch, karena entri cache sementara yang ditulis selama pemrosesan batch kemungkinan besar akan kedaluwarsa sebelum permintaan lanjutan dijalankan.
Model yang didukung
Semua model aktif mendukung Message Batches API.
Apa yang dapat di-batch
Hampir semua permintaan yang dapat Anda buat ke Messages API dapat disertakan dalam batch. Ini termasuk:
- Vision
- Penggunaan alat, termasuk semua alat server (pencarian web, pengambilan web, eksekusi kode, konektor MCP, advisor, dan pencarian alat)
- Pesan sistem
- Percakapan multi-giliran
- Pemikiran diperpanjang
- Sebagian besar fitur beta
Karena setiap permintaan dalam batch diproses secara independen, Anda dapat mencampur berbagai jenis permintaan dalam satu batch.
Sejumlah kecil parameter Messages API tidak didukung dalam permintaan batch. Menyertakan salah satu dari parameter ini akan menghasilkan error validasi:
| Parameter | Alasan |
|---|---|
stream: true | Hasil batch dikembalikan sebagai satu file, bukan stream. |
speed (Mode cepat) | Mode cepat menyetel latensi sinkron, yang tidak berlaku untuk pemrosesan batch asinkron. |
fallbacks (Fallback sisi server) | Fallback sisi server tidak berlaku untuk batch. Untuk mencoba ulang permintaan yang ditolak, lihat Penolakan dalam Message Batches. |
max_tokens: 0 | Lihat Batasan batch. |
Harga
Batches API menawarkan penghematan biaya yang signifikan. Semua penggunaan dikenakan biaya sebesar 50 persen dari harga API standar.
| Model | Token batch | |
|---|---|---|
| Nama | Input | Output |
Claude Fable 5.2For demanding reasoning and long-horizon agentic work | US$4 / | US$20 / MTok |
Claude Opus 5.5For long-running agentic coding and knowledge work | US$2 / MTok | US$10 / MTok |
Claude Sonnet 5.5The best combination of speed and intelligence | US$1 / MTok | US$5 / MTok |
Claude Haiku 5.5For high-volume, latency-sensitive tasks such as classification, extraction, and routing | US$0,05 / MTokuntuk prompt hingga 100.000 token | US$0,25 / MTok |
US$0,25 / MTokuntuk prompt di atas 100.000 token | US$1,25 / MTok | |
US$4 / MTok | US$20 / MTok | |
US$5 / MTok | US$25 / MTok | |
US$5 / MTok | US$25 / MTok | |
US$5 / MTok | US$25 / MTok | |
US$5 / MTok | US$25 / MTok | |
US$2,50 / MTok | US$12,50 / MTok | |
US$2,50 / MTok | US$12,50 / MTok | |
US$2,50 / MTok | US$12,50 / MTok | |
US$2,50 / MTok | US$12,50 / MTok | |
US$2,50 / MTok | US$12,50 / MTok | |
Claude Opus 4.1 | US$7,50 / MTok | US$37,50 / MTok |
Claude Opus 4 | US$7,50 / MTok | US$37,50 / MTok |
US$1 / MTok | US$5 / MTok | |
US$1,50 / MTok | US$7,50 / MTok | |
US$1,50 / MTok | US$7,50 / MTok | |
Claude Sonnet 4 | US$1,50 / MTok | US$7,50 / MTok |
US$0,50 / MTok | US$2,50 / MTok | |
Cara menggunakan Message Batches API
Menyiapkan dan membuat batch Anda
Sebuah Message Batch terdiri dari daftar permintaan untuk membuat Message. Bentuk satu permintaan individual terdiri dari:
custom_idPratinjau dengan tautan ke referensi API tersedia — tekan Tab hingga fokus masuk ke kartu, Escape untuk kembali. unik untuk mengidentifikasi permintaan Messages. Harus terdiri dari 1 hingga 64 karakter dan hanya berisi karakter alfanumerik, tanda hubung, dan garis bawah (sesuai dengan^[a-zA-Z0-9_-]{1,64}$).- Objek
paramsPratinjau dengan tautan ke referensi API tersedia — tekan Tab hingga fokus masuk ke kartu, Escape untuk kembali. dengan parameter Messages APIPratinjau dengan tautan ke referensi API tersedia — tekan Tab hingga fokus masuk ke kartu, Escape untuk kembali. standar
Anda dapat membuat batchPratinjau dengan tautan ke referensi API tersedia — tekan Tab hingga fokus masuk ke kartu, Escape untuk kembali. dengan meneruskan daftar ini ke parameter requests:
from anthropic.types.message_create_params import MessageCreateParamsNonStreaming
from anthropic.types.messages.batch_create_params import Request
client = anthropic.Anthropic()
message_batch = client.messages.batches.create(
requests=[
Request(
custom_id="my-first-request",
params=MessageCreateParamsNonStreaming(
model="claude-opus-5-5",
max_tokens=1024,
messages=[
{
"role": "user",
"content": "Hello, world",
}
],
),
),
Request(
custom_id="my-second-request",
params=MessageCreateParamsNonStreaming(
model="claude-opus-5-5",
max_tokens=1024,
messages=[
{
"role": "user",
"content": "Hi again, friend",
}
],
),
),
]
)
print(message_batch)Dalam contoh ini, dua permintaan terpisah digabungkan dalam batch untuk pemrosesan asinkron. Setiap permintaan memiliki custom_id unik dan berisi parameter standar yang akan Anda gunakan untuk panggilan Messages API.
Ketika batch pertama kali dibuat, respons memiliki status pemrosesan in_progress.
{
"id": "msgbatch_01HkcTjaV5uDC8jWR4ZsDV8d",
"type": "message_batch",
"processing_status": "in_progress",
"request_counts": {
"processing": 2,
"succeeded": 0,
"errored": 0,
"canceled": 0,
"expired": 0
},
"ended_at": null,
"created_at": "2024-09-24T18:37:24.100435Z",
"expires_at": "2024-09-25T18:37:24.100435Z",
"cancel_initiated_at": null,
"results_url": null
}Melacak batch Anda
Field processing_statusPratinjau dengan tautan ke referensi API tersedia — tekan Tab hingga fokus masuk ke kartu, Escape untuk kembali. pada Message Batch menunjukkan tahap pemrosesan batch tersebut. Statusnya dimulai sebagai in_progress, lalu diperbarui menjadi ended setelah semua permintaan dalam batch selesai diproses dan hasilnya siap. Anda dapat memantau status batch Anda dengan mengunjungi Console, atau menggunakan endpoint pengambilan.
Polling untuk penyelesaian Message Batch
Untuk melakukan polling pada Message Batch, Anda memerlukan id-nya, yang diberikan dalam respons saat membuat batch atau dengan menampilkan daftar batch. Anda dapat mengimplementasikan loop polling yang memeriksa status batch secara berkala hingga pemrosesan berakhir:
import time
client = anthropic.Anthropic()
MESSAGE_BATCH_ID = "msgbatch_01HkcTjaV5uDC8jWR4ZsDV8d"
message_batch = None
while True:
message_batch = client.messages.batches.retrieve(MESSAGE_BATCH_ID)
if message_batch.processing_status == "ended":
break
print(f"Batch {MESSAGE_BATCH_ID} is still processing...")
time.sleep(60)
print(message_batch)Menampilkan daftar semua Message Batch
Anda dapat menampilkan daftar semua Message Batch di Workspace Anda menggunakan endpoint listPratinjau dengan tautan ke referensi API tersedia — tekan Tab hingga fokus masuk ke kartu, Escape untuk kembali.. Hasilnya dipaginasi. SDK mengambil halaman tambahan sesuai kebutuhan:
client = anthropic.Anthropic()
# Secara otomatis mengambil halaman berikutnya sesuai kebutuhan.
for message_batch in client.messages.batches.list(limit=20):
print(message_batch)Mengambil hasil batch
Setelah pemrosesan batch berakhir, setiap permintaan Messages dalam batch memiliki hasil. Ada empat jenis hasil:
| Jenis hasil | Deskripsi |
|---|---|
succeeded | Permintaan berhasil. Menyertakan hasil pesan. |
errored | Permintaan mengalami error dan pesan tidak dibuat. Kemungkinan error meliputi permintaan yang tidak valid dan error server internal. Anda tidak ditagih untuk permintaan ini. |
canceled | Pengguna membatalkan batch sebelum permintaan ini dapat dikirim ke model. Anda tidak ditagih untuk permintaan ini. |
expired | Batch mencapai batas kedaluwarsa 24 jam sebelum permintaan ini dapat dikirim ke model. Anda tidak ditagih untuk permintaan ini. |
Objek request_counts pada batch menghitung permintaan yang masih diproses dan permintaan untuk setiap jenis hasil.
Hasil batch tersedia untuk diunduh di properti results_urlPratinjau dengan tautan ke referensi API tersedia — tekan Tab hingga fokus masuk ke kartu, Escape untuk kembali. pada Message Batch dan, jika izin organisasi Anda memungkinkan, di Console. Karena hasilnya bisa berukuran besar, lakukan streaming hasilPratinjau dengan tautan ke referensi API tersedia — tekan Tab hingga fokus masuk ke kartu, Escape untuk kembali. daripada mengunduh semuanya sekaligus.
client = anthropic.Anthropic()
# Stream file hasil dalam potongan hemat memori, diproses satu per satu
for result in client.messages.batches.results(
"msgbatch_01HkcTjaV5uDC8jWR4ZsDV8d",
):
outcome = result.result
match outcome.type:
case "succeeded":
print(f"Success! {result.custom_id}")
case "errored":
if outcome.error.error.type == "invalid_request_error":
# Body permintaan harus diperbaiki sebelum mengirim ulang permintaan
print(f"Validation error {result.custom_id}")
else:
# Permintaan dapat langsung dicoba ulang
print(f"Server error {result.custom_id}")
case "expired":
print(f"Request expired {result.custom_id}")Hasilnya dalam format .jsonl, di mana setiap baris adalah objek JSON valid yang mewakili hasil dari satu permintaan dalam Message Batch. Untuk setiap hasil yang di-stream, Anda dapat melakukan tindakan yang berbeda tergantung pada custom_id dan jenis hasilnya. Berikut adalah contoh kumpulan hasil:
{"custom_id":"my-second-request","result":{"type":"succeeded","message":{"id":"msg_014VwiXbi91y3JMjcpyGBHX5","type":"message","role":"assistant","model":"claude-opus-5-5","content":[{"type":"text","text":"Hello again! It's nice to see you. How can I assist you today? Is there anything specific you'd like to chat about or any questions you have?"}],"stop_reason":"end_turn","stop_sequence":null,"usage":{"input_tokens":11,"output_tokens":36}}}}
{"custom_id":"my-first-request","result":{"type":"succeeded","message":{"id":"msg_01FqfsLoHwgeFbguDgpz48m7","type":"message","role":"assistant","model":"claude-opus-5-5","content":[{"type":"text","text":"Hello! How can I assist you today? Feel free to ask me any questions or let me know if there's anything you'd like to chat about."}],"stop_reason":"end_turn","stop_sequence":null,"usage":{"input_tokens":10,"output_tokens":34}}}}Jika hasil Anda memiliki error, result.error-nya akan diatur ke bentuk error standar.
Hasil batch menggunakan versi API dari permintaan yang membuat batch tersebut.
Membatalkan Message Batch
Anda dapat membatalkan Message Batch yang sedang diproses menggunakan endpoint pembatalanPratinjau dengan tautan ke referensi API tersedia — tekan Tab hingga fokus masuk ke kartu, Escape untuk kembali.. Segera setelah pembatalan, processing_status batch adalah canceling. Anda dapat menggunakan teknik polling yang sama seperti yang dijelaskan sebelumnya untuk menunggu hingga pembatalan selesai. Batch yang dibatalkan akan berakhir dengan status ended dan mungkin berisi hasil parsial untuk permintaan yang telah diproses sebelum pembatalan.
client = anthropic.Anthropic()
MESSAGE_BATCH_ID = "msgbatch_01HkcTjaV5uDC8jWR4ZsDV8d"
message_batch = client.messages.batches.cancel(
MESSAGE_BATCH_ID,
)
print(message_batch)Respons menunjukkan batch dalam status canceling:
{
"id": "msgbatch_013Zva2CMHLNnXjNJJKqJ2EF",
"type": "message_batch",
"processing_status": "canceling",
"request_counts": {
"processing": 2,
"succeeded": 0,
"errored": 0,
"canceled": 0,
"expired": 0
},
"ended_at": null,
"created_at": "2024-09-24T18:37:24.100435Z",
"expires_at": "2024-09-25T18:37:24.100435Z",
"cancel_initiated_at": "2024-09-24T18:39:03.114875Z",
"results_url": null
}Menggunakan caching prompt dengan Message Batches
Message Batches API mendukung “prompt caching” (caching prompt), yang memungkinkan Anda berpotensi mengurangi biaya dan waktu pemrosesan untuk permintaan batch. Diskon harga dari caching prompt dan Message Batches dapat digabungkan, memberikan penghematan biaya yang lebih besar lagi ketika kedua fitur digunakan bersama. Namun, karena permintaan batch diproses secara asinkron dan bersamaan, cache hit diberikan berdasarkan upaya terbaik (best-effort). Pengguna biasanya mengalami tingkat cache hit berkisar antara 30 persen hingga 98 persen, tergantung pada pola lalu lintas mereka.
Untuk memaksimalkan kemungkinan cache hit dalam permintaan batch Anda:
- Sertakan blok
cache_controlyang identik di setiap permintaan Message dalam batch Anda. - Pertahankan aliran permintaan yang stabil untuk mencegah entri cache kedaluwarsa setelah masa berlakunya yang 5 menit.
- Susun permintaan Anda agar berbagi konten cache sebanyak mungkin.
Contoh implementasi caching prompt dalam batch:
from anthropic.types.message_create_params import MessageCreateParamsNonStreaming
from anthropic.types.messages.batch_create_params import Request
client = anthropic.Anthropic()
message_batch = client.messages.batches.create(
requests=[
Request(
custom_id="my-first-request",
params=MessageCreateParamsNonStreaming(
model="claude-opus-5-5",
max_tokens=1024,
system=[
{
"type": "text",
"text": "You are an AI assistant tasked with analyzing literary works. Your goal is to provide insightful commentary on themes, characters, and writing style.\n",
},
{
"type": "text",
"text": "<the entire contents of Pride and Prejudice>",
"cache_control": {"type": "ephemeral"},
},
],
messages=[
{
"role": "user",
"content": "Analyze the major themes in Pride and Prejudice.",
}
],
),
),
Request(
custom_id="my-second-request",
params=MessageCreateParamsNonStreaming(
model="claude-opus-5-5",
max_tokens=1024,
system=[
{
"type": "text",
"text": "You are an AI assistant tasked with analyzing literary works. Your goal is to provide insightful commentary on themes, characters, and writing style.\n",
},
{
"type": "text",
"text": "<the entire contents of Pride and Prejudice>",
"cache_control": {"type": "ephemeral"},
},
],
messages=[
{
"role": "user",
"content": "Write a summary of Pride and Prejudice.",
}
],
),
),
]
)Dalam contoh ini, kedua permintaan dalam batch menyertakan pesan sistem yang identik dan teks lengkap Pride and Prejudice yang ditandai dengan cache_control untuk meningkatkan kemungkinan cache hit.
Alat server dan loop agentik
Semua alat server (pencarian web, pengambilan web, eksekusi kode, konektor MCP, advisor, dan pencarian alat) berfungsi dalam permintaan batch. Worker batch menjalankan loop agentik sisi server yang sama dengan Messages API sinkron.
Karena tidak ada koneksi terbuka yang perlu dipertahankan, loop batch dapat menjalankan lebih banyak iterasi dalam satu giliran dibandingkan permintaan sinkron sebelum mengembalikan stop_reason: "pause_turn". Jika hasil batch kembali dengan pause_turn, giliran tersebut belum selesai; Anda dapat melanjutkannya dengan mengirimkan konten asisten yang dijeda dalam permintaan lanjutan (batch atau sinkron) persis seperti yang ditunjukkan dalam pola kelanjutan pause_turn.
Worker batch juga membatasi web_search untuk setiap organisasi sehingga pemrosesan batch dengan konkurensi tinggi tidak menghabiskan batas laju pencarian web organisasi Anda. Batch mencoba ulang permintaan yang dibatasi secara otomatis; Anda tidak perlu menanganinya sendiri, tetapi batch pencarian web yang sangat besar mungkin memerlukan waktu lebih lama untuk selesai.
Output diperpanjang (beta)
Header beta output-300k-2026-03-24 menaikkan batas max_tokens menjadi 300.000 untuk permintaan batch yang menggunakan Claude Opus 5.5, Claude Opus 5, Claude Opus 4.8, Claude Opus 4.7, Claude Opus 4.6, Claude Sonnet 5.5, Claude Sonnet 5, Claude Sonnet 4.6, atau Claude Haiku 5.5. Sertakan header tersebut untuk menghasilkan output yang jauh lebih panjang daripada batas max_tokens standar sebesar 128k dalam satu giliran.
Gunakan output diperpanjang untuk pembuatan konten panjang seperti draf sepanjang buku dan dokumentasi teknis, ekstraksi data terstruktur yang menyeluruh, scaffold pembuatan kode berukuran besar, dan rantai penalaran yang panjang.
Satu pembuatan 300k token dapat memerlukan waktu lebih dari satu jam untuk selesai, jadi rencanakan pengiriman batch Anda dengan mempertimbangkan jendela pemrosesan 24 jam. Harga batch standar (50 persen dari harga API standar) berlaku.
from anthropic.types.beta.message_create_params import MessageCreateParamsNonStreaming
from anthropic.types.beta.messages.batch_create_params import Request
client = anthropic.Anthropic()
message_batch = client.beta.messages.batches.create(
betas=["output-300k-2026-03-24"],
requests=[
Request(
custom_id="long-form-request",
params=MessageCreateParamsNonStreaming(
model="claude-opus-5-5",
max_tokens=300_000,
messages=[
{
"role": "user",
"content": "Write a comprehensive technical guide to building distributed systems, covering architecture patterns, consistency models, fault tolerance, and operational best practices.",
}
],
),
),
],
)
print(message_batch)Praktik terbaik untuk batching yang efektif
Untuk menggunakan Batches API secara efektif:
- Pantau status pemrosesan batch secara teratur dan implementasikan logika percobaan ulang yang sesuai untuk permintaan yang gagal.
- Gunakan nilai
custom_idyang bermakna untuk memudahkan pencocokan hasil dengan permintaan, karena urutan tidak dijamin. - Pertimbangkan untuk memecah dataset yang sangat besar menjadi beberapa batch agar lebih mudah dikelola.
- Lakukan uji coba satu bentuk permintaan dengan Messages API untuk menghindari error validasi.
Pemecahan masalah umum
Jika mengalami perilaku yang tidak terduga:
- Pastikan total ukuran permintaan batch tidak melebihi 256 MB. Jika ukuran permintaan terlalu besar, Anda mungkin mendapatkan error 413
request_too_large. - Periksa bahwa Anda menggunakan model yang didukung untuk semua permintaan dalam batch.
- Pastikan setiap permintaan dalam batch memiliki
custom_idyang unik. - Pastikan bahwa belum lewat 29 hari sejak waktu
created_atbatch (bukan waktuended_atpemrosesan). Setelah 29 hari, hasil tidak lagi tersedia untuk diunduh. - Konfirmasikan bahwa batch belum dibatalkan.
Perhatikan bahwa kegagalan satu permintaan dalam batch tidak memengaruhi pemrosesan permintaan lainnya.
Penyimpanan dan privasi batch
-
Isolasi Workspace: Batch diisolasi di dalam Workspace tempat batch tersebut dibuat. Batch hanya dapat diakses oleh permintaan API di Workspace yang sama, atau oleh pengguna dengan izin untuk melihat batch Workspace di Console.
-
Ketersediaan hasil: Hasil batch tersedia selama 29 hari setelah batch dibuat, memberikan waktu yang cukup untuk pengambilan dan pemrosesan.
FAQ
Batch mungkin memerlukan waktu hingga 24 jam untuk diproses, tetapi banyak yang selesai lebih cepat. Waktu pemrosesan sebenarnya bergantung pada ukuran batch, permintaan saat ini, dan volume permintaan Anda. Ada kemungkinan batch kedaluwarsa dan tidak selesai dalam 24 jam.
Lihat Model yang didukung untuk daftar model yang didukung.
Ya, Message Batches API mendukung hampir semua fitur yang tersedia di Messages API, termasuk sebagian besar fitur beta. Sejumlah kecil parameter (stream, speed, fallbacks, dan max_tokens: 0) tidak didukung. Lihat Apa yang dapat di-batch untuk daftar lengkapnya.
Message Batches API menawarkan diskon 50 persen untuk semua penggunaan dibandingkan dengan harga API standar. Ini berlaku untuk token input, token output, dan token khusus apa pun. Untuk informasi lebih lanjut tentang harga, kunjungi Harga.
Tidak, setelah batch dikirimkan, batch tersebut tidak dapat diubah. Jika Anda perlu melakukan perubahan, batalkan batch saat ini dan kirimkan yang baru. Perhatikan bahwa pembatalan mungkin tidak langsung berlaku.
Message Batches API memiliki batas laju berbasis permintaan HTTP selain batas pada jumlah permintaan yang perlu diproses. Lihat batas laju Message Batches API. Penggunaan Batches API tidak memengaruhi batas laju di Messages API.
Saat Anda mengambil hasil, setiap permintaan memiliki field result yang menunjukkan apakah permintaan tersebut succeeded, errored, canceled, atau expired. Untuk hasil errored, informasi error tambahan akan diberikan. Lihat objek respons error di referensi APIPratinjau dengan tautan ke referensi API tersedia — tekan Tab hingga fokus masuk ke kartu, Escape untuk kembali..
Message Batches API dirancang dengan langkah-langkah privasi dan pemisahan data yang kuat:
- Batch dan hasilnya diisolasi di dalam Workspace tempat batch tersebut dibuat. Ini berarti batch hanya dapat diakses oleh permintaan API di Workspace yang sama.
- Setiap permintaan dalam batch diproses secara independen, tanpa kebocoran data antar permintaan.
- Hasil hanya tersedia untuk waktu terbatas (29 hari), dan mengikuti kebijakan retensi data Anthropic.
- Pengunduhan hasil batch di Console dapat dinonaktifkan di tingkat organisasi atau per workspace.
Ya, caching prompt dapat digunakan dengan Message Batches API. Namun, karena permintaan batch asinkron dapat diproses secara bersamaan dan dalam urutan apa pun, cache hit diberikan berdasarkan upaya terbaik (best-effort).
Ketersediaan
Claude API
- API
- Messages API
- Managed Agents Tidak didukung
- Model
- Semua model
Claude Platform on AWS
- API
- Messages API
- Managed Agents Tidak didukung
- Model
- Semua model
Claude Models on Google Cloud (Anthropic managed)
- API
- Messages API
- Managed Agents Tidak didukung
- Model
- Semua model
Penanganan data
Ikhtisar penanganan dataEndpoint yang berlaku
/v1/messages/batches
Retensi 29 hari; penyimpanan asinkron diperlukan. Pelajari lebih lanjut
Pemrosesan batch menyimpan data permintaan dan respons hingga 29 hari setelah pembuatan batch. Anda dapat menghapus batch pesan kapan saja setelah pemrosesan menggunakan endpoint DELETE /v1/messages/batches/{batch_id}Pratinjau dengan tautan ke referensi API tersedia — tekan Tab hingga fokus masuk ke kartu, Escape untuk kembali.. Untuk menghapus batch yang sedang diproses, batalkan terlebih dahulu. Pemrosesan asinkron memerlukan penyimpanan sisi server untuk input dan output hingga batch selesai dan hasil diambil.
Langkah selanjutnya
Dapatkan sitasi alami untuk aplikasi RAG dengan menyediakan hasil pencarian beserta atribusi sumber.
Kurangi biaya dan latensi dengan melakukan caching prefiks prompt yang digunakan bersama di seluruh permintaan dalam batch.
Apakah halaman ini membantu?