コストとインテリジェンスの最適化
Claude Platformでコストとインテリジェンスのバランスを取る方法を、プロンプトキャッシング、エフォート、モデル選択、出力上限、マルチモデル戦略の測定結果とともに解説します。
最も高性能なモデルは大規模に運用すると高価になりすぎることがあり、最も安価なモデルは品質が不十分な場合があります。Claude Platformでは、このトレードオフを直接制御できます。リクエストごとにモデル、エフォートレベル、アーキテクチャを選択できるため、ワークロードをコストとインテリジェンスのフロンティア上のほぼどこにでも配置できます。
コストとインテリジェンスは通常、一方で他方を買うフロンティアとして描かれます。このページの最初のグループのレバーは、品質に触れずにコストを削減することでワークロードをそのフロンティアに近づけます。フロンティアに沿って移動するのは2番目のグループだけです。
レバーには2種類あります。
- 無償の改善(Free wins) は品質に触れずに支出を削減します。「prompt caching」(プロンプトキャッシング)、トークンの衛生管理、実行中のモデルに対するプロンプト監査、そして最大24時間待てる作業向けの50%割引のバッチ処理です。
- トレードオフ(Tradeoffs) は、コストとインテリジェンスを交換します。モデル選択、エフォート、出力上限とセッション予算、経過時間の表示、マルチモデルアーキテクチャです。
ワークスペースの支出制限は、両方の種類のレバーに対する最後の防衛線です。予算と出力上限を設定するを参照してください。
各レバーには、測定結果と、それが効果を発揮する条件が示されています。Anthropicの測定では、通常はプロンプトキャッシングが最大のレバーでした。マルチモデルのレバーは適用範囲がより限定的です。2つ目のモデルは、アドバイザーとオーケストレーターという2つの形態で測定されました。
ここから始める
自分の状況に合う行を見つけてください。
| 状況 | やること | 参照先 |
|---|---|---|
| あらゆるワークロード、あらゆるモデル | プロンプトキャッシングを有効にし、不要なトークンを削る。どちらも無償 | 繰り返されるコンテキストをキャッシュする · トークンを削る |
| ターン間で人が待機する | リクエスト間の間隔を数え、そのセクションの表からキャッシュ期間を選ぶ | キャッシュ期間を選ぶ |
| コストが高すぎるが品質は問題ない | 現在使用しているモデルでより低いエフォートを試す | エフォートを調整する |
| 最新モデルを使用していない | アップグレードする。そのセクションのコーディングベンチマークでは、新しいモデルはそれぞれ前のモデルと同等以上のタスクを解決し、通常は解決したタスクあたりのコストも低かった | モデルをアップグレードする |
| モデルを選択または切り替えている | トークンあたりではなく、完了タスクあたりのコストで比較する | モデルを比較する |
| 出力を検証できる大量の作業 | まずClaude Haiku 5.5を試す | モデルを比較する |
| 品質が十分でない | エフォートを下げていた場合は元に戻す。そうでない場合は、1つ上のティアをデフォルトのエフォートで試す | エフォートを調整する · モデルを比較する |
試行がstop_reason: max_tokensで終わる | max_tokensを64,000に引き上げる。Anthropicのテストでは、これより長いターンは約18,000件中7件のみで、解決タスクあたりのコストは上昇しなかった | 予算を設定する |
| 出力をチェックできる(テスト、検証器) | lowエフォートで実行し、失敗したものをhighで再実行する。Anthropicのテストでは、すべてをhighで実行する場合と同じ合格率で、コストが約40%低くなった | 失敗を再実行する |
| 少数の非常に高コストな実行があるエージェントループ | Claude Managed Agentsのセッション予算とワークスペースの支出制限を設定する | 予算を設定する |
| エージェントの実行をより早く終わらせたい | 時間が重要であることをモデルに伝え、経過時間を表示する。Anthropicのテストでは、スコアを数ポイント犠牲にして所要時間が7%から47%短縮された | モデルに経過時間を表示する |
| 低コストモデルが難しい判断でのみ行き詰まる | アドバイザーを試す。アドバイザーが役立つのは、モデルがそれに相談したときだけ。まずアドバイザーのモデル単体を低エフォートで価格評価し、相談率を測定する | アドバイザー戦略 |
| 作業が1つのコンテキストウィンドウを超える | 作業を分割し、各部分を低コストのモデルに渡す | オーケストレーター戦略 |
これらの結果はAnthropic社内のもの(参照したベンチマーク)であり、方向性を示すもので保証ではありません。4ステップの方法で自分のワークロードで測定してください。
品質を落とさずに支出を削減する
プロンプトキャッシング、トークンの衛生管理、バッチ処理、現在のモデルに対するプロンプト監査は、いずれも出力品質を下げずに支払額を下げます。注意点が2つあります。バッチ処理は割引と引き換えにレイテンシを犠牲にします。また、トークン衛生のレバーであるコンテキスト編集は、このセクションで測定した短い実行では節約額よりもコストのほうが大きくなり、長い実行では何も変わりませんでした。
繰り返されるコンテキストをキャッシュする
キャッシングが最優先である理由
他のどのレバーよりも先にプロンプトキャッシングを有効にしてください。デフォルトでは、エージェント型タスクの各ターンで、増え続ける会話全体、つまりシステムプロンプト、ツール定義、それまでのすべてのターンが再送信されるためです。
- 40ターンのタスクでは最初のターンが40回送信されるため、タスクのコストはおおよそターン数の2乗に比例して増加します。
- キャッシングは再送信を止めるわけではありませんが、各再送信のコストは約10分の1になり(Claude Opus 5.5とClaude Sonnet 5.5では20分の1、Claude Fable 5.2、Claude Mythos 5.2、Claude Fable 5.1、およびClaude Mythos 5.1では40分の1)、処理も速くなります。
- プレフィックスは入力価格ではなくキャッシュ読み取り料金で課金され、各ターンで1.25倍のキャッシュ書き込み料金が発生するのは新しい部分だけです。
ベータ版のメッセージスレッドを使用すると、スレッドが存続している間、つまりそのスレッドの最後のリクエストから5分が経過するまでは、再送信が止まります。スレッドが下げるのは最初のトークンまでの時間であり、コストではありません。モデルは引き続き会話全体を読み込むため、すべてのリクエストでcache_controlを指定し続けてください。スレッドは、コンパクションも、ほとんどのコンテキスト編集もサポートしていません。
良好な状態の目安。
- 実際のトラフィックの丸1日分で見ると、エージェントループは入力の中央値84%をキャッシュから読み取り、上位10%はコーディングかどうかにかかわらず94%以上を読み取っていました17。
- タスクが深く進んだ段階では、よく構築されたループが正規価格を支払うのは入力の1%未満です。
- 約80%を下回る場合は、キャッシュを壊している要因を探してください(キャッシュを壊すものを参照)。
AnthropicはDeepResearch Bench II7の実行をキャッシュ割引ありとなしで価格評価しました。
キャッシュのデフォルトの有効期間は5分で、エージェントループのターンは数秒間隔であるため、割引はすべてのターンでほとんどのトークンに適用されます。キャッシングのグラフの実行では、入力トークンの89%から93%がキャッシュから読み取られました。
他の実行で記録されたトークン数を同じ方法で価格評価すると(各モデルはデフォルトのエフォート)、キャッシングなしの場合のタスクあたりの平均トークンコストは次のようになります。
| ベンチマーク | モデル | キャッシングなし |
|---|---|---|
| SWE-bench Pro3 | Claude Opus 5.5 | キャッシングありのコストの3.3倍 |
| SWE-bench Pro | Claude Sonnet 5.5 | キャッシングありのコストの3.1倍 |
| Claude Managed Agentsのタスクセット25(セッションが短い) | Claude Haiku 5.5 | キャッシングありのコストの1.7倍 |
| バグレポートをトリアージする小規模なエージェント(入力とコンテキストのトークンを削る)16 | Claude Sonnet 5.5 | キャッシングありのコストの7.3倍 |
節約額はタスクに要するターン数によって異なります。ループが短いほど再読み取りが少なくなるためです。
キャッシュ期間を選ぶ
ループがターンの間に人を待つ場合、約20ターンに1回が5分から1時間の一時停止の後に続き、1時間を超える間隔がほとんどないのであれば、1時間のキャッシュ期間を使用してください。Claude Fable 5.2、Claude Fable 5.1、Claude Opus 5.5、Claude Sonnet 5.5では、5分のキャッシュをウォーム状態に保つほうがコストが低くなる場合があります。
1時間の期間は書き込みコストが高くなります(入力価格の1.25倍ではなく2倍)。どちらの期間でも、キャッシュミスが発生するとプレフィックス全体が読み取り価格ではなく書き込み価格で課金されます。
キャッシュ期間は会話の開始時に選択してください。Anthropicのテストでは、5分の期間でキャッシュされた会話に1時間の期間を指定して追加した最初のターンは、プロンプト全体を1回再書き込みしました。コストはClaude Opus 5.5の100,000トークンで$0.80 USDで、キャッシュを読み取ったターンの入力は$0.02 USDでした16。
Anthropicは、バグレポートをトリアージする小規模なエージェント(入力とコンテキストのトークンを削る)を、人による遅延をシミュレートするために一部のターンの前に一時停止を挿入して測定しました16。測定したすべての設定で、精度は実行ごとのノイズの範囲内にとどまりました。Anthropicは、5分のキャッシュをウォーム状態に保つための追加リクエスト(キープアライブリクエスト)も測定しました。
判断するには、会話内の連続するリクエスト間の間隔を数え、次の表で該当する行を見つけてください。モデル列で自分のモデルを名指ししている行は、モデル列が「すべて」の行よりも優先されます。
| リクエスト間の間隔 | モデル | 使用するもの |
|---|---|---|
| ターンが数秒間隔で届く | すべて | 5分のデフォルト |
| 約20回に1回以上の間隔が5分から1時間の間にあり、1時間を超える間隔はほとんどない | すべて | 1時間の期間 |
| 1時間を超える間隔がよくある:5分を超える一時停止の約60%以上が1時間も超える | すべて | 5分のデフォルト |
| 5分から1時間の間隔が20回に1回か2回だけで、約30分を超えるものはない | Claude Opus 5.5およびClaude Sonnet 5.5 | 1時間の期間ではなく、ウォーム状態に保った5分のキャッシュ |
| すべてのターンの前に5分を超える一時停止があり、1時間を超える一時停止はほとんどない | Claude Opus 5.5およびClaude Sonnet 5.5 | 1時間の期間 |
| 一時停止が数分続く | Claude Fable 5.1およびClaude Fable 5.2 | 1時間の期間ではなく、ウォーム状態に保った5分のキャッシュ |
| 一時停止が1時間近く続き、1時間を超えるものはほとんどない | Claude Fable 5.1およびClaude Fable 5.2 | 1時間の期間 |
Claude Haiku 5.5では、「すべて」の行を使用してください。Claude Haiku 5.5は入力価格の標準の0.1倍でキャッシュを読み取り、これはClaude Opus 5.5やClaude Sonnet 5.5の0.05倍の2倍であるため、定価に基づくと、入力価格に対する各キープアライブリクエストのコストはこれら2つのモデルの2倍になります。別のテストでは、max_tokens: 0のリクエストがそのキャッシュを更新しました(参照16)。
行ごとの理由。
- すべてのモデル。
- ターンが数秒間隔で届く。 一時停止がない場合、デフォルトはClaude Sonnet 5.5で1時間の設定より約19%、Claude Opus 5.5で約15%から18%低コストでした。
- 約20回に1回以上の間隔。 トークン数から算出した損益分岐点は、Claude Sonnet 5.5とClaude Opus 5.5で約30ターンに1回です。
- 1時間を超える間隔がよくある。 どのモデルでも、1時間を超える間隔があると両方の期間が失効し、1時間の設定ではより高い書き込み価格でプレフィックスを再書き込みすることになります。
- Claude Opus 5.5およびClaude Sonnet 5.5(キャッシュ読み取りのコストは入力価格の0.05倍)。
- 20回に1回か2回の間隔だけ。 デフォルトのエフォートでは、キープアライブリクエストは1時間の期間よりClaude Opus 5.5で8%から13%、Claude Sonnet 5.5で8%から16%低コストでした。
- すべてのターンの前に一時停止がある。 Claude Opus 5.5とClaude Sonnet 5.5では、キープアライブリクエストは1時間の期間と比べて、6分の一時停止で数パーセント、45分の一時停止で50%以上高コストでした。
- Claude Fable 5.1およびClaude Fable 5.2(キャッシュ読み取りのコストは入力価格の0.025倍)。
次のグラフは、Claude Sonnet 5.5における一時停止ターンの割合に対するセッションあたりのコストをプロットしたものです。
次のグラフは、Claude Fable 5.1、Claude Opus 5.5、Claude Sonnet 5.5について、キープアライブリクエストでウォーム状態に保った5分のキャッシュを追加したものです。
知っておくべきこと。
- 20回に1回というルールは、約30ターンに1回という損益分岐点に対して余裕を持たせています。Claude Sonnet 5.5では、20ターンに1回の場合、5分と1時間の設定のコストは実行ごとのばらつきの範囲内でほぼ同じでした。10ターンに1回の場合、5分の設定は54%高コストでした(参照16)。
- Claude Sonnet 5.5とClaude Opus 5.5以外のモデルでも、価格から見て損益分岐点は同じ範囲になります。現行のすべてのモデルは同じキャッシュ書き込み倍率を使用しており、Claude Fable 5.2、Claude Mythos 5.2、Claude Fable 5.1、Claude Mythos 5.1、Claude Opus 5.5、Claude Sonnet 5.5以外のすべてのモデルは同じ読み取り価格を使用しています。
- Claude Opus 5.5とClaude Sonnet 5.5のキープアライブの数値は、
max_tokens: 1で送信したリクエストによるものです。max_tokens: 0のリクエストも、Claude Fable 5.1、Claude Opus 5.5、Claude Sonnet 5.5、Claude Haiku 5.5で既存のキャッシュエントリを更新しました(参照16)。
キャッシュをウォーム状態に保つには、次のようにします。
- 前回のリクエストを取り、
max_tokensを0に設定し、streamが設定されていれば削除します。プレフィックスは1バイトも変更しないでください。 - リクエストのヘッダーを本文とともに再送信します。元のリクエストの
anthropic-betaヘッダーがないと、再送した本文内のベータ限定フィールドは拒否されます。 - 前回のリクエストの開始から4分以内に送信し、その後も次のターンが届くかセッションが終了するまで4分ごとに送信します。キャッシュの5分の有効期間はリクエストの開始時点から計測されるため、開始時点から数えてください。
これが事前ウォーミングリクエストです。キャッシュの有効期間を更新し、出力を返さず、コストはキャッシュ読み取りとほとんど変わりません。キャッシュが失効した後は、キープアライブかどうかにかかわらず、次のリクエストがキャッシュ書き込み価格でプレフィックスを再書き込みします16。
max_tokens: 0のリクエストは、次の場合に拒否されます。
- リクエストで
thinking.type: "enabled"(Claude Fable 5.1およびClaude Fable 5.2のデフォルトの適応型思考は問題ありません)、構造化出力、または強制ツール選択を設定している場合(その制限事項)。そのようなワークロードでは、代わりに1時間の期間を購入してください。 - リクエストにトップレベルの
compactionパラメータが含まれている場合。そのため、オンデマンドのコンパクションのコンパクションリクエストをキープアライブリクエストとして再送信しないでください。
# 最後のリクエスト開始から4分以内に(生成に費やした時間もキャッシュの
# 有効期間に含まれます)、max_tokensを0に設定してそのリクエストを再送信し、
# streamは削除します(max_tokens: 0のリクエストはストリーミングできません)。
# anthropic-betaヘッダーを含め、元のリクエストと同じヘッダーを送信します。
jq '.max_tokens = 0 | del(.stream)' last_request.json | \
curl https://api.anthropic.com/v1/messages \
-H "x-api-key: $ANTHROPIC_API_KEY" \
-H "anthropic-version: 2026-10-21" \
-H "content-type: application/json" \
--data-binary @-キャッシングを有効にする
セットアップにはほとんど手間がかかりません。自動キャッシングはブレークポイントを自動的に配置します。それ以外の場合は、Claude Codeに同梱されているClaude APIスキルを使えば、1つのプロンプトで既存の統合にキャッシングを追加できます。
Claude Code
Claude Codeにキャッシングの追加を任せる
/claude-api この統合にプロンプトキャッシングを追加してくださいこれらの測定を行ったコードでは、スキルはシステムブロックに1つ、直近2つのユーザーターンにそれぞれ1つずつブレークポイントを配置しました。配置場所については明示的なキャッシュブレークポイントで説明しています。
キャッシュを壊すもの
ステータス行など、リクエストごとに変わるテキストは、最後のキャッシュブレークポイントの後にある最新のユーザーターンの末尾に置いてください。以降のリクエストでは、それ以前の各ターンを、古いステータス行を含めて送信したとおりのまま残してください。キャッシュを無効化する変更は、コンパクション後の最初のリクエストなどの自然な区切りで行ってください。プレフィックスチェックを実行するモデルでは、システムプロンプトまたはtoolsを編集するリクエストは、そのような区切りであっても400エラーになることがあります。プラットフォームがサポートしている場合は、それらの変更を代わりにmessagesで送信してください(プレフィックスチェックに失敗せずにツールや指示を変更するを参照)。キャッシュはリクエストを順番に(ツール、システムプロンプト、メッセージの順)バイト単位で完全一致させるプレフィックスマッチであるため、どこかで変更があるとそれ以降のすべてが無効になります。
会話の途中で何かを変更する必要がある場合は、モデルがサポートしていれば、キャッシュを維持する形式で送信してください。Anthropicは、Claude Fable 5.1、Claude Opus 5.5、Claude Sonnet 5.5で、思考ブロックを含むモデル自身の最初の返信を保持した約100,000トークンのキャッシュ済みの会話において、各変更を両方の方法でテストしました。システムプロンプトの編集には、同じテキストを会話途中のシステムメッセージとして送った場合の約25〜50倍のコストがかかりました。トップレベルでのエフォート変更には、メッセージ内で変更した場合の20〜40倍のコストがかかりました18。
変更によってキャッシュが無効になると、プレフィックスのうち影響を受ける部分は読み取られる代わりに再度書き込まれます。5分間のキャッシュへの書き込みのコストは入力価格の1.25倍で、キャッシュ読み取りのコストは入力価格のごく一部です。定価では、キャッシュ読み取りのコストが入力価格の0.025倍であるClaude Fable 5.2、Claude Mythos 5.2、Claude Fable 5.1、およびClaude Mythos 5.1では、その書き込みのコストは読み取りの50倍です。Claude Opus 5.5とClaude Sonnet 5.5(0.05倍)では読み取りの25倍、Claude Haiku 5.5(0.1倍)では12.5倍です。グラフの数値はMessages APIによるものです。
Claude Opus 5.5とClaude Fable 5.2でのAnthropicの別のテストでは、システムプロンプトまたはtoolsを編集し、以前の思考ブロックを送り返したリクエストは、それでも400エラーになりました。トークンしきい値でのコンパクション後の最初のリクエストであっても、エラーになりました18。
推奨事項。
- タイムスタンプやキュー内の位置など、リクエストごとに変わるものを安定したプレフィックスの前に置かないでください。すべてのリクエストが完全なキャッシュ書き込みになってしまいます。Anthropicのテストでは、システムプロンプトの先頭に25トークンのステータス行を置くと、各リクエストが会話全体を書き込みました。最新のユーザーターンの末尾に移すと、キャッシュ読み取りはそのまま維持されました18。
- プロンプトキャッシングのページには、
effort、思考の設定、speedの設定、システムプロンプト、ツール定義の変更など、キャッシュを無効化する変更が一覧になっています。出力形式を変更すると、その会話のキャッシュが無効になります(構造化出力を参照)。 - どのモデルがそれぞれの形式をサポートしているかは、会話途中のシステムメッセージと、ベータ版であるメッセージごとのエフォートで確認してください。
- キャッシュを無効化する変更の後は、キャッシュ読み取りが減っていないことを確認してください。減っている場合は、キャッシュ診断でプレフィックスがどこで分岐したかを確認できます。
Anthropicは、以前のモデルで、入力とコンテキストのトークンを削るで説明しているイシュートリアージエージェントの長いセッションにおいて、このような変更をいつ行うべきかを測定しました18。変更を行ったセッションは低エフォートで開始し、その後デフォルトのエフォートに切り替えてツールを1つ追加しました。2つの変更をセッションの途中で行うと、コストが最も高くなりました。コンパクションをトリガーしたリクエストで行うと、ほぼ同じくらいのコストがかかりました。そのリクエストは依然として会話全体を保持しており、それを再度キャッシュに書き込んだためです。次のリクエスト、つまりコンパクション後の最初のリクエストで行うと、コストが最も低くなりました。精度は実行ごとのノイズの範囲内でした。そのモデルはプレフィックスチェックを実行しません。実行するモデルでは、代わりにメッセージ内でツールを追加してください。ベータ版のツールを追加、削除、またはオフにするを参照してください。次のグラフには、変更なしのセッションも示しています。これらは同条件のベースラインではありません。全体を通してデフォルトのエフォートで実行され、そのうち2つが2回目のコンパクションを行ったためです。
入力とコンテキストのトークンを削る
ほとんどのエージェントリクエストには、回答にまったく影響しないトークンが含まれています。それらを削っても出力品質が損なわれることはめったにありませんが、ここで挙げるすべてのレバーが測定時に費用を節約したわけではありません。見るべき場所は2つあります。
- 入力の削減。
- Webフェッチツールの動的フィルタリングは、取得したページから定型文を除外します。
- 画像のリサイズは、ビジョン入力を適切なサイズにします。
- 遅延読み込みを伴うツール検索は、必要なときにのみツール定義を読み込みます(使わないツール定義を遅延させるを参照)。
- プログラマティックツール呼び出しにより、Claudeはコードから複数のツール呼び出しを実行でき、フィルタリングされた結果だけがコンテキストに入ります。そのドキュメントでは、エージェント型検索ベンチマークで入力トークンが24%減少し、スコアも向上したと報告されています。
- ツールコンテキストの管理では、ツール検索、プログラマティックツール呼び出し、プロンプトキャッシング、コンテキスト編集を比較しています。
- コンテキストのライフサイクル。 コンテキスト編集は古くなったツール結果をクリアし、しきい値付きの自動コンパクションは長いループが履歴全体を持ち越すのを防ぎます。
これらのレバーはキャッシュや互いに影響し合うため、正味の効果で判断し、キャッシュ診断を使って、各変更の後もキャッシュ済みのプレフィックスが維持されていることを確認してください。
以前のモデルでの測定28では、Anthropicはこれらのレバーを、公開リポジトリのスクリーンショット付きの実際のバグレポート20件を処理するイシュートリアージエージェントと、同じ作業でトークン数が2.6倍の長いバリアントで実行しました。キャッシングを有効にした状態で、入力の削減(画像のリサイズとツール検索)により、両方の実行のコストがさらに削減されました。
使わないツール定義を遅延させる
リクエストに添付されたすべてのツール定義は毎ターンの入力となり、いくつかのMCPサーバーを追加するだけで数百個にもなります。
以前のモデルでの測定27では、Anthropicはトリアージエージェントを、独自の2つのツールに加えて公開MCPサーバーの実際のツール定義のカタログ(合計最大502個のツール)とともに実行し、すべてを読み込む場合と、追加分をツール検索の背後でdefer_loadingとしてマークする場合を比較しました。
- すべての定義を読み込んだ場合、カタログが大きくなるにつれて実行コストが上昇し、各リクエストのスキーマトークンに比例しました。
- ツール検索を使用した場合、実行コストはどのカタログサイズでも横ばいでした。
- 精度はどちらの場合も同じ範囲で、モデルが誤ったツールを呼び出すことはありませんでした。つまり、この規模では使用されない定義は正確性ではなくコストに影響します。
- 最もよく使う3〜5個のツールは読み込んだままにしておくと、Claudeは先に検索することなくそれらを呼び出せます。
- 同じ以前のモデルで、公開GitHub MCPサーバーのツールセットを遅延させる(MCPコネクタで
default_config: {defer_loading: true}を指定する)ことで、同じ精度で実行コストが削減されました。リクエストにツール検索ツールがない状態でツールセットを遅延させた場合、サーバーのツールを呼び出した実行はありませんでした。
データファイルをプロンプトに入れない
モデルが表に対して計算を行う必要がある場合は、貼り付けるのではなく、Files APIでアップロードし、コード実行でモデルにクエリさせてください。Anthropicは、1,862行の公開CSVに対して25の集計質問15(合計、フィルタ付きカウント、グループ化、日付フィルタ)を行い、正解はpandasで計算しました。
プロンプトに貼り付けた場合、表はリクエストごとに約91,000入力トークンとなり、Claude Sonnet 5は25問中7問に正解しました。アップロードしてコード実行を使用した場合は25問すべてに正解し、実行コストは約12分の1になりました。Claude Opus 5でも同じ傾向が見られました。どちらの方法もプロンプトキャッシングは使用していません。
コンテキストのライフサイクルを管理する
コンテキストのレバーは、それを必要とするほど長いセッションでのみ効果があります。
Anthropicはこれらのレバーを以前のモデルで測定しました28。
- これらの実行では、プルーニングはイシュートリアージエージェント自身のコード内の短い関数でした。各タスクの区切りで、2,000文字を超える各検索結果を1行の抜粋に置き換えました。
- 20件のイシューの実行では、レバーによる節約はほとんどないかゼロで、コンテキスト編集は実行コストを増加させました。
- 長い実行では、プルーニングとコンパクションの両方がコストを削減しましたが、コンテキスト編集は何も変えませんでした。
- コンテキスト編集を使用する場合は、クリアのたびにキャッシュ書き込みのコストがかかるため、少数の大きなバッチでクリアしてください。
待てる作業をバッチ処理する
誰も待っていないリクエストはすべてBatch API経由で送信し、インタラクティブな経路はそれ以外のリクエストのために残してください。Batch APIは、結果が24時間以内のいずれかの時点で届くことと引き換えに、キャッシュ済みのものを含むリクエストのすべてのトークンを50%割引します。
- 無人のエージェント作業において、バッチ処理はキャッシングに次ぐ2番目に大きな無償のレバーです。評価の実行、バックフィル、そしてトークン削減の測定のイシュートリアージエージェントの定期実行のようなスケジュールされたジョブが該当します。
- バッチ処理はこのページの大半と組み合わせられますが、高速モード、メッセージスレッドやClaude Managed Agentsのセッションとは組み合わせられません(Claude Managed Agentsの料金を参照)。
現在のモデルに対してプロンプトを監査する
現在実行しているモデルに対してプロンプトを監査し、モデルを変更するたびに再度監査してください。これは無償の改善です。
- モデルの世代ごとにプロンプトへの反応が異なるため、プロンプトには、もう使用していないモデル向けに書かれたテキストが蓄積していきます。
- よくあるのは、古いモデルを補うために追加された過度に具体的な指示です。「2回検証する」、「最大限徹底する」、必須の段階的手順、手作りの推論スクラッチパッドなどです。
- 新しいモデルはそのような指示に文字どおり従い、余分なツールラウンドや余分な記述を生み出すため、精度が向上しないままその分の料金を支払うことになります。
監査はコマンド1つです。Claude Codeに同梱されているClaude APIスキルにはprompt-auditコマンドがあり、プロジェクトのプロンプトとリクエストコードを読み、別のモデル向けに書かれたものを報告します。
Claude Code
Claude Codeにプロンプトの監査を任せる
/claude-api prompt-auditこの短縮した抜粋は、それらのパターンを含むサポートデスクのプロンプトとリクエストコードに対してコマンドを実行した様子です。
$ claude
> /claude-api prompt-audit
10 findings. The three that matter most:
1. budget_tokens returns a 400 on Opus 5 (support_agent.py:10). This code
does not run against its own target model. Everything else here is
quality; this one is an outage.
2. The prompt contains two live contradictions. Line 15 says confirm before
every refund, line 17 says process every eligible refund immediately.
Line 19 asks for a complete recap *and* a three-sentence maximum.
3. The reasoning scaffold and the 6-step script fight the model rather than
steer it. <scratchpad> + "reason step by step" is now a request
parameter, not prose; the mandatory 6-step procedure plus "investigate
fully even when the ticket looks simple" forces four tool calls on a
"where's my package" ticket.
...
-After any refund or escalation, verify twice before submitting: re-fetch
-the order, re-check every figure in your reply against the fresh lookup,
-and review the reply a second time for errors.
+Before submitting a refund or an escalation, re-fetch the order and confirm
+every figure in your reply matches the fresh lookup.コマンドはその後、編集案を差分として提示し(1つのハンクを表示)、意図的に手を付けなかったもの、つまり返金期間、トーンの要件、品質基準を一覧します。レビューするのは書き直しではなくパッチです。
Anthropicは、以前のモデル間の2回の移行にわたって、サポートデスクの評価14でその効果を測定しました。
- Claude Opus 4.8からClaude Opus 5への移行では、古いモデル向けに書かれたプロンプトは、新しいモデルでチケットあたりのコストが高くなり、精度は変わりませんでした。
- 同じプロンプトに監査を実行すると、Claude Opus 5は監査前のバージョンより安価になり、精度もノイズの範囲を超えて向上しました。
- Claude Sonnet 4.6からClaude Sonnet 5への移行では、監査により同じ精度でチケットあたりのコストが削減されました。
2種類の古いテキストは、それぞれ異なるコストをもたらします。
- 新しいモデルが文字どおりに従いすぎる指示はコストを増やします。「2回検証する」を削除するとClaude Opus 5のチケットあたりのコストが削減され、「最大限徹底する」を削除してもほぼ同程度削減されました。
- モデルに合わなくなったテキストは、代わりに精度を下げます。廃止済みの思考設定、矛盾するルール、モデル自身の思考と競合する手作りのスクラッチパッドは、いずれも削除するとClaude Opus 5の精度が回復しました。
同じパターンはツールの説明やスキルにも現れがちで、それらも監査する価値があります。
コストとインテリジェンスをトレードオフする
これらのレバーは、単一のモデルがコストとインテリジェンスの間のどこに位置するかを決めます。モデル選択、エフォート、失敗をより高い設定で再実行すること、モデルが作業する範囲となる予算と上限、そしてどれだけ時間が経過したかをモデルが把握できるかどうかです。1〜2世代前のモデルを使用している場合は、まずアップグレードしてください(モデルをアップグレードする)。そうでない場合は、まずは現在のモデルでエフォートを段階的に試すことから始めてください(エフォートを調整する)。コストと能力が低い順に、現行モデルはClaude Haiku 5.5、Claude Sonnet 5.5、Claude Opus 5.5、Claude Fable 5.2(フロンティアモデル)です。全ラインナップと価格についてはモデルの概要を参照してください。
タスクあたりのコストでモデルを比較する
モデルはトークンあたりではなく、完了したタスクあたりのコストで比較してください。料金を支払う対象は完了したタスクだからです。ほとんどのエージェントワークロードでは、デフォルトのエフォート(medium)のClaude Opus 5.5から始めてください。
より高性能なモデルは、より少ない作業量でタスクを完了できるため、トークンあたりの割増料金の大部分を相殺できる場合があります。Anthropicはこれを、SWE-bench Pro3のサブセット(スコアは公開リーダーボードとは比較できません)で、顧客への請求と同じ方法で価格を算出して測定しました。
次の表に結果を示します。
| ベンチマーク | モデル | エフォート | スコア | コスト |
|---|---|---|---|---|
| SWE-bench Pro3サブセット | Claude Sonnet 5.5 | high(デフォルト) | タスクの87.6%を解決 | 解決タスクあたり$0.11 USD |
| SWE-bench Proサブセット | Claude Opus 5.5 | low | タスクの87.4%を解決 | 解決タスクあたり$0.12 USD |
| SWE-bench Proサブセット | Claude Opus 5.5 | medium(デフォルト) | タスクの92.8%を解決 | 解決タスクあたり$0.22 USD |
| SWE-bench Proサブセット | Claude Fable 5.1 | high(デフォルト) | タスクの92.3%を解決(1回の実行) | 解決タスクあたり$1.19 USD |
| 社内エージェント型コーディングベンチマーク11 | Claude Opus 5.5 | medium(デフォルト) | 86.6% | 試行あたり$0.84 USD |
| 社内エージェント型コーディングベンチマーク | Claude Fable 5.2 | medium | 88.9%(1回の実行) | 試行あたり$1.34 USD |
| GPQA Diamond9 | Claude Haiku 5.5 | medium(デフォルト) | 正答率85%(Claude Opus 5.5とClaude Sonnet 5.5はいずれも91%) | 正答あたりのコストはClaude Opus 5.5の約20分の1、Claude Sonnet 5.5の約10分の1 |
| Claude Managed Agentsタスクセット25、79タスク | Claude Haiku 5.5 | medium | 試行の93%が合格(1回の実行) | 合格した試行あたり約$0.011 USD |
SWE-bench Proサブセットの478問のうち、参照解答がネットワークアクセスなしでも合格する463問(参照3)では、Messages APIでのデフォルトであるhighのClaude Fable 5.2が、解決タスクあたり$1.39 USDでタスクの96.3%を解決しました。同じClaude Fable 5.1のデフォルトでの実行は、これら463問で集計すると、$1.17 USDで92.4%を解決しました。lowでは、Fable 5.2は解決タスクあたり$0.39 USDで94.6%を解決しました。これはデフォルトのFable 5.1より多くのタスクを、約3分の1のコストで解決したことになります。同程度の合格率では、これらの問題でClaude Opus 5.5のほうが依然として解決タスクあたりのコストが低くなります。デフォルトでは$0.22 USDで93.1%、highでは$0.30 USDで95.5%、xhighでは$0.75 USDで96.5%を解決し、highのFable 5.2と同等の結果を半分強のコストで達成しました。
推奨事項。
- デフォルトのエフォートのClaude Opus 5.5から始めてください。SWE-bench Proサブセットでは、デフォルトのClaude Fable 5.1と実行ごとのばらつきの範囲内で同等の結果を、解決タスクあたり約5分の1のコストで達成しました。Opus 5.5とFable 5.1はいずれもSWE-bench Proサブセットをほぼ飽和させています。高度な推論や長期にわたるエージェント作業、またはより高いエフォートのClaude Opus 5.5でも評価が基準に届かない場合には、Claude Fable 5.2を使用してください。
- 反対側では、Claude Haiku 5.5は、出力を検証できる大量処理やレイテンシが重要な作業に適しています。
- すべての候補を、自分のトラフィックにおける完了タスクあたりのコストで価格評価してください。デフォルトのエフォートのClaude Opus 5.5や、エフォートを下げたフロンティアモデルも含めます。Claude Opus 5.5の各トークン価格(キャッシュ読み取りを含む)はClaude Sonnet 5.5の2倍ですが、SWE-bench Proサブセットでは、
lowのOpus 5.5はデフォルトのSonnet 5.5と実行ごとのばらつきの範囲内でほぼ同じ割合のタスクを、解決タスクあたり約7%高いコストで解決しました。 - より高価なモデルで何が得られるかを、自分のワークロードで測定してください。すべてのモデルで採点された44のDeepResearch Bench II7タスクでは、Messages APIのデフォルトのエフォートで、Claude Opus 5.5はタスクあたり1.5倍のコストでClaude Sonnet 5.5より2.4ポイント高いスコアを記録しました。Claude Fable 5.2は、Claude Sonnet 5.5の4.3倍のコストでスコアに測定可能な向上はなく、Claude Opus 5.5の2.9倍のコストでスコアは1.9ポイント低くなりました。Claude Fable 5.1と比較すると、各エフォートレベルでコストは20%〜61%低く、スコアは4.7〜7.0ポイント低くなりました。50タスク全体では、Claude Opus 5.5はClaude Sonnet 5.5を測定可能なほど上回ってはいません。Claude Sonnet 5.5が回答した4つの生物学タスクで、セーフガードがほぼ常にClaude Opus 5.5を停止し、停止された試行は失敗として数えられるためです。
- ワークロードの中央値ではなく、裾野(テール)の価格を評価してください。典型的なタスクではなく、最も難しい上位10分の1のタスクでモデルを比較します。
請求額は、安価なモデルが失敗するタスクによって決まります。失敗したタスクでもトークンは課金され、さらに再試行、そして失敗が下流で引き起こすコストが加わるからです。また、何も失敗しない場合でも、費用が集中するのはテールです。20問のWideSearch1の実行では、2問が支出の43%を占めました。
マルチモデル戦略は、残りにフロンティア料金を払うことなく、そのテールにフロンティアのインテリジェンスを費やすために存在します。
モデルをアップグレードする
1〜2世代前のモデルを使用している場合、最も安価な手段はモデル文字列の変更です。このセクションおよびモデルを比較するのコーディングベンチマークでは、新しいモデルはいずれも前のモデルと同等以上のタスクを解決しました。ほとんどのモデルは解決タスクあたりのコストが低くなりましたが、highのClaude Fable 5.2はClaude Fable 5.1よりコストが高くなりました。リサーチベンチマークでは、Claude Fable 5.2は逆の結果となり、各エフォートレベルでClaude Fable 5.1よりタスクあたりのコストが低く、スコアも低くなりました(モデルを比較する)。このグラフは、エージェントが記述された1つのタスクに単独で取り組み、テストで結果を確認する2つのベンチマーク、すなわちすべてのモデルが同じテスト環境で実行されたSWE-bench Pro3サブセットと、Terminal-Bench 320における最近のClaudeモデルをプロットしたものです。表には各アップグレードで何が変わったかを示します。
| ベンチマーク | アップグレード | エフォート | スコア | コスト |
|---|---|---|---|---|
| SWE-bench Pro3サブセット | Claude Sonnet 4.6からClaude Sonnet 5 | デフォルト | 5ポイント向上 | 解決タスクあたり16%減 |
| SWE-bench Proサブセット | Claude Sonnet 5からClaude Sonnet 5.5 | デフォルト | 約10ポイント向上 | 解決タスクあたり87%減。Claude Sonnet 5の価格では85%減 |
| SWE-bench Proサブセット | Claude Opus 5からClaude Opus 5.5 | デフォルト:highからmedium | ほぼ同じ:解決タスクが91.9%から92.8% | 解決タスクあたり78%減。Claude Opus 5の価格では約69%減 |
| SWE-bench Proサブセット | Claude Fable 5からClaude Fable 5.1 | デフォルト | ほぼ同じスコア | 解決タスクあたり43%減 |
| Terminal-Bench 320 | Claude Opus 4.7からClaude Opus 4.8 | high | 解決タスクが7%から15%に | 解決タスクあたり$183 USDから$63 USDに |
| Terminal-Bench 3 | Claude Opus 4.8からClaude Opus 5 | high | 解決タスクが15%から41%に | 解決タスクあたり$63 USDから$28 USDに、56%の削減 |
| Claude Managed Agentsタスクセット25 | Claude Haiku 4.5からClaude Haiku 5.5 | 提供時の設定。Claude Haiku 5.5ではmedium | 合格した試行が62%から93%に(モデルごとに1回の実行) | 試行あたりのトークンコストが$0.041 USDから約$0.010 USDに。合格した試行あたり約84%減 |
効果が出る場合。
- 削減の大きさは作業によって異なります。Claude Opus 5からClaude Opus 5.5では、SWE-bench Proサブセットで解決タスクあたり78%、典型的なワークロードで40%です(Claude Opus 5.5の発表)。Claude Sonnet 5からClaude Sonnet 5.5では、同じサブセットで87%、ほとんどの作業で最大30%です(Claude Sonnet 5.5の発表)。
- 旧モデルがすでにほとんどのタスクを解決している場合、削減額は各試行のコストで決まります。SWE-bench Proサブセットでは、Claude Opus 5.5はClaude Opus 5とほぼ同じスコアを、解決タスクあたり78%低いコストで達成します。
- 旧モデルがほとんど失敗する場合、削減額は合格率で決まります。Terminal-Bench 320では、Claude Opus 4.8からClaude Opus 5へのアップグレードにより、解決タスクが15%から41%に増え、解決タスクあたりのコストが56%減少します。
- トークンあたりではなく、解決タスクあたりのコストで比較してください。Claude 4.7以降のモデルでは同じテキストのトークン数が約30%多くなるため、トークンあたりの比較では構造上、新しいモデルのほうが高価に見えてしまいます。
エフォートを調整する
2つ目のモデルを追加する前に、自分のワークロードでエフォートをスイープしてください。エフォートを下げるとコストが下がり、多くの場合速度も上がります。どれだけ精度が犠牲になるかはタスクによって異なります。長期にわたるコーディングではエフォートが精度の向上につながり、リサーチタスクでは、ある測定では大きく向上し、別の測定ではわずかしか向上しませんでした。effortパラメータは、モデルが行う思考、ツール呼び出し、自己検証の量を制御します。Messages APIでは、ほとんどのモデルでhighがデフォルトで、Claude Opus 5.5とClaude Haiku 5.5ではmediumがデフォルトです。
次の表は、現行のモデルを使用した2つのベンチマークにおけるAnthropicの測定結果です。スコアとコストは2つのベンチマーク間で比較できません。コストは、タスクあたりのコストでモデルを比較するのような解決タスクあたりではなく、タスクあたりです。セルに別途記載がない限り、各スコアはSWE-bench Proでは2回、DeepResearch Bench IIでは3回の実行を集計したものです。
| ベンチマーク | モデル | エフォート | スコア | タスクあたりのコスト |
|---|---|---|---|---|
| SWE-bench Pro3サブセット | Claude Opus 5.5 | low | タスクの87.4%を解決 | $0.11 USD |
| SWE-bench Proサブセット | Claude Opus 5.5 | medium(デフォルト) | タスクの92.8%を解決 | $0.21 USD |
| SWE-bench Proサブセット | Claude Opus 5.5 | high | タスクの95.3%を解決 | $0.29 USD |
| SWE-bench Proサブセット | Claude Opus 5.5 | xhigh | タスクの96.7%を解決(1回の実行) | $0.74 USD |
| DeepResearch Bench II7 | Claude Fable 5.2 | low | ルーブリックスコア54.5% | $1.49 USD |
| DeepResearch Bench II | Claude Fable 5.2 | medium | ルーブリックスコア55.0% | $2.16 USD |
| DeepResearch Bench II | Claude Fable 5.2 | high(Messages APIでのデフォルト) | ルーブリックスコア57.7% | $4.82 USD |
次のグラフは、SWE-bench Pro3サブセットにおけるClaude Opus 5.5の精度とタスクあたりのコストをプロットしたものです。
次のグラフは、DeepResearch Bench II7におけるClaude Fable 5.1のルーブリックスコアとタスクあたりのコストをプロットしたものです。
推奨事項。
- 自分のトラフィックのサンプルで2〜3段階のエフォートレベルをスイープし、それぞれ別のセッションで実行してください。セッションの途中でトップレベルのエフォートを変更するとキャッシュが無効化され、比較が歪みます。この曲線が、あらゆるマルチモデル戦略が上回らなければならないベースラインです(「自分のワークロードで測定する」のステップ2)。
- 長期にわたるコーディングでは、エフォートは実際のトレードオフであり、失敗したタスクをより高いエフォートで再実行することで再び削減につなげられます。
mediumでは、Claude Sonnet 5.5はSWE-bench Pro3サブセットでデフォルトのhighより約7ポイント低いスコアを、タスクあたり約59%のコストで記録し(それぞれ2回の実行)、社内エージェント型コーディングベンチマーク11では77.8%に対して62.7%を記録しました(タスクあたり1回の試行)。 xhighとmaxでは、Claude Sonnet 5.5はタスクを完了した後に独自のレビューを開始することがあり、より多くの時間とトークンを消費します。その作業をタスクに集中させるには、Claude Sonnet 5.5へのプロンプトの「xhighおよびmaxエフォートでの徹底性」にあるプロンプトをシステムプロンプトに追加してください。- リサーチタスクでは、実際に提供するモデルで測定してください。Claude Fable 5.2はDeepResearch Bench IIで
highのほうがlowより3.3ポイント高いスコアを3.2倍のコストで記録し、mediumではlowより測定可能なほど高いスコアにはなりませんでしたが、Claude Opus 5.5はDRACO21でlowのほうがmediumより13.3ポイント低いスコアでした。2つの結果は異なるベンチマークにおける異なるモデルのものであるため、答えが変わることは示していますが、その理由は示していません。 lowでは、Claude Opus 5.5の典型的なタスクにかかる時間は、mediumと比べてDRACO21で84%、HLE22で30%、社内の物理問題セット23で47%短くなり、スコアはそれぞれ13.3、3.4、14.0ポイント低くなりました(タスクあたり3、3、4回の試行)。- 社内の欠陥探索ベンチマーク8(設定ごとに10回の実行)では、Claude Opus 5.5は
lowでmediumより34ポイント低いスコアを記録し、コストは約5分の1でした。Claude Fable 5.2はlowでhighより4.3ポイント低いスコアを記録し、コストは37%少なくなりました。
失敗したタスクをより高いエフォートで再実行する
タスクの結果が検証可能な場合、エフォート曲線上で最も安価な方針は固定の設定ではありません。すべてのタスクを低い設定で実行し、失敗したものだけをより高い設定で再実行するのです。
Anthropicは、エフォートを調整するのSWE-bench Pro3サブセットにおけるClaude Opus 5.5のエフォート実行結果から、このポリシーをタスクごとに算出しました。
次の表では、再実行のコストに失敗した安価な試行のコストも含めています。
| ポリシー | 解決したタスク | タスクあたりのコスト |
|---|---|---|
low、失敗をhighで再実行 | 約97% | 約$0.17 USD |
medium、失敗をhighで再実行 | 約97% | 約$0.24 USD |
すべてhigh | 95.3% | $0.29 USD |
lowでは、タスクの13%が失敗しました。それらをhighで再実行すると、すべてをhighで実行した場合よりもわずかに高い合格率を、半分強のコストで達成しました。- このポリシーは、スコアの向上ではなくコスト削減のために使用してください。わずかな向上の大部分は2回目の試行によるものです。1回の
high実行の失敗をhighで再実行しても、スコアはほぼ同じで、コストはより高くなります。
2つの条件があります。第一に、失敗シグナルが必要です(ここではベンチマーク自身のテスト)。不良な成果物を合格させてしまうチェッカーは、それらの失敗を素通りさせます。第二に、初回で失敗したタスクはすべて2回分の実時間を要するため、節約の代償は失敗したタスクにおけるレイテンシとして支払われます。
予算と出力上限を設定する
2つの制御はそれぞれ異なる役割を果たします。セッション予算は1つのClaude Managed Agentsセッションが使用できる金額を制限し、max_tokensは1つのレスポンスの長さを制限します。それぞれを適用される場所で設定し、最終的な安全策としてワークスペースの支出制限を設定してください。
- Claude Managed Agentsのセッション予算は、支出に対するハードストップです。セッション予算は、1つのセッションのリストコストに対するドル建ての上限で、プラットフォームがトークン、ウェブ検索、セッション実行時間について計測します。
- 上限に達するか、わずかに超えると、セッションは
stop_reason: budget_reachedで一時停止します。予算を引き上げると再開されます。これはプラットフォームによって強制され、定価が設定されているすべてのモデルで機能します。デプロイメントは、開始する各セッションに同じ予算を適用します。 max_tokensは単一のレスポンスを制限しますが、モデルからは見えないため、値を下げてもモデルが節約するようにはなりません。余裕が必要だったターンは破棄され、それでも課金されます。上限に達した試行を再試行してもほとんど役に立ちません。同じ上限ではほとんどが再び失敗し、より高い上限では無駄になった試行の分も支払うことになります。- エージェント作業では
max_tokensを64,000に設定するか、1回の打ち切られた試行のコストが大きい場合は最大値の128,000に設定してください。そのような大きなレスポンスはストリーミングし、stop_reason: max_tokensを失敗として扱い、モデルが認識できるエフォートでコストを節約してください。 - Claude Haiku 5.5では、小さな
max_tokensを引き上げるか、エフォートを下げてください。思考はデフォルトで有効で上限に含まれるため、テキストが出力される前にレスポンスが終了する可能性があります(Claude Haiku 5.5移行ガイドを参照)。
次の表は、社内リポジトリタスクベンチマーク12において、各上限で各モデルが解決したタスクと解決タスクあたりのコストを示しています(タスクあたり1回の試行、各モデルはデフォルトのエフォート、Messages API上)。16,384の行は2回の実行の平均で、その他の行はそれぞれ1回の実行です。
| モデル | max_tokens | 上限で終了した試行 | 解決したタスク | 解決タスクあたりのコスト |
|---|---|---|---|---|
| Claude Opus 5.5 | 16,384 | 25% | 57.6% | 定価で$5.38 USD |
| Claude Opus 5.5 | 64,000 | 0% | 75.6% | 定価で$5.38 USD |
| Claude Opus 5.5 | 128,000 | 0% | 68.9% | 定価で$5.94 USD |
| Claude Fable 5.2 | 16,384 | 85% | 20.3% | 定価で$27.96 USD |
| Claude Fable 5.2 | 64,000 | 2% | 77.4% | 定価で$24.42 USD |
| Claude Fable 5.2 | 128,000 | 0% | 78.2% | 定価で$24.52 USD |
64,000および128,000のClaude Opus 5.5: どちらの上限でも打ち切られた試行はなかったため、この2行で解決したタスクや解決タスクあたりのコストが異なる理由は上限では説明できません。各行は1回の実行です。
上限の比較は各モデル内で行ってください。2つのモデルは別々の実行で測定されました。
社内リポジトリタスク12では、ほぼすべてのターンが16,384トークンの上限をはるかに下回って終了しますが、1つの長いターンが試行全体を終わらせます。より高い上限では、Claude Fable 5.2のターンの1.7%が16,384トークンを超え、16,384ではこの上限が試行の85%を終了させました。より高い上限で得られるのは、まれに発生する長いターンです(このグラフの2つのモデルはClaude Opus 5.5とClaude Fable 5.1です)。
より短い回答を求めてください。Claude Haiku 5.5、Claude Sonnet 5.5、Claude Opus 5.5、Claude Fable 5.2、Claude Fable 5.1では、出力トークンのコストは入力トークンの5倍です。また、エージェントループでは、モデルが書いたすべてのトークンが以降のすべてのターンで入力として戻ってくるため、長い回答の料金を何度も支払うことになります。
以前のモデルでの測定26において、Anthropicはバグレポートをトリアージする小さなエージェント(入力とコンテキストのトークンを削る)を、同じモデルとツールを使用し、3種類の最終回答の指示でそれぞれ3回実行しました。
- 元の指示は2行を求めました。
- 短いバリアントは1行を求めました。
- 長いバリアントは、見出し付きの6つのセクションからなるメモを求めました。
次のグラフは、各形式の実行あたりのコストをプロットしたものです。
3つとも正解ラベルに対して互いに実行ごとのばらつきの範囲内のスコアだったため、形式による違いは正確さよりも支払う金額のほうがはるかに大きくなります。徹底的に見える回答ではなく、実際に読む回答を求めてください。
モデルに経過時間を表示する
エージェントをより早く終了させ、コストを下げるには、時間が重要であることを伝え、すべてのリクエストで経過時間を示してください。Anthropicの測定では、この2つの変更により、典型的な(中央値の)DRACO21リサーチタスクにおいて、mediumエフォートの単一のClaude Opus 5.5エージェントの所要時間が47%、コストが60%削減され、平均スコアは4.1ポイント低くなりました。
HLE22と社内の物理問題セット23では、典型的なタスクの所要時間がそれぞれ14%と7%短くなり、物理のスコアは3.0ポイント低くなりました。エフォートをlowに下げると、これらの変更よりも多くの時間とコストを節約できましたが、スコアの低下も大きくなりました(参照21)。変更を採用する前に、自分のタスクでスコアを確認してください。
参照21に、測定した実行で両方の変更に使用した正確なテキストが記載されています。動作するコードについては、両方の変更をエージェントのチームに適用したClaude CookbookのレシピMulti-agent teams under latency pressure and budgetsを参照してください。最初のuserメッセージの代わりにシステムプロンプトを使って時間が重要であることを伝えるには、マルチエージェントハーネス向けの時間シグナルを参照してください。
次のグラフには、リードエージェントがヘルパーをほとんど起動しなかったチームと、lowエフォートの単一エージェントもプロットしています。
代わりに速度のために支払うには、Claude Fable 5.2またはClaude Opus 5.5でspeed: "fast"を設定してください。高速モードは、標準トークン価格の2倍で、1秒あたりの出力トークンが最大2.5倍になります。会話の途中で速度を切り替えると、プロンプトキャッシングでキャッシュミスが発生します。
モデルを組み合わせる
2つ目のモデルを追加する前に、1つのモデルを調整してください。ほとんどのワークロードはそこで完結するため、まず現在のモデルでエフォートをスイープし、スイープでギャップが見つかった場合は、より強力なモデル単体を低いエフォートで価格評価します。組み合わせを構築するのは、それが単一モデルのスコア対支出の曲線全体を上回る場合に限ってください。自分のワークロードでは、組み合わせを、同じモデルをより低いエフォートで実行した場合と、1段階下のモデルを単独で実行した場合と比較して評価してください。
次の表は2つの戦略を比較したものです。
| 戦略 | 制御フロー | フロンティアモデルの役割 | 適するケース | フロンティアのコストが比例するもの |
|---|---|---|---|---|
| アドバイザー | 小さなモデルがループを実行し、必要に応じてエスカレーションする | 計画と修正について相談を受ける | 部分的に難しい直列の作業。たとえば、少数の本当の判断の間に多数のターンがあるコーディングエージェント | エグゼキューターが行き詰まる頻度 |
| オーケストレーター | フロンティアモデルがループを実行し、大量の作業を委任する | 計画、ディスパッチ、統合を行う | 本当に独立したファイル、ドキュメント、ケースにわたってファンアウトする作業。特にコンテキストウィンドウ1つ分を超える場合 | 各部分の調整の難しさ |
アドバイザー戦略:難しい判断をエスカレーションする
アドバイザーが役立つのは、エグゼキューターがアドバイザーに相談した場合だけです。
Anthropicの測定では、エグゼキューターが頻繁に相談した唯一の組み合わせ(コーディングベンチマーク)は、同じエフォートのエグゼキューター単体より1.7ポイント高いスコアを記録しました。これは実行ごとのばらつきの境界にあり、コストは約2.1倍でした。エグゼキューターがほとんど、またはまったく相談しなかった場合、組み合わせのスコアはエグゼキューター単体と実行ごとのばらつきの範囲内か、それより低くなりました。
有効にするには、ベータ機能であるアドバイザーツールをリクエストに追加してください。Claude Managed Agentsでは、セッションにアドバイザーを付与します。Claude Codeについては、アドバイザーツールによる難しい判断のエスカレーションを参照してください。
次の表は、各組み合わせを同じエフォートのエグゼキューター単体と比較したものです。
| ベンチマーク | スコア | コスト | アドバイザーへの相談 |
|---|---|---|---|
| 社内エージェント型コーディングベンチマーク11 | 90.1%、エグゼキューター単体より1.7ポイント高く、実行ごとのばらつきの境界 | 試行あたり$2.92 USD、エグゼキューター単体の約2.1倍 | 試行あたり約1.4回。試行の4%はアドバイスを受けなかった |
| GPQA Diamond9 | エグゼキューター単体と実行ごとのばらつきの範囲内 | 質問あたり、Claude Haiku 5.5では12%増、Claude Sonnet 5.5では25%増 | 198問のいずれでも相談なし(それぞれ2回の実行)。相談を求めるシステムプロンプトはなし |
| Chartography13 | 61.7、エグゼキューター単体より7ポイント低く、実行ごとのばらつきを超える | エグゼキューター単体とほぼ同じ | 300タスク中1タスク |
- 社内エージェント型コーディングベンチマーク。
highのClaude Opus 5.5に、Claude Fable 5.1アドバイザーを組み合わせたもの。 - GPQA Diamond。 各モデルのデフォルト(
mediumとhigh)のClaude Haiku 5.5またはClaude Sonnet 5.5に、Claude Opus 5.5アドバイザーを組み合わせたもの。 - Chartography。
lowのClaude Opus 5.5に、Claude Fable 5.1アドバイザーを組み合わせたもの。
アドバイザーが提供できるのは、エグゼキューターに欠けている能力だけです。GPQA Diamondでは、拒否を不正解として数えた場合、Claude Sonnet 5.5単体はClaude Opus 5.5単体と91%で並びましたが、それはOpus 5.5が1回の実行あたり6問の生物学の質問を拒否したのに対し、Sonnet 5.5は1問だけだったからにすぎません。それぞれが回答した質問では、Opus 5.5が約2ポイント上回りました。
コーディングベンチマークでは、組み合わせによる向上は実行ごとのばらつきの境界にあり、Claude Opus 5.5自身のエフォート曲線上にほぼ位置するため、アドバイザーで得られたのはエフォートを上げた場合とほぼ同じものでした。次のグラフは、組み合わせをその曲線および8月のClaude Fable 5.1の曲線と比較してプロットしたものです。
推奨事項。
- 自分のタスクで相談率を測定してください。アドバイザーツールの定義はリクエストあたり約1,000プロンプトトークンで、エグゼキューターが一度も相談しなくてもコストが増えます。プロンプトキャッシングを使用すると、マルチターンのエージェントループでは最初のリクエスト以降、定義の料金はキャッシュ読み取り価格になるため、このオーバーヘッドが最も問題になるのは短い単一リクエストのタスクです。
- エグゼキューターがほとんど相談しない場合は、相談を求めるシステムプロンプトについてコーディングおよびエージェントタスク向けのプロンプトを参照し、追加した後に再度測定してください。20問のSWE-bench Pro3問題では、推奨プロンプトはClaude Sonnet 5.5に明確な違いをもたらしませんでした。
- 相談率が急落した場合は、エグゼキューターのエフォートを元に戻してください。以前のモデルでの測定では、デフォルトのエフォートでほとんどのタスクで相談していたある組み合わせが、エフォートを下げるとほとんど相談しなくなり、その結果デフォルトのエフォートのエグゼキューター単体より低いスコアになりました(SWE-bench Pro3)。
- リリースによって能力の差と価格比の両方が変わるため、モデルのリリースごとに再確認してください。
オーケストレーター戦略:大量の作業を委任する
Anthropicの測定では、委任のほうが優れていたのは次の2つの状況だけでした。
作業が1つの依存関係の連鎖である場合、またはコストのテールが長くなく単一のコンテキストに収まる場合は、以前のモデルで測定したすべてのケース(BrowseCompのより難しいセットとDeepWideSearch6)で、オーケストレーターのモデル単体をより低いエフォートで実行したほうが優れていました。独立した外部の研究でも同じパターンが報告されています5。
オーケストレーターを構築するには、Claude Managed Agentsのマルチエージェントオーケストレーションを使用してください。オーケストレーターエージェントと、それが呼び出せるサブエージェントを、それぞれ独自のモデルで構成します。
次のグラフは、欠陥探索ベンチマークの17の構成のうち9つをコストとスコアでプロットしたものです(Claude Fable 5.2の5つの構成はいずれも含みません)。
推奨事項。
- コストのテールが長い定型作業: このケースをまず、コストだけでなく精度についても測定してください。その根拠となる測定は、委任した構成がすべての実行で正しく回答した問題のみを対象としています(参照4)。
- 1つのコンテキストウィンドウを超える作業: 作業をパートに分割し、パートごとに1つのセッションまたは1つのサブエージェントを使用してください。欠陥探索ベンチマーク8では、Claude Sonnet 5.5サブエージェントを使用したClaude Opus 5.5のコストは、デフォルトのエフォートのClaude Opus 5.5をパートごとに1セッションずつ使用した場合より約3分の1少なく、スコアはほぼ同じでした。Claude Opus 5.5の代わりにClaude Fable 5.2をオーケストレーターとして使用した構成では、コストが19%高くなり、スコアはほぼ同じでした。単体では、
lowからhighにかけて、Claude Fable 5.2はhighのClaude Opus 5.5単体より1.6〜5.9ポイント高いスコアを1.5〜2.4倍のコストで、Claude Sonnet 5.5サブエージェントを使用した場合より3.2〜7.5ポイント高いスコアを2.2〜3.4倍のコストで記録しました。また、各エフォートレベルでClaude Fable 5.1単体より高いスコアを記録しました。lowでは3.6ポイント高く、コストは32%少なく、mediumでは3.8ポイント高く、37%少なく、highでは6.1ポイント高く、21%少なくなりました。 - コーディングタスクでのClaude Haiku 5.5サブエージェント: まずより低いエフォートと比較してください。Claude Managed Agents上の社内コーディングベンチマークでは、サブエージェントはエフォートを下げることの代替手段であり、それより優れてはいませんでした。
mediumのClaude Opus 5.5に短い委任プロンプトとともにサブエージェントを追加すると、試行あたりのコストは32%、合格率は約4パーセントポイント(95%区間1.3〜7.1)下がりました。これは、そのコストでサブエージェントなしのlowとmediumを混在させた場合とほぼ同じ結果です29。
自分のワークロードで測定する
自分のワークロードで測定してください。このページの数値は測定時点の定価を反映しており、モデルや価格の変更に伴って変動します。また、エスカレーション率、タスクがどれだけきれいに分割できるか、トランスクリプトの長さによっても変わります。方法は変わりません。
- 本番ログからいくつかのタスクを実際のトラフィックに合わせた重み付けで抽出し、それぞれについて結果チェックを作成します(テストが合格する、チケットがクローズされる、行数が正しい、など)。スコアの横にタスクあたりのコストを記録します。
- デフォルトだけでなくエフォートレベル全体にわたってモデルの各ティアのベースラインを取り、支出に対するスコアをプロットします。マルチモデル構成は単一モデルの曲線全体を上回らなければなりません。
- 曲線にエフォートでは埋められないギャップが見られる場合は、適合するマルチモデル戦略を追加してスイートを再実行します。
- 切り替え前にトラフィックの一部で勝者をシャドー実行し、その後もスイートを実行し続けます。
タスクの価格を算出する方法。 レスポンスのusageにある5つのトークン数のそれぞれを固有の料金で計算します。キャッシュされていない入力、入力価格の1.25倍と2倍となる5分間および1時間のキャッシュ書き込み、キャッシュ読み取り、そして出力です。これらをタスクのリクエスト全体で合計します(Usage and Cost Analytics APIが集計値を報告します)。Claude Haiku 5.5では、キャッシュの読み取りと書き込みを含め、各リクエストのプロンプト長に応じた料金を使用します(ロングコンテキストの料金を参照)。usage.speedが"fast"の場合は、高速モードの料金を使用します。
次の例は、Claude Opus 5.5の定価で1つのリクエストのコストを計算します。別のモデルの場合は3つの価格を変更してください。
INPUT_PER_MTOK = 4.00 # Claude Opus 5.5
# Claude Opus 5.5 では入力価格の0.05倍です。倍率はモデルによって異なります
CACHE_READ_PER_MTOK = 0.20
OUTPUT_PER_MTOK = 20.00
client = anthropic.Anthropic()
response = client.messages.create(
model="claude-opus-5-5",
max_tokens=1024,
messages=[{"role": "user", "content": "Hello, Claude"}],
)
usage = response.usage
cache_writes = usage.cache_creation
writes_1h = cache_writes.ephemeral_1h_input_tokens if cache_writes else 0
writes_5m = cache_writes.ephemeral_5m_input_tokens if cache_writes else 0
cost = (
usage.input_tokens * INPUT_PER_MTOK
# 1時間のキャッシュ書き込みは入力価格の2倍、5分間は1.25倍で課金されます。読み取りはキャッシュ読み取り価格です。
+ writes_1h * INPUT_PER_MTOK * 2.0
+ writes_5m * INPUT_PER_MTOK * 1.25
+ (usage.cache_read_input_tokens or 0) * CACHE_READ_PER_MTOK
+ usage.output_tokens * OUTPUT_PER_MTOK
) / 1_000_000
print(f"Request cost: ${cost:.6f}")確認すべき点。
- キャッシュ読み取りの割合。 エージェントループでは、入力トークンの大部分がキャッシュ読み取りであるべきです。
cache_read_input_tokensがinput_tokensとcache_creation_input_tokensの合計に比べて小さい場合は、キャッシングが有効になっていること、およびリクエスト間でプレフィックスが同じままであることを確認してください。 - アドバイザーツールとコンパクション。 アドバイザーツールまたはコンパクションが有効な場合、一部のトークンは
usage.iterationsにのみ報告され、トップレベルの合計には含まれません。代わりにusage.iterations全体で合計し、advisor_messageエントリはアドバイザーモデルの料金で計算してください。
次の表は、試すべき順序でレバーを一覧にしたものです。数値は、Anthropicのテスト、ローンチ時の発表記事、公開されている価格と速度によるものです。
| レバー | 削減 | 品質コスト | レイテンシ | 参照先 |
|---|---|---|---|---|
| プロンプトキャッシング | リサーチエージェントでコストが4.8分の1〜7.2分の1に、小規模なトリアージエージェントで83%〜86%削減 | なし | 高速化 | 繰り返されるコンテキストをキャッシュする |
| 1時間のキャッシュ期間 | 一時停止後のターンが10回に1回の場合、5分間のデフォルトは54%高コスト。20回に1回の場合はほぼ同じ | なし | 以前のモデルでは、一時停止後もウォーム状態を維持16 | キャッシュ期間を選ぶ |
| 入力の削減 | 小規模なトリアージエージェントの請求額からさらに21%から26%削減 | ツール検索ありでも、精度はなしの場合と同じ範囲27 | 中立 | 入力とコンテキストのトークンを削る |
| ツール検索 | 500個のツール定義を添付した場合に45%、GitHub MCPサーバーのツールセットを遅延読み込みして20% | タスクで必要とされないツールについてはなし | 中立 | 入力とコンテキストのトークンを削る |
| コード実行を通じたデータファイル | プロンプトキャッシングを無効にした状態で、25問のデータタスクで92% | 向上:7問ではなく25問中25問正解 | 高速化 | 入力とコンテキストのトークンを削る |
| Batch API | 50% | なし | 24時間以内に結果 | 待てる作業をバッチ処理する |
| 現在のモデルに対するプロンプト監査 | テストした両方のモデルアップグレードで14% | なし。1つでは向上 | 高速化(ツールラウンドの減少) | 現在のモデルに対してプロンプトを監査する |
| モデルをアップグレードする | 通常は減少:典型的なワークロードで最大40%減、コーディングベンチマークで解決タスクあたり最大87%減 | コーディングではなし、大半で向上。Claude Fable 5.2では1つのリサーチベンチマークで低下 | 中立 | モデルをアップグレードする |
| エフォートを下げる | 長いコーディングタスクで、mediumはhighより約30%〜52%低コスト、lowは約3分の2のコスト減 | タスクとモデルにより最大34ポイント低下。あるリサーチエージェントでは3.3ポイント低下 | 高速化 | エフォートを調整する |
| 失敗を再実行する | すべてをhighで実行するより約40%低コストで、合格率は同じかわずかに向上 | なし | 失敗したタスクで2回目の試行 | 失敗したタスクをより高いエフォートで再実行する |
| より短い回答を求める | 出力トークンが39%減少し、約13%低コスト | なし | 高速化 | 予算と出力上限を設定する |
max_tokensを上げる | なし:解決タスクあたりのコストは64,000では上昇しませんでした | 向上:あるコーディングベンチマークで解決タスクが最大57ポイント増加(64,000で)。別のベンチマークでは変化なし | 中立 | 予算と出力上限を設定する |
| アドバイザー | なし:コーディングベンチマークで、モデル単体の約2.1倍のコスト | コーディングでは偶然の可能性もある小さな向上。グラフ読み取りでは低下 | コーディングで試行あたり約1.4回の追加呼び出し | アドバイザー戦略 |
| オーケストレーター | 1つのコンテキストウィンドウより大きな作業で、1段階下のモデルのサブエージェントを使用した場合、デフォルトのエフォートのオーケストレーターのモデル単体より約3分の1低コスト。定型的な作業では、まず測定すること | その作業で測定可能な低下なし | 同時に最大25のサブエージェント | オーケストレーター戦略 |
| 高速モード | なし:標準トークン価格の2倍 | なし | 1秒あたりの出力トークンが最大2.5倍 | モデルに経過時間を表示する |
Claude APIスキルで探索を自動化する
削減策を探す前に、Claude APIスキルのcost-optimizeコマンドを実行してください。これはトークンがどこに使われているかをプロファイリングし、キャッシングを最初として、レバーを順番に適用します。
Claude Code
Claude Codeに削減策の発見を任せる
/claude-api cost-optimizeその後、評価を格納しているディレクトリでhillclimbコマンドを実行します。
Claude Code
Claude Codeに探索の実行を任せる
/claude-api hillclimbAnthropicは、cost-optimizeの最初のレバーと2回の探索をtau2-bench retail24で測定しました。いずれも以前のモデルでの測定です。cost-optimizeが生成したキャッシュブレークポイントはタスクあたりのコストを削減し、合格率の低下は同一実行間のばらつきよりも小さいものでした。
ある探索では、エフォートを下げてモデルティアを1段階下げることで、より低コストな構成が見つかりました。その合格率は、探索前に設定された範囲内にタスク1つ未満の差で収まりましたが、探索が自身の判定に使用したより厳しい下限を下回る結果となりました。低コストのモデルのデフォルトエフォートから開始した2回目の探索では、何も採用されませんでした。参照24に、数値と各探索の実行コストが記載されています。
次のグラフは、最初の探索のすべてのステップをプロットしたものです。
探索の答えを信頼できるかどうかは、2つの設定によって決まります。
- 探索が一切読み取らない分割を確保しておく。 探索はそこで採用を判断するため、確認によって、探索が見たタスクにのみ適合する変更を検出できます。プロンプトの編集がまさにそうでした(参照24)。
- 最初の変更の前にベースラインを繰り返す。 これらの測定では、1つの開始構成の同一実行間で数タスクの差がありました(参照24)。繰り返しにより、探索の採用ゲートにノイズの基準が与えられます。
参照したベンチマーク
参照先で別途記載がある場合を除き、測定値はこれらのベンチマークをAnthropic社内で実行したものです。特に記載がない限り、コストは各ベンチマーク実行時点の定価に基づく米ドル建てです。Claude Sonnet 5の数値は、入力トークンと出力トークン100万あたりそれぞれ$2 USDと$10 USDを使用しています。2026年9月24日の実行によるClaude Sonnet 5.5の数値は、同じ入力・出力価格と、ローンチ時の価格である$0.20 USDではなく現在のキャッシュ読み取り価格である100万トークンあたり$0.10 USDを、各実行で記録されたトークン数に適用しています。これらの実行ではClaude Sonnet 5.5のプレリリースビルドが使用され、フォールバックモデルによって回答された試行はありませんでした。「notional USD」(名目米ドル)とラベル付けされたグラフは、請求書を報告するのではなく、各リクエストのトークン数をこれらのレートで価格付けしたものです。
- WideSearch: Wong et al., “WideSearch: Benchmarking Agentic Broad Info-Seeking,” arXiv:2508.07999, 2025. 多数の行を持つ表の完全性と正確性で採点される広範なウェブ調査タスクです。200問、構成ごとに3回実行、2026年8月1日から2日に実行しました。このベンチマーク、DeepWideSearch(参照6)、BrowseComp(参照4)、GDPval(参照2)において、Claude Fable 5では、
lowエフォートはタスクあたりのコストを3分の1から半分削減する代わりに1〜3ポイントを失い、mediumはデフォルトのコストの約70%〜87%でデフォルトの精度に並び、デフォルトは4つのいずれにおいてもmediumに対して測定可能な改善をもたらしませんでした。コスト集中のグラフは別の20問の実行(問題ごとに3回、2026年8月3日から4日に実行)で、リクエストごとの請求記録からコストを算出しています。60回の実行のうち59回を対象としています。60回目は合計$432.31 USDのうち$10.91 USDが請求されましたが、結果とともにコストが記録されていないため含まれていません。 - GDPval: OpenAI, “GDPval: Evaluating AI Model Performance on Real-World Economically Valuable Tasks,” 2025。タスクのルーブリックに照らして採点されるナレッジワークの成果物。公開されたゴールドセットの210タスクの実行で、タスクごとに1回の試行、2026年8月2日に実行。Claudeモデルが採点するため、絶対スコアは公開結果と異なる場合があります。
- SWE-bench Pro: Scale AI, “SWE-Bench Pro: Can AI Agents Solve Long-Horizon Software Engineering Tasks?”, 2025.
- 測定内容: Anthropicの評価ハーネスとの互換性のために選択された482問のサブセットです。スコアは公開リーダーボードとは比較できません。また、Claude Opus 5.5のシステムカードにあるSWE-bench Proの結果とも比較できません。そちらは異なる問題セットで
maxエフォートで実行したものです。 - 価格の算出方法: このサブセットのコストは、顧客の組織が計量されるのと同じ方法で価格付けしています。各リクエストの以前のプロンプトをキャッシュ読み取りとして、新しいトークンを5分間のキャッシュ書き込みとして、実行自体の使用記録から算出し、顧客の台帳と照合しています。
- Claude Opus 5.5の実行: Claude Opus 5.5の数値は、
low、medium(デフォルト)、highでは2回の実行の平均、xhighでは1回の実行を使用しており、すべて2026年9月19日から20日に、8月のClaude Opus 5の実行と同じターンあたり16,384トークンの上限で実行しました。この上限によりxhighの試行2件が打ち切られ、他の設定では打ち切りはありませんでした。highと比較すると、Claude Opus 5.5はデフォルトのmediumではタスクあたりのコストの約70%で約2.5ポイント低く、lowではコストの約3分の1で約8ポイント低いスコアでした。xhighはhighの2.5倍のコストで約1.4ポイント高いスコアでした。比率は丸める前のコストから算出しています。 - 478問: Opus 5.5の実行では、採点コンテナが内部パッケージミラーにしかアクセスできないバージョンのベンチマークを使用しました。このバージョンでは、テストにライブのウェブサイトが必要な1問が除外され、さらに3問では参照解答がその環境で失敗するため、Opus 5.5の比較と、それと並べて示すClaude Fable 5.1の数値は、残りの478問を使用しています。
- Claude Sonnet 5.5の実行: Claude Sonnet 5.5は同じバージョンのベンチマークで実行しました。デフォルトの
highで2回、mediumで2回、すべて2026年9月24日に、同じターンあたり16,384トークンの上限で実行し、この上限で打ち切られた試行はありませんでした。その数値は478問を使用しており、それと並べて示すClaude Sonnet 5の数値も、8月の実行からそれらの問題について集計したものです。 - Claude Opus 5の実行: モデルをアップグレードするおよびこの参照におけるClaude Opus 5のSWE-bench Proの数値は、デフォルトのエフォートでの2回の実行の平均と、
lowでの1回の実行を使用しており、すべて2026年8月4日に実行しました。 - アドバイザー、Claude Sonnet 5の組み合わせ: アドバイザー戦略の相談率の例の背後にある、Claude Opus 5アドバイザーとClaude Sonnet 5エグゼキューターの組み合わせは、このサブセットで同じテスト環境を通じて実行しました。デフォルトのエフォートでの組み合わせは2回(2026年8月7日と8月8日、1回の実行とその正確な再現)、低エフォートの組み合わせは1回(2026年8月8日)、そして10日後にClaude Sonnet 5単体をデフォルトのエフォートで2回(77.4%、両方の組み合わせのベースライン)実行しました。
- アドバイザー、Claude Sonnet 5.5の相談チェック: アドバイザー戦略で引用しているClaude Sonnet 5.5の相談チェックは、2026年9月24日に、478問のうち20問それぞれで1回の試行を、アドバイザーツールを通じたClaude Opus 5.5アドバイザーとともに実行したものです。4つの構成を実行しました。
highとxhighそれぞれについて、アドバイザーツールのドキュメントで提案されているコーディングタスク向けのシステムプロンプトありとなしです。デフォルトのエフォートであるhighでは、Claude Sonnet 5.5はプロンプトの有無にかかわらず、20問のいずれでもアドバイザーに相談しませんでした。xhighでは、プロンプトなしで20問中3問、プロンプトありで4問で相談し、いずれもターン数が最も多い試行でした。 - エスカレーションの数値: エスカレーションの数値は、Opus 5.5の実行からタスクごとに算出しています。まず
low、その失敗に対してhighを実行した場合、実行の組み合わせ全体で96.4%〜97.5%を約$0.17 USDで解決しました。まずmediumの場合は96.0%〜97.1%を約$0.24 USDで、highを自身の失敗に対して再実行した場合は96.9%を$0.31 USDで、すべてをhighで実行した場合は94.8%〜95.8%を$0.29 USDで解決しました。 - モデルを比較する: モデルを比較するのClaude Fable 5.1の数値は、同じサブセットでデフォルトのエフォートで2026年8月26日に実行した1回の実行によるものです。478問で集計すると、解決したタスクあたり$1.19 USDで92.3%を解決しました。そのセクションのグラフとその表のClaude Opus 5.5およびClaude Sonnet 5.5の数値は、プロットした各設定での2回の実行をプールしたもので、すべて478問で集計しています。Claude Opus 5.5は
low、medium、high、Claude Sonnet 5.5はmediumとhighです。Claude Fable 5.2の数値は、lowとhigh(Messages APIでのデフォルト)でそれぞれ1回の実行によるもので、どちらも同じターンあたり16,384トークンの上限で実行しました。この上限によりhighの試行463件のうち8件が打ち切られ、lowでは打ち切りはありませんでした。打ち切られた試行は失敗として数えています。さらに1件のhighの試行は、完了前に評価環境の安全モニターによって停止され、これも失敗として数えていますが、それまでに行った変更はテストに合格していました。これを除くとhighは96.5%になります。これらの実行では、採点コンテナがネットワークにアクセスできないバージョンのベンチマークを使用しました。Opus 5.5の比較に使用した478問のうち、15問ではネットワークアクセスなしで参照解答が失敗するため、Fable 5.2の比較では残りの463問を使用しています。それらの比較では、Claude Opus 5.5の数値は同じ実行を463問で集計したもので、mediumとhighでそれぞれ2回、xhighで1回です。それと並べて示すClaude Fable 5.1とClaude Opus 5.5の数値はネットワークアクセスありで採点されているため、一致しているのは問題セットのみで、採点のセットアップは一致していません。Claude Fable 5.2のコストは、「価格の算出方法」で説明した計量方法を、各リクエストに個別に適用するのではなく各試行のトークン合計に適用したものであるため、推定値です。 - モデルを比較する、タスクあたりの作業量: これらの数値では、
lowのClaude Opus 5.5は、デフォルトのClaude Sonnet 5.5よりも各タスクで行う作業が少なく、Sonnet 5.5の出力トークンの半分強、キャッシュ読み取りの3分の1強でした。それぞれのデフォルトでは、mediumのOpus 5.5はSonnet 5.5より約5パーセントポイント多く解決し、コストは約2倍でした。その設定では、タスクあたりの作業量はSonnet 5.5よりわずかに多くなりました。 - モデルをアップグレードする、実行: 「モデルをアップグレードする」のClaude Fable 5のポイントは、2026年8月26日にデフォルトのエフォートで実行した3回の実行をプールしたもので、顧客の組織が計量されるのと同じ方法で価格付けしています。アップグレードのラダーは、すべてのモデルを478問で、それぞれ出荷時のデフォルトで集計しています。Opus 5、Opus 5.5、Sonnet 5、Sonnet 5.5(それぞれ2回の実行)とFable 5(前述の3回の実行)を除き、モデルごとに1回の実行を使用しています。Opus 4.7、Opus 4.8、Sonnet 4.6、Sonnet 5の実行は2026年8月17日から19日に、Opus 5の実行は8月4日に、すべて1つのハーネスと組織で実行しました。Opus 5.5とSonnet 5.5の実行は、この参照で前述したものです。
- モデルをアップグレードする、解決したタスクあたりのコスト: これらのClaude Opus 5の実行を、8月17日から19日のシリーズにおける出荷時デフォルトでのClaude Opus 4.8の1回の実行と、同じ478問で比較すると、Claude Opus 5は解決したタスクあたりのコストがClaude Opus 4.8より21%高くなります。グラフのSWE-bench ProパネルにはClaude Opus 4.7もClaude Opus 4.8も表示されていません。同じ測定において、顧客への請求と同じ方法で価格付けすると、Claude Opus 5は解決したタスクあたり21%高いコストでClaude Opus 4.8より12ポイント多くのタスクを解決し、Claude Opus 4.8は解決したタスクあたり14%低いコストでClaude Opus 4.7と同じ割合のタスクを解決し、
lowエフォートのClaude Opus 5は、このベンチマークにおいて解決したタスクあたりのコストの約30%でClaude Opus 4.8のデフォルトを上回ります。 - モデルをアップグレードする、価格: 「モデルをアップグレードする」におけるClaude Sonnet 4.6に対するClaude Sonnet 5の節約は、トークンあたりの価格が低いことによるもので、タスクあたりに使用する追加のトークンを上回って相殺しています。Claude Sonnet 5.5は、半額のキャッシュ読み取りを除くすべてでClaude Sonnet 5と同じ料金です。Claude Opus 5.5のトークン価格はClaude Opus 5より低く、特にキャッシュ読み取りで大きく下がっています。Claude Sonnet 5と同様に、フロンティアティアも価格によって改善しました。Claude Fable 5.1の節約の大部分は、キャッシュ読み取り価格の低下によるものです。
- キャッシングなしのコスト、記録されたトークン数からの価格付け: Anthropicは、キャッシングが最優先である理由のキャッシング係数のために、Claude Opus 5.5とClaude Sonnet 5.5の実行で記録されたトークン数を478問について再価格付けしました。
- 係数、モデル別: 各係数は、すべての入力トークンを入力価格で、出力トークンは変更せずに算出したトークンコストを、顧客の組織が計量されるのと同じ方法で価格付けしたコストで割ったものです。Claude Opus 5.5では、
mediumで3.3、lowで2.4、highで3.8、xhighで5.4(1回の実行)です。Claude Sonnet 5.5では、キャッシュ読み取りを100万トークンあたり$0.10 USDとして、highで3.1、mediumで2.4、ローンチ価格の$0.20 USDではhighで2.8です。タスクの最初のリクエストはキャッシュ書き込みとして価格付けしています。
- 測定内容: Anthropicの評価ハーネスとの互換性のために選択された482問のサブセットです。スコアは公開リーダーボードとは比較できません。また、Claude Opus 5.5のシステムカードにあるSWE-bench Proの結果とも比較できません。そちらは異なる問題セットで
- BrowseComp: Wei et al., “BrowseComp: A Simple Yet Challenging Benchmark for Browsing Agents,” OpenAI, 2025. エフォートの数値は500問のカットを使用し、設定ごとに1〜3回の実行、2026年8月3日に実行し、デフォルトのポイントは2026年7月26日から27日の2回の実行をプールしています。オーケストレーター戦略における、コストのテールが長い定型作業の測定では、プロトコルが固定された時点でモデルが単独で確実に解決した10問を、26問のスライスから使用しています。委任した実行は50回(問題ごとに5回、2026年8月1日から2日)、モデル単体の実行は70回(2026年8月2日から3日に50回、2026年7月12日から13日と8月1日からアーカイブされた20回)で、期待値では実行あたり$6.45 USD対$11.99 USDです。委任した数値には約20%の測定幅があります。10問は、委任構成(1つのClaude Sonnet 5ワーカーを持つClaude Fable 5オーケストレーター)が5回の実行すべてで正解し、Claude Fable 5単体がアーカイブされた両方の実行で正解した問題です。委任した実行はそれらと同じ実行であり、10問で再実行したのはClaude Fable 5単体のみです。アーカイブ分と新規分を合わせた70回の実行で、Claude Fable 5単体は68回正解しました。これらの問題では、委任構成のコストは平均でClaude Fable 5単体の約半分(前述の$6.45 USDと$11.99 USD)、90パーセンタイルでは約3分の1(実行あたり$12 USD対$33 USD)で、最も高価な実行は$84 USDに対して$42 USDでした。その$84 USDの実行は不正解でもありました。より難しいBrowseCompの全セットでは、Claude Fable 5単体は、そのセットで測定したオーケストレーター構成の精度に、22%〜30%低いコストで到達しました。
- エージェントアーキテクチャのスケーリング: Kim et al., “Towards a Science of Scaling Agent Systems,” arXiv:2512.08296, 2025。独立した外部研究で、委任が割に合わない場合に関する知見の方向性についてのみ引用しており、いかなる数値についても引用していません。
- DeepWideSearch: “DeepWideSearch: Benchmarking Depth and Width in Agentic Information Seeking,” arXiv:2510.20168, 2025. 220の質問は15のドメインにわたり、それぞれ多数の行の収集とマルチホップ検索を組み合わせています。ベンチマークの標準の行セットで測定し、構成ごとに3回実行、2026年8月2日に実行しました(単一ワーカーのチームのポイントは2026年7月26日から27日に実行)。Claude Fable 5では、
lowエフォートはClaude Sonnet 5ワーカーを持つオーケストレーターに29%低いコストで並び、問題あたり4.5分かかりました(デフォルトでは7.9分)。 - DeepResearch Bench II: Li et al., “DeepResearch Bench II: Diagnosing Deep Research Agents via Rubrics from Expert Report,” arXiv:2601.08536, 2026.
- 測定内容: 22のドメインにわたる132の調査タスクが、専門家に由来する二値ルーブリックに照らして採点されます。2026年11月3日に、すべてのテーマから抽出した50タスクのサブセット(半分は英語、半分は中国語)で、タスクごとに1回の試行、設定ごとに3回の実行で測定しました。設定は、
highのClaude Sonnet 5.5、mediumのClaude Opus 5.5、そしてlow、medium、highのClaude Fable 5.1とClaude Fable 5.2です。すべての設定はMessages API上で適応型思考をオンにして実行し、リリース済みの3つのモデルでは本番の安全性分類器もオンにしました。Claude Fable 5.2はリリース前に、4つの生物学タスクを除く50タスク中46タスクで実行しました。 - ツール: エージェントは、評価ハーネスがAnthropicのウェブインデックス(2026年3月17日より後の日付のものを含まない)上でホストする検索およびフェッチツールを使用し、シェルは持っていませんでした。120文字を超える検索クエリは最後の完全な単語で切り詰められ、エージェントにはそのことが伝えられました。これに該当したのは、Claude Fable 5.2で検索の57%〜59%、Claude Sonnet 5.5で49%、他の設定で26%から31%でした。タスク内では、切り詰められた検索が多いClaude Fable 5.2の実行ほどスコアが低いということはありませんでした。2026年11月6日と7日には、Claude Fable 5.2とClaude Opus 5.5の追加の実行を、2つのセットそれぞれでモデルごとに3回行いました。一方のセットではツールが以前と同様に長いクエリを切り詰め、もう一方のセットでは拒否しました。両方のセットで採点された43タスクでは、切り詰めありの場合、
highのClaude Fable 5.2はClaude Opus 5.5より0.9ポイント低いスコアでした(95%区間で1.0高い〜2.7低い)。この区間には、11月3日に44タスクで測定した1.9ポイントの差が含まれます。拒否ありの場合は1.9ポイント低いスコアでした(0.0〜3.7)。この差は切り詰めありの場合より1.0ポイント大きく(0.8小さい〜2.8大きい)、測定可能な変化ではありませんでした。フェッチの約4分の1はエラーを返しました。各タスクの元記事と、ベンチマーク自体の論文およびデータセットは除外しました。 - 採点方法: Claude Opus 4.6がベンチマークのルーブリックプロトコルに従って判定します。オリジナルは異なる判定者を使用しており、Anthropicの判定者は自社のスタイルを好む可能性があります。スコアは、すべての設定が回答し、判定者が完全に採点した44タスクでの平均です。残りの6つは、Claude Sonnet 5.5がすべての実行で回答し、安全性分類器がClaude Fable 5.1のすべての試行(36件)とClaude Opus 5.5の12件中11件を停止した4つの生物学タスク、コンピュータセキュリティ研究の調査であり、分類器が
lowのClaude Fable 5.1の1件の試行とhighのClaude Fable 5.2の3件中2件を停止した1つのタスク、そしてAnthropicが自社の評価に追加している安全チェックがClaude Sonnet 5.5の1件の試行を停止した1つのタスクです。 - スコア: 44タスクと、拒否または停止された試行を0として数え、判定者が完全に採点しなかった回答済みの1件の試行を部分スコアのまま保持した50タスク全体でのスコア: Claude Sonnet 5.5は57.2%と56.8%、Claude Opus 5.5は59.6%と54.6%、Claude Fable 5.1は
lowで60.2%と54.7%、mediumで62.1%と56.6%、highで62.5%と57.0%です。Claude Fable 5.2は、44タスクでlowが54.5%、mediumが55.0%、highが57.7%です。44タスクでのタスクごとの差(丸める前の値から算出、95%区間付き):lowに対するhighのClaude Fable 5.1は2.3ポイント(1.3〜3.3)、Claude Sonnet 5.5に対するClaude Opus 5.5は2.4(1.0〜3.8)、Claude Opus 5.5に対するhighのClaude Fable 5.1は2.8(1.4〜4.3)、Claude Sonnet 5.5に対しては5.2ポイント(4.0〜6.5)、lowに対するmediumのClaude Fable 5.1は1.9(0.6〜3.1)、lowに対するhighのClaude Fable 5.2は3.3(1.7〜4.9)、lowに対するmediumは0.6(-0.6〜1.8)、Claude Sonnet 5.5に対するhighのClaude Fable 5.2は0.5(-1.2〜2.2)、Claude Opus 5.5に対しては-1.9(-3.6〜-0.2)、Claude Fable 5.1に対するClaude Fable 5.2はlowで-5.8(-8.0〜-3.5)、mediumで-7.0(-9.3〜-4.8)、highで-4.7(-6.4〜-3.1)です。50タスク全体では、Claude Sonnet 5.5に対するClaude Opus 5.5は-2.2(-7.6〜3.2)、Claude Sonnet 5.5に対するhighのClaude Fable 5.1は0.2(-5.5〜5.9)です。 - 価格の算出方法: 各タスクあたりのコストは、試行の使用記録から、モデル自身のトークンを定価で価格付けしたもので、50タスク全体とすべての試行にわたり、3回の実行で平均しています。Claude Sonnet 5.5で$1.11 USD、Claude Opus 5.5で$1.61 USD、Claude Fable 5.1で$3.55 USD、$4.44 USD、$5.69 USDです。Claude Fable 5.2のコストは46タスクでのもので、$1.49 USD、$2.16 USD、$4.82 USDです。同じ46タスクでは、他の5つの設定のコストは$1.13 USD、$1.69 USD、$3.85 USD、$4.82 USD、$6.18 USDです。4つの生物学タスクでは、Claude Fable 5.1の各試行は最初のリクエストで停止され、試行のコストは平均でClaude Fable 5.1で約1セント、Claude Opus 5.5で$0.74 USDでした。44タスクのみでは、コストは$1.13 USD、$1.68 USD、$3.85 USD、$4.77 USD、$6.10 USD、Claude Fable 5.2では$1.50 USD、$2.20 USD、$4.86 USDです。モデルを比較するのコスト比較(1.5倍、4.3倍、2.9倍、および
low、medium、highのClaude Fable 5.1より61%、54%、20%少ない)とエフォートを調整するのコスト比較(3.2倍)は、隣のスコアと同様にこの44タスクでのものです。コストはモデルのトークンのみを対象としており、ハーネスのツールによる料金は発生しません。エージェントはタスクあたり12〜33回の検索を行いました(拒否された試行を含む)。 - グラフ: キャッシングのグラフとエフォートのグラフは、同じエフォートレベルでのClaude Fable 5.1、Claude Opus 5.5、Claude Sonnet 5.5の2026年10月22日の実行を示しています。キャッシングのグラフは、それらの実行のリクエストを、すべての入力トークンをキャッシュなしのレートとして再価格付けしたものです。キャッシュブレークポイントは評価ハーネスが設定しました。
- 比較可能性: これらのスコアはベンチマークのリーダーボードとは比較できません。
- 測定内容: 22のドメインにわたる132の調査タスクが、専門家に由来する二値ルーブリックに照らして採点されます。2026年11月3日に、すべてのテーマから抽出した50タスクのサブセット(半分は英語、半分は中国語)で、タスクごとに1回の試行、設定ごとに3回の実行で測定しました。設定は、
- 社内の欠陥探索ベンチマーク:
- 測定内容: Anthropic社内のもので、1つのコンテキストウィンドウより大きな作業向けです。14の公開Pythonパッケージソースからなる約2,200万トークンのコーパスを201のパートに分け、130の欠陥を仕込み、決定論的に採点します。Claude Managed Agents上で構成ごとに10回実行しました。170回のうち51回は2026年10月27日〜29日、69回は2026年11月2日〜3日に実行し、Claude Fable 5.2の50回はリリース前の2026年11月3日〜4日に実行しました。
- 構成: 単体では、各モデルはパートごとに1つのセッションを実行し、各セッションにはそれまでの検出結果を与えました。Claude Fable 5.2、Claude Fable 5.1、Claude Opus 5.5は
low、medium、highで、Claude Sonnet 5.5とClaude Haiku 5.5は各モデルのデフォルト(highとmedium)で実行しました。サブエージェントありでは、Claude Fable 5.2、Claude Fable 5.1、またはClaude Opus 5.5をhighでオーケストレーターとして、マルチエージェントオーケストレーション(multiagent_20261001タイプ)を通じて実行しました。1つの事前定義エージェントをサブエージェントとし、サブエージェント自身のモデルのデフォルトのエフォートで、パートごとに1回、同時に最大25個まで呼び出し、インラインエージェントと動的ワークフローはオフにしました。すべての構成は、検出結果をまとめる、サブエージェントなしのもう1つのセッションで終了しました。思考はプラットフォームのデフォルト(オン、いつ思考するかはモデルが選択)で実行されました。 - ツール: すべてのエージェントは、分離された仮想マシン内で、ベンチマーク独自のシェルツールとファイルツールを使用しました。最初のエージェントが開始する前に、評価はそのマシンからコーパスのパッケージのインストール済みコピーを削除し、そのマシンからの接続が1つも成功しないことを確認しました。
- 結果: 平均F1(範囲)と実行あたりの平均コストです。Claude Haiku 5.5単体:0.577(0.550〜0.606)、$25 USD。Claude Sonnet 5.5単体:0.760(0.669〜0.788)、$103 USD。Claude Opus 5.5単体の
low:0.489(0.437〜0.551)、$38 USD、medium:0.827(0.797〜0.850)、$200 USD、high:0.850(0.829〜0.876)、$236 USD。Claude Fable 5.1単体のlow:0.829(0.807〜0.841)、$527 USD、medium:0.839(0.817〜0.856)、$603 USD、high:0.847(0.829〜0.861)、$716 USD。Claude Fable 5.2単体のlow:0.866(0.852〜0.884)、$357 USD、medium:0.877(0.863〜0.884)、$378 USD、high:0.909(0.896〜0.925)、$563 USD。Claude Opus 5.5、Claude Sonnet 5.5サブエージェントあり:0.831(0.814〜0.850)、$139 USD、Claude Haiku 5.5サブエージェントあり:0.677(0.640〜0.718)、$47 USD。Claude Fable 5.1、Claude Sonnet 5.5サブエージェントあり:0.825(0.812〜0.858)、$172 USD、Claude Haiku 5.5サブエージェントあり:0.687(0.660〜0.723)、$88 USD。Claude Fable 5.2、Claude Sonnet 5.5サブエージェントあり:0.833(0.795〜0.856)、$165 USD、Claude Haiku 5.5サブエージェントあり:0.716(0.683〜0.773)、$85 USD。他のモデルの、0.80を超えるスコアの構成では、どの2つの範囲も重なっています。平均F1の差と95%区間は次のとおりです。Claude Sonnet 5.5サブエージェントを使用したClaude Opus 5.5は、Claude Opus 5.5単体のmediumより0.4ポイント高く(1.1ポイント低い〜1.9ポイント高い)、単体のhighより1.9ポイント低く(0.6〜3.2)、Claude Sonnet 5.5単体より7.1ポイント高いスコアでした(4.6〜9.7)。単体では、Claude Opus 5.5はhighのほうがmediumより2.3ポイント高いスコアでした(0.7〜3.9)。Claude Fable 5.1単体はlowのほうがhighより1.8ポイント低いスコアでした(0.8〜2.8)。highでは、Claude Opus 5.5単体のmediumより2.0ポイント高く(0.7〜3.4)、Claude Opus 5.5単体のhighより0.3ポイント低いスコアでした(1.5ポイント低い〜1.0ポイント高い)。Claude Sonnet 5.5サブエージェントを使用した場合、Claude Fable 5.1はClaude Opus 5.5より0.6ポイント低いスコアでした(1.9ポイント低い〜0.6ポイント高い)。mediumとhighのClaude Opus 5.5単体と比較すると、Claude Fable 5.2単体は各レベルでより高いスコアでした(差は丸める前の値から算出)。lowでは3.9ポイント(2.4〜5.3)と1.6(0.3〜2.9)高く、コストは1.8倍と1.5倍、mediumでは5.0(3.6〜6.3)と2.7(1.5〜3.8)高く、1.9倍と1.6倍、highでは8.2(6.8〜9.6)と5.9(4.7〜7.1)高く、2.8倍と2.4倍でした。同じレベルのClaude Fable 5.1単体よりも、lowで3.6ポイント(2.6〜4.7)、mediumで3.8(2.8〜4.8)、highで6.1(5.3〜7.0)高いスコアを、32%、37%、21%少ないコストで記録しました。lowではhighより4.3ポイント低いスコア(3.3〜5.3)で、コストは37%少なくなりました。Claude Sonnet 5.5サブエージェントを使用した場合、Claude Fable 5.2はClaude Opus 5.5より0.2ポイント高いスコア(1.3ポイント低い〜1.7ポイント高い)で、コストは19%多く、Claude Fable 5.2単体のlowより3.2ポイント(1.8〜4.7)、mediumより4.3(3.0〜5.7)、highより7.5(6.1〜9.0)低いスコアで、コストは54%、56%、71%少なくなりました。highのClaude Fable 5.2単体の1回の実行はスコアなしで早期に終了したため、差し替えました。Claude Opus 5.5の組み合わせのコストは、Claude Opus 5.5単体のmediumより31%、単体のhighより41%少なくなりました。単体では、Claude Opus 5.5のコストはmediumのほうがhighより15%少なくなりました。11月に実行したClaude Sonnet 5.5単体の7回はすべて、10月の3回を下回るスコアでした(0.783〜0.788に対して0.669〜0.775)。原因は不明であり、すべての実行を集計に含めています。Claude Haiku 5.5サブエージェントを使用したClaude Fable 5.1のコストは、10月には実行あたり$85.77 USD、11月には$89.06 USDでした。 - 価格の算出方法: 各実行のセッションに対するプラットフォームの定価でのコストで、プロンプトキャッシングを使用したトークンとセッションランタイムを含みます。Claude Opus 5.5の
highでの実行のうち5回は、それぞれ実行の一部で1時間のキャッシュ期間を使用しており、1時間のキャッシュ期間ではキャッシュ書き込みのコストが高くなるため、5分間のキャッシュ料金で、トークン数のみから価格を算出しています。Claude Fable 5.2自身のトークンは、そのカウントから、5分間のキャッシュ書き込みを含む定価で価格を算出しています。単体での実行では、セッションのランタイム(実行コストの0.2%未満)は含まれていません。コストには、評価の安全性設定の一環であるツール呼び出しに対する追加チェックの分は含まれていません。
- GPQA Diamond: Rein et al., “GPQA: A Graduate-Level Google-Proof Q&A Benchmark,” 2023. 198問のDiamondサブセットで、参照解答に照らしてモデルが採点し、アドバイザーのトークンはリクエストごとに計量しています。Claude Haiku 5.5とClaude Sonnet 5.5(それぞれ単体およびClaude Opus 5.5アドバイザーあり)と、Claude Opus 5.5単体を、2026年10月7日に構成ごとに2回実行しました。すべてサーバーサイドフォールバックをオフにし、各モデルのデフォルトのエフォートで、拒否は不正解として数えています。プラットフォームの安全チェックにより、Claude Haiku 5.5単体とClaude Sonnet 5.5単体では実行ごとに生物学の質問1問が拒否され、アドバイザーありのHaiku 5.5では2回の実行のうち1回で1問、アドバイザーありのSonnet 5.5ではなし、Opus 5.5では実行ごとに6問が拒否されました。Opus 5.5は、それらを不正解として数えると91%、回答した質問では93.5%でした。Claude Haiku 5.5単体は85%で、Opus 5.5より6ポイント低いスコアでした。アドバイザー構成では、相談を求めるプロンプトなしでツールを追加しており、どちらのエグゼキューターもどの質問でもアドバイザーを呼び出しませんでした。組み合わせは、エグゼキューター単体より0.5ポイント(Claude Haiku 5.5)と1.0ポイント(Claude Sonnet 5.5)高いスコアで、どちらも実行間のノイズの範囲内でした。
- DeepSWE: Datacurve, “DeepSWE: Measuring Frontier Coding Agents on Original, Long-Horizon Engineering Tasks,” arXiv:2607.07946, 2026. このセットには、プログラムベースの検証器を備えた5つの言語にわたる113のオリジナルタスクがあります。組み合わせはそれぞれ2回の実行で、2026年8月7日に実行し、アドバイザーのトークンはリクエストごとに計量し、アドバイザーツールではなくクライアント側のアドバイザーループを使用しましたが、計算方法は同一です。単一モデルのエフォートスイープは、トークン数から価格付けした単一の実行で、キャッシュを考慮した近似値です。タスクあたりのコストは、実行の合計を113で割ったものです。このベンチマークでは、アドバイザーありの低エフォートのClaude Sonnet 5エグゼキューターは、同じエグゼキューター単体より23ポイント高いスコアでした。
- 社内のエージェント型コーディングベンチマーク:
- 測定内容: Anthropic社内のもので、リポジトリ自身のテストで採点される370のリポジトリタスクです。APIの数値は、シンプルなAPIエージェントと128,000トークンの出力上限で、構成ごとに1回の実行で測定しました。Opus 5単体はデフォルトのエフォートで2026年8月9日から10日、
lowとmediumで2026年8月10日、Claude Fable 5.1単体は明示的に設定した5つのエフォート値で2026年8月20日(グラフにはそのうち3つを表示)、組み合わせは2026年8月24日から25日です。 - 8月の実行: 8月の実行では、組み合わせとClaude Opus 5の対照ではタスクごとに5回の試行、その他のポイントでは1回の試行でした。
- 価格の算出方法: コストは試行あたりです。コストは顧客の組織が計量されるのと同じ方法で価格付けしています。各エージェントループのリクエストの以前のプロンプトをキャッシュ読み取りとして、新しいトークンを5分間のキャッシュ書き込みとして実行自体の使用記録から算出し、キャッシュを使用しない各アドバイザー呼び出しは記録されたトークンから算出し、すべて定価で計算しています。
- Claude Opus 5.5単体: Claude Opus 5.5単体は、2026年9月19日から20日に370タスクすべてで実行しました。デフォルトのエフォート(
medium)とhighではタスクごとに5回の試行、lowとxhighでは1回の試行です(セットアップチェックの失敗により、それぞれ370中369を採点)。Claude Opus 5.5単体は、lowで試行の74.8%を試行あたり$0.35 USDで、mediumで86.6%を$0.84 USDで、highで88.4%を$1.38 USDで、xhighで91.1%を$4.11 USDで解決しました。 - Claude Fable 5.1アドバイザーを使用したClaude Opus 5.5、実行: リリース版のClaude Fable 5.1をアドバイザーとする
highのClaude Opus 5.5エグゼキューター(8月の実行ではプレリリースのスナップショットを使用)は、同じ日程でタスクごとに5回の試行を実行しました。1つのタスクがセットアップチェックに失敗したため、1,845件の試行を採点しました。負荷によりアドバイザーが拒否された279件の試行は再実行し、相談がタイムアウトした試行は8月と同様に保持しました。 - Claude Fable 5.1とClaude Fable 5.2単体: 比較のため、リリース版のClaude Fable 5.1単体は、デフォルトの
highで85.7%(370タスク中317)を記録しました。2026年10月7日にタスクごとに1回の試行です。Claude Fable 5.2単体は370タスクすべてで、low、medium、highでタスクごとに1回の試行を実行しました(mediumではセットアップチェックの失敗により370中369を採点)。 - 相談: 8月の組み合わせでは、試行あたり平均約2回のアドバイザーへの相談がありました。Claude Opus 5.5の組み合わせでは1.39回を要求し、1.35回を受け取りました。
- Claude Fable 5.1アドバイザーを使用したClaude Opus 5.5、結果: Claude Opus 5.5の組み合わせは、試行あたり$2.92 USDで90.1%を記録しました。デフォルトの
mediumのClaude Opus 5.5と比較すると、約3.5倍の費用で3.5ポイントの向上です。レイテンシのコストは相談そのものです。タスクあたり約1〜2回の追加のフロンティアモデル呼び出しがあり、それぞれがタスクのクリティカルパス上にあります。Claude Opus 5.5エグゼキューターでは、アドバイスによるエグゼキューターのコスト削減はほとんどありませんでした。highのClaude Opus 5.5単体の$1.38 USDに対して試行あたり$1.36 USDで、相談のコストは$1.55 USDでした。 - 8月の組み合わせ: 8月には、Claude Opus 5エグゼキューターとClaude Fable 5.1アドバイザーで、エグゼキューターはデフォルトのClaude Opus 5単体より試行あたり$1.26 USD少なく支出し、相談のコストは$2.47 USDだったため、その節約でアドバイスの約半分を賄いました。その8月の組み合わせは、当時測定した中で最も精度の高い構成で、試行あたり$6.21 USDでした。
- Claude Sonnet 5.5単体、実行: Claude Sonnet 5.5単体は、2026年9月24日に370タスクすべてで、デフォルトのエフォート(
high)とmediumで、タスクごとに1回の試行を、同じ128,000トークンの出力上限で実行し、この上限で打ち切られた試行はありませんでした。mediumでは370件すべてを、highではセットアップチェックの失敗により370中369を採点しました。そのコストは顧客の組織が計量されるのと同じ方法で価格付けしています。 - Claude Sonnet 5.5単体、結果: アドバイザーなしで、Claude Sonnet 5.5はデフォルトの
highで試行あたり$0.33 USDで77.8%を記録しました。これはデフォルトのClaude Opus 5.5より約9ポイント低く、コストは約5分の2です。mediumでは$0.16 USDで62.7%でした。mediumでは、Claude Sonnet 5.5はデフォルトのhighより約15ポイント低く、試行あたりのコストは約48%でした。 - モデルを比較する: モデルを比較するでは、デフォルトのClaude Opus 5.5の試行あたりのコストは、
mediumのClaude Fable 5.2の3分の2未満でした(mediumのClaude Fable 5.2は単一の実行です)。lowでは、Fable 5.2は試行あたり$1.05 USDで88.9%も記録しました。Messages APIでのデフォルトであるhighでは、試行あたり$5.39 USDで93.5%を記録しました。
- 測定内容: Anthropic社内のもので、リポジトリ自身のテストで採点される370のリポジトリタスクです。APIの数値は、シンプルなAPIエージェントと128,000トークンの出力上限で、構成ごとに1回の実行で測定しました。Opus 5単体はデフォルトのエフォートで2026年8月9日から10日、
- 社内のリポジトリタスクベンチマーク(上限の測定):
- 測定内容: 約130のリポジトリタスクからなる別のAnthropic社内セットで、2026年8月20日(Claude Fable 5.1)と2026年9月19日(Claude Opus 5.5、デフォルトのエフォートである
medium)に、シンプルなAPIエージェントループで、タスクごとに1回の試行で実行しました。Claude Fable 5.2の実行でも同じループを使用し、タスクごとに1回の試行でした。Claude Opus 5.5の実行と同様に、上限に達したターンはその試行を終了させました。 - 価格の算出方法: 解決したタスクあたりのコストは、Claude Fable 5.1については5分間のプロンプトキャッシングを使用して顧客への請求と同じ方法で、Claude Opus 5.5については実行で記録されたトークン数から定価で価格付けしています。
- Claude Fable 5.1とClaude Fable 5.2の実行: Claude Fable 5.1の実行は、明示的に設定したデフォルトのエフォートで上限ごとに135タスクです。Claude Fable 5.2の実行は、Messages APIでのデフォルトである
highを明示的に設定し、上限ごとに134タスクです。Claude Fable 5.1とClaude Opus 5.5の実行の後、1つのタスクがセットから取り下げられました。さらに1つのタスクは、すべての実行でモデルの開始前にベンチマーク自身による参照解答のチェックに失敗したため除外し、上限ごとに133タスクを採点しています。16,384トークンの数値は2回の実行の平均(19.5%と21.1%)、64,000と128,000の数値は単一の実行(77.4%と78.2%)です。64,000では、1つのタスクが最初の実行でそのチェックに失敗したため再実行し、チェックに合格したため採点しています。16,384と64,000では、安全上の拒否を受けたFable 5.2の試行はありませんでした。128,000では、1件の試行が安全上の拒否を受け、1件が完了前に評価環境の安全モニターによって停止されました。どちらも失敗として数えています。停止された試行がそれまでに行った変更はテストに合格しており、これを除くと128,000で78.8%になります。表のClaude Fable 5.2とClaude Opus 5.5のコストは、各試行で記録されたトークン使用量をモデルの定価で価格付けしたものです。2つのモデルの結果は、ベンチマークの採点コードの異なるバージョンで採点されました。 - Claude Opus 5.5の実行: Claude Opus 5.5の16,384トークンの数値は2回の実行の平均(134タスクと135タスクを採点)、64,000と128,000の数値は単一の実行(それぞれ135タスク)です。16,384トークンの各実行で2件、64,000トークンと128,000トークンの各実行で1件の試行が安全上の拒否で終了し、失敗として数えています。Claude Opus 5.5は、16,384で57.6%(58.2%と57.0%)、64,000で75.6%、128,000で68.9%を解決しました。64,000でも128,000でも打ち切られた試行はなかったため、上限ではこれら2つの実行の差を説明できません。
- 上限によって終了した試行: 16,384トークンの上限によって終了した試行のうち、Claude Opus 5.5の66件中1件のみ、Claude Fable 5.1の117件中9件が、それでも合格しました。Claude Fable 5.2の226件中20件も同様でした。
- 試行あたりのコスト: 試行あたりのコストは、16,384と64,000でそれぞれ、Claude Opus 5.5では定価で$3 USDと$4 USD、Claude Fable 5.1では顧客への請求と同じ方法で$8 USDと$13 USDでした。Claude Fable 5.2では定価で$6 USDと$19 USDでした。
- SWE-bench Proの上限の数値: SWE-bench Proの上限の数値は、デフォルトのエフォートで上限ごとにClaude Fable 5.1を1回実行したもので、2026年8月26日に、参照3の482問のセットから層化した100問のサブセットで実行しており、そのスコアとは比較できません。デフォルトのエフォートでは、16,384と64,000での実行はそれぞれ100問中94問を解決しました。
- ターンの長さ: このセクションのドットプロットにおけるターンごとの分布は、128,000でのClaude Opus 5.5とClaude Fable 5.1の実行によるものです。Opus 5.5のターンで上限に達したものはなく(最長は約61,000トークンで、ターンの0.56%が16,384を超えました)、Fable 5.1のターン1件が128,000に達しました(ターンの0.46%が16,384を超えました)。上限が128,000の場合、Claude Fable 5.1の14,331ターンのうち2ターンが64,000トークンより長く、Claude Opus 5.5のターンではそのようなものはありませんでした。上限が128,000の場合、Claude Fable 5.2の17,750ターンのうち303ターン(1.7%)が16,384トークンより長く、7ターンが64,000より長くなりました。これには、キャンセルされて再実行された試行のターンも含まれます。
- 測定内容: 約130のリポジトリタスクからなる別のAnthropic社内セットで、2026年8月20日(Claude Fable 5.1)と2026年9月19日(Claude Opus 5.5、デフォルトのエフォートである
- Chartography: Surge AI, “Chartography,” 2026.
- 測定内容: リリースされた100問のセット全体を、2026年8月6日と9日(Claude Opus 5単体)と2026年9月20日(Claude Opus 5.5)に、Claude Managed Agents上のAnthropicの実装で測定しました(標準のクラウドサンドボックス。アドバイザー構成ではManaged Agentsのアドバイザーを使用)。
- 採点方法: 参照判定者の代わりにClaude Sonnet 4.6が採点し、ベンチマークはツールありで実行されるため、スコアはここでの構成間では比較できますが、公開リーダーボードとは比較できません。また、Claude Opus 5.5のシステムカードにあるChartographyの結果とも比較できません。そちらは異なる採点者を使用し、
maxエフォートで実行しています。構成ごとに2回の実行(Claude Opus 5.5は3回)をプールしています。実行間のばらつきは最大10ポイントでした。 - 価格の算出方法: コストは、エージェントを日常的に実行する顧客に請求される金額です。各グラフの最初のリクエストは、同じエージェントの別のセッションが直前の5分以内に実行された場合と同様に、エージェントの共有システムプロンプトとツールをキャッシュから読み取ります。グラフを単独で実行すると、Claude Opus 5またはClaude Opus 5.5では約$0.03 USD、Claude Fable 5.1では約$0.12 USD高くなります。8月の数値は、実行の使用記録からこの方法で再価格付けしています。コストにはサンドボックスの時間は含まれておらず、8月の実行ではそれによる増加は1%未満でした。
- Claude Fable 5.1単体、8月の実行: Claude Fable 5.1単体の実行は2026年8月24日のもので、プラットフォームのローンチ時のサービング設定の下で、設定ごとに2回の実行です。6件の試行が15分のセッション上限に達してスコア0となり、実行ごとに2つのグラフが安全上の拒否の後にClaude Opus 5によって回答されました。
- Claude Fable 5.1アドバイザーを使用したClaude Opus 5: Claude Fable 5.1アドバイザーを使用したClaude Opus 5の低エフォートエグゼキューターは、2026年8月30日に同じ設定で2回実行しました(63.0と67.0、平均65.0、グラフあたり$0.47 USD。アドバイザーは各実行でタスクの88%で相談され、219件の返答のうち4件は、本番の安全フィルターがアドバイザー自身の返答を停止した後に、代わりにClaude Opus 5から返されました)。その組み合わせは、実行間のノイズの範囲内で
mediumのClaude Fable 5.1単体に並びました(65.0対67.5)が、タスクあたりのコストは約1.8倍でした。ほとんどのタスクで発動する相談は、より強力なモデル自体を実行するよりもコストがかかります。 - Claude Opus 5.5の実行: Claude Opus 5.5は
lowで、サーバーサイドフォールバックをオフにし、安全性分類器がすべてのツール呼び出しを判定する状態で実行しました。単体で3回(70、68、68)、Claude Fable 5.1アドバイザーを構成して3回(59、63、63)で、後者では300タスク中1タスクでアドバイザーに相談しました。 lowエフォートでの結果: このグラフ読み取りベンチマークでは、lowのClaude Opus 5.5はグラフあたり約$0.03 USDで68.7を記録しました。これに対し、lowのClaude Fable 5.1は$0.15 USDで62.5、lowのClaude Opus 5は$0.16 USDで49でした。- Claude Fable 5.1単体、10月の実行: Claude Opus 5.5の組み合わせとの比較のため、デフォルトの
highのClaude Fable 5.1単体を、2026年10月7日に、Claude Opus 5.5の実行と同じ実装とプラットフォーム設定で3回実行しました。82、79、79で、平均80.0です。 - 相談率: 以前の組み合わせの相談率の比較は、2026年8月10日から11日に、コンテナツールセットを使用してMessages APIで同じ構成を再実行したものです。
- サポートデスクのプロンプト監査評価:
- 測定内容: 決定論的に採点される44件のサポートチケットからなるAnthropic作成のセットで、2026年8月上旬に実行し、2026年8月8日に報告しました。6つのシステムプロンプトの下で実行し、それぞれ同じクリーンなプロンプトに、Claude Opus 4.8とClaude Sonnet 4.6向けに書かれたプロンプトによく見られるパターンを1つ追加しています。
- グラフ: グラフの各ポイントは、3つのケース(旧モデル、同じプロンプトでの新モデル、監査後の新モデル)のいずれかを、6つのプロンプトと44件のチケットで平均したものです。
- 結果、Claude Opus 5: Claude Opus 5では、Claude Opus 4.8向けに書かれたプロンプトは、Claude Opus 4.8での場合よりチケットあたり36%高いコストがかかり、精度に変化はありませんでした。監査後、Claude Opus 5でのコストは監査前より14%低くなり(丸める前の平均から算出。グラフの丸めたコストであるチケットあたり3.43米セントと2.93米セントでは14.6%)、Claude Opus 5はチケットの97%を正しく解決しました(92%から向上)。パターン別では、Claude Opus 5において、「2回検証する」を削除するとチケットあたりのコストが3分の1削減され、「最大限徹底する」を削除するとほぼ同程度削減されました。廃止済みの思考設定、矛盾するルール、手作りのスクラッチパッドを削除すると、それぞれ7〜11ポイントの精度が回復しました。
- 結果、Claude Sonnet 5: Claude Sonnet 4.6からClaude Sonnet 5への移行では、監査により同じ精度でチケットあたりのコストが14%削減されました。
- 注意事項: Opus 5の精度向上の95%信頼区間は3〜8ポイントです。Sonnetの精度の差はノイズの範囲内です。
- データファイルの質問セット: 公開されている酒類販売CSVの1,862行のスライスに対する25の集計質問からなるAnthropic作成のセットで、正解はpandasで計算し、完全一致で採点します。Claude Sonnet 5とClaude Opus 5で、思考を無効にし(コンテキスト内のアームはデフォルトでは完了できないため)、4,000トークンの出力上限、プロンプトキャッシングなしで、構成ごとに3回、2026年8月19日に実行しました。ファイルのアームはFiles APIを通じてCSVをアップロードし、
code_execution_20260120ツールを使用します。コンテキスト内のアームのClaude Sonnet 5の3回の実行は、25問中6問、7問、7問に正解しました。グラフのラベルと本文ではその平均6.67を最も近い問題数に丸めて示しており、グラフのポイントは平均の26.7%に描画されています。 - キャッシュ期間の測定:
- 測定内容: 入力とコンテキストのトークンを削るの20件のイシューのトリアージジョブを、Claude Sonnet 5では2026年8月23日に、Claude Opus 5.5では2026年9月19日と20日にデフォルトのエフォート(
medium)とhighで、Messages API上で同じハーネス(Claude Opus 5.5では、同じリクエストボディを送信するその移植版)を使用して実行しました。Claude Opus 5.5のセルではmax_tokensを4,096に引き上げ、ランダムに選んだ割合のターンの前に一時停止を挿入しました(両モデルで20件すべてのイシューに対して、なし、5%、10%、すべてのターンで6分、さらにClaude Sonnet 5ではすべてのターンで2分。両モデルで5件のイシューのサブセットに対して20分と45分の一時停止)。このページのClaude Opus 5.5の数値は両方のエフォートレベルを対象としています。 - その他のモデルと日付: 以下のClaude Opus 5のキープアライブの数値は、2026年8月23日の同じジョブによるもので、
max_tokensを4,096に引き上げ、2分と45分の一時停止を除いて同じスケジュールで実行しました。Claude Sonnet 5.5は、Claude Sonnet 5と同じ測定(同じ一時停止スケジュールと3つのキャッシュ設定、セルごとに3回の実行)を、Claude Opus 5.5で使用した移植版ハーネスで、デフォルトのエフォートであるhighで、2026年9月24日に実行しました。 - 採点と価格の算出方法: セルごとに3回の実行で、コストは各レスポンスの
usageフィールドから定価で計算しています(Claude Opus 5.5では、100万トークンあたり入力$4 USD、5分間の書き込み$5 USD、1時間の書き込み$8 USD、キャッシュ読み取り$0.20 USD、出力$20 USD。Claude Sonnet 5は、使用量が顧客の組織と同じ方法で計量されるAnthropic社内の組織で実行しました)。精度は同じゴールドラベルに照らして評価しています。 - 実行と価格の算出方法、Claude Sonnet 5.5: Claude Sonnet 5.5は、セッションのリクエストでは
max_tokensを4,096に、キープアライブのリクエストでは1に設定し、使用量が顧客の組織と同じ方法で計量されるAnthropic社内の組織で実行し、現在の定価(100万トークンあたり入力$2 USD、5分間の書き込み$2.50 USD、1時間の書き込み$4 USD、キャッシュ読み取り$0.10 USD、出力$10 USD)で価格付けしています。どのターンも到達しなかった高いmax_tokensを除けば、Claude Sonnet 5の実行と異なる入力は1つです。ジョブ内の1つのアニメーションGIFを、APIが使用する唯一のフレームである最初のフレームのPNGとして送信しました(ビジョン)。両者は同じ数の入力トークンとして数えられます。 - 損益分岐点: 損益分岐点は、Claude Sonnet 5ではターンの約3.3%、Claude Opus 5.5では3.1%〜3.2%です。これは、各セッションのターンごとのコンテキストサイズからコストモデルで計算した各セッションの損益分岐割合の中央値で、Claude Sonnet 5の20件のイシューのセッション45件すべてと、各エフォートレベルでのClaude Opus 5.5の20件のイシューのセッション36件を対象としています(すべての一時停止スケジュールをジョブ全体で、3つのキャッシュ設定すべての下で、それぞれ3回実行。5件のイシューのセルは含まれていません)。Claude Sonnet 5.5の損益分岐点はターンの約3.1%で、20件のイシューのセッション45件の中央値です。キャッシュ期間のグラフは、これらのClaude Sonnet 5.5のセッションを、ポイントごとに3つプロットしています。
- 5分間と1時間の設定、Claude Sonnet 5とClaude Opus 5.5: 5%のセルでは、その抽選での一時停止が小さなプレフィックスに当たったため、Claude Sonnet 5では5分間と1時間の設定が同等でした。Claude Opus 5.5ではほぼ同等でした。Claude Sonnet 5では、キャッシュ読み取り価格が100万トークンあたり$0.20 USDの場合、セッションのコストは、5分間の設定で一時停止なし、ターンの5%、10%を一時停止した場合にそれぞれ$0.60 USD、$0.69 USD、$0.99 USD、1時間の設定では$0.70 USD、$0.70 USD、$0.71 USDでした。
- キープアライブリクエスト、Claude Sonnet 5とClaude Opus 5: Anthropicは、5分間のキャッシュを更新するキープアライブリクエストを、Claude Sonnet 5とClaude Opus 5では2026年8月23日に、Claude Opus 5.5では上記の実行で測定しました。常に
max_tokens: 1で送信しています。Claude Sonnet 5では、ターンの5%を一時停止した場合は1時間の設定より7.7%低いコストで、10%の場合はほぼ同じでした。Claude Opus 5では、どちらの割合でも測定可能な差はありませんでした。どちらのモデルでも、すべてのターンの前に6分以上の一時停止がある場合はコストが高くなりました。したがって、これら2つのモデルで使用すべき設定は、キープアライブリクエストではなく1時間の期間です。 - キープアライブリクエスト、Claude Opus 5.5: Claude Opus 5.5では、キープアライブリクエストは、ターンの5%と10%を一時停止した場合に1時間の設定より8%〜18%低いコストでした(デフォルトのエフォートである
mediumでは8%〜13%低く、highでは10%〜18%低い。各キープアライブセッション自身のトークンを1時間のキャッシュ価格で再請求してセッション間のノイズを除去すると約10%〜15%)。すべてのターンの前に一時停止がある場合はコストが高くなり、6分で4%〜6%、20分で9%〜10%、45分で56%〜58%高くなりました。 max_tokens: 0のリクエスト: 2026年10月20日に、Claude Fable 5.1、Claude Opus 5.5、Claude Sonnet 5.5、Claude Haiku 5.5で、モデルごとに3回、5分間のキャッシュを使用した10,000トークンのシステムプロンプトで測定しました。キャッシュ書き込みの4分後に送信したmax_tokens: 0のリクエストは、出力を返さず、エントリ全体を読み取り、何も書き込みませんでした。その4分後、書き込みから8分後のリクエストも、エントリ全体を読み取りました。max_tokens: 0のリクエストがない場合、8分時点のリクエストは12回すべてで何も読み取らず、プレフィックスを再度書き込みました。- 5分間と1時間の設定、Claude Sonnet 5.5: ターンの5%を一時停止した場合、5分間の設定は平均で1時間の設定より5%高いコストでした(3回の実行全体で2%低い〜12%高い)。これは実行間の変動の範囲内です。Claude Sonnet 5と同様に、その抽選での一時停止は小さなプレフィックスに当たっており、各5分間セッション自身のトークンを1時間のキャッシュ価格で再請求すると約1%高くなります。10%を一時停止した場合は54%高いコストでした(36%〜73%高い)。一時停止なしでは、5分間の設定は平均で1時間の設定より19%低いコストで(3回の実行全体で3%〜32%低い。1時間の設定の高い書き込み価格からは約20%と予測されます)、2分間の一時停止ではすべての実行で21%〜24%低くなりました。
- キープアライブリクエスト、Claude Sonnet 5.5: キープアライブリクエストは、ターンの5%を一時停止した場合に平均で1時間の設定より16%低いコスト(3回の実行全体で13%〜20%低い)、10%の場合は8%低いコスト(3%〜10%低い)で、すべてのターンの前に6分以上の一時停止がある場合はコストが高くなりました。ターンの5%と10%を一時停止した場合、一時停止はClaude Sonnet 5.5とClaude Opus 5.5で6〜32分続きました。上記のClaude Opus 5.5と同様に、各キープアライブセッション自身のトークンを1時間のキャッシュ価格で再請求すると、5%の一時停止で15%〜16%低く、10%で約10%低く、すべてのターンの前に一時停止がある場合は6分で7%高く、20分で9%〜10%高く、45分で66%〜73%高くなります。6分の数値には実行3が含まれていません。実行3では、そのセッションの39件のキープアライブリクエストのうち2件がタイムアウトしました。それら2つのターンの前にキャッシュが期限切れになり、セッションは実行1と2の80,000〜85,000トークンに対して214,000トークンをキャッシュに書き込み、実行3の1時間セッションより38%高いコストになりました。
- キープアライブリクエスト、Claude Sonnet 5.5、実行別: 代わりに各実行のキープアライブセッションを同じ実行の1時間セッションと比較すると、キープアライブのコストは、6分ではほぼ同じ〜10%高く(実行1と2。平均で4%高い)、20分ではほぼ同じ〜16%高く、45分では64%〜80%高くなりました。
- キープアライブリクエスト、Claude Sonnet 5.5、サンプルサイズ: キープアライブのグラフの6分のポイントは、3つの設定すべてについて実行1と2を平均しています。各セルは3つのセッションです(上記の6分の数値では2つ)。一時停止なしでは、キープアライブは追加のリクエストを送信しないため5分間の設定と一致するはずですが、単一の実行内で両者は最大23%異なりました。したがって、3回の実行の平均における数パーセントの差は明確な効果ではありません。
- キャッシングのオフとオン、Claude Sonnet 5: Claude Sonnet 5では、同じジョブをキャッシングオフとキャッシングオンで、2026年8月19日にそれぞれ3回、
max_tokensを700にして実行しました。セッションあたり平均$3.36 USD対$0.57 USDで、83%の節約です。 - 記録されたトークン数からの価格付け、Claude Sonnet 5.5: Anthropicは、キャッシングが最優先である理由のキャッシングの数値のために、5分間のキャッシュで一時停止なしのClaude Sonnet 5.5の3つのセッションで記録されたトークン数も再価格付けしました。これら3つのセッションはそれぞれ、ジョブの20件のイシューにわたる40件のリクエストからなる1つの会話です。2026年10月12日時点の定価で、セッションのコストは使用量フィールドから平均$0.51 USDで、すべての入力トークンを入力価格で、出力トークンは変更せずに算出した場合の$3.70 USDに対して、86%の節約(3つのセッション全体で86%〜87%)、つまり7.3倍の係数です。ローンチ時のキャッシュ読み取り価格$0.20 USDでは節約は82%であるため、Claude Sonnet 5の数値からの上昇はキャッシュ読み取り価格の低下によるものです。
- 記録されたトークン数からの価格付け、Claude Opus 5.5: 同じ方法で再価格付けすると、デフォルトのエフォートである
mediumで、5分間のキャッシュで一時停止なしのClaude Opus 5.5の3つのセッションは、$6.93 USDに対して平均$1.02 USDで、85%の節約、つまり6.8倍の係数です。モデルはリクエストの79%で思考を使用しました。 - 思考の設定方法、2つの実行セットのみ: 5分間のキャッシュで一時停止なしのClaude Sonnet 5.5の3つのセッションのリクエストでは思考オプションを設定しなかったため、思考はモデルのデフォルトのままとなり、モデルはリクエストの38%で思考を使用しました。キャッシングオフとキャッシングオンのClaude Sonnet 5の実行のリクエストでも思考オプションを設定しなかったため、思考はモデルのデフォルトのままとなり、モデルはキャッシングオフでは121件中41件、キャッシングオンでは120件中40件のリクエストで思考を使用しました。
- 一時停止後のレイテンシ: Claude Sonnet 5とClaude Opus 5では、1時間の設定において、一時停止後のターンはウォームキャッシュのレイテンシを維持しました。
- 会話途中での期間の変更: 2026年10月21日に、Claude Fable 5.1、Claude Opus 5.5、Claude Sonnet 5.5、Claude Haiku 5.5で、ツールなし、アダプティブ思考、
highエフォート、システムプロンプトへのキャッシュブレークポイント、および自動キャッシングまたは最後のブロックへの明示的なブレークポイントを用いて、Messages APIで測定しました。会話には約5,000または100,000トークンの埋め草テキストが含まれ、アシスタントのターンは1語に固定され、思考ブロックはありませんでした。5分の期間でキャッシュされた会話では、1時間のキャッシュ期間を指定してターンを追加した最初のリクエストは何も読み取らず、プロンプト全体を1時間の価格で書き込みました(55回中55回)。1時間のキャッシュ期間を指定した次のリクエストはすべてを読み取りました(36回中36回)。最初のリクエストから1時間の期間でキャッシュされたシステムプロンプトは引き続き読み取られました(12回中12回)。1時間のキャッシュ期間を指定して何も追加しないリクエストは5分間のエントリを読み取り(31回中31回)、それらを延長しませんでした。8分後、同じリクエストは何も読み取りませんでした(12回中12回)。1時間の期間でキャッシュされた会話では、5分のキャッシュ期間を指定したリクエストはすべてを読み取り、新しいターンのみを書き込みました(12回中12回)。リクエストは、Claude API上の1つのAnthropic社内組織で実行しました。 - 会話途中での期間の変更、価格付けの方法:
usageフィールドから定価で算出すると、100,000トークンをわずかに超え、max_tokensを16とした場合、1時間のキャッシュ期間を指定してターンを追加した最初のリクエストのコストは、挙げた順に4つのモデルで$2.01 USD、$0.80 USD、$0.40 USD、$0.10 USDでした。キャッシュを読み取ったターンのコストは$0.026 USD、$0.020 USD、$0.010 USD、$0.005 USDでした。Claude Haiku 5.5はロングコンテキストの料金です。
- 測定内容: 入力とコンテキストのトークンを削るの20件のイシューのトリアージジョブを、Claude Sonnet 5では2026年8月23日に、Claude Opus 5.5では2026年9月19日と20日にデフォルトのエフォート(
- 本番環境でのキャッシュ読み取りの割合: 2026年8月23日までの14日間のファーストパーティのClaude API使用量を集計したもので、直接のAPI製品のみを対象とし、Anthropic社内の組織は除外し、組織は特定していません。組織日は、そのリクエストがツール定義とツール結果を含み、プロンプトが平均9件以上の以前のツール呼び出しを保持し、キャッシングが使用され、そのようなリクエストを少なくとも10件行った場合に、エージェントループとして数えます(APIには会話識別子がないため、これを会話の長さの代わりとしています)。106,487の組織にわたる303,003の組織日で、キャッシュ読み取りの割合の中央値はすべての入力トークンの84.2%、上位四分位は91.7%でした。ユースケースのラベル(組織が申告したユースケース、またはそれ以外の場合は分類されたユースケース)は、それらの組織日の74%とトークンの99%をカバーしています。コーディングの組織日の約72%は80%以上を読み取っています。組織日の上位10%は、コーディングでは95.9%以上、サポート、調査、データ、その他のエージェントでは94.2%〜94.8%を読み取っています。25件以上の以前のツール呼び出しでのリクエストレベルの内訳は6時間のサンプルによるもので、コーディングでは読み取り92%、書き込み7%、キャッシュなし1%未満です。
- キャッシュ破壊、コンパクションのタイミング、ステータス行の測定:
- 2026年10月のテスト、長い会話への1つの変更: 2026年10月20日に、Claude Fable 5.1、Claude Opus 5.5、Claude Sonnet 5.5、Claude Haiku 5.5で、ツールなし、アダプティブ思考、各モデルのデフォルトのエフォート、5分間のキャッシュ、システムプロンプトへのキャッシュブレークポイント、および自動キャッシングを用いて、Messages APIで測定しました。会話は約101,000トークンで、20,000トークンのシステムプロンプト、埋め草テキストの13のユーザーターン、思考ブロックを含む最初のターンへのモデル自身の返信、残りのターンへの1語の返信で構成されています。1つのリクエストが会話をキャッシュした後、2つ目のリクエストが短いターンを1つ追加し、測定した各リクエストはその長くなった会話を1つの変更とともに送信しました。モデルごとに2つの会話で同じ結果が得られました。
- 2026年10月のテスト、読み取りと書き込みのトークン: 変更なしの場合、およびメッセージごとのエフォート変更の場合、リクエストは101,000トークンすべてを読み取り、何も書き込みませんでした。会話途中の25トークンのシステムメッセージ、または最新のユーザーターンの末尾に置いた25トークンのステータス行の場合は、すべてを読み取り、新しいテキストのみを書き込みました。トップレベルのエフォート変更(Claude Fable 5.1とClaude Sonnet 5.5では
lowへ、Claude Opus 5.5とClaude Haiku 5.5ではhighへ)は、20,000トークンのシステムプロンプトを読み取り、81,000トークンを書き込みました。同じ25トークンをシステムプロンプトの先頭または末尾に置いた場合は、何も読み取らず、101,000トークンすべてを書き込みました。会話途中のシステムメッセージ、トップレベルのエフォート変更、またはシステムプロンプトの末尾への25トークンの追加の後のリクエストは、新しいプレフィックスを読み取りました。先頭の新しいステータス行は、再びすべてを書き込みました。2026年10月21日のさらなるテストでは、同じ4つのモデルで5,000トークンの会話を、Claude Fable 5.1以外のモデルで100,000トークンの会話を用い、すべて1語の返信で、最初のメッセージごとのエフォート変更で起こりうるように、会話の途中で初めてベータヘッダーを送信しました。そのリクエストは、54回すべてで、前のリクエストがキャッシュしたものすべてを読み取りました。ベータヘッダーなしで送信したシステムメッセージも、15回すべてで同じ結果でした。 - 2026年10月のテスト、価格付けの方法: グラフは、1つのリクエストのプロンプト側のコストを、その
usageフィールドから定価で示しています。グラフの値は、システムプロンプトの編集、システムメッセージ、トップレベルのエフォート変更、メッセージごとのエフォート変更の順に、Claude Fable 5.1で$1.26 USD、$0.026 USD、$1.02 USD、$0.025 USD、Claude Opus 5.5で$0.50 USD、$0.020 USD、$0.41 USD、$0.020 USD、Claude Sonnet 5.5で$0.25 USD、$0.010 USD、$0.20 USD、$0.010 USDです。変更なしのリクエストは以前のリクエストをバイト単位でそのまま繰り返したものです。約25トークンの新しいターンによる追加は$0.001 USD未満です。リクエストが100,000プロンプトトークンを超え、そのためロングコンテキストの料金となるClaude Haiku 5.5では、システムプロンプトの編集が$0.063 USD、エフォート変更が$0.052 USD、読み取りが$0.005 USDです。リクエストは、顧客組織と同じ方法で使用量が計測されるAnthropic社内組織で実行されました。リクエストはprefix_mismatch_behaviorを未設定のままにしており、APIはプレフィックスチェックに失敗したそれらの思考ブロックをそのまま通したため、これらのテストでのシステムプロンプトの編集を受け入れました。各リクエストは以前の思考ブロックを送り返しました。Claude APIでは、同じ編集が4つのモデルすべてで400エラーになることがあります。思考ブロックのプレフィックスチェックを参照してください。 - 2026年11月のテスト、コンパクション後の編集: 2026年11月9日に、Claude Opus 5.5とClaude Fable 5.2で、Messages API上で、アダプティブ思考、
highエフォート、キャッシングなし、1つのツールを定義、tool_choiceをnoneに設定、prefix_mismatch_behaviorを"error"に設定し、トリガーを50,000トークンとしたトークンしきい値でのコンパクションを用いて実行しました。約55,700トークンの最初のリクエストがコンパクションをトリガーし、その返信にはコンパクションブロックとそれに続く思考ブロックが含まれていました。次のリクエストは、その返信を1つの新しいユーザーターンとともに送り返しました。変更なしでは成功しました。toolsにツールを1つ追加した場合、またはシステムプロンプトの文言を変更した場合は、400エラーになりました。コンパクションのない会話では、同じ2つの編集で400エラーになり、以前のユーザーターンからテキストブロックを削除した場合も同様でした。各種類の会話をモデルごとに1つ実行しました。Claude Fable 5.2では、最初の大きな会話の返信に思考ブロックが含まれていませんでした。より難しい質問、より高いmax_tokens、カスタムのコンパクションinstructionsを用いた2つ目の会話で最初の会話を置き換え、2つ目のみを集計しています。リクエストはClaude API上で実行しました。 - 測定内容: 入力とコンテキストのトークンを削るのトリアージエージェントの長いバリアントを、2026年8月24日に、5分間のキャッシュを使用してClaude Sonnet 5で実行し、コストは使用量フィールドから定価で算出し、アームごとに5つのセッションです。全体を通してデフォルトのエフォートの変更なしのアーム(セッションあたり$0.81 USD)と、低エフォートで開始して同じ2つのキャッシュを壊す変更(デフォルトのエフォートへの切り替えと1つのツールの追加)を、セッションの途中のリクエスト12と17で行う($0.95 USD)か、最初のコンパクション後の最初のリクエストでまとめて行う($0.75 USD)2つのアームです。
- 4番目のアーム: 2026年8月25日に実行した6つのセッションからなる4番目のアームは、最初のコンパクションをトリガーしたリクエストで同じ2つの変更を行いました(セッションあたり$0.92 USD)。そのリクエストの要約パスは、81,000トークンのコンテキストを読み取る代わりにキャッシュに書き込んだため、そのパスのコストは、境界アームでの同じパスの$0.04 USDに対して$0.21 USDでした。
- コンパクション: セッションは、プロンプトが80,000トークンのコンパクショントリガーを超えた時点で、リクエスト21〜25で最初にコンパクションされ(21セッション中16セッションはリクエスト22)、変更なしのセッションのうち2つは終盤に2回目のコンパクションを行いました。境界アームの合計が変更なしのアームより低いのは、キャッシングではなく、変更前の低エフォートのリクエストとそれらの2回目のコンパクションを反映しています。2つのアームの再書き込みコストの差は$0.01 USD未満です。
- セッション途中のアーム: セッション途中のアームは、キャッシュの再書き込みにセッションあたり$0.23 USDを支払いました。セッション途中のアームと境界アームの差は$0.20 USDで、95%信頼区間は$0.11 USD〜$0.29 USDでした。セッション途中のアームでは、エフォートの変更と追加したツールにより、39,000と60,000のキャッシュされたトークンが再書き込みされました。そのセッションの1つは、コンパクション後にモデルが検索ツールを誤って呼び出して空の結果を得たため、安価に実行されました($0.82 USD)。これは含まれており、これを除くとアームの平均は$0.98 USDです。
- 精度とキャッシュ読み取り: 精度は、8月24日の各アームで20ラベル中平均14.2、8月25日のアームで14.7でした。キャッシュ読み取りは、変更なしでプロンプトトークンの91%、セッション途中で85%、境界で91%、トリガーとなるリクエストでの変更で86%でした。
- 別の測定、ステータス行: 入力とコンテキストのトークンを削るの20件のイシューのトリアージジョブでの別の測定で、2026年8月18日に、同じく5分間のキャッシュを使用してClaude Sonnet 5で実行し、同じ方法で価格付けし、アームごとに3回の実行です。システムプロンプトの先頭に25トークンのステータス行を置いた場合、実行のコストは平均$4.24 USD(3回の実行全体で$4.12 USD〜$4.47 USD)で、キャッシュから何も読み取りませんでした。同じ行を最新のユーザーターンの末尾、最後のキャッシュブレークポイントの後に置いた場合、実行のコストは$0.59 USD($0.55 USD〜$0.61 USD)でした。前者は、キャッシングをオフにした同じジョブのコストを上回ります。同じ構成での後の再実行では$4.28 USDと$0.61 USDでした。
- Claude Haiku 5.5でのコンパクションのトリガー: 2026年10月21日に、トークンしきい値でのコンパクション、ツールなし、アダプティブ思考、デフォルトのエフォート(
medium)、5分間のキャッシュ、システムプロンプトへのキャッシュブレークポイント、および自動キャッシングを用いて、Messages APIで測定しました。各セッションは45件のリクエストからなる1つの会話で、5,000トークンのシステムプロンプト、各ユーザーターンに10,000トークンの埋め草テキスト、1語のアシスタントのターンで構成されていますが、コンパクションブロックを含む返信はそのまま送り返しました。4つの設定でそれぞれ3セッションを実行しました。150,000トークン(デフォルト)、90,000、50,000(許容される最小値)のトリガー、およびコンパクションなしです。同じ設定内のコストは4%以内で一致しました。デフォルトのトリガーでは、各セッションの45件の返信のうち15件と、3件の要約すべてのプロンプトが100,000トークンを超えました。90,000のトリガーでは、最大のプロンプトは97,269トークンでした。コンパクションは、システムプロンプト、キャッシュ読み取り、キャッシュ書き込みを含めたプロンプト全体がトリガーに達した最初のリクエストで実行されました。要約は、そのプロンプトに44トークンを加えたもの(トリガーを最大7,269トークン上回る)から作成されました。22,000トークンのシステムプロンプトと50,000のトリガーを用いたさらに3つのセッションで、システムプロンプトがカウントに含まれることが示されました。テキストが埋め草だったため、要約は短いものでした(184〜640出力トークン)。リクエストは、Claude API上の1つのAnthropic社内組織で実行しました。 - Claude Haiku 5.5でのコンパクションのトリガー、価格付けの方法:
usageフィールドから定価で算出すると、セッションのコストはデフォルトのトリガーで$0.272 USD、90,000で$0.082 USD、50,000で$0.075 USD、コンパクションなしで$0.729 USDでした。最初のコンパクションの後のリクエストから最後のコンパクションまでのリクエストあたりのコストは、3つのトリガーで$0.00605 USD、$0.00181 USD、$0.00166 USDでした。すべてのプロンプトを100,000トークン以下のプロンプトの料金とした場合、デフォルトはリクエストあたり$0.00206 USDとなり、90,000のトリガーでは12%の節約になります。コンパクションの要約と返信は、それぞれ自身のプロンプトのサイズに応じて価格付けされます。
- Claude Fable 5.1とClaude Fable 5.2でのキャッシュ期間の測定: 参照16と同じ20件のイシューのトリアージジョブとハーネスで、
max_tokensを4,096に引き上げ、2026年8月23日と8月26日に、Claude Fable 5.1のローンチスナップショットでローンチ価格(100万トークンあたり入力$10 USD、5分間の書き込み$12.50 USD、1時間の書き込み$20 USD、キャッシュ読み取り$0.25 USD、出力$50 USD)で実行しました。スケジュールごとに3つの設定です。5分間のキャッシュ、1時間のキャッシュ、そして変更されていないプレフィックスに対して4分ごと(前のリクエストの開始から計測)にmax_tokens: 0のリクエストを送ってウォームに保った5分間のキャッシュです(8月23日の実行ではmax_tokens: 1でキープアライブリクエストを送信しました。ここで報告する8月26日のセルでは、応答されたすべてのキープアライブリクエストがキャッシュを更新し、そのレスポンスは出力トークンなしと報告しました)。スケジュール: 20件すべてのイシューに対して一時停止なし、ターンの10%、すべてのターンで6分、5件のイシューのサブセットに対して45分の一時停止。セルごとに3回の実行(45分の一時停止を伴う8月26日のキープアライブのセルは6回)で、コストは各レスポンスのusageフィールドから定価で計算し、精度は同じゴールドラベルに照らして評価しています(20中12〜18の完全一致ラベル)。8月26日の5分間、1時間、キープアライブの設定でのセッションあたりの平均: 一時停止なし$2.42 USD、$3.09 USD、$2.29 USD。10%一時停止$4.50 USD、$2.96 USD、$2.36 USD。すべてのターン$22.89 USD、$3.01 USD、$2.62 USD。8月23日のセルは6%以内で一致しています。45分の数値(5件のイシューのセッションあたり$1.68 USD、$0.59 USD、$0.71 USD)は8月26日の後のセッションによるものです。その日の最初のセッションセットはマシンがシャットダウンされたときに打ち切られ、2番目のセットはサービスの障害の影響を受けたため除外しています。3番目のセットが5分間と1時間の数値を示しています。その3つのキープアライブセッションは各キープアライブリクエストを1回だけ送信し、「rate limit」(レート制限)による拒否でリクエストを失ったため、平均には含まれていません。キープアライブの数値は、拒否されたキープアライブリクエストを2秒以内に再送信した、さらに6つのセッションの平均です。8月23日の実行では$1.67 USD、$0.58 USD、$0.70 USDでした。5分間と1時間の設定の損益分岐点は、参照16と同じ尺度でターンの3.1%です。Claude Fable 5.1のキャッシュ読み取りは入力価格の0.025倍ですが、キャッシュ書き込みは標準の倍率を維持しているため、プレフィックスを再読み取りするキープアライブリクエストは安価で、1時間の期間の書き込みプレミアムの方が大きな請求になります。ただし45分の一時停止の場合は例外で、キープアライブリクエストのコストがプレミアムを上回ります。Claude Fable 5.2は、Messages APIでのデフォルトであるhighで、定価(100万トークンあたり入力$8 USD、5分間の書き込み$10 USD、1時間の書き込み$16 USD、キャッシュ読み取り$0.20 USD、出力$40 USD)で同じジョブを実行しました。参照16のClaude Opus 5.5のセルと同様に、同じリクエストボディを送信するハーネスの移植版を使用し、max_tokensを4,096に引き上げました。スケジュール: 20件すべてのイシューに対して一時停止なし、ターンの5%と10%、すべてのターンで6分、5件のイシューのサブセットに対して20分と45分の一時停止で、セルごとに3回の実行です。45分のセルは2回測定しました。その数値は両方の3セッションのセットをプールし、Claude Fable 5.1と同様に、キープアライブリクエストを失ったキープアライブセッション(ここではタイムアウトによるもので、各セットに1つ)を除外しているため、45分のキープアライブの数値は4セッションの平均、5分間と1時間の数値は6セッションの平均です。全体を通して、キープアライブリクエストはmax_tokens: 0で送信しました。テストクライアントはキープアライブリクエストを30秒待ち、再試行しません。上記のスケジュール全体で、886件のキープアライブリクエストのうち3件で待機を打ち切り、すべて45分のセルで発生しました。そのたびにキャッシュが期限切れになり、次のキープアライブリクエストがプレフィックスを再度書き込みました。5分間、1時間、キープアライブの設定でのセッションあたりの平均: 一時停止なし$2.18 USD、$2.66 USD、$2.23 USD。10%一時停止$4.16 USD、$2.82 USD、$2.29 USD。すべてのターンで6分$20.36 USD、$2.61 USD、$2.50 USD。45分の一時停止では5件のイシューのセッションあたり$1.43 USD、$0.53 USD、$0.65 USD。キャッシュ期間を選ぶのClaude Fable 5.2の節約額は丸める前の値から算出しています。キープアライブリクエストを失った2つのセッションを含めると、45分のキープアライブの平均は$0.73 USDで、1時間の設定より$0.20 USD高くなりました。 - Terminal-Bench 3: 公開されているターミナルエージェントベンチマークの74タスクを、Claude Managed Agents上で、プラットフォームの組み込みツールの代わりに、評価ハーネスが各タスク自身のコンテナで実行する2つのカスタムツール(シェルとファイルエディター)を使用し、それ以外は外部アカウント向けのプラットフォームのデフォルト設定で、
highエフォートでモデルごとに2回、2026年8月27日から28日に実行しました。これらの実行ではTerminal-Benchバージョン3.0を使用しており、そのスコアは公開されているTerminal-Benchリーダーボードとも、Claude Opus 5.5のシステムカードにあるTerminal-Bench 4.0の結果とも比較できません。後者はClaude Codeでmaxエフォートで実行したものです。各タスクの制限時間はベンチマーク自身の2.5倍で、エージェントにはタスクあたり75分から20時間(中央値のタスクで5時間)が与えられ、各タスクには指定されたメモリの3倍(6 GiBから96 GiB)が割り当てられ、ヘルパーサービスを実行する12のタスクには追加のメモリが割り当てられます。エージェントには一般的なインターネットアクセスはありませんでした。そのコンテナは、内部パッケージミラー、GitHubやPython Package Indexを含むダウンロードサイトの短いリスト、および一部のタスクに固有のいくつかのサイトにアクセスでき、8つのタスクではネットワークアクセスがまったくありませんでした。スコアは、モデルごとの148件の試行に対する生の合格率です。単一の実行では5〜11ポイント変動します。コストは、顧客が定価で請求される金額で、5分間のキャッシュ有効期間で実行の使用記録からリクエストごとに再価格付けしています。Claude Opus 4.7、Claude Opus 4.8、Claude Opus 5はそれぞれタスクあたり$8 USD〜$15 USDを費やしています。Claude Opus 4.7は148件の試行のうち11件を出力上限で終了しました。 - DRACO: Perplexity, “DRACO: a Cross-Domain Benchmark for Deep Research Accuracy, Completeness, and Objectivity,” arXiv:2602.11685, 2026.
- 測定内容: 10のドメインにわたる100の調査タスクが、それぞれ約40の重み付けされた基準からなる専門家作成のルーブリックに照らして採点され、スコアは満たされた基準の重み付き割合で、0から100です。
- 構成: すべての構成は、Claude Opus 5.5を使用してClaude API上で、デフォルトの適応型思考、本番の安全性分類器をオン、
max_tokensを128,000としてストリーミングで実行しました。mediumエフォート(モデルのデフォルト)とlowでの単一エージェント、文と時計を加えたmediumでの単一エージェント、そしてそれらあり・なしのmediumでのチームです。チームは、ツールを通じて同じモデルのヘルパーエージェントを数の上限なく開始できるリードエージェントです。 - 文: 2つの変更は、文と時計です。文「Time matters here: do not spend time that can be avoided, and the earlier a correct result is obtained, the better.」は、エージェントの最初の
userメッセージのタスクの末尾に空行を挟んで置き、各ヘルパーの指示の末尾にも置きます。 - 時計: 時計は、
[elapsed 252s]のような整数秒での経過時間で、最初のリクエストを含むすべてのリクエストの前に、最新のuserメッセージの末尾に追加します。最初のリクエストではタスクの後の独自のテキストブロックに、メッセージがツール結果を含む場合は最後のツール結果のテキストの末尾に空行を挟んで追加します。以前の時計はそのまま残るため、キャッシュされたプレフィックスは次のリクエストでも一致します。チーム内のすべてのエージェントは同じ時計を読み、システムプロンプトは変更されません。 - 測定した実行では: 測定した実行ではこの文言と形式を使用しました。その時計は、タスクの開始時ではなく、最初のレスポンスの最初のトークンから開始しました。測定したチームの実行では、ヘルパーの報告は、最後のツール結果の中ではなく、時計の後の別のメッセージでリードに届きました。
- 実施時期: 各構成は各タスクで3回の試行を行い、試行あたり4時間の制限で、2026年9月24日に実行し、セットのすべての構成を同時に開始しました。
- ツール: エージェントは、評価ハーネスがAnthropicのウェブインデックス上でホストする検索およびフェッチツールと、ネットワークアクセスのないサンドボックス内のPythonとシェルを使用しました。これらのツールが時間の一部を決めており、お使いのツールは異なる速度で動作するため、このページでは時間を分単位ではなく構成間の比率として示しています。
- 計時方法: 時間は試行の実時間で、最初のリクエストから、ツールの実行を含むいずれかのエージェントによる最後のリクエストの終了までを、タスクの試行全体で平均したものです。典型的なタスクの数値は、2つの構成間の各タスクの比率の、タスク全体での中央値です。
- 価格の算出方法: 各タスクのコストは、そのリクエストをClaude Opus 5.5の公開定価で価格付けしたもので、プロンプトキャッシングは、各リクエストの末尾にキャッシュブレークポイントを設定し、5分間のキャッシュ有効期間を使用する顧客の場合と同様に請求しています。各リクエストは前のリクエストのプロンプトをキャッシュから読み取り、残りを書き込みます。試行の最初のリクエストと、前のリクエストから5分以上経過して開始するリクエストは、プロンプト全体を書き込みます。コストはモデルのトークンのみを対象としており、ハーネスのツールによる料金は発生しません。
- 採点方法: すべての区間はタスクに対する95%ブートストラップ区間で、スコアの変化はタスクに対する対応のある差です。Claude Opus 5が回答を採点するため、Claude Opus 5.5が自身の作業を採点することはなく、各回答のスコアは5回の判定の平均です。
- 注意事項: 本番の安全性分類器が各構成で3件の試行を停止し、すべて1つのタスクで発生し、それらの試行はスコア0です。そのタスクを除外しても結論は変わりません。実行では、各エージェントの「tool use」(ツール使用)を、顧客のリクエストにはないAnthropic社内の安全チェックにも通しており、これによりすべての構成で各リクエストに時間が加わります。DRACOでは、変更なしの単一エージェントは約2倍、チームは約3分の1多くのリクエストを行ったため、このチェックによりDRACOの時間短縮はわずかに大きく見えている可能性があります。
- 結果、単一エージェント: モデルに経過時間を表示するの結果: 変更ありでは、単一エージェントは典型的なタスクで47%短い時間、60%低いコストで完了し、平均コストはタスクあたり$1.13 USDから$0.44 USDに下がり、スコアは4.1ポイント低くなりました(95%区間で2.9〜5.2低い)。
- 結果、低いエフォート: 単一エージェントのエフォートを下げると、変更よりも多くの時間とコストを節約しましたが、スコアもより多く失いました。
lowエフォートでは、mediumと比べてDRACOで13.3ポイント、HLEで3.4ポイント、物理セットで14.0ポイント低いスコアで、典型的なタスクの時間は84%、30%、47%短くなりました。mediumエフォートで変更ありの場合、lowより9.2、2.5、11.0ポイント高いスコアで、典型的なタスクはlowより1.2〜3.2倍長くかかりました。 - 結果、チーム、ヘルパー: チームのリードはほとんどヘルパーを開始しませんでした。変更なしでは、DRACOで300件の試行のうち5件、HLEで1,479件のうち13件、物理セットで280件のうち0件でしかヘルパーを開始しませんでした。
- 結果、チーム: したがって、チームの結果は主に、チーム独自の指示とツールを持つリードエージェントが単独で作業している様子を示しています。変更なしでも、チームは典型的なDRACOタスクで単一エージェントの約半分の時間で完了し、スコアは3.3ポイント低くなりました(95%区間で2.1〜4.6低い)。変更ありでは、チームは典型的なDRACOタスクで17%短い時間、20%低いコストで完了し、スコアは1.6ポイント低くなりました(95%区間で0.3〜2.8低い)。
- HLE: Phan et al., “Humanity’s Last Exam,” arXiv:2501.14249, 2025. 正確な解答を持つ専門家作成の質問で、参照解答に照らして採点します。2025年9月10日のリリースの最初の500問で、画像を含み、ベンチマーク自身のソースを検索からブロックし、参照21と同じセットアップで測定しました。各構成は各質問で3回の試行を行い、2026年9月24日に実行しました。Claude Opus 5が、ベンチマークの公開された判定プロンプトを使用して各回答を参照解答と比較し、3回の判定の多数決を採用します。スコアはすべての構成で493問を対象としています。残りのうち5問は採点リクエストが判定者の1Mトークンの上限を超え、他の2問は、変更なしの単一エージェントの実行がそれらの3件の試行の完了前に停止したため除外しています。時間とコストの比率は、1〜2問にタイミングがないため、単一エージェントでは492問、チームでは491問を対象としています。本番の安全性分類器が各構成の試行の3%〜4%を停止し、それらの試行はスコア0です。それらを除外しても結論は変わりません。モデルに経過時間を表示するの結果: 変更ありでは、単一エージェントは典型的な質問で14%短い時間、9%低いコストで完了しました。Claude Opus 5の判定者では、スコアに明確な変化はありませんでした(0.9ポイント低い、95%区間で2.5低い〜0.7高い)。2番目の採点者であるClaude Opus 4.6では、スコアは1.9ポイント低くなりました(95%区間で0.2〜3.7低い)。平均時間は典型的な質問よりも大きく下がりました。変更によりいくつかの非常に長い質問が短縮されたため、平均時間は43%、平均コストは37%下がりました。チームの典型的な質問での時間の変化は3%以下で、スコアに明確な変化はありませんでした。
- 物理セット: 公開されているCritPtベンチマークを改変した、研究レベルの物理問題70問からなる社内セットです: Zhu et al., “Probing the Critical Point (CritPt) of AI Reasoning: a Frontier Physics Research Benchmark,” arXiv:2509.26574, 2025. 専門家のレビュアーが問題文を修正しました。Claude Opus 4.6が、セットの採点プロンプトを使用して、公開されていない専門家の参照解答に照らして部分点ありで各回答を採点するため、スコアは公開結果と比較できません。スコアは、問題の試行全体での平均評点を問題全体で平均したもので、100点満点のポイントです。70問すべてで、問題ごとに4回の試行で測定し、2026年9月24日に実行しました。すべてのエージェントは、ネットワークアクセスのないサンドボックスコンテナ内にPythonツール、シェル、ファイルエディターを持ち、検索やフェッチのツールはありませんでした。物理セットでは、安全性分類器が試行を停止することはありませんでした。それ以外のセットアップは参照21と同じです。モデルに経過時間を表示するの結果: 変更ありでは、単一エージェントは典型的な問題で7%短い時間、4%低いコストで完了し、スコアは3.0ポイント低くなりました(95%区間で0.4〜5.6低い)。チームの典型的な問題での時間の変化は3%以下で、スコアに明確な変化はありませんでした。単一エージェントの平均時間は14%下がりました。単一エージェントの平均時間の短縮はすべて1つの問題によるもので、その問題では変更なしのエージェントが試行あたり約30分コードを実行していました。その問題を除くと、平均時間は変更の有無でほぼ同じです。
- tau2-bench retail: Barres et al., "τ²-Bench: Evaluating Conversational Agents in a Dual-Control Environment," arXiv:2506.07982, 2025.
- 測定内容: retailドメインの114タスクを、公開ハーネス上でClaude APIに対して実行し、シミュレートされたユーザーとしてClaude Haiku 4.5、自然言語の判定者としてClaude Sonnet 5を使用し、プロンプトキャッシングをオンにしました。タスクは探索用57件とホールドアウト57件に分割しました。
- 実施時期: 2つの探索は2026年9月6日に、Claude APIスキルの
hillclimbコマンドによって実行しました。キャッシングの前後のペアは2026年9月8日に実行しました。 - 採点方法: 探索では、開始点と確認された構成は3回のホールドアウト実行の平均で、保持したステップは2回の実行で判定し、その他の候補は1回または2回の実行で採点しました。キャッシングのペア: 114タスクすべてでそれぞれ3回の実行で、ハーネスのキャッシュブレークポイントのみを切り替えました。これは、以前の実行で
cost-optimizeコマンドが生成した構成です。ホールドアウトの数値は、探索が一度も読まなかった57タスクでのものです。 - 価格の算出方法: タスクあたりのコストは、エージェントとシミュレートされたユーザーのトークン数を定価(Claude Opus 5は100万入力・出力トークンあたり$5 USDと$25 USD、Claude Sonnet 5は$2 USDと$10 USD、キャッシュの読み取りと書き込みは公開レート)で価格付けし、判定者は除外しています。パーセントの変化は丸める前のコストから算出しています。月間の数値はエージェントのトークンのみで、タスクあたり$0.135 USDと$0.047 USDに10,000を掛けたものです。月10,000件の会話では、最初の探索前は約$1,350 USD、探索後は$470 USDです。
- 注意事項: これらの測定は以前のClaude OpusとClaude Sonnetのモデルで実行しました。キャッシングのペアはClaude Sonnet 5で実行し、2番目の探索はClaude Sonnet 5から開始し、最初の探索はClaude Opus 5からClaude Sonnet 5に移行しました。
- キャッシングのペア: ペアはデフォルトのエフォートのClaude Sonnet 5で実行しました。公開ハーネスは、出荷時の状態では、すべてのターンで会話全体をキャッシュなしで送信します。キャッシュありの構成では、システムプロンプトに1つ、最新のメッセージに1つのブレークポイントがあります。両方の探索はそのキャッシングをオンにして実行しました。タスクあたりのコストはキャッシュなしの$0.223 USDからキャッシュありの$0.062 USDになり、72%の節約で、合格率は79.2%から76.0%になりました。その構成の同一のキャッシュあり実行は、日によって114中85〜93の範囲でした。すべてのキャッシュあり実行は、すべてのキャッシュなし実行以下のスコアでしたが、4タスク未満の差は同一のキャッシュあり実行のばらつきの範囲内にあるため、このサンプルサイズでは精度の変化は小さすぎて測定できません。
- 探索の実行方法。
hillclimbコマンドは4つの質問をし、計画を提示し、何かを費やす前に承認を待ちます。最初の探索では、計画はユーザーシミュレーター、採点者、キャッシング、temperature、タスクを変更しないままにしました。4つの質問の最後は次のように始まりました:One pass over the full set is 114 cases x 1 rep on claude-opus-5, roughly 22 minutes.各ラウンドで、探索は1つの変更を提案し、セット全体を実行します。数値が動き、予測されたメカニズムが使用量データに現れた場合にのみ、その変更を保持します。3ラウンド連続で何も得られなかった場合に停止し、新しい実行で勝者を確認します。 - 最初の探索、結果。 探索は、探索前に設定した2ポイントの幅内に合格率を保ちながら、タスクあたりのコストを61%削減しました。デフォルトのエフォートのClaude Opus 5(タスクあたり$0.142 USD、76.0%合格)から、コスト中立のプロンプト編集を1つ加えた
lowのClaude Sonnet 5($0.055 USD、74.3%)へです。探索には、評価実行で$179 USD、探索自身のトークンで$228 USDかかりました。 - 最初の探索、開始: Claude Opus 5、デフォルトのエフォート。 $0.142 USDで76.0%。3回の同一の実行は57中43〜44の範囲でした。探索は下限を2ポイント下の74.0%に設定し、判定のために57中43(75.4%)に切り上げました。
- 最初の探索、ステップ1、エフォートを
lowに: 保持。 保持した2回の実行で77.2%、探索後の3回の確認実行で77.8%、$0.119 USDで17%安価。探索自身のステータス行の一部は次のとおりです:two runs held-out 42 and 46, mean 44.0 >= floor 43; cost mean $0.1187 <= gate $0.1208; mechanism confirmed (output tokens -34% with calls flat)。 - 最初の探索、ステップ2、
lowのClaude Sonnet 5: 保持。 $0.055 USDで75.4%、61%安価。 - 最初の探索、ステップ3、プロンプト編集(注文IDを尋ねる代わりに、ログイン後に顧客の注文を検索する): 選択時に保持、その後維持されず。 2回の実行で79.8%、3回の新しい実行で74.3%。探索はコスト中立としてそれを残しました。空いたターンは別の検索ターンになりました。
- 最初の探索、ステップ4、プロンプト編集(求められた場合にのみ人間に転送する): 却下して元に戻す。 71.9%。対象とした3件のケースを修正しましたが、汎用的な「できることとできないことを伝える」テンプレートにより他の10件を壊しました。
- 最初の探索、ステップ5、プロンプト編集: 未実行。 予測された0.5タスクの向上は、探索の2タスクの採用ゲートを下回っていました。
- 最初の探索、確認: ステップ3のプロンプトを加えた
lowのClaude Sonnet 5、3回の新しい実行。 $0.055 USDで74.3%、2ポイントの幅内に0.14タスク分の余裕で収まり、開始時より57中1タスク少なく、探索が登録した57中43の下限を下回りました。この構成の5回の実行は42〜46の範囲で、開始時の43〜44より広くなりました。 - 最初の探索、示されたこと。 エフォートとモデルのレバーが節約を生み出し、それぞれのメカニズムがそれを裏付けました。プロンプトのレバーは実際の動作の変化を生み出しましたが、持続的な向上はありませんでした。このワークロードでは、タスクあたりのコストを決めるのは文言ではなく、ターン数と各ターンが再読み取りするキャッシュされたプレフィックスです。
- 2番目の探索。 キャッシングをオンにしたデフォルトのエフォートのClaude Sonnet 5から開始しました。ホールドアウトの半分で$0.062 USDで79.5%、3回の実行は57中42〜47の範囲だったため、下限は57中45(78.9%)でした。ここでは、開始構成の同一の実行が57中最大5タスク異なりました。2番目の探索は何も保持しませんでした。
lowのエフォート、2つのプロンプト編集、およびその両方の組み合わせは、それぞれ77.2%で下限を下回り、10%〜14%の節約で、探索の15%のコストゲートに届きませんでした。精度向上のためのプロンプト編集は、2回の実行で79.8%、3回の新しい実行で73.7%となり、元に戻されました。探索には約19回の評価実行と$120 USDかかりました。
- Claude Managed Agentsのタスクセット:
- 測定内容: メモリ、マルチエージェント、ロングコンテキストの作業を含む8つの領域にわたる79のスクリプト化されたエージェントタスクからなるAnthropic社内のセットで、テストがすべてのツール呼び出しに応答するClaude Managed Agentsのセッションとして実行しました。各タスクはモデルごとに5回実行しました。
- 実行: 数値は、2026年10月7日のモデルごとに1回の実行によるもので、同日に採点しました。2026年10月8日と9日の同じタスクでのさらに3回の実行では、Claude Haiku 5.5は試行の91%〜93%に合格し、10月8日のさらに1回の実行では、Claude Haiku 4.5は63%に合格しました。
- 採点方法: 試行は、採点者であるClaude Sonnet 4.6が1回の採点で、タスクのチェックリストのすべての行を満たしたと判定した場合にのみ合格としたため、合格率は採点者に依存します。1つを除くすべてのタスクで、ツール結果を完全に示された別の呼び出しが、エージェントがツールを通じて書き込んだファイルとメッセージをチェックする行を、それらの結果に照らして採点しました。
- 価格の算出方法: コストは、5分間のプロンプトキャッシングを使用した定価でのトークンコストで、リクエストごとに価格付けし、セッションランタイムは除外しています。
- 結果、トークン価格とコスト: Claude Haiku 4.5はリクエストの80%をキャッシュしませんでした。それぞれのプロンプトは約4,100トークン以下で、その最小キャッシュ可能プロンプト長は4,096トークンです(Claude Haiku 5.5では512)。Claude Haiku 4.5からClaude Haiku 5.5へ、トークン価格は最大90%下がり、79タスクのトークンコストは約75%下がりました。トークンコストの下落が価格より小さいのは、Claude Haiku 5.5のリクエストの約5%が100,000トークンを超えるプロンプトを持ち、それらはより高い価格を支払い(ロングコンテキストの料金)、そのコストの73%を占めていたためです。
- 思考: AnthropicはClaude Haiku 5.5のエフォートを
mediumに設定し、どちらのモデルにも思考設定や出力制限を送信しなかったため、思考は各モデルに対するClaude Managed Agents自身の設定に委ねられました。Claude Haiku 5.5はリクエストの59%で、Claude Haiku 4.5は22%で思考を使用しました。この比較は、同等の設定ではなく、提供されている状態の各モデルの比較です。 - キャッシングなしのコスト、記録されたトークン数からの価格付け: Anthropicは、キャッシングが最優先である理由のキャッシング係数のために、Claude Haiku 5.5の10月7日の実行で記録されたトークン数も再価格付けしました。Claude Managed Agentsはプロンプトキャッシングを自ら適用するため、この係数は2つの設定ではなく、同じリクエストに対する2つの価格を比較しています。
- 係数: 係数1.7は、すべての入力トークンを入力価格で、出力トークンは変更せずに算出した実行のトークンコストを、各セッションを単独で価格付けしたトークンコスト(各リクエストの以前のプロンプトをキャッシュ読み取りとして、新しいトークンを5分間のキャッシュ書き込みとして)で割ったものです。どちらのコストでも各リクエストはそれ自身のプロンプト長で価格付けされるため、100,000トークンを超える87件のリクエストはどちらでもより高い価格を支払います。このガイドでこの実行のコストに使用している、記録されたままのトークン数では、タスクの5回の試行が並行して実行され、互いのキャッシュエントリを読み取ったため、係数は1.9です。
- 係数が低い理由: 係数が低いのは、セッションが短い(中央値4リクエスト)ためです。ほとんどの入力トークンは2番目または3番目のリクエストでツール結果として届き、キャッシュから読み取られるのは1〜2回だけです。8つのロングコンテキストタスクがコストの4分の3を占めています。10月8日の2回目の実行でも1.7になります。
- 回答形式の測定:
- 測定内容: 入力とコンテキストのトークンを削るの20件のイシューのトリアージジョブを、プロンプトキャッシングをオンにし、リクエストに思考設定を含めずに(したがって思考はモデルのデフォルトのまま)Claude Sonnet 5で、3つの最終回答の指示の下で、指示ごとに3回実行しました。
- 2行の指示: オリジナルは2行を求めていました:
4. Finish with exactly two lines: LABEL: <one of: bug-confirmed, needs-more-info, duplicate-candidate, feature-request, upstream-issue, perf, ui-polish> SUMMARY: <one or two sentences for the engineering team> - 1行の指示: より短いバリアントは1行を求めていました:
4. Finish with exactly one line in this form: DECISION | LABEL | REASON where DECISION is one of: triage-now, needs-info, close-duplicate; LABEL is one of: bug-confirmed, needs-more-info, duplicate-candidate, feature-request, upstream-issue, perf, ui-polish; REASON is one clause under 15 words. Output nothing after that line. - メモの指示: より長いバリアントは、見出し付きの6つのセクション(問題の要約、証拠、重複チェック、推奨ラベル、次のステップ、確信度)を持つメモを求めていました。
- 送信した指示に含まれていたその他の内容: 送信時、2行の指示には「Be concise.」、メモの指示には「Be thorough and explicit.」も含まれていました。
- 実施時期: 2行と1行の指示は2026年8月18日に
max_tokensを700として、メモの指示は2026年8月19日にmax_tokensを3,000として実行しました。上限に達したレスポンスはありませんでした。 - 採点と価格の算出方法: 数値はClaude Sonnet 5の定価での3回の実行の平均で、精度はゴールドラベルとの完全一致です。
- 結果: 1行の回答は、2行のオリジナルより出力トークンが39%少なく、実行あたりのコストが13%低くなりました(丸める前の平均から算出。グラフの丸めたコストである$0.49 USDと$0.57 USDでは14%)。メモは2行のオリジナルの6倍の出力トークンを使用し、コストは1行の回答の2.8倍でした。
- 思考: レスポンスの約半分に思考が含まれており、そのトークンは出力トークンに数えられています。
- ツール検索の測定:
- 測定内容: 入力とコンテキストのトークンを削るの20件のイシューのトリアージジョブを、2026年8月19日にClaude Sonnet 5で、プロンプトキャッシングをオンにし、リクエストに思考設定を含めずに(したがって思考はモデルのデフォルトのまま)、構成ごとに3回実行しました。エージェントは自身の2つのツールに加えて、公開MCPサーバーからの実際のツール定義を持ち、合計7、17、52、102、252、または502のツールで、すべての定義を読み込むか、追加したものをツール検索の背後で
defer_loadingとしてマークしました。 - 採点と価格の算出方法: 数値はClaude Sonnet 5の定価での3回の実行の平均で、精度はゴールドラベルとの完全一致です。
- 結果: すべての定義を読み込んだ場合、実行のコストは7ツールでの$0.55 USDから502ツールでの$1.02 USDへとほぼ2倍に上昇しました。ツール検索を使用した場合は、すべてのカタログサイズで$0.55 USD〜$0.56 USDで、502ツールでは45%低くなりました(グラフの丸めたコストである$0.56 USDと$1.02 USDから算出。丸める前の平均では45.6%)。ツール検索の有無にかかわらず、すべての実行が20件のイシューのうち15〜18件に正しく回答しました。
- 注意事項: カタログのツールやツール検索ツールを呼び出した実行はありませんでした。エージェント自身の2つのツールは常に読み込まれており、すべてのツール呼び出しはそのいずれかに向けられました。この測定は、使用されない定義を持ち運ぶコストを示すものです。
- 別の測定: 同じモデルと日付での別の測定では、MCPコネクタを通じて公開GitHub MCPサーバーを接続し、カタログなしで、サーバーのツールセットを遅延させた3回の実行は、遅延させない3回の実行より20%低いコストで(実行あたり$0.56 USDと$0.70 USD)、各アームの3回の実行はそれぞれ17、16、16件のイシューに正しく回答しました。この別の測定のリクエストにはツール検索ツールは含まれていませんでした。ツールセットを読み込んだ場合、各実行はサーバーのツールの1つである
issue_readを3〜4回呼び出しました。遅延させた場合、サーバーのツールを呼び出した実行はありませんでした。
- 測定内容: 入力とコンテキストのトークンを削るの20件のイシューのトリアージジョブを、2026年8月19日にClaude Sonnet 5で、プロンプトキャッシングをオンにし、リクエストに思考設定を含めずに(したがって思考はモデルのデフォルトのまま)、構成ごとに3回実行しました。エージェントは自身の2つのツールに加えて、公開MCPサーバーからの実際のツール定義を持ち、合計7、17、52、102、252、または502のツールで、すべての定義を読み込むか、追加したものをツール検索の背後で
- 入力の削減とコンテキストのライフサイクルの測定:
- 測定内容: 入力とコンテキストのトークンを削るの20件のイシューのトリアージジョブとその長いバリアントを、2026年8月19日(UTCでの日付)にClaude Sonnet 5で、設定ごとに3回、リクエストに思考設定を含めずに(したがって思考はモデルのデフォルトのまま)実行しました。レスポンスの約10件に3件に思考が含まれていました。
- グラフ: コンテキストのライフサイクルを管理するのグラフは、各ジョブで4つの設定を比較しています。プロンプトキャッシングと入力の削減(画像のリサイズとツール検索)をオンにしたジョブと、それに1つのレバー(コンテキスト編集、コンパクション、またはプルーニング)を追加したものです。グラフでは10%未満の変化を変化なしとして数えています。
- レバーの設定: レバーの設定は2つのジョブで異なりました。コンテキスト編集は、20件のイシューのジョブではプロンプトが20,000を超えた時点で少なくとも2,000トークンを、長いジョブでは50,000を超えた時点で少なくとも40,000トークンをクリアし、最新の3つのツール使用を保持しました。コンパクションは、20件のイシューのジョブでは50,000入力トークン、長いジョブでは80,000でトリガーされました。
- 価格の算出方法: 各コストは3回の実行の平均で、レスポンスの使用量フィールドからClaude Sonnet 5の定価で算出し、キャッシュ書き込みは100万トークンあたり$2.50 USD、キャッシュ読み取りは$0.20 USDです。
- 結果、入力の削減: 5番目の設定である、入力の削減なしのプロンプトキャッシングは、20件のイシューのジョブで実行あたり$0.57 USD、長いジョブで$1.38 USDだったため、入力の削減により前者は26%、後者は21%削減されました。キャッシングをオフにした同じ20件のイシューのジョブ(実行あたり$3.36 USD、参照16)と比べると、プロンプトキャッシングと入力の削減を合わせて88%節約しました(丸める前の平均では87.5%)。
- 結果、20件のイシューの実行: レバーなしのジョブが実行あたり$0.42 USDだった20件のイシューの実行では、コンテキスト編集は73%高いコストで、コンパクションは各実行の終盤に1回実行されて7%低いコストで、プルーニングは2,000文字のしきい値を超える検索結果がなかったため何も書き換えませんでした。
- 結果、長い実行: レバーなしのジョブが実行あたり$1.09 USDだった長い実行では、プルーニングは39%低く、コンパクションは32%低く、コンテキスト編集は4%高いコストでした。
- キャッシュ読み取り、長い実行: プルーニングありの長い実行では、タスク境界後の最初のリクエストでプロンプトトークンの89%が、その他のリクエストで81%がキャッシュから読み取られました。長い実行全体では、プルーニングありで85%、コンテキスト編集ありで85%のプロンプトトークンがキャッシュから読み取られ、レバーなしでは95%でした。
- 社内コーディングベンチマーク(サブエージェントの測定):
- 測定内容: 134のリポジトリコーディングタスクで、それぞれ、エージェントが見ることのできないテストによって合格または不合格で採点しました。2026年10月21日〜23日の3回の実行それぞれで、タスクごとに5回試行しました。実行はClaude Managed Agents上で、その独自のマルチエージェントオーケストレーション(
multiagent_20261001タイプ)を使用して行いました。1つの事前定義エージェントをサブエージェントとし、インラインエージェントと動的ワークフローはオフにしました。 - 構成: Claude Opus 5.5単体を
medium(デフォルト)とlowで実行したもの、およびClaude Opus 5.5をmediumで、Claude Haiku 5.5サブエージェントをmediumで組み合わせたもの(追加プロンプトなしで1回、113語の委任プロンプトをオーケストレーターのシステムプロンプトとして1回)です。より長いプロンプトを使用した5つ目の構成は報告していません。評価では思考オプションを設定しなかったため、思考はデフォルト(オン、いつ思考するかはモデルが選択)で実行されました。 - ツール: すべてのエージェントは、プラットフォームの組み込みツールの代わりに、評価が各試行専用のサンドボックスで実行する2つのカスタムツール(シェルとファイルエディター)を使用しました。評価の安全性設定の一環として、それらの呼び出しは追加のチェックを経由しました。ドキュメントに記載されたセットアップでは、権限ポリシーはカスタムツールには適用されません。
- 結果: 合格した試行の割合と試行あたりのコストは、Claude Opus 5.5単体の
mediumで72.1%と$4.78 USD、サブエージェントありで追加プロンプトなしで68.8%と$3.35 USD、サブエージェントとプロンプトありで67.9%と$3.27 USD、単体のlowで63.0%と$1.84 USDでした。 - Claude Opus 5.5単体の
mediumとの比較: プロンプトありでは、コストが32%減少し(95%区間29%〜35%)、合格が4.2パーセントポイント減少しました(1.3〜7.1)。追加プロンプトなしでは、コストが30%減少し(27%〜33%)、合格が3.3ポイント減少しました(0.8〜5.8)。単体のlowでは、コストが62%減少し(59%〜64%)、合格が9.1ポイント減少しました(5.0〜13.3)。これは実行後に追加した比較です。差は各実行内でタスクごとにペアにしており、区間は134タスクに対するブートストラップ区間です。 - より低いエフォートとの比較: タスクの一部を
lowに、残りをmediumに送ると、その2つの結果を結ぶ直線が得られます。これは計算であり、実行ではありません。それぞれのコストにおいて、サブエージェントありの構成は、プロンプトありでその直線より0.5パーセントポイント多く(2.3少ない〜3.2多い)、追加プロンプトなしで1.1ポイント多く(1.2少ない〜3.3多い)合格しました。つまり、直線を上回りも下回りもしていません。合格した試行あたりのコストは、単体のmediumで$6.63 USD、サブエージェントありで追加プロンプトなしで$4.86 USD、プロンプトありで$4.81 USD、lowで$2.92 USDでした。 - 価格の算出方法: コストは、5分間のプロンプトキャッシングを使用した定価でのトークンコストで、各リクエストはそれ自身のプロンプト長で価格付けし(ロングコンテキストの料金)、セッションランタイムは除外しています。コストには、ツール呼び出しに対する評価の追加チェックは含まれていません。これを含めると、プロンプトありでの削減率は27%(25%〜30%)です。
- 失敗とみなすもの: 試行は、安全性チェックによって停止された場合、プラットフォームのセーフガードがターンを拒否した場合、または評価の安全性チェックがすべてのステップを捉えたことを確認できなかったために評価がその試行を無効とした場合に、失敗とみなされます。無効とされた試行はサブエージェントありの構成でのみ発生し、プロンプトありでは2,010件中72件で、そのうち57件は1回の実行で発生しました。その構成の該当部分の実行をやり直すと、Claude Opus 5.5単体より3.6パーセントポイント少なく(1.0〜6.3)合格しました。代わりに、安全性チェックが停止した試行や評価が無効とした試行をすべて両側から除外すると、1.7ポイント少なく(4.4少ない〜1.1多い)合格しました。したがって、損失の一部は評価自体のルールに起因しますが、すべてではありません。Claude Opus 5.5単体の
mediumの1回の試行は3時間の制限で打ち切られたため結果がなく、除外しています。サブエージェントありでは、同じ打ち切りは失敗とみなされます。
- 測定内容: 134のリポジトリコーディングタスクで、それぞれ、エージェントが見ることのできないテストによって合格または不合格で採点しました。2026年10月21日〜23日の3回の実行それぞれで、タスクごとに5回試行しました。実行はClaude Managed Agents上で、その独自のマルチエージェントオーケストレーション(
次のステップ
このページで最大の無料の成果:セットアップ、有効期間、診断。
単一モデル内で知能をレイテンシとコストと引き換えにします。
Claudeモデルファミリー全体で能力、速度、コストを評価します。
Managed Agentsセッションにドル建てのハード上限を設定します。
すべてのClaudeモデルの現在のトークンあたり価格を確認します。
実行可能なノートブックで、動作するエージェントにこれらのレバーを1つずつ適用し、各ステップ後のタスクあたりコストを確認します。
アドバイザーパターンとオーケストレーターパターンのウォークスルーをご覧ください。
このページは役に立ちましたか?