Claude Platform Docs
Modelle & PreiseLeitfäden

Optimierung von Kosten und Intelligenz

Bringe Kosten und Intelligenz auf der Claude Platform ins Gleichgewicht, mit gemessenen Ergebnissen für Prompt-Caching, Effort, Modellwahl, Ausgabelimits und Multi-Modell-Strategien.

Das leistungsfähigste Modell kann im großen Maßstab zu teuer sein, und das günstigste Modell kann bei der Qualität zu kurz kommen. Die Claude Platform gibt dir direkte Kontrolle über diesen Zielkonflikt. Du wählst für jede Anfrage das Modell, die Effort-Stufe und die Architektur, wodurch du einen Workload nahezu überall auf der Grenze zwischen Kosten und Intelligenz platzieren kannst.

Kosten und Intelligenz werden meist als Grenzlinie dargestellt, auf der das eine das andere erkauft. Die erste Gruppe von Hebeln auf dieser Seite bewegt einen Workload auf diese Grenze zu, indem sie Kosten senkt, ohne die Qualität anzutasten; nur die zweite Gruppe bewegt ihn entlang der Grenze:

Qualität
Kosten pro Aufgabe
die Grenze: jede Konfiguration, die Qualität mit Kosten erkauft und mit nichts anderem
dein Workload
gleiche Qualität, wie die Grenze sie bietet,zu höheren Kosten als nötig
Ausgaben senken, ohne Qualität zu verlierenCaching, Kürzen, ein Prompt-Audit, Batch-Verarbeitung
Kosten gegen Intelligenz tauschen
Effort, Modellstufe, Budgets:weniger Qualität für weniger Kosten,entlang der Kurve
Schema.

Es gibt zwei Arten von Hebeln:

  • Kostenlose Gewinne senken die Ausgaben, ohne die Qualität anzutasten: „prompt caching“ (Prompt-Caching), Token-Hygiene, ein Prompt-Audit gegen das Modell, das du verwendest, und Batch-Verarbeitung mit 50 % Rabatt für Arbeit, die bis zu 24 Stunden warten kann.
  • Zielkonflikte tauschen Kosten gegen Intelligenz: Modellwahl, Effort, Ausgabelimits und Sitzungsbudgets, eine Uhr für die verstrichene Zeit und Multi-Modell-Architekturen.

Ein Ausgabenlimit für den Workspace ist die Absicherung für beide Arten von Hebeln: siehe Budgets und Ausgabelimits festlegen.

Zu jedem Hebel gibt es gemessene Ergebnisse und die Regel, wann er sich lohnt. In den Messungen von Anthropic war Prompt-Caching meist der größte Hebel. Die Multi-Modell-Hebel sind enger gefasst; ein zweites Modell wurde in zwei Formen gemessen, als Advisor und als Orchestrator.

Hier beginnen

Ordne deine Situation einer Zeile zu.

Deine SituationTu FolgendesWo
Jeder Workload, jedes ModellAktiviere Prompt-Caching und kürze unnötige Token; beides ist kostenlosWiederholten Kontext cachen · Token kürzen
Eine Person wartet zwischen den TurnsZähle die Lücken zwischen deinen Anfragen und wähle dann die Cache-Dauer aus der Tabelle im verlinkten AbschnittCache-Dauer wählen
Die Kosten sind zu hoch; die Qualität passtProbiere einen niedrigeren Effort mit dem Modell, das du jetzt verwendestEffort abstimmen
Du verwendest nicht das neueste ModellFühre ein Upgrade durch; auf den Coding-Benchmarks in diesem Abschnitt löste jedes neuere Modell mindestens so viele Aufgaben wie sein Vorgänger, meist zu geringeren Kosten pro gelöster AufgabeModell upgraden
Du wählst oder wechselst ModelleVergleiche anhand der Kosten pro abgeschlossener Aufgabe, nicht pro TokenModelle vergleichen
Arbeit mit hohem Volumen und überprüfbaren AusgabenProbiere zuerst Claude Haiku 5.5Modelle vergleichen
Die Qualität reicht nicht ausWenn du den Effort gesenkt hast, stelle ihn wieder her; andernfalls probiere die nächsthöhere Stufe mit ihrem Standard-EffortEffort abstimmen · Modelle vergleichen
Versuche enden mit stop_reason: max_tokensErhöhe max_tokens auf 64.000: In Anthropics Tests waren nur 7 von etwa 18.000 Turns länger, und die Kosten pro gelöster Aufgabe stiegen nichtBudgets festlegen
Du kannst Ausgaben prüfen (Tests, ein Verifier)Arbeite mit low Effort und wiederhole Fehlschläge mit high: In Anthropics Tests etwa 40 % geringere Kosten als alles mit high, bei gleicher ErfolgsquoteFehlschläge wiederholen
Agent-Schleifen mit einigen sehr teuren DurchläufenLege ein Sitzungsbudget für Claude Managed Agents und ein Ausgabenlimit für den Workspace festBudgets festlegen
Du möchtest, dass Agent-Durchläufe schneller fertig werdenSag dem Modell, dass Zeit wichtig ist, und zeige ihm die verstrichene Zeit: 7 % bis 47 % weniger Zeit in Anthropics Tests, für ein paar Punkte ScoreDem Modell die verstrichene Zeit zeigen
Ein günstigeres Modell kommt nur bei schwierigen Entscheidungen nicht weiterProbiere einen Advisor. Er kann nur helfen, wenn dein Modell ihn konsultiert; berechne zuerst die Kosten seines Modells allein bei niedrigem Effort und miss die KonsultationsrateAdvisor-Strategie
Die Arbeit übersteigt ein KontextfensterTeile die Arbeit auf und übergib die Teile an günstigere ModelleOrchestrator-Strategie

Diese Ergebnisse sind Anthropic-intern (Referenzierte Benchmarks) und richtungsweisend, keine Garantien; miss also auf deinem eigenen Workload mit der Vier-Schritte-Methode.

Ausgaben senken, ohne Qualität zu verlieren

Prompt-Caching, Token-Hygiene, Batch-Verarbeitung und ein Prompt-Audit gegen dein aktuelles Modell senken alle, was du zahlst, ohne die Ausgabequalität zu senken. Zwei Vorbehalte gelten: Batch-Verarbeitung tauscht Latenz gegen ihren Rabatt, und die Kontextbearbeitung, ein Token-Hygiene-Hebel, kostete beim in diesem Abschnitt gemessenen kurzen Lauf mehr, als sie einsparte, und änderte beim langen nichts.

Wiederholten Kontext cachen

Warum Caching an erster Stelle steht

Aktiviere Prompt-Caching vor jedem anderen Hebel, denn standardmäßig sendet jeder Turn einer agentischen Aufgabe die gesamte wachsende Konversation erneut: System-Prompt, Tool-Definitionen und jeden vorherigen Turn.

  • Eine Aufgabe mit 40 Turns sendet ihren ersten Turn 40-mal, sodass die Kosten einer Aufgabe ungefähr mit dem Quadrat der Anzahl der Turns wachsen.
  • Caching verhindert das erneute Senden nicht, aber jedes erneute Senden kostet etwa ein Zehntel (ein Zwanzigstel bei Claude Opus 5.5 und Claude Sonnet 5.5, ein Vierzigstel bei Claude Fable 5.2, Claude Mythos 5.2, Claude Fable 5.1 und Claude Mythos 5.1) und wird schneller verarbeitet.
  • Das Präfix wird zum Cache-Lesepreis statt zum Eingabepreis abgerechnet, und jeder Turn zahlt den Cache-Schreibpreis von 1,25x nur für das, was neu ist.

Nachrichten-Threads, in der Beta, verhindern das erneute Senden, solange ein Thread besteht, also bis 5 Minuten nach seiner letzten Anfrage. Sie senken die Zeit bis zum ersten Token, nicht die Kosten: Das Modell liest weiterhin die gesamte Konversation, also behalte cache_control bei jeder Anfrage bei. Threads unterstützen weder Compaction noch den Großteil des Context Editings.

Wie gute Werte aussehen.

  • Über einen ganzen Tag echten Traffics lasen Agent-Schleifen im Median 84 % ihrer Eingabe aus dem Cache, und die besten 10 % davon, ob Coding oder nicht, lasen 94 % oder mehr17.
  • Tief in einer Aufgabe zahlt eine gut gebaute Schleife für weniger als 1 % ihrer Eingabe den vollen Preis.
  • Unter etwa 80 % solltest du nach etwas suchen, das den Cache bricht (siehe Was den Cache bricht).

Anthropic hat die Durchläufe von DeepResearch Bench II7 mit und ohne den Cache-Rabatt berechnet:

DeepResearch Bench II: Prompt-Caching senkt die Rechnung um den Faktor 4,8 ⁠bis 7,2 ⁠pro Aufgabe
Kosten pro Aufgabe (USD, Listenpreise; logarithmische Skala)
Claude Fable 5.1, hoher Effort (Standard)
7,2x
5,64 $
40,58 $
Claude Fable 5.1, niedriger Effort
4,8x
3,47 $
16,79 $
Claude Opus 5.5, mittlerer Effort (Standard)
5,3x
1,52 $
7,99 $
Claude Sonnet 5.5, hoher Effort (Standard)
4,9x
1,05 $
5,13 $
Dieselben Anfragen, bepreist mit jedem Eingabe-Token zum ungecachten Preis; Teilmenge mit 50 ⁠Aufgaben, drei Durchläufe pro Einstellung; Cache-Lesevorgänge machen 89 % bis 93 % der Eingabe-Token aus.

Die Standardlebensdauer des Caches beträgt 5 Minuten, und die Turns einer Agent-Schleife liegen Sekunden auseinander, sodass der Rabatt bei jedem Turn für die meisten Token gilt. Die Durchläufe im Caching-Diagramm lasen 89 % bis 93 % ihrer Eingabe-Token aus dem Cache.

Berechnet man die aufgezeichneten Token-Zahlen anderer Durchläufe auf dieselbe Weise, jedes Modell bei seinem Standard-Effort, ergeben sich die durchschnittlichen Token-Kosten pro Aufgabe ohne Caching:

BenchmarkModellOhne Caching
SWE-bench Pro3Claude Opus 5.5das 3,3-Fache der Kosten mit Caching
SWE-bench ProClaude Sonnet 5.5das 3,1-Fache der Kosten mit Caching
Aufgabenset für Claude Managed Agents25, dessen Sitzungen kurz sindClaude Haiku 5.5das 1,7-Fache der Kosten mit Caching
Ein kleiner Agent, der Fehlerberichte sichtet (Eingabe- und Kontext-Token kürzen)16Claude Sonnet 5.5das 7,3-Fache der Kosten mit Caching

Die Ersparnis hängt davon ab, wie viele Turns eine Aufgabe benötigt, denn kürzere Schleifen lesen weniger erneut.

Cache-Dauer wählen

Wenn deine Schleife zwischen den Turns auf eine Person wartet, verwende die 1-Stunden-Cache-Dauer, sobald etwa 1 von 20 Turns auf eine Pause zwischen 5 Minuten und einer Stunde folgt und nur wenige Lücken länger als eine Stunde dauern. Bei Claude Fable 5.2, Claude Fable 5.1, Claude Opus 5.5 und Claude Sonnet 5.5 kann es günstiger sein, den 5-Minuten-Cache warm zu halten.

Die 1-Stunden-Dauer kostet beim Schreiben mehr (das 2-Fache des Eingabepreises statt des 1,25-Fachen). Ein Cache-Miss bei beiden Dauern rechnet das gesamte Präfix zum Schreibpreis statt zum Lesepreis ab.

Wähle die Cache-Dauer, wenn eine Konversation beginnt. In Anthropics Test schrieb der erste Turn, der einer mit der 5-Minuten-Dauer gecachten Konversation mit der 1-Stunden-Dauer hinzugefügt wurde, den gesamten Prompt erneut, einmal: 0,80 $ bei 100.000 Token auf Claude Opus 5.5, verglichen mit 0,02 $ Eingabe für einen Turn, der den Cache las16.

Anthropic hat einen kleinen Agenten gemessen, der Fehlerberichte sichtet (Eingabe- und Kontext-Token kürzen), wobei vor einigen Turns Pausen eingefügt wurden, um die Verzögerung durch eine Person zu simulieren16. Die Genauigkeit blieb bei jeder gemessenen Einstellung innerhalb des Rauschens zwischen Durchläufen. Anthropic hat außerdem zusätzliche Anfragen gemessen, die den 5-Minuten-Cache warm halten (Keep-alive-Anfragen).

Um zu entscheiden, zähle die Lücken zwischen aufeinanderfolgenden Anfragen in einer Konversation und finde deine Zeile in der folgenden Tabelle. Eine Zeile, die dein Modell nennt, hat Vorrang vor einer Zeile mit „Alle“ in der Spalte Modell:

Deine Lücken zwischen AnfragenModellVerwende
Turns kommen im SekundenabstandAlle5-Minuten-Standard
Etwa 1 von 20 Lücken oder mehr liegt zwischen 5 Minuten und einer Stunde, und nur wenige Lücken dauern länger als eine StundeAlle1-Stunden-Dauer
Lücken über einer Stunde sind häufig: Etwa 60 % oder mehr deiner Pausen, die länger als 5 Minuten sind, dauern auch länger als eine StundeAlle5-Minuten-Standard
Nur 1 oder 2 von 20 Lücken liegen zwischen 5 Minuten und einer Stunde, und keine dauert länger als etwa eine halbe StundeClaude Opus 5.5 und Claude Sonnet 5.5Warm gehaltener 5-Minuten-Cache statt der 1-Stunden-Dauer
Vor jedem Turn kommt eine Pause von mehr als 5 Minuten, und nur wenige Pausen dauern länger als eine StundeClaude Opus 5.5 und Claude Sonnet 5.51-Stunden-Dauer
Pausen dauern MinutenClaude Fable 5.1 und Claude Fable 5.2Warm gehaltener 5-Minuten-Cache statt der 1-Stunden-Dauer
Pausen dauern fast eine Stunde, und nur wenige dauern länger als eine StundeClaude Fable 5.1 und Claude Fable 5.21-Stunden-Dauer

Verwende bei Claude Haiku 5.5 die Zeilen „Alle“: Es liest den Cache zum Standardwert von 0,1x des Eingabepreises, doppelt so viel wie die 0,05x von Claude Opus 5.5 und Claude Sonnet 5.5, sodass nach Listenpreisen jede Keep-alive-Anfrage im Verhältnis zum Eingabepreis doppelt so viel kostet wie bei diesen beiden Modellen. Eine Anfrage mit max_tokens: 0 frischte in einem separaten Test seinen Cache auf (Referenz 16).

Warum, Zeile für Zeile.

  • Jedes Modell.
    • Turns kommen im Sekundenabstand. Keine Pausen: Der Standard kostete bei Claude Sonnet 5.5 etwa 19 % weniger als die 1-Stunden-Einstellung, bei Claude Opus 5.5 etwa 15 % bis 18 % weniger.
    • Etwa 1 von 20 Lücken oder mehr. Der aus Token-Zahlen berechnete Break-even liegt bei Claude Sonnet 5.5 und Claude Opus 5.5 bei etwa 1 von 30 Turns.
    • Lücken über einer Stunde sind häufig. Bei jedem Modell lässt eine Lücke von über einer Stunde beide Dauern ablaufen, und die 1-Stunden-Einstellung schreibt das Präfix dann zu ihrem höheren Schreibpreis neu.
  • Claude Opus 5.5 und Claude Sonnet 5.5, deren Cache-Lesevorgänge das 0,05-Fache des Eingabepreises kosten.
    • Nur 1 oder 2 von 20 Lücken. Beim Standard-Effort kosteten Keep-alive-Anfragen bei Claude Opus 5.5 8 % bis 13 % weniger als die 1-Stunden-Dauer, bei Claude Sonnet 5.5 8 % bis 16 % weniger.
    • Vor jedem Turn kommt eine Pause. Bei Claude Opus 5.5 und Claude Sonnet 5.5 kosteten Keep-alive-Anfragen bei 6-minütigen Pausen ein paar Prozent mehr als die 1-Stunden-Dauer und bei 45-minütigen Pausen über 50 % mehr.
  • Claude Fable 5.1 und Claude Fable 5.2, deren Cache-Lesevorgänge das 0,025-Fache des Eingabepreises kosten.
    • Pausen dauern Minuten. Bei Claude Fable 5.2 kosteten Keep-alive-Anfragen19 etwa 4,5 % bis 19 % weniger als der 1-Stunden-Cache, sowohl mit 10 % pausierten Turns als auch mit einer 6-minütigen Pause vor jedem Turn.
    • Pausen dauern fast eine Stunde. Bei Claude Fable 5.2 gewann der 1-Stunden-Cache nur mit einer 45-minütigen Pause vor jedem Turn, und zwar um etwa 0,12 $19 bei einer Sitzung mit 5 Fehlerberichten.

Das folgende Diagramm zeigt die Kosten pro Sitzung in Abhängigkeit vom Anteil pausierter Turns bei Claude Sonnet 5.5:

Der 1-Stunden-Cache ist günstiger, sobald etwa 1 ⁠von 30 ⁠Turns auf eine Pause folgt
Turns, die auf eine Pause von 5 ⁠bis 60 ⁠Minuten folgen (% aller Turns)
Kosten pro Sitzung mit 20 ⁠Fehlerberichten (USD, Listenpreis)
5 ⁠Minuten günstiger
Break-even aus Token-Zahlen:etwa 1 ⁠von 30 ⁠Turns
1 ⁠Stunde günstiger
Der Triage-Agent mit Claude Sonnet 5.5, 3 ⁠Durchläufe pro Punkt. Durchläufe an einem Punkt unterscheiden sich um 8 % bis 23 %, daher ist die Senke in der 1-Stunden-Linie kein Effekt der Pausen.Der Break-even (3,1 %) ist der Median pro Sitzung, berechnet aus Token-Zahlen. Die Linien kreuzen sich später, weil die zwei Pausen des 5-%-Punkts auf kleine Präfixe fielen.

Das folgende Diagramm ergänzt den durch Keep-alive-Anfragen warm gehaltenen 5-Minuten-Cache bei Claude Fable 5.1, Claude Opus 5.5 und Claude Sonnet 5.5:

Keep-alive kostet bei Fable 5.1 ⁠in jedem dargestellten Fall weniger als der 1-Stunden-Cache, bei Opus 5.5 ⁠und Sonnet 5.5 ⁠nur, wenn wenige Turns pausieren
Claude Fable 5.110 $ Eingabe, Cache-Lesevorgang 0,25 $
Anteil der Turns, die auf eine Pause folgen
Kosten pro Sitzung mit 20 ⁠Fehlerberichten (USD, Listenpreis)
22,89 $, außerhalb der Skala
Claude Opus 5.5 ⁠bei Effort medium4 $ Eingabe, Cache-Lesevorgang 0,20 $
Anteil der Turns, die auf eine Pause folgen
8,82 $, außerhalb der Skala
Claude Sonnet 5.5 ⁠bei Effort high2 $ Eingabe, Cache-Lesevorgang 0,10 $
Anteil der Turns, die auf eine Pause folgen
4,22 $, außerhalb der Skala
Triage-Agent, 20 ⁠Fehlerberichte, drei Sitzungen pro Punkt, zu Listenpreisen bepreist aus den von der API gemeldeten Token-Zahlen; Opus 5.5 ⁠und Sonnet 5.5 ⁠bei ihrem Standard-Effort (medium, high).Bei 5 % der Turns zwei Pausen von 7 ⁠und 32 ⁠Minuten; bei 10 % vier Pausen von 6 ⁠bis 32 ⁠Minuten. Fable 5.1 ⁠wurde bei 5 % nicht ausgeführt, daher gehen seine gestrichelten Linien direkt von 0 % zu 10 %.„Jeder Turn“ ist ein separater Test mit einer 6-minütigen Pause vor jedem Turn, daher verbindet keine Linie ihn mit dem 10-%-Punkt.Mit 45-minütigen Pausen (eine Teilmenge mit 5 ⁠Fehlerberichten, nicht dargestellt) kostete der 1-Stunden-Cache bei allen drei Modellen am wenigsten.Die Jeder-Turn-Punkte von Sonnet 5.5 ⁠mitteln zwei Sitzungen pro Einstellung: In der dritten Keep-alive-Sitzung liefen zwei Keep-alive-Anfragen in ein Timeout, und der Cache lief ab.Eine Keep-alive-Anfrage sendet denselben Prompt alle 4 ⁠Minuten erneut, gezählt ab dem Start der vorherigen Anfrage, mit max_tokens 0 ⁠bei Fable 5.1 ⁠und 1 ⁠bei den anderen beiden.Ohne Pausen werden keine Keep-alive-Anfragen gesendet, daher unterscheiden sich die Keep-alive-Punkte und die einfachen 5-Minuten-Punkte nur durch das Rauschen zwischen Durchläufen.

Was du wissen solltest.

  • Die 1-von-20-Regel lässt einen Spielraum gegenüber dem Break-even von etwa 1 von 30 Turns. Bei 1 von 20 Turns kosteten die 5-Minuten- und die 1-Stunden-Einstellung bei Claude Sonnet 5.5 etwa gleich viel, innerhalb der Schwankung zwischen Durchläufen; bei 1 von 10 Turns kostete die 5-Minuten-Einstellung 54 % mehr (Referenz 16).
  • Bei anderen Modellen als Claude Sonnet 5.5 und Claude Opus 5.5 legen die Preise den Break-even in denselben Bereich: Jedes aktuelle Modell verwendet dieselben Cache-Schreibmultiplikatoren, und jedes Modell außer Claude Fable 5.2, Claude Mythos 5.2, Claude Fable 5.1, Claude Mythos 5.1, Claude Opus 5.5 und Claude Sonnet 5.5 denselben Lesepreis.
  • Die Keep-alive-Werte für Claude Opus 5.5 und Claude Sonnet 5.5 stammen von Anfragen, die mit max_tokens: 1 gesendet wurden. Eine Anfrage mit max_tokens: 0 frischte ebenfalls einen bestehenden Cache-Eintrag bei Claude Fable 5.1, Claude Opus 5.5, Claude Sonnet 5.5 und Claude Haiku 5.5 auf (Referenz 16).

So hältst du den Cache warm:

  1. Nimm die vorherige Anfrage, setze max_tokens auf 0 und entferne stream, falls es gesetzt war. Ändere kein einziges Byte des Präfixes.
  2. Sende die Header der Anfrage zusammen mit ihrem Body erneut. Ohne den anthropic-beta-Header der ursprünglichen Anfrage werden die Beta-gebundenen Felder im erneut gesendeten Body abgelehnt.
  3. Sende sie innerhalb von 4 Minuten nach dem Start der vorherigen Anfrage und danach alle 4 Minuten, bis der nächste Turn eintrifft oder die Sitzung endet. Zähle ab dem Start der Anfrage, denn die 5-minütige Lebensdauer des Caches läuft ab dort.

Das ist die Pre-Warming-Anfrage: Sie frischt die Lebensdauer des Caches auf, gibt keine Ausgabe zurück und kostet kaum mehr als der Cache-Lesevorgang. Sobald der Cache abgelaufen ist, schreibt die nächste Anfrage, ob Keep-alive oder nicht, das Präfix zum Cache-Schreibpreis neu16.

Eine Anfrage mit max_tokens: 0 wird in den folgenden Fällen abgelehnt:

  • Die Anfrage setzt thinking.type: "enabled" (das standardmäßige adaptive Nachdenken bei Claude Fable 5.1 und Claude Fable 5.2 ist in Ordnung), strukturierte Ausgaben oder eine erzwungene Tool-Auswahl (ihre Einschränkungen). Kaufe bei diesen Workloads stattdessen die 1-Stunden-Dauer.
  • Die Anfrage enthält den Top-Level-Parameter compaction; sende also keine Compaction-Anfrage aus Komprimierung auf Anfrage als Keep-alive-Anfrage erneut.
cURL
# Innerhalb von 4 Minuten nach dem Start der letzten Anfrage (die Generierungszeit zählt
# zur Lebensdauer des Caches) sende diese Anfrage erneut mit max_tokens auf
# 0 gesetzt und lass stream weg (eine Anfrage mit max_tokens: 0 kann nicht streamen). Sende dieselben
# Header wie bei der ursprünglichen Anfrage, einschließlich eines ggf. vorhandenen anthropic-beta-Headers.
jq '.max_tokens = 0 | del(.stream)' last_request.json | \
  curl https://api.anthropic.com/v1/messages \
    -H "x-api-key: $ANTHROPIC_API_KEY" \
    -H "anthropic-version: 2026-10-21" \
    -H "content-type: application/json" \
    --data-binary @-

Caching einschalten

Die Einrichtung erfordert wenig Aufwand. Automatisches Caching setzt Breakpoints für dich; andernfalls kann der Claude API-Skill, der mit Claude Code ausgeliefert wird, einer bestehenden Integration mit einem einzigen Prompt Caching hinzufügen:

Claude Code

Lass Claude Code das Caching für dich hinzufügen

/claude-api füge dieser Integration Prompt-Caching hinzu

Im Code, der diese Messungen erzeugt hat, setzte der Skill einen Breakpoint auf den System-Block und je einen auf die beiden jüngsten User-Turns; Explizite Cache-Breakpoints erklärt, wo du sie platzierst.

Was den Cache bricht

Setze anfragespezifischen Text, etwa eine Statuszeile, ans Ende des neuesten User-Turns, nach dem letzten Cache-Breakpoint. Lass bei späteren Anfragen jeden früheren Turn so, wie du ihn gesendet hast, mitsamt seiner alten Statuszeile. Nimm Cache-invalidierende Änderungen an einer natürlichen Unterbrechung vor, etwa bei der ersten Anfrage nach einer Compaction. Bei Modellen, auf denen die Präfixprüfung läuft, kann eine Anfrage, die den System-Prompt oder tools bearbeitet, selbst an einer solchen Unterbrechung einen 400-Fehler erhalten. Sende diese Änderungen stattdessen in messages, sofern deine Plattform das unterstützt (siehe Tools oder Anweisungen ändern, ohne dass die Präfixprüfung fehlschlägt). Der Cache ist ein byte-genauer Präfixabgleich über die Anfrage in ihrer Reihenfolge (Tools, dann System-Prompt, dann Nachrichten), sodass eine Änderung an beliebiger Stelle alles danach invalidiert.

Wenn sich mitten in der Konversation etwas ändern muss, sende es in der Form, die den Cache erhält, sofern das Modell sie unterstützt. Anthropic hat jede Änderung auf beide Arten auf Claude Fable 5.1, Claude Opus 5.5 und Claude Sonnet 5.5 getestet, bei einer gecachten Konversation von etwa 100.000 Token, die die erste Antwort des Modells mit ihrem Nachdenken enthielt. Das Bearbeiten des System-Prompts kostete etwa das 25- bis 50-Fache dessen, was derselbe Text als System-Nachricht mitten in der Konversation kostete. Eine Effort-Änderung auf oberster Ebene kostete das 20- bis 40-Fache dessen, was die Änderung in einer Nachricht kostete18:

Das Bearbeiten des System-Prompts oder des Efforts auf oberster Ebene kostet das 20- bis 50-Fachedessen, was dieselbe Änderung in einer Nachricht kostet
Eine Anfrage in einer gecachten Konversation von etwa 100.000 ⁠Token, die die erste Antwort des Modells mit ihrem Nachdenken enthielt
Prompt-Kosten der Anfrage (USD, Listenpreis)
Anweisungen: System-Prompt bearbeitet
1,26 $ (50x)
Anweisungen: als System-Nachricht gesendet
0,026 $
Effort: auf oberster Ebene geändert
1,02 $ (40x)
Effort: pro Nachricht geändert
0,025 $
Anweisungen: System-Prompt bearbeitet
0,50 $ (25x)
Anweisungen: als System-Nachricht gesendet
0,020 $
Effort: auf oberster Ebene geändert
0,41 $ (20x)
Effort: pro Nachricht geändert
0,020 $
Anweisungen: System-Prompt bearbeitet
0,25 $ (25x)
Anweisungen: als System-Nachricht gesendet
0,010 $
Effort: auf oberster Ebene geändert
0,20 $ (20x)
Effort: pro Nachricht geändert
0,010 $
Prompt-Kosten: Eingabe, Cache-Schreibvorgänge und Cache-Lesevorgänge der Anfrage, die die Änderung vornimmt, zu Listenpreisen; Ausgabe nicht gezählt. 5-Minuten-Cache, keine Tools; Mittelwert aus 2 ⁠Konversationen pro Modell.In Klammern: das Wievielfache der Kosten derselben Anfrage ohne Änderung (0,025 $, 0,020 $ und 0,010 $).

Wenn eine Änderung den Cache invalidiert, wird der betroffene Teil des Präfixes erneut geschrieben statt gelesen. Ein Schreibvorgang in den 5-Minuten-Cache kostet das 1,25-Fache des Eingabepreises, und ein Cache-Lesevorgang kostet einen kleinen Bruchteil des Eingabepreises. Zu Listenpreisen kostet dieser Schreibvorgang das 50-Fache eines Lesevorgangs bei Claude Fable 5.2, Claude Mythos 5.2, Claude Fable 5.1 und Claude Mythos 5.1, wo ein Cache-Lesevorgang das 0,025-Fache des Eingabepreises kostet. Bei Claude Opus 5.5 und Claude Sonnet 5.5 (0,05x) kostet dieser Schreibvorgang das 25-Fache eines Lesevorgangs, bei Claude Haiku 5.5 (0,1x) das 12,5-Fache. Die Zahlen des Diagramms stammen von der Messages API.

In einem separaten Test von Anthropic auf Claude Opus 5.5 und Claude Fable 5.2 erhielten Anfragen, die den System-Prompt oder tools bearbeiteten und frühere Thinking-Blöcke zurücksendeten, weiterhin den 400-Fehler. Sie erhielten ihn sogar als erste Anfrage nach einer Compaction bei einem Token-Schwellenwert18.

Was du tun solltest.

  • Setze nichts, was sich pro Anfrage ändert, etwa einen Zeitstempel oder eine Warteschlangenposition, vor das stabile Präfix: Es macht jede Anfrage zu einem vollständigen Cache-Schreibvorgang. In Anthropics Test führte eine 25 Token lange Statuszeile am Anfang des System-Prompts dazu, dass jede Anfrage die gesamte Konversation schrieb; ans Ende des neuesten User-Turns verschoben, ließ sie den Cache-Lesevorgang intakt18.
  • Die Seite zu Prompt-Caching listet die Änderungen auf, die den Cache invalidieren, etwa eine Änderung an effort, an der Konfiguration für das Nachdenken, an der speed-Einstellung, am System-Prompt oder an einer Tool-Definition. Eine Änderung des Ausgabeformats invalidiert den Cache für diese Konversation (siehe Strukturierte Ausgaben).
  • Prüfe, welche Modelle jede Form unterstützen: System-Nachrichten mitten in der Konversation und Effort pro Nachricht, der sich in der Beta befindet.
  • Prüfe nach einer Cache-invalidierenden Änderung, dass die Cache-Lesevorgänge nicht gesunken sind; falls doch, zeigt Cache-Diagnose, wo das Präfix abgewichen ist.

Mit einem früheren Modell hat Anthropic an langen Sitzungen des in Eingabe- und Kontext-Token kürzen beschriebenen Issue-Triage-Agenten gemessen, wann eine solche Änderung vorgenommen werden sollte18. Die Sitzungen mit Änderungen begannen mit niedrigem Effort, wechselten dann zum Standard-Effort und fügten ein Tool hinzu. Die beiden Änderungen mitten in der Sitzung vorzunehmen, kostete am meisten. Sie bei der Anfrage vorzunehmen, die die Compaction auslöste, kostete fast ebenso viel, weil diese Anfrage noch die gesamte Konversation mitführte und sie erneut in den Cache schrieb. Sie bei der nächsten Anfrage vorzunehmen, der ersten nach der Compaction, kostete am wenigsten. Die Genauigkeit lag innerhalb des Rauschens zwischen Durchläufen. Dieses Modell führt die Präfixprüfung nicht durch. Bei einem Modell, das sie durchführt, füge das Tool stattdessen in einer Nachricht hinzu: siehe Tools hinzufügen, entfernen oder deaktivieren, das sich in der Beta befindet. Das folgende Diagramm zeigt außerdem Sitzungen ohne Änderungen. Sie sind keine gleichwertige Baseline, weil sie durchgehend mit dem Standard-Effort liefen und zwei davon ein zweites Mal komprimiert wurden:

Nimm Cache-invalidierende Änderungen bei der Anfrage nach der Compaction vor, nicht davor
Kosten pro Sitzung (USD, Listenpreis)
Keine Änderungen
0,81 $
0 ⁠große Neuschreibvorgänge
Änderungen mitten in der Sitzung
0,95 $
2 ⁠große Neuschreibvorgänge
Änderungen bei der Anfrage, die die Compaction auslöst
0,92 $
1 ⁠großer Neuschreibvorgang
Änderungen bei der Anfrage nach der Compaction
0,75 $
0 ⁠große Neuschreibvorgänge
Triage-Agent, lange Variante; Claude Sonnet 5, 5-Minuten-Cache; Mittelwerte aus 5 ⁠Sitzungen pro Balken (6 ⁠für die auslösende Anfrage).Die geänderten Sitzungen beginnen mit niedrigem Effort und wechseln als eine ihrer Änderungen zum Standard; Genauigkeit in jedem Fall 14,2 ⁠bis 14,7 ⁠von 20.

Eingabe- und Kontext-Token kürzen

Die meisten Agent-Anfragen enthalten Token, die die Antwort nie beeinflussen. Sie zu kürzen kostet selten Ausgabequalität, auch wenn nicht jeder Hebel hier in der Messung Geld gespart hat. Es gibt zwei Ansatzpunkte:

Die Hebel wirken mit dem Cache und untereinander zusammen; beurteile sie daher nach ihrem Nettoeffekt und verwende Cache-Diagnose, um zu bestätigen, dass dein gecachtes Präfix jede Änderung übersteht.

In Messungen mit einem früheren Modell28 hat Anthropic sie an einem Issue-Triage-Agenten getestet, der 20 echte Fehlerberichte mit Screenshots aus einem öffentlichen Repository abarbeitete, sowie an einer längeren Variante derselben Aufgabe mit dem 2,6-Fachen an Token. Bei aktiviertem Caching senkte Input-Trimming (Bildgrößenanpassung und Tool-Suche) die Kosten beider Durchläufe weiter.

Ungenutzte Tool-Definitionen verzögert laden

Jede an eine Anfrage angehängte Tool-Definition ist bei jedem Turn Eingabe, und ein paar MCP-Server summieren sich auf Hunderte davon.

In einer Messung mit einem früheren Modell27 hat Anthropic den Triage-Agenten mit seinen eigenen zwei Tools plus einem Katalog echter Tool-Definitionen aus öffentlichen MCP-Servern ausgeführt, insgesamt bis zu 502 Tools, wobei entweder alle geladen oder die zusätzlichen hinter der Tool-Suche als defer_loading markiert wurden:

Tool-Suche hält die Kosten konstant, während der Katalog wächst; die Genauigkeit war in beiden Fällen gleich
an den Agenten angehängte Tool-Definitionen
Kosten des Durchlaufs mit 20 ⁠Fehlerberichten (USD, Listenpreis)
Derselbe Triage-Agent, Claude Sonnet 5, Mittelwert aus 3 ⁠Durchläufen pro Punkt; Katalog aufgefüllt mit echten Tool-Definitionen aus öffentlichen MCP-Servern.15 ⁠bis 18 ⁠von 20 ⁠richtig an jedem Punkt.
  • Mit allen geladenen Definitionen stiegen die Durchlaufkosten mit wachsendem Katalog, entsprechend den Schema-Token in jeder Anfrage.
  • Mit Tool-Suche blieben die Durchlaufkosten bei jeder Kataloggröße konstant.
  • Die Genauigkeit lag in beiden Fällen im selben Bereich, und das Modell rief nie ein falsches Tool auf; in dieser Größenordnung kosten ungenutzte Definitionen also Geld, nicht Korrektheit.
  • Halte deine 3 bis 5 meistgenutzten Tools geladen, damit Claude sie aufrufen kann, ohne zuerst zu suchen.
  • Mit demselben früheren Modell senkte das verzögerte Laden des Toolsets eines öffentlichen GitHub-MCP-Servers (default_config: {defer_loading: true} am MCP-Connector) die Durchlaufkosten bei gleicher Genauigkeit. Mit verzögert geladenem Toolset und ohne Tool-Search-Tool in der Anfrage rief kein Durchlauf die Tools des Servers auf.

Datendateien aus dem Prompt heraushalten

Wenn das Modell über eine Tabelle rechnen muss, lade sie mit der Files API hoch und lass das Modell sie mit Code-Ausführung abfragen, statt sie einzufügen. Anthropic stellte 25 Aggregatfragen15 (Summen, gefilterte Zählungen, Group-bys und ein Datumsfilter) zu einer öffentlichen CSV-Datei mit 1.862 Zeilen, wobei die Antworten mit pandas berechnet wurden:

Lege die Datendatei dort ab, wo Code sie lesen kann
Kosten des Durchlaufs mit 25 ⁠Fragen (USD, Listenpreis)
richtig beantwortete Fragen (%)
Datei hochgeladen, Code-Ausführung
0,40 $ pro Durchlauf, 25 ⁠von 25 ⁠richtig
CSV in den Prompt eingefügt
5,01 $ pro Durchlauf, 7 ⁠von 25 ⁠richtig
Claude Sonnet 5; 25 ⁠Aggregatfragen zu einer öffentlichen CSV-Datei mit 1.862 ⁠Zeilen, Antworten mit pandas geprüft; Mittelwert aus 3 ⁠Durchläufen pro Punkt.

In den Prompt eingefügt umfasst die Tabelle bei jeder Anfrage etwa 91.000 Eingabe-Token, und Claude Sonnet 5 beantwortete 7 von 25 Fragen richtig. Hochgeladen, mit Code-Ausführung, beantwortete es alle 25, und der Durchlauf kostete etwa ein Zwölftel. Claude Opus 5 zeigte dasselbe Muster. Keiner der beiden Ansätze verwendete Prompt-Caching.

Den Kontext-Lebenszyklus verwalten

Die Kontext-Hebel zahlen sich nur bei einer Sitzung aus, die lang genug ist, um sie zu brauchen:

Kontext-Hebel zahlen sich nur bei langen Sitzungen aus, und nicht gleich stark
Kontextbearbeitung
73 % mehr
keine Änderung
Komprimierung
keine Änderung
32 % weniger
Pruning veralteter Tool-Ergebnisse an Aufgabengrenzen
keine Änderung
39 % weniger
Kosten des gekürzten Durchlaufs
Kostenänderung gegenüber demselben Durchlauf nur mit Caching und Input-Trimming (0,42 $ kurz, 1,09 $ lang);Claude Sonnet 5, Mittelwert aus 3 ⁠Durchläufen pro Balken; unter 10 % ist Rauschen.

Anthropic hat diese Hebel mit einem früheren Modell gemessen28:

  • In diesen Durchläufen war das Pruning eine kurze Funktion im eigenen Code des Issue-Triage-Agenten: An jeder Aufgabengrenze ersetzte sie jedes Suchergebnis mit mehr als 2.000 Zeichen durch einen einzeiligen Auszug.
  • Beim Durchlauf mit 20 Issues sparten die Hebel wenig oder nichts, und die Kontextbearbeitung machte den Durchlauf teurer.
  • Beim langen Durchlauf senkten sowohl das Pruning als auch die Compaction die Kosten, während die Kontextbearbeitung nichts änderte.
  • Wenn du die Kontextbearbeitung verwendest, lösche in wenigen großen Batches, denn jedes Löschen kostet einen Cache-Schreibvorgang.

Arbeit batchen, die warten kann

Leite jede Anfrage, auf die niemand wartet, über die Batch API und behalte den interaktiven Pfad für den Rest. Die Batch API gewährt 50 % Rabatt auf jedes Token einer Anfrage, einschließlich gecachter Token, im Gegenzug dafür, dass die Ergebnisse irgendwann innerhalb von 24 Stunden eintreffen.

  • Batching ist nach Caching der zweitgrößte kostenlose Hebel für unbeaufsichtigte Agent-Arbeit: Evaluierungsläufe, Backfills und geplante Jobs wie ein wiederkehrender Lauf des Issue-Triage-Agenten aus der Token-Trimming-Messung.
  • Batching lässt sich mit dem Großteil dieser Seite kombinieren, aber nicht mit dem Fast Mode, Nachrichten-Threads oder Sitzungen von Claude Managed Agents (siehe Preise für Claude Managed Agents).

Prompts gegen das aktuelle Modell auditieren

Auditiere Prompts gegen das Modell, das du jetzt verwendest, und erneut bei jedem Modellwechsel: Es ist ein kostenloser Gewinn.

  • Jede Modellgeneration reagiert anders auf Prompts, sodass sich in einem Prompt Text ansammelt, der für ein Modell geschrieben wurde, das du nicht mehr verwendest.
  • Der übliche Fall sind übermäßig spezifische Anweisungen, die hinzugefügt wurden, um ein älteres Modell auszugleichen: „zweimal überprüfen“, „maximal gründlich sein“, ein verpflichtendes Schritt-für-Schritt-Verfahren oder ein selbst gebautes Reasoning-Scratchpad.
  • Ein neueres Modell befolgt solche Anweisungen buchstabengetreu, was zusätzliche Tool-Runden und zusätzlichen Text erzeugt, für die du ohne Genauigkeitsgewinn zahlst.

Das Audit ist ein einziger Befehl. Der Claude API-Skill, der mit Claude Code ausgeliefert wird, hat einen prompt-audit-Befehl, der die Prompts und den Anfrage-Code eines Projekts liest und meldet, was für ein anderes Modell geschrieben wurde:

Claude Code

Lass Claude Code deine Prompts für dich auditieren

/claude-api prompt-audit

Dieser gekürzte Auszug zeigt den Befehl bei der Ausführung gegen einen Support-Desk-Prompt und Anfrage-Code, die diese Muster enthalten:

$ claude
> /claude-api prompt-audit

10 findings. The three that matter most:

1. budget_tokens returns a 400 on Opus 5 (support_agent.py:10). This code
   does not run against its own target model. Everything else here is
   quality; this one is an outage.
2. The prompt contains two live contradictions. Line 15 says confirm before
   every refund, line 17 says process every eligible refund immediately.
   Line 19 asks for a complete recap *and* a three-sentence maximum.
3. The reasoning scaffold and the 6-step script fight the model rather than
   steer it. <scratchpad> + "reason step by step" is now a request
   parameter, not prose; the mandatory 6-step procedure plus "investigate
   fully even when the ticket looks simple" forces four tool calls on a
   "where's my package" ticket.
...
-After any refund or escalation, verify twice before submitting: re-fetch
-the order, re-check every figure in your reply against the fresh lookup,
-and review the reply a second time for errors.
+Before submitting a refund or an escalation, re-fetch the order and confirm
+every figure in your reply matches the fresh lookup.

Der Befehl schlägt seine Änderungen dann als Diff vor (ein Hunk gezeigt) und listet auf, was er bewusst unverändert gelassen hat: das Rückerstattungsfenster, die Tonalitätsanforderung und die Qualitätsmesslatte. Du prüfst einen Patch, keine Neufassung.

Anthropic hat den Effekt an einer Support-Desk-Evaluierung14 über zwei Migrationen zwischen früheren Modellen gemessen:

Der Wechsel zum neuen Modell erhöhte die Rechnung; das Audit des Prompts holte das mehr als wieder herein
Kosten pro Ticket (US-Cent)
richtig gelöste Tickets (%)
Opus 4.8, alter Prompt
Opus 5, derselbe Prompt
Opus 5, geprüfter Prompt
Sonnet 4.6, alter Prompt
Sonnet 5, derselbe Prompt
Sonnet 5, geprüfter Prompt
Support-Desk-Evaluierung (Referenz 14): 44 ⁠Tickets, sechs für die älteren Modelle geschriebene Prompts, deterministische Bewertung; jeder Punkt ist der Mittelwert über Prompts und Tickets.
  • Von Claude Opus 4.8 zu Claude Opus 5 kosteten für das ältere Modell geschriebene Prompts beim neueren Modell mehr pro Ticket, ohne Änderung der Genauigkeit.
  • Das Audit über dieselben Prompts machte Claude Opus 5 sowohl günstiger als die ungeprüfte Version als auch genauer, ein Gewinn außerhalb des Rauschens.
  • Von Claude Sonnet 4.6 zu Claude Sonnet 5 senkte das Audit die Kosten pro Ticket bei gleicher Genauigkeit.

Die beiden Arten veralteten Texts haben unterschiedliche Kosten:

Die übermäßig befolgten Anweisungen kosten Geld; die fehlerhaften kosten Genauigkeit
Kosten: negativ ist eine Ersparnis
Änderung nach dem Audit (US-Cent pro Ticket)
-1,43-0,44-1,19-0,12-0,53-0,72-0,31-0,23+0,20+0,01+0,31+0,10
Genauigkeit: positiv ist ein Gewinn
Änderung nach dem Audit (Genauigkeitspunkte)
-2,3-2,3+6,8+1,1+0,0+2,3+9,1-5,7+6,8+13,6+11,4+1,1
Support-Desk-Evaluierung (Referenz 14): Jeder Prompt enthält ein veraltetes Muster; die Balken zeigen das neue Modell nach dem Audit minus davor, Mittelwert über 44 ⁠Tickets.Genauigkeitsänderungen unter etwa 5 ⁠Punkten liegen im Rauschen.
  • Anweisungen, die das neue Modell zu wörtlich befolgt, kosten Geld: Das Entfernen von „zweimal überprüfen“ senkte die Kosten pro Ticket bei Claude Opus 5, und das Entfernen von „maximal gründlich sein“ senkte sie fast ebenso stark.
  • Text, der nicht mehr zum Modell passt, kostet stattdessen Genauigkeit: Eine eingestellte Einstellung für das Nachdenken, widersprüchliche Regeln und ein selbst gebautes Scratchpad, das mit dem eigenen Nachdenken des Modells kollidiert, stellten bei ihrer Entfernung jeweils die Genauigkeit bei Claude Opus 5 wieder her.

Dieselben Muster tauchen oft in Tool-Beschreibungen und Skills auf, die ebenfalls ein Audit wert sind.

Kosten gegen Intelligenz abwägen

Diese Hebel legen fest, wo ein einzelnes Modell zwischen Kosten und Intelligenz steht: Modellwahl, Effort, das Wiederholen von Fehlschlägen mit einer höheren Einstellung, die Budgets und Obergrenzen, innerhalb derer es arbeitet, und ob es sehen kann, wie viel Zeit vergangen ist. Wenn du ein oder zwei Modelle zurückliegst, upgrade zuerst (Modell upgraden); andernfalls beginne mit einem Effort-Sweep auf deinem aktuellen Modell (Effort abstimmen). Von den niedrigsten zu den höchsten Kosten und Fähigkeiten sind die aktuellen Modelle Claude Haiku 5.5, Claude Sonnet 5.5, Claude Opus 5.5 und Claude Fable 5.2 (das Frontier-Modell); die Modellübersicht enthält das vollständige Angebot und die Preise.

Modelle nach Kosten pro Aufgabe vergleichen

Vergleiche Modelle nach den Kosten pro abgeschlossener Aufgabe, nicht pro Token, denn du bezahlst für abgeschlossene Aufgaben. Beginne bei den meisten Agent-Workloads mit Claude Opus 5.5 bei seinem Standard-Effort (medium).

Ein leistungsfähigeres Modell kann eine Aufgabe mit weniger Arbeit erledigen, was einen Großteil des Aufpreises pro Token ausgleichen kann. Anthropic hat dies auf der Teilmenge von SWE-bench Pro3 gemessen, deren Ergebnisse nicht mit dem öffentlichen Leaderboard vergleichbar sind, und zwar zu den Preisen, die einem Kunden in Rechnung gestellt werden:

SWE-bench Pro: Claude Opus 5.5 ⁠bei niedrigem Effort erreicht den Standard von Claude Sonnet 5.5 ⁠für etwa 7 % mehr pro gelöster Aufgabe
Kosten pro gelöster Aufgabe (USD, wie einem Kunden berechnet)
SWE-bench Pro-Teilmenge, gelöste Aufgaben (%)
Claude Sonnet 5.5, mittlerer Effort
80,3 %, 0,07 $ pro gelöster Aufgabe
Claude Sonnet 5.5, hoher Effort (Standard)
87,6 %, 0,11 $ pro gelöster Aufgabe
Claude Opus 5.5, niedriger Effort
87,4 %, 0,12 $ pro gelöster Aufgabe
Claude Opus 5.5, mittlerer Effort (Standard)
92,8 %, 0,22 $ pro gelöster Aufgabe
Claude Opus 5.5, hoher Effort
95,3 %, 0,31 $ pro gelöster Aufgabe
Alle Punkte: die 478 ⁠in Referenz 3 ⁠beschriebenen Probleme, zwei Durchläufe pro Einstellung, ausgeführt im September 2026.Zu Listenpreisen mit dem 5-Minuten-Prompt-Cache bepreist; Cache-Lesevorgänge von Sonnet 5.5 ⁠zu 0,10 $ pro Million Token.

Die folgende Tabelle listet die Ergebnisse auf:

BenchmarkModellEffortErgebnisKosten
SWE-bench Pro3-TeilmengeClaude Sonnet 5.5high (Standard)87,6 % der Aufgaben gelöst0,11 $ pro gelöster Aufgabe
SWE-bench Pro-TeilmengeClaude Opus 5.5low87,4 % der Aufgaben gelöst0,12 $ pro gelöster Aufgabe
SWE-bench Pro-TeilmengeClaude Opus 5.5medium (Standard)92,8 % der Aufgaben gelöst0,22 $ pro gelöster Aufgabe
SWE-bench Pro-TeilmengeClaude Fable 5.1high (Standard)92,3 % der Aufgaben gelöst (ein einzelner Durchlauf)1,19 $ pro gelöster Aufgabe
Interner Agentic-Coding-Benchmark11Claude Opus 5.5medium (Standard)86,6 %0,84 $ pro Versuch
Interner Agentic-Coding-BenchmarkClaude Fable 5.2medium88,9 % (ein einzelner Durchlauf)1,34 $ pro Versuch
GPQA Diamond9Claude Haiku 5.5medium (Standard)85 % Genauigkeit, verglichen mit jeweils 91 % für Claude Opus 5.5 und Claude Sonnet 5.5Etwa ein Zwanzigstel der Kosten von Claude Opus 5.5 pro richtiger Antwort und etwa ein Zehntel der Kosten von Claude Sonnet 5.5
Claude Managed Agents-Aufgabenset25, 79 AufgabenClaude Haiku 5.5medium93 % der Versuche bestanden (ein einzelner Durchlauf)Etwa 0,011 $ pro bestandenem Versuch

Bei 463 der 478 Probleme in der SWE-bench Pro-Teilmenge, nämlich denen, deren Referenzlösungen auch ohne Netzwerkzugriff bestehen (Referenz 3), löste Claude Fable 5.2 bei high, seinem Standard auf der Messages API, 96,3 % der Aufgaben für 1,39 $ pro gelöster Aufgabe. Derselbe Claude Fable 5.1-Durchlauf bei dessen Standard, gezählt über diese 463 Probleme, löste 92,4 % für 1,17 $. Bei low löste Fable 5.2 94,6 % für 0,39 $ pro gelöster Aufgabe: mehr Aufgaben als Fable 5.1 bei dessen Standard, für etwa ein Drittel der Kosten. Bei ähnlicher Erfolgsquote kostet Claude Opus 5.5 auf diesen Problemen pro gelöster Aufgabe weiterhin weniger: Bei seinem Standard löste es 93,1 % für 0,22 $, bei high 95,5 % für 0,30 $ und bei xhigh 96,5 % für 0,75 $, gleichauf mit Fable 5.2 bei high für etwas mehr als die Hälfte der Kosten.

Was du tun solltest.

  • Beginne mit Claude Opus 5.5 bei seinem Standard-Effort: Auf der SWE-bench Pro-Teilmenge erreichte es Claude Fable 5.1 bei dessen Standard, innerhalb des Rauschens zwischen Durchläufen, für etwa ein Fünftel der Kosten pro gelöster Aufgabe. Opus 5.5 und Fable 5.1 sättigen die SWE-bench Pro-Teilmenge beide weitgehend. Verwende Claude Fable 5.2 für anspruchsvolles Reasoning und agentische Arbeit mit langem Horizont oder wenn deine Evals mit Claude Opus 5.5 bei höherem Effort immer noch nicht ausreichen.
  • Am anderen Ende eignet sich Claude Haiku 5.5 für Arbeit mit hohem Volumen und latenzkritische Arbeit mit überprüfbaren Ausgaben.
  • Bepreise jeden Kandidaten in Kosten pro abgeschlossener Aufgabe auf deinem eigenen Traffic, einschließlich Claude Opus 5.5 bei seinem Standard-Effort und des Frontier-Modells bei reduziertem Effort. Jeder Token-Preis von Claude Opus 5.5, einschließlich Cache-Lesevorgängen, ist doppelt so hoch wie der von Claude Sonnet 5.5, aber auf der SWE-bench Pro-Teilmenge löste Opus 5.5 bei low etwa denselben Anteil an Aufgaben wie Sonnet 5.5 bei dessen Standard, innerhalb des Rauschens zwischen Durchläufen, für etwa 7 % mehr pro gelöster Aufgabe.
  • Miss, was ein teureres Modell auf deinem eigenen Workload bringt. Bei den 44 Aufgaben von DeepResearch Bench II7, die für jedes Modell bewertet wurden, jeweils bei Standard-Effort auf der Messages API, erzielte Claude Opus 5.5 2,4 Punkte mehr als Claude Sonnet 5.5 bei den 1,5-fachen Kosten pro Aufgabe. Claude Fable 5.2 kostete das 4,3-Fache von Claude Sonnet 5.5 ohne messbaren Gewinn beim Ergebnis und das 2,9-Fache von Claude Opus 5.5 bei einem um 1,9 Punkte niedrigeren Ergebnis. Gegenüber Claude Fable 5.1 kostete es auf jeder Effort-Stufe 20 % bis 61 % weniger und erzielte 4,7 bis 7,0 Punkte weniger. Auf allen 50 Aufgaben liegt Claude Opus 5.5 nicht messbar vor Claude Sonnet 5.5: Schutzmechanismen stoppten es fast immer bei vier Biologie-Aufgaben, die Claude Sonnet 5.5 beantwortete, und ein gestoppter Versuch zählt als Fehlschlag.
  • Bepreise das Ende der Verteilung deines Workloads, nicht den Median: Vergleiche Modelle auf dem schwierigsten Zehntel deiner Aufgaben, nicht auf der typischen Aufgabe.

Die Rechnung wird von den Aufgaben bestimmt, an denen das günstigere Modell scheitert, denn eine gescheiterte Aufgabe berechnet trotzdem ihre Token, dann den erneuten Versuch und dann alles, was der Fehler nachgelagert kostet. Am Ende der Verteilung fließt das Geld auch dann hin, wenn nichts scheitert. Bei einem WideSearch1-Durchlauf mit 20 Problemen entfielen 43 % der Ausgaben auf zwei Probleme:

Wenige Probleme am Ende der Verteilung bestimmen, was eine Evaluierung wirklich kostet
Probleme, nach Kosten sortiert (20 ⁠WideSearch-Probleme x 3 ⁠Durchläufe, Claude Fable 5)
Kosten (USD, über Durchläufe summiert)
die 2 ⁠teuersten Probleme (10 %)tragen 43 % aller Ausgaben;das teuerste allein trägt 30 %
die günstigere Hälfte zusammen: 10 %
aus Abrechnungsdaten · insgesamt 421 $ über 59 ⁠von 60 ⁠Durchläufen

Die Multi-Modell-Strategien existieren, um Frontier-Intelligenz für dieses Ende der Verteilung einzusetzen, ohne für den Rest Frontier-Preise zu zahlen.

Modell upgraden

Wenn du ein oder zwei Modelle zurückliegst, ist der günstigste Hebel der Modell-String. Auf den Coding-Benchmarks in diesem Abschnitt und in Modelle vergleichen löste jedes neuere Modell mindestens so viele Aufgaben wie sein Vorgänger; die meisten kosteten weniger pro gelöster Aufgabe, und Claude Fable 5.2 kostete bei high mehr als Claude Fable 5.1. Auf einem Recherche-Benchmark verhielt sich Claude Fable 5.2 umgekehrt: Es kostete auf jeder Effort-Stufe weniger pro Aufgabe als Claude Fable 5.1 und erzielte ein niedrigeres Ergebnis (Modelle vergleichen). Das Diagramm zeigt aktuelle Claude-Modelle auf zwei Benchmarks, bei denen ein Agent allein an einer schriftlich formulierten Aufgabe arbeitet und Tests das Ergebnis prüfen: der SWE-bench Pro3-Teilmenge, bei der jedes Modell mit demselben Testaufbau lief, und Terminal-Bench 320. Die Tabelle listet auf, was jedes Upgrade verändert hat:

Wo ältere Modelle bereits die meisten Aufgaben lösen, bestimmen die Kosten jedes Versuchs, was ein Upgrade spart; wo sie meist scheitern, bestimmt es die Erfolgsquote
SWE-bench Pro-Teilmenge: Jedes Modell löst die meisten Aufgaben
Kosten pro gelöster Aufgabe (USD)
gelöste Aufgaben (%)
Claude Sonnet 4.61,00 $ pro gelöster Aufgabe
16 % günstiger, 5 ⁠Punkte mehr
Claude Sonnet ⁠50,84 $ pro gelöster Aufgabe
87 % günstiger, 10 ⁠Punkte mehr
Claude Sonnet 5.50,11 $ pro gelöster Aufgabe
Claude Opus ⁠51,01 $ pro gelöster Aufgabe
78 % günstiger,etwa gleiches Ergebnis
Claude Opus 5.50,22 $ pro gelöster Aufgabe
Claude Fable ⁠52,10 $ pro gelöster Aufgabe
43 % günstiger, etwa gleiches Ergebnis
Claude Fable 5.11,19 $ pro gelöster Aufgabe
Terminal-Bench 3: Ältere Modelle scheitern meist
Kosten pro gelöster Aufgabe (USD)
gelöste Aufgaben (%)
Claude Opus 4.7183 $ pro gelöster Aufgabe
65 % günstiger, 8 ⁠Punkte mehr
Claude Opus 4.863 $ pro gelöster Aufgabe
56 % günstiger, 26 ⁠Punkte mehr
Claude Opus ⁠528 $ pro gelöster Aufgabe
Jedes Modell mit seinen ausgelieferten Standardeinstellungen; Kosten pro gelöster Aufgabe zu Listenpreisen, bepreist wie einem Kunden berechnet (5-Minuten-Cache-Ablauf). Blau markiert Opus 5.5, Sonnet 5.5 ⁠und Fable 5.1.Links: Teilmenge mit 478 ⁠Problemen; jeweils zwei Durchläufe für Opus 5, Opus 5.5, Sonnet 5 ⁠und Sonnet 5.5, drei für Fable 5 ⁠und jeweils einer für Sonnet 4.6 ⁠und Fable 5.1.Rechts: 74 ⁠Aufgaben auf Claude Managed Agents, zwei Durchläufe pro Modell; die Fable- und Sonnet-Modelle sowie Opus 5.5 ⁠wurden nicht auf Terminal-Bench 3 ⁠ausgeführt.
BenchmarkUpgradeEffortErgebnisKosten
SWE-bench Pro3-TeilmengeClaude Sonnet 4.6 auf Claude Sonnet 5Standard5 Punkte mehr16 % weniger pro gelöster Aufgabe
SWE-bench Pro-TeilmengeClaude Sonnet 5 auf Claude Sonnet 5.5StandardEtwa 10 Punkte mehr87 % weniger pro gelöster Aufgabe; 85 % weniger zu den Preisen von Claude Sonnet 5
SWE-bench Pro-TeilmengeClaude Opus 5 auf Claude Opus 5.5Standard: high auf mediumEtwa gleich: 91,9 % auf 92,8 % der Aufgaben gelöst78 % weniger pro gelöster Aufgabe; etwa 69 % weniger zu den Preisen von Claude Opus 5
SWE-bench Pro-TeilmengeClaude Fable 5 auf Claude Fable 5.1StandardEtwa gleiches Ergebnis43 % weniger pro gelöster Aufgabe
Terminal-Bench 320Claude Opus 4.7 auf Claude Opus 4.8highVon 7 % auf 15 % der Aufgaben gelöstVon 183 $ auf 63 $ pro gelöster Aufgabe
Terminal-Bench 3Claude Opus 4.8 auf Claude Opus 5highVon 15 % auf 41 % der Aufgaben gelöstVon 63 $ auf 28 $ pro gelöster Aufgabe, eine Ersparnis von 56 %
Claude Managed Agents-Aufgabenset25Claude Haiku 4.5 auf Claude Haiku 5.5Wie bereitgestellt; medium bei Claude Haiku 5.5Von 62 % auf 93 % der Versuche bestanden, ein Durchlauf pro ModellVon 0,041 $ auf etwa 0,010 $ an Token-Kosten pro Versuch; etwa 84 % weniger pro bestandenem Versuch

Wann es sich lohnt.

  • Die Höhe der Ersparnis hängt von der Arbeit ab. Von Claude Opus 5 auf Claude Opus 5.5 beträgt sie 78 % pro gelöster Aufgabe auf der SWE-bench Pro-Teilmenge und 40 % bei typischen Workloads (Introducing Claude Opus 5.5). Von Claude Sonnet 5 auf Claude Sonnet 5.5 beträgt sie 87 % auf derselben Teilmenge und bis zu 30 % bei den meisten Arbeiten (Introducing Claude Sonnet 5.5).
  • Wo ältere Modelle bereits die meisten Aufgaben lösen, bestimmen die Kosten jedes Versuchs die Ersparnis: Auf der SWE-bench Pro-Teilmenge erzielt Claude Opus 5.5 etwa dasselbe Ergebnis wie Claude Opus 5 für 78 % weniger pro gelöster Aufgabe.
  • Wo ältere Modelle meist scheitern, bestimmt die Erfolgsquote die Ersparnis: Auf Terminal-Bench 320 erhöht das Upgrade von Claude Opus 4.8 auf Claude Opus 5 die gelösten Aufgaben von 15 % auf 41 % und kostet 56 % weniger pro gelöster Aufgabe.
  • Vergleiche nach Kosten pro gelöster Aufgabe, nicht pro Token: Derselbe Text kostet bei Claude 4.7 und späteren Modellen etwa 30 % mehr Token, sodass ein Vergleich pro Token die neueren Modelle konstruktionsbedingt teurer erscheinen lässt.

Effort abstimmen

Teste verschiedene Effort-Stufen auf deinem eigenen Workload, bevor du ein zweites Modell hinzufügst. Niedrigerer Effort kostet weniger und ist oft schneller, und wie viel Genauigkeit er kostet, hängt von der Aufgabe ab: Beim Coding mit langem Horizont brachte Effort Genauigkeit, und bei Recherche-Aufgaben brachte er in einer Messung viel und in einer anderen wenig. Der Parameter effort steuert, wie viel Nachdenken, Tool-Aufrufe und Selbstüberprüfung das Modell durchführt; high ist auf der Messages API bei den meisten Modellen der Standard, und medium bei Claude Opus 5.5 und Claude Haiku 5.5.

Die folgende Tabelle listet Anthropics Messungen auf zwei Benchmarks mit aktuellen Modellen auf; Ergebnisse und Kosten sind zwischen den beiden Benchmarks nicht vergleichbar. Die Kosten gelten pro Aufgabe, nicht pro gelöster Aufgabe wie in Modelle nach Kosten pro Aufgabe vergleichen. Jedes Ergebnis fasst zwei Durchläufe auf SWE-bench Pro und drei auf DeepResearch Bench II zusammen, sofern die jeweilige Zelle nichts anderes angibt:

BenchmarkModellEffortErgebnisKosten pro Aufgabe
SWE-bench Pro3-TeilmengeClaude Opus 5.5low87,4 % der Aufgaben gelöst0,11 $
SWE-bench Pro-TeilmengeClaude Opus 5.5medium (Standard)92,8 % der Aufgaben gelöst0,21 $
SWE-bench Pro-TeilmengeClaude Opus 5.5high95,3 % der Aufgaben gelöst0,29 $
SWE-bench Pro-TeilmengeClaude Opus 5.5xhigh96,7 % der Aufgaben gelöst (ein einzelner Durchlauf)0,74 $
DeepResearch Bench II7Claude Fable 5.2lowRubrik-Ergebnis 54,5 %1,49 $
DeepResearch Bench IIClaude Fable 5.2mediumRubrik-Ergebnis 55,0 %2,16 $
DeepResearch Bench IIClaude Fable 5.2high (Standard auf der Messages API)Rubrik-Ergebnis 57,7 %4,82 $

Das folgende Diagramm zeigt die Genauigkeit im Verhältnis zu den Kosten pro Aufgabe für Claude Opus 5.5 auf der SWE-bench Pro3-Teilmenge:

SWE-bench Pro: Bei Claude Opus 5.5 ⁠steigt die Genauigkeit von low- bis high-Effort steil an
Kosten pro Aufgabe (USD, wie einem Kunden berechnet)
Genauigkeit (%)
low
medium (Standard)
high
xhigh
xhigh bringt etwa 1,4 ⁠Punkte mehr für das 2,5-Fache der Kosten von high
Die 478 ⁠in Referenz 3 ⁠beschriebenen Probleme; 1 ⁠Durchlauf bei xhigh, 2 ⁠bei jeder anderen Einstellung; bepreist wie einem Kunden berechnet; y-Achse beginnt bei 84.

Das folgende Diagramm zeigt das Rubrik-Ergebnis im Verhältnis zu den Kosten pro Aufgabe für Claude Fable 5.1 auf DeepResearch Bench II7:

DeepResearch Bench II: Bei Fable 5.1 ⁠erzielt high-Effort 2,5 ⁠Punkte mehr als low für das 1,6-Fache der Kosten
Kosten pro Aufgabe (USD, Listenpreise)
Rubrik-Ergebnis (%)
low
medium
high (Standard)
Teilmenge mit 50 ⁠Aufgaben, drei Durchläufe pro Einstellung. Ergebnisse: die 45 ⁠Aufgaben, die jede Einstellung beantwortete und der Bewerter vollständig bewertete. Kosten: alle 50 ⁠Aufgaben, zu Listenpreisen.high gegenüber low: 2,5 ⁠Punkte, 95-%-Intervall 1,3 ⁠bis 3,6. Die y-Achse beginnt bei 55.

Was du tun solltest.

  • Teste zwei oder drei Effort-Stufen an einer Stichprobe deines eigenen Traffics, jeweils in einer separaten Sitzung: Das Ändern des Effort auf oberster Ebene mitten in einer Sitzung macht den Cache ungültig und verzerrt den Vergleich. Die Kurve ist die Baseline, die jede Multi-Modell-Strategie übertreffen muss (Schritt 2 der Messung auf deinem eigenen Workload).
  • Beim Coding mit langem Horizont ist Effort ein echter Zielkonflikt, den das erneute Ausführen von Fehlschlägen mit höherem Effort wieder in eine Ersparnis verwandelt. Bei medium erzielte Claude Sonnet 5.5 auf der SWE-bench Pro3-Teilmenge etwa 7 Punkte weniger als bei seinem Standard, high, für etwa 59 % der Kosten pro Aufgabe (jeweils 2 Durchläufe), und erzielte auf dem internen Agentic-Coding-Benchmark11 62,7 % im Vergleich zu 77,8 % (1 Versuch pro Aufgabe).
  • Bei xhigh und max kann Claude Sonnet 5.5 nach Abschluss einer Aufgabe eigene Überprüfungsrunden starten, was mehr Zeit und Token kostet. Um diese Arbeit auf die Aufgabe zu beschränken, füge den Prompt unter „Gründlichkeit bei xhigh- und max-Effort“ in Prompting für Claude Sonnet 5.5 zu deinem System-Prompt hinzu.
  • Miss bei Recherche-Aufgaben das Modell, das du auslieferst. Claude Fable 5.2 erzielte auf DeepResearch Bench II bei high 3,3 Punkte mehr als bei low, bei den 3,2-fachen Kosten, und bei medium nicht messbar mehr als bei low; Claude Opus 5.5 erzielte auf DRACO21 bei low 13,3 Punkte weniger als bei medium. Die beiden Ergebnisse stammen von verschiedenen Modellen auf verschiedenen Benchmarks, sie zeigen also, dass die Antwort variiert, nicht warum.
  • Bei low benötigte die typische Aufgabe von Claude Opus 5.5 auf DRACO21 84 % weniger Zeit als bei medium, auf HLE22 30 % weniger und auf einem internen Satz von Physikproblemen23 47 % weniger, und das Ergebnis lag um 13,3, 3,4 bzw. 14,0 Punkte niedriger (3, 3 bzw. 4 Versuche pro Aufgabe).
  • Auf einem internen Benchmark zur Fehlersuche8 (10 Durchläufe pro Einstellung) erzielte Claude Opus 5.5 bei low 34 Punkte weniger als bei medium, für etwa ein Fünftel der Kosten. Claude Fable 5.2 erzielte bei low 4,3 Punkte weniger als bei high, bei 37 % geringeren Kosten.

Fehlschläge mit höherem Effort erneut ausführen

Wenn das Ergebnis einer Aufgabe überprüfbar ist, ist die günstigste Strategie auf der Effort-Kurve keine feste Einstellung: Führe jede Aufgabe mit einer niedrigen Einstellung aus und führe nur die Fehlschläge mit einer höheren erneut aus.

Anthropic hat diese Strategie Aufgabe für Aufgabe aus den Effort-Durchläufen von Claude Opus 5.5 auf der SWE-bench Pro3-Teilmenge in Effort abstimmen berechnet:

low oder medium, dann high bei Fehlschlägen, erzielt so viel wie jede feste Einstellung für weniger als high allein
Kosten pro Aufgabe (USD, wie einem Kunden berechnet; Punkte mit erneuter Ausführung enthalten den fehlgeschlagenen ersten Versuch)
gelöste Aufgaben (%)
low allein87,4 % 0,11 $
medium allein (Standard)92,8 % 0,21 $
high allein95,3 % 0,29 $
xhigh allein96,7 % 0,74 $
low, Fehlschläge erneut bei high ausführen97,0 % 0,17 $
medium, Fehlschläge erneut bei high ausführen96,7 % 0,24 $
Claude Opus 5.5 ⁠auf 478 ⁠SWE-bench Pro-Problemen (siehe Referenz 3 ⁠auf der Seite), bepreist wie einem Kunden berechnet (5-Minuten-Cache).Punkte mit erneuter Ausführung sind Aufgabe für Aufgabe aus den Durchläufen mit fester Einstellung berechnet, nicht separat ausgeführt.Jeder große Punkt mittelt zwei Durchläufe, dargestellt als die kleinen Punkte daneben; xhigh hat einen Durchlauf. Die y-Achse beginnt bei 85.

In der folgenden Tabelle berücksichtigen die Kosten der erneuten Ausführung die fehlgeschlagenen günstigen Versuche:

StrategieGelöste AufgabenKosten pro Aufgabe
low, fehlgeschlagene Aufgaben erneut bei highEtwa 97 %Etwa 0,17 $
medium, fehlgeschlagene Aufgaben erneut bei highEtwa 97 %Etwa 0,24 $
Alles bei high95,3 %0,29 $
  • Bei low schlugen 13 % der Aufgaben fehl. Wurden diese bei high erneut ausgeführt, war die Erfolgsquote etwas höher als mit allem bei high, für etwas mehr als die Hälfte der Kosten.
  • Verwende diese Strategie wegen der Ersparnis, nicht wegen der Verbesserung. Der Großteil der kleinen Verbesserung stammt vom zweiten Versuch: Die fehlgeschlagenen Aufgaben eines high-Durchlaufs erneut bei high auszuführen, erzielt etwa dasselbe Ergebnis, für mehr Geld.

Es gelten zwei Bedingungen. Erstens brauchst du ein Fehlersignal (hier die eigenen Tests des Benchmarks); ein Prüfer, der schlechte Arbeit durchlässt, lässt diese Fehlschläge durch. Zweitens benötigt jeder Fehlschlag im ersten Durchlauf die Echtzeit von zwei Durchläufen, sodass die Einsparung bei den Fehlschlägen mit Latenz bezahlt wird.

Budgets und Ausgabelimits festlegen

Zwei Steuerungen erfüllen zwei verschiedene Aufgaben: Ein Sitzungsbudget begrenzt, was eine Claude Managed Agents-Sitzung ausgeben kann, und max_tokens begrenzt die Länge einer Antwort. Setze jede dort ein, wo sie greift, mit einem Ausgabenlimit für den Workspace als letzter Absicherung.

  • Sitzungsbudgets bei Claude Managed Agents sind ein harter Stopp für Ausgaben. Ein Sitzungsbudget ist eine Dollar-Obergrenze für die Listenkosten einer Sitzung, die die Plattform für Token, Websuchen und Laufzeit der Sitzung misst.
  • Bei Erreichen der Obergrenze oder kurz danach pausiert die Sitzung mit stop_reason: budget_reached; das Erhöhen des Budgets setzt sie fort. Dies wird von der Plattform durchgesetzt und funktioniert mit jedem Modell, das einen Listenpreis hat. Deployments wenden dasselbe Budget auf jede Sitzung an, die sie starten.
  • max_tokens begrenzt eine einzelne Antwort, für das Modell unsichtbar, sodass ein niedrigerer Wert das Modell nicht sparsamer macht. Die Turns, die den Platz benötigt hätten, werden verworfen und trotzdem berechnet. Begrenzte Versuche erneut auszuführen hilft selten: Bei derselben Obergrenze scheitern die meisten erneut, und bei einer höheren zahlst du zusätzlich für den verschwendeten Versuch.
  • Setze max_tokens für agentische Arbeit auf 64.000 oder auf 128.000, das Maximum, wenn ein einzelner abgebrochener Versuch teuer ist. Streame Antworten dieser Größe, behandle stop_reason: max_tokens als Fehler und spare Geld mit Effort, den das Modell sehen kann.
  • Erhöhe bei Claude Haiku 5.5 ein kleines max_tokens oder senke den Effort: Nachdenken ist standardmäßig aktiviert und zählt zur Obergrenze, sodass eine Antwort vor jeglichem Text enden kann (siehe den Migrationsleitfaden für Claude Haiku 5.5).

Die folgende Tabelle zeigt, was jedes Modell bei jeder Obergrenze auf einem internen Repository-Aufgaben-Benchmark12 gelöst hat und was eine gelöste Aufgabe gekostet hat, ein Versuch pro Aufgabe, jedes Modell bei seinem Standard-Effort auf der Messages API. Die Zeilen bei 16.384 sind der Durchschnitt aus zwei Durchläufen, die anderen Zeilen jeweils ein Durchlauf:

Modellmax_tokensDurch die Obergrenze beendete VersucheGelöste AufgabenKosten pro gelöster Aufgabe
Claude Opus 5.516.38425 %57,6 %5,38 $ zu Listenpreisen
Claude Opus 5.564.0000 %75,6 %5,38 $ zu Listenpreisen
Claude Opus 5.5128.0000 %68,9 %5,94 $ zu Listenpreisen
Claude Fable 5.216.38485 %20,3 %27,96 $ zu Listenpreisen
Claude Fable 5.264.0002 %77,4 %24,42 $ zu Listenpreisen
Claude Fable 5.2128.0000 %78,2 %24,52 $ zu Listenpreisen

Claude Opus 5.5 bei 64.000 und 128.000: Bei keiner der beiden Obergrenzen wurde ein Versuch abgebrochen, daher erklärt die Obergrenze nicht, warum sich diese beiden Zeilen bei den gelösten Aufgaben oder den Kosten pro gelöster Aufgabe unterscheiden. Jede Zeile ist ein Durchlauf.

Vergleiche die Obergrenzen innerhalb jedes Modells. Die beiden Modelle wurden in separaten Durchläufen gemessen.

Bei den internen Repository-Aufgaben12 endet fast jeder Turn weit unterhalb einer Obergrenze von 16.384 Token, aber ein einziger längerer Turn beendet den gesamten Versuch: Mit einer höheren Obergrenze überschritten 1,7 % der Turns von Claude Fable 5.2 16.384 Token, und bei 16.384 beendete die Obergrenze 85 % seiner Versuche. Der seltene lange Turn ist das, was eine höhere Obergrenze erkauft (Claude Opus 5.5 und Claude Fable 5.1 sind die beiden Modelle in diesem Diagramm):

Fast kein Turn ist lang, aber die Obergrenze entscheidet über den ganzen Versuch
Ausgabe-Token in einem Turn (logarithmische Skala)
16k-Obergrenze32k64k128k MaximumClaude Opus 5.5
0,56 % der Turns überschritten 16.384 ⁠Token; diese Obergrenze beendete 25 % der Versuche
Median371
90th2.702
99th12.978
längster Turn61.233
Claude Fable 5.1
0,46 % der Turns überschritten 16.384 ⁠Token; diese Obergrenze beendete 43 % der Versuche
Median243
90th2.487
99th12.782
längster Turn128.000
Interne Repository-Aufgaben (Referenz 12): beide Modelle mit einer Obergrenze von 128.000 ⁠Token ausgeführt, jeweils bei ihrem Standard-Effort (Claude Opus 5.5: medium).Kein Turn von Opus 5.5 ⁠erreichte seine Obergrenze; 1 ⁠der 14.331 ⁠Turns von Fable 5.1 ⁠erreichte 128.000.

Bitte um kürzere Antworten. Ausgabe-Token kosten bei Claude Haiku 5.5, Claude Sonnet 5.5, Claude Opus 5.5, Claude Fable 5.2 und Claude Fable 5.1 das Fünffache von Eingabe-Token, und in einer Agent-Schleife kommt jedes Token, das das Modell schreibt, in jedem späteren Turn als Eingabe zurück, sodass du für eine lange Antwort immer wieder bezahlst.

In einer Messung mit einem früheren Modell26 ließ Anthropic einen kleinen Agenten, der Fehlerberichte sichtet (Eingabe- und Kontext-Token kürzen), unter drei Anweisungen für die endgültige Antwort laufen, jeweils drei Durchläufe, mit demselben Modell und denselben Tools:

  • Das Original verlangte zwei Zeilen.
  • Die kürzere Variante verlangte eine.
  • Die längere Variante verlangte ein Memo mit sechs Abschnitten mit Überschriften.

Das folgende Diagramm zeigt die Kosten pro Durchlauf für jedes Format:

Bitte um die Antwort, die du lesen wirst: Alle drei Formate sind gleich genau und unterscheiden sich in den Kosten um das 2,8-Fache
Kosten des Durchlaufs mit 20 ⁠Fehlerberichten (USD, Listenpreis)
eine strukturierte Zeile
0,49 $
78 % korrekt
4.400 ⁠Ausgabe-Token
zwei Zeilen(Original)
0,57 $
80 % korrekt
7.200 ⁠Ausgabe-Token
ausführliches Memo
1,40 $
85 % korrekt
43.300 ⁠Ausgabe-Token
Derselbe Triage-Agent und dasselbe Modell (Claude Sonnet 5); nur die Anweisung für die endgültige Antwort unterscheidet sich. Mittelwert aus 3 ⁠Durchläufen pro Balken; Genauigkeit gegenüber von Hand erstellten Labels.

Alle drei lagen gegenüber den korrekten Labels innerhalb des Rauschens zwischen Durchläufen, sodass sich die Formate weit mehr darin unterscheiden, was du bezahlst, als darin, was sie richtig machen. Bitte um die Antwort, die du lesen wirst, nicht um die, die gründlich aussieht.

Dem Modell die verstrichene Zeit zeigen

Damit ein Agent schneller fertig wird und weniger kostet, sag ihm, dass Zeit wichtig ist, und zeige ihm bei jeder Anfrage die verstrichene Zeit. In Anthropics Messung verkürzten die beiden Änderungen die Zeit eines einzelnen Claude Opus 5.5-Agenten bei medium-Effort um 47 % und seine Kosten um 60 % bei der typischen (Median-)Recherche-Aufgabe von DRACO21, und sein durchschnittliches Ergebnis lag 4,1 Punkte niedriger.

Auf HLE22 und einem internen Physik-Satz23 benötigte die typische Aufgabe 14 % bzw. 7 % weniger Zeit, und das Physik-Ergebnis lag 3,0 Punkte niedriger. Das Senken des Effort auf low sparte mehr Zeit und Kosten als die Änderungen und kostete mehr Punkte (Referenz 21). Überprüfe das Ergebnis auf deinen eigenen Aufgaben, bevor du die Änderungen übernimmst.

Referenz 21 enthält den genauen Text, der in den gemessenen Durchläufen für beide Änderungen verwendet wurde. Funktionierenden Code findest du im Claude Cookbook-Rezept Multi-agent teams under latency pressure and budgets, das beide Änderungen auf ein Team von Agenten anwendet. Wenn du statt der ersten user-Nachricht den System-Prompt verwenden möchtest, um anzugeben, dass Zeit wichtig ist, siehe Zeitsignale für Multiagenten-Harnesses.

Das folgende Diagramm zeigt außerdem ein Team, dessen leitender Agent selten Helfer startete, und einen einzelnen Agenten bei low-Effort:

DRACO
Kosten pro Aufgabe (USD, Listenpreis)
Rubrik-Ergebnis (0 bis 100)
Zeitverhältnis der typischen Aufgabe (1 = keine Änderung)
Ergebnisänderung (Punkte)
HLE (493 ⁠bewertete Fragen)
Kosten pro Aufgabe (USD, Listenpreis)
richtig beantwortete Fragen (%)
Zeitverhältnis der typischen Aufgabe (1 = keine Änderung)
Ergebnisänderung (Punkte)
Physik-Satz (intern)
Kosten pro Aufgabe (USD, Listenpreis)
Ergebnis (Punkte von 100)
Zeitverhältnis der typischen Aufgabe (1 = keine Änderung)
Ergebnisänderung (Punkte)
Claude Opus 5.5, medium-Effort, sofern nicht anders angegeben. Obere Reihe: Durchschnitte über die Aufgaben. Mittlere Reihe: Zeitverhältnis der typischen Aufgabe; untere Reihe: durchschnittliche Ergebnisänderung; jede vergleicht eine Konfiguration mit derselben Konfiguration ohne die Änderungen (low-Effort: mit medium-Effort). DRACO und HLE bewertet von Claude Opus 5, der Physik-Satz von Claude Opus 4.6. Fehlerbalken zeigen 95-%-Intervalle. Referenzen 21 ⁠bis 23.
Mit beiden Änderungen benötigte ein einzelner Agent bei der typischen DRACO-Aufgabe 47 % weniger Zeit, und sein durchschnittliches Ergebnis lag 4,1 Punkte niedriger.

Um stattdessen für Geschwindigkeit zu bezahlen, setze speed: "fast" bei Claude Fable 5.2 oder Claude Opus 5.5. Der Fast Mode liefert bis zu 2,5-mal mehr Ausgabe-Token pro Sekunde zum Doppelten der Standard-Tokenpreise. Ein Wechsel der Geschwindigkeit mitten in der Konversation verfehlt den Prompt-Cache.

Modelle kombinieren

Stimme ein Modell ab, bevor du ein zweites hinzufügst: Teste zuerst verschiedene Effort-Stufen auf deinem aktuellen Modell, denn die meisten Workloads enden dort, und wenn der Test eine Lücke zeigt, bepreise das stärkere Modell allein bei niedrigem Effort. Baue eine Paarung nur, wenn sie die gesamte Kurve des Einzelmodells aus Ergebnis und Ausgaben übertrifft. Vergleiche eine Paarung auf deinem eigenen Workload mit demselben Modell bei niedrigerem Effort und mit dem nächstkleineren Modell allein.

Die folgende Tabelle vergleicht die beiden Strategien:

StrategieKontrollflussRolle des Frontier-ModellsPasst zuFrontier-Kosten skalieren mit
AdvisorKleineres Modell führt die Schleife aus, eskaliert bei BedarfWird für Pläne und Korrekturen konsultiertSerielle Arbeit, die stellenweise schwer ist, etwa die vielen Turns eines Coding-Agenten zwischen wenigen echten EntscheidungenWie oft der Executor stecken bleibt
OrchestratorFrontier-Modell führt die Schleife aus, delegiert die MassenarbeitPlant, verteilt und synthetisiertArbeit, die sich über wirklich unabhängige Dateien, Dokumente oder Fälle auffächert, besonders mehr als ein Kontextfenster davonWie schwer die Teile zu koordinieren sind

Advisor-Strategie: schwierige Entscheidungen eskalieren

Ein Advisor kann nur helfen, wenn der Executor ihn konsultiert.

In Anthropics Messungen erzielte die einzige Paarung, deren Executor häufig konsultierte, auf einem Coding-Benchmark 1,7 Punkte mehr als der Executor allein bei gleichem Effort, am Rand des Rauschens zwischen Durchläufen, für etwa das 2,1-Fache der Kosten. Wo der Executor selten oder nie konsultierte, lag die Paarung innerhalb des Rauschens zwischen Durchläufen des Executors allein oder darunter.

Um sie zu aktivieren, füge deiner Anfrage das Advisor-Tool hinzu, eine Beta-Funktion. Bei Claude Managed Agents gibst du der Session einen Advisor. Für Claude Code siehe Schwierige Entscheidungen mit dem Advisor-Tool eskalieren.

Executor
Sonnet 5
Läuft bei jedem Turn
Advisor
Fable 5.1
Bei Bedarf
Hauptschleife
Tool-Aufruf
Gibt Rat

Die folgende Tabelle vergleicht jede Paarung mit ihrem Executor allein bei gleichem Effort:

BenchmarkErgebnisKostenAdvisor konsultiert
Interner Agentic-Coding-Benchmark1190,1 %, 1,7 Punkte über dem Executor allein, am Rand des Rauschens zwischen Durchläufen2,92 $ pro Versuch, etwa das 2,1-Fache des Executors alleinEtwa 1,4-mal pro Versuch; 4 % der Versuche erhielten keinen Rat
GPQA Diamond9Innerhalb des Rauschens zwischen Durchläufen des Executors allein12 % mehr pro Frage für Claude Haiku 5.5, 25 % mehr für Claude Sonnet 5.5Bei keiner der 198 Fragen, in jeweils zwei Durchläufen; kein System-Prompt forderte Konsultationen an
Chartography1361,7, 7 Punkte unter dem Executor allein und jenseits des Rauschens zwischen DurchläufenEtwa gleich wie der Executor alleinBei 1 von 300 Aufgaben
  • Interner Agentic-Coding-Benchmark. Claude Opus 5.5 bei high, mit einem Claude Fable 5.1-Advisor.
  • GPQA Diamond. Claude Haiku 5.5 oder Claude Sonnet 5.5 beim jeweiligen Standard des Modells (medium und high), mit einem Claude Opus 5.5-Advisor.
  • Chartography. Claude Opus 5.5 bei low, mit einem Claude Fable 5.1-Advisor.

Der Advisor kann nur Fähigkeiten weitergeben, die dem Executor fehlen: Auf GPQA Diamond lag Claude Sonnet 5.5 allein mit Claude Opus 5.5 allein bei 91 % gleichauf, wobei Verweigerungen als falsch gezählt wurden, aber nur, weil Opus 5.5 pro Durchlauf sechs Biologiefragen verweigerte, verglichen mit einer bei Sonnet 5.5. Bei den Fragen, die jedes Modell beantwortete, lag Opus 5.5 um etwa 2 Punkte vorn.

Auf dem Coding-Benchmark liegt der Gewinn der Paarung am Rand des Rauschens zwischen Durchläufen, und sie landet etwa auf der eigenen Effort-Kurve von Claude Opus 5.5, sodass der Advisor etwa das erkaufte, was mehr Effort bewirkt. Das folgende Diagramm zeigt die Paarung im Vergleich zu dieser Kurve und der von Claude Fable 5.1 aus dem August:

Ein Fable-5.1-Advisor bringt Opus 5.5 ⁠bei high 1,7 ⁠Punkte mehr für das 2,1-Fache der Kosten, etwa so viel, wie mehr Effort erkauft
Kosten pro Versuch (USD, wie einem Kunden berechnet)
gelöste Versuche (%)
low, ein Versuch pro Aufgabe
medium (Standard)
high
xhigh, ein Versuch pro Aufgabe
low
medium
high
Opus 5.5 + Fable-5.1-Advisor
Interne Repository-Aufgaben (Referenz 11), 370 ⁠Probleme, einfacher API-Agent. Jeder Punkt bepreist wie einem Kunden berechnet, zu Listenpreisen. Opus 5.5 ⁠bei medium und high sowie die Paarung: fünf Versuche pro Aufgabe. Opus 5.5 ⁠bei low und xhigh sowie Claude Fable 5.1 ⁠allein (August, Vorabversion): ein Versuch pro Aufgabe.

Was du tun solltest.

  • Miss die Konsultationsrate auf deinen eigenen Aufgaben. Die Definition des Advisor-Tools, etwa 1.000 Prompt-Token pro Anfrage, verursacht Kosten, auch wenn der Executor nie konsultiert. Mit Prompt-Caching zahlt eine Agent-Schleife mit mehreren Turns nach der ersten Anfrage den Cache-Lesepreis für die Definition, sodass dieser Overhead vor allem bei kurzen Aufgaben mit einer einzigen Anfrage ins Gewicht fällt.
  • Wenn der Executor selten konsultiert, siehe Prompting für Coding- und Agent-Aufgaben für System-Prompts, die Konsultationen anfordern, und miss erneut, nachdem du einen hinzugefügt hast. Bei 20 SWE-bench Pro3-Problemen machte der vorgeschlagene Prompt für Claude Sonnet 5.5 keinen klaren Unterschied.
  • Stelle den Effort des Executors wieder her, wenn die Konsultationsrate einbricht. In Messungen mit früheren Modellen konsultierte eine Paarung, die beim Standard-Effort bei den meisten Aufgaben konsultierte, bei gesenktem Effort nur bei wenigen und erzielte dann ein schlechteres Ergebnis als der Executor allein bei seinem Standard-Effort (SWE-bench Pro3).
  • Überprüfe dies bei jedem Modell-Release erneut, denn Releases verschieben sowohl die Fähigkeitslücke als auch das Preisverhältnis.

Orchestrator-Strategie: Massenarbeit delegieren

In den Messungen von Anthropic schnitt Delegation nur in zwei Situationen besser ab:

  • Routinearbeit mit einem langen Kostenausläufer (ein einfacher Ausschnitt von BrowseComp4, gemessen bei früheren Modellen)
  • Arbeit, die größer als ein Kontextfenster ist (ein interner Benchmark zur Fehlersuche8)

Wenn die Arbeit eine einzige abhängige Kette ist oder ohne langen Kostenausläufer in einen einzigen Kontext passt, schnitt das Modell des Orchestrators allein bei niedrigerem Effort in jedem bei früheren Modellen gemessenen Fall besser ab (das schwierigere BrowseComp-Set und DeepWideSearch6); unabhängige externe Arbeiten berichten dasselbe Muster5.

Um einen Orchestrator zu bauen, verwende Multiagenten-Orchestrierung in Claude Managed Agents: Konfiguriere einen Orchestrator-Agenten und die Subagenten, die er aufrufen kann, jeweils mit einem eigenen Modell.

Orchestrator
Frontier-Modell
Plant
Worker 1
Kostengünstigeres Modell
Worker 2
Kostengünstigeres Modell
Worker 3
Kostengünstigeres Modell
Hauptschleife
Verteilen
Worker-Schleife

Das folgende Diagramm zeigt neun der 17 Konfigurationen des Fehlersuche-Benchmarks nach Kosten und Ergebnis (keine der fünf von Claude Fable 5.2):

Opus 5.5 ⁠mit Sonnet 5.5-Subagenten erreicht Opus 5.5 ⁠allein bei medium, für etwa ein Drittel weniger
Kosten pro Durchlauf (USD, logarithmische Skala)
gefundene eingeschleuste Fehler (F1-Score)
Sonnet 5.5 ⁠allein, Effort high
103 $, F1 0,760
Opus 5.5 ⁠mit Haiku 5.5-Subagenten
47 $, F1 0,677
Opus 5.5 ⁠mit Sonnet 5.5-Subagenten
139 $, F1 0,831
Erreicht Opus 5.5 ⁠allein bei medium,für 31 % weniger
Opus 5.5 ⁠allein, Effort medium bis high
200–236 $, F1 0,827–0,850
Fable 5.1 ⁠mit Sonnet 5.5-Subagenten
172 $, F1 0,825
Fable 5.1 ⁠allein, Effort low bis high
527–716 $, F1 0,829–0,847
Etwa 22 ⁠Mio. Token öffentlicher Python-Quellcode in 201 ⁠Teilen; jeder Punkt ist der Mittelwert aus 10 ⁠Durchläufen; Kosten zu Listenpreisen; allein: eine Sitzung pro Teil; Orchestratoren liefen mit Effort high, Subagenten mit dem Standard ihres Modells; nicht dargestellt: Fable 5.1 ⁠mit Haiku 5.5-Subagenten sowie, unter 0,60, wo die y-Achse beginnt, Opus 5.5 ⁠allein mit Effort low und Haiku 5.5 ⁠allein

Was du tun solltest.

  • Routinearbeit mit einem langen Kostenausläufer: Miss diesen Fall zuerst, sowohl auf Genauigkeit als auch auf Kosten. Die zugrunde liegende Messung umfasst nur Probleme, die die delegierte Konfiguration in jedem Durchlauf korrekt beantwortet hat (Referenz 4).
  • Arbeit, die größer als ein Kontextfenster ist: Zerlege sie in Teile, eine Sitzung oder ein Subagent pro Teil. Auf dem Fehlersuche-Benchmark8 kostete Claude Opus 5.5 mit Claude Sonnet 5.5-Subagenten etwa ein Drittel weniger als Claude Opus 5.5 bei seinem Standard-Effort mit einer Sitzung pro Teil und erzielte etwa dasselbe Ergebnis. Als Orchestrator an der Stelle von Claude Opus 5.5 eingesetzt, kostete Claude Fable 5.2 19 % mehr und erzielte etwa dasselbe Ergebnis. Allein erzielte Claude Fable 5.2 von low bis high 1,6 bis 5,9 Punkte mehr als Claude Opus 5.5 allein bei high, für das 1,5- bis 2,4-Fache der Kosten, und 3,2 bis 7,5 Punkte mehr als mit Claude Sonnet 5.5-Subagenten, für das 2,2- bis 3,4-Fache der Kosten. Es erzielte auch auf jeder Effort-Stufe mehr als Claude Fable 5.1 allein: 3,6 Punkte bei low, für 32 % weniger; 3,8 bei medium, für 37 % weniger; und 6,1 bei high, für 21 % weniger.
  • Claude Haiku 5.5-Subagenten bei Programmieraufgaben: Vergleiche sie zuerst mit dem Senken des Efforts. Auf einem internen Programmier-Benchmark auf Claude Managed Agents waren sie eine Alternative zum Senken des Efforts, nicht besser. Sie zu Claude Opus 5.5 bei medium hinzuzufügen, mit einem kurzen Delegations-Prompt, senkte die Kosten pro Versuch um 32 % und die Erfolgsquote um etwa 4 Prozentpunkte (95-%-Intervall 1,3 bis 7,1), ungefähr das, was eine Mischung aus low und medium ohne Subagenten bei diesen Kosten ergeben würde29.

Auf deinem eigenen Workload messen

Miss auf deinem eigenen Workload: Die Zahlen auf dieser Seite spiegeln die Listenpreise zum Zeitpunkt der Messung wider und werden sich verschieben, wenn sich Modelle und Preise ändern. Auch deine „escalation rate“ (Eskalationsrate), wie sauber sich Aufgaben aufteilen lassen, und die Länge der Transkripte beeinflussen sie. Die Methode bleibt dieselbe:

  1. Ziehe einige Aufgaben aus den Produktionslogs, gewichtet wie der echte Traffic, und schreibe Ergebnisprüfungen für jede: Tests bestehen, Ticket geschlossen, Zeilenanzahl korrekt. Erfasse die Kosten pro Aufgabe neben der Punktzahl.
  2. Erstelle Baselines für die Modellstufen über alle Effort-Stufen hinweg, nicht nur für die Standardeinstellung, und trage die Punktzahl gegen die Ausgaben auf. Eine Multi-Modell-Konfiguration muss die gesamte Kurve des Einzelmodells schlagen.
  3. Wenn die Kurve eine Lücke zeigt, die sich mit Effort nicht schließen lässt, füge die passende Multi-Modell-Strategie hinzu und führe die Suite erneut aus.
  4. Betreibe den Gewinner vor der Umstellung im Schattenbetrieb auf einem Teil des Traffics und lass die Suite danach weiterlaufen.

So berechnest du den Preis einer Aufgabe. Berechne jede der fünf Token-Zählungen im usage einer Antwort zu ihrem eigenen Tarif: nicht gecachte Eingabe, 5-Minuten- und 1-Stunden-Cache-Schreibvorgänge zum 1,25-Fachen bzw. 2-Fachen des Eingabepreises, Cache-Lesevorgänge und Ausgabe. Summiere sie über die Anfragen der Aufgabe (die Usage and Cost Analytics API meldet die Gesamtsumme). Bei Claude Haiku 5.5 verwendest du die Tarife für die Prompt-Länge jeder Anfrage, einschließlich Cache-Lese- und -Schreibvorgängen (siehe Preise für langen Kontext). Wenn usage.speed den Wert "fast" hat, verwende die Fast-Mode-Tarife.

Das folgende Beispiel berechnet die Kosten einer Anfrage zu den Listenpreisen von Claude Opus 5.5. Ändere die drei Preise für ein anderes Modell:

INPUT_PER_MTOK = 4.00  # Claude Opus 5.5
# 0,05x des Eingabepreises bei Claude Opus 5.5; der Multiplikator variiert je nach Modell
CACHE_READ_PER_MTOK = 0.20
OUTPUT_PER_MTOK = 20.00

client = anthropic.Anthropic()
response = client.messages.create(
    model="claude-opus-5-5",
    max_tokens=1024,
    messages=[{"role": "user", "content": "Hello, Claude"}],
)
usage = response.usage
cache_writes = usage.cache_creation
writes_1h = cache_writes.ephemeral_1h_input_tokens if cache_writes else 0
writes_5m = cache_writes.ephemeral_5m_input_tokens if cache_writes else 0
cost = (
    usage.input_tokens * INPUT_PER_MTOK
    # 1-Stunden-Cache-Schreibvorgänge werden mit 2x dem Eingabepreis in Rechnung gestellt, 5-Minuten mit 1,25x; Lesevorgänge zum Cache-Lesepreis.
    + writes_1h * INPUT_PER_MTOK * 2.0
    + writes_5m * INPUT_PER_MTOK * 1.25
    + (usage.cache_read_input_tokens or 0) * CACHE_READ_PER_MTOK
    + usage.output_tokens * OUTPUT_PER_MTOK
) / 1_000_000
print(f"Request cost: ${cost:.6f}")

Was du prüfen solltest.

  • Anteil der Cache-Lesevorgänge. In Agent-Schleifen sollten die meisten Input-Token Cache-Lesevorgänge sein. Wenn cache_read_input_tokens im Vergleich zu input_tokens plus cache_creation_input_tokens klein ist, prüfe, ob das Caching aktiv ist und ob das Präfix zwischen den Anfragen gleich bleibt.
  • Advisor-Tool und Compaction. Wenn das Advisor-Tool oder Komprimierung aktiviert ist, werden einige Token nur in usage.iterations und nicht in den Gesamtsummen der obersten Ebene gemeldet. Summiere stattdessen über usage.iterations und berechne advisor_message-Einträge zu den Tarifen des Advisor-Modells.

Die folgende Tabelle listet die Hebel in der Reihenfolge auf, in der du sie ausprobieren solltest. Die Zahlen stammen aus Anthropics Tests, Launch-Beiträgen sowie veröffentlichten Preisen und Geschwindigkeiten:

HebelEinsparungQualitätskostenLatenzWo
Prompt-CachingKosten um den Faktor 4,8 bis 7,2 bei einem Recherche-Agenten gesenkt und um 83 % bis 86 % bei einem kleinen Triage-AgentenKeineSchnellerWiederholten Kontext cachen
1-Stunden-Cache-DauerBei 1 von 10 Turns nach einer Pause kostete der 5-Minuten-Standard 54 % mehr; bei 1 von 20 etwa gleich vielKeineBlieb bei früheren Modellen nach einer Pause warm16Cache-Dauer wählen
Eingabe kürzenWeitere 21 % bis 26 % weniger auf der Rechnung eines kleinen Triage-AgentenMit Tool-Suche Genauigkeit im selben Bereich wie ohne27NeutralEingabe- und Kontext-Token kürzen
Tool-Suche45 % bei 500 angehängten Tool-Definitionen; 20 % durch das verzögerte Laden des Toolsets eines GitHub-MCP-ServersKeine für Tools, die die Aufgabe nie benötigtNeutralEingabe- und Kontext-Token kürzen
Datendateien über Codeausführung92 % bei einer Datenaufgabe mit 25 Fragen, mit deaktiviertem Prompt-CachingEin Gewinn: 25 von 25 richtig statt 7SchnellerEingabe- und Kontext-Token kürzen
Batch API50 %KeineErgebnisse innerhalb von 24 StundenArbeit batchen, die warten kann
Prompt-Audit gegen das aktuelle Modell14 % bei beiden getesteten Modell-UpgradesKeine; bei einer ein GewinnSchneller (weniger Tool-Runden)Prompts gegen das aktuelle Modell auditieren
Das Modell upgradenMeist weniger: bis zu 40 % weniger bei typischen Workloads und bis zu 87 % weniger pro gelöster Aufgabe bei einem Coding-BenchmarkBeim Coding keine, bei den meisten ein Gewinn; bei einem Recherche-Benchmark niedriger für Claude Fable 5.2NeutralModell upgraden
Niedrigerer EffortBei langen Coding-Aufgaben kostete medium etwa 30 % bis 52 % weniger als high, und low etwa zwei Drittel wenigerJe nach Aufgabe und Modell bis zu 34 Punkte niedriger; bei einem Recherche-Agenten 3,3SchnellerEffort abstimmen
Fehlschläge erneut ausführenEtwa 40 % weniger, als alles mit high auszuführen, bei gleicher oder leicht besserer ErfolgsquoteKeineEin zweiter Versuch bei den fehlgeschlagenen AufgabenFehlschläge mit höherem Effort erneut ausführen
Um kürzere Antworten bittenEtwa 13 % weniger, durch 39 % weniger Output-TokenKeineSchnellerBudgets und Ausgabelimits festlegen
max_tokens erhöhenKeine: Die Kosten pro gelöster Aufgabe stiegen bei 64.000 nichtEin Gewinn: bis zu 57 Punkte mehr gelöste Aufgaben bei 64.000 bei einem Coding-Benchmark; bei einem anderen keinerNeutralBudgets und Ausgabelimits festlegen
AdvisorKeine: etwa das 2,1-Fache der Kosten des Modells allein, bei einem Coding-BenchmarkBeim Coding ein kleiner Gewinn, der Zufall sein kann; beim Lesen von Diagrammen ein VerlustEtwa 1,4 zusätzliche Aufrufe pro Versuch, beim CodingAdvisor-Strategie
OrchestratorMit Subagenten auf dem nächstkleineren Modell etwa ein Drittel weniger als das Orchestrator-Modell allein bei seinem Standard-Effort, bei Arbeit, die größer als ein Kontextfenster ist; bei Routinearbeit zuerst messenKein messbarer Verlust bei dieser ArbeitBis zu 25 Subagenten gleichzeitigOrchestrator-Strategie
Fast ModeKeine: das Doppelte der Standard-TokenpreiseKeineBis zu 2,5-mal mehr Ausgabe-Token pro SekundeDem Modell die verstrichene Zeit zeigen

Die Suche mit dem Claude API Skill automatisieren

Führe den Befehl cost-optimize des Claude API Skills aus, bevor du nach Einsparungen suchst. Er analysiert, wohin deine Token gehen, und wendet die Hebel der Reihe nach an, beginnend mit dem Caching:

Claude Code

Lass Claude Code Einsparungen für dich finden

/claude-api cost-optimize

Führe dann den Befehl hillclimb in dem Verzeichnis aus, das deine Evaluierung enthält:

Claude Code

Lass Claude Code die Suche für dich ausführen

/claude-api hillclimb

Anthropic hat den ersten Hebel von cost-optimize und zwei Suchläufe auf tau2-bench retail24 gemessen, alle mit früheren Modellen. Die von cost-optimize erzeugten Cache-Breakpoints senkten die Kosten pro Aufgabe, und die Erfolgsquote sank um weniger als die Streuung identischer Durchläufe.

Ein Suchlauf fand eine günstigere Konfiguration, indem er den Effort senkte und eine Modellstufe nach unten wechselte. Seine Erfolgsquote blieb um den Bruchteil einer Aufgabe innerhalb des vor der Suche festgelegten Bandes und endete unterhalb der strengeren Untergrenze, die die Suche für ihre eigenen Urteile verwendete. Ein zweiter Suchlauf, gestartet vom kostengünstigeren Modell mit dessen Standard-Effort, behielt nichts bei. Referenz 24 enthält die Zahlen und die Kosten, die jeder Suchlauf verursacht hat.

Das folgende Diagramm zeigt jeden Schritt des ersten Suchlaufs:

Jeder Schritt der Suche: zwei beibehalten, einer hielt nicht, einer abgelehnt
Kosten pro Aufgabe (USD, Listenpreise)
bestandene Aufgaben (%)
vor der Suche festgelegtes Band:höchstens 2 ⁠Punkte vom Start entfernt
Start: Claude Opus 5, Standard-Effort76,0 % bei 0,142 $
1 ⁠Effort auf low77,8 % bei 0,119 $, beibehalten
2 ⁠Claude Sonnet 5 ⁠bei low75,4 % bei 0,055 $, beibehalten (2 ⁠Durchläufe)
3 ⁠Prompt: Bestellungen nach dem Login nachschlagen79,8 % bei der Auswahl, hielt bei der Bestätigung nicht
4 ⁠Prompt: nur auf Wunsch übergeben71,9 %, abgelehnt und zurückgesetzt
Bestätigung: 74,3 % bei 0,055 $3 ⁠neue Durchläufe, 61 % günstiger als der Start
tau2-bench retail, 57 ⁠zurückgehaltene Aufgaben. Start und Bestätigung: Mittelwerte aus 3 ⁠Durchläufen; Schritt 1: Bestätigung mit 3 ⁠Durchläufen nach der Suche; Schritte 2 ⁠und 3: 2 ⁠Durchläufe; Schritt 4: 1 ⁠Durchlauf; Schritt 5 ⁠nicht ausgeführt.Kosten zu Listenpreisen, Agent plus simulierter Benutzer, ohne Bewerter.
Ein Suchlauf mit früheren Modellen, Schritt für Schritt. Die Änderungen an Effort und Modell brachten die Einsparungen; die Prompt-Änderungen brachten keinen dauerhaften Gewinn.

Zwei Einstellungen bestimmen, ob du der Antwort der Suche vertrauen kannst:

  • Halte einen Split zurück, den die Suche nie liest. Die Suche entscheidet dort über die Übernahme, sodass die Bestätigung eine Änderung erkennt, die nur zu den Aufgaben passt, die die Suche gesehen hat, wie es bei den Prompt-Änderungen der Fall war (Referenz 24).
  • Wiederhole die Baseline vor der ersten Änderung. Identische Durchläufe einer Ausgangskonfiguration unterschieden sich in diesen Messungen um mehrere Aufgaben (Referenz 24). Die Wiederholungen geben dem Übernahme-Gate der Suche eine Rauschschwelle.

Referenzierte Benchmarks

Sofern eine Referenz nichts anderes angibt, handelt es sich bei den Messungen um Anthropic-interne Durchläufe dieser Benchmarks. Sofern nicht anders angegeben, sind Kosten in USD zu den Listenpreisen angegeben, die zum Zeitpunkt des jeweiligen Benchmark-Durchlaufs galten; Zahlen für Claude Sonnet 5 verwenden 2 $ bzw. 10 $ pro Million Eingabe- und Ausgabe-Token. Zahlen für Claude Sonnet 5.5 aus den Durchläufen vom 24. September 2026 verwenden dieselben Eingabe- und Ausgabepreise und seinen aktuellen Cache-Lesepreis, 0,10 $ pro Million Token, statt seines Einführungspreises von 0,20 $, angewendet auf die aufgezeichneten Token-Zahlen jedes Durchlaufs. Diese Durchläufe verwendeten einen Vorabversions-Build von Claude Sonnet 5.5, und kein Versuch darin wurde von einem Fallback-Modell beantwortet. Diagramme mit der Beschriftung „notional USD“ bepreisen die Token-Zahlen jeder Anfrage zu diesen Sätzen, statt Rechnungen wiederzugeben.

  1. WideSearch: Wong et al., “WideSearch: Benchmarking Agentic Broad Info-Seeking,” arXiv:2508.07999, 2025. Breit angelegte Web-Rechercheaufgaben, bewertet nach Vollständigkeit und Genauigkeit einer Tabelle mit vielen Zeilen; 200 Probleme, 3 Durchläufe pro Konfiguration, durchgeführt vom 1. bis 2. August 2026. Mit Claude Fable 5 gab bei diesem Benchmark, DeepWideSearch (Referenz 6), BrowseComp (Referenz 4) und GDPval (Referenz 2) low-Effort 1 bis 3 Punkte für ein Drittel bis die Hälfte weniger Kosten pro Aufgabe ab, medium erreichte die Genauigkeit des Standards bei etwa 70 % bis 87 % seiner Kosten, und der Standard brachte bei keinem der vier einen messbaren Vorteil gegenüber medium. Das Diagramm zur Kostenkonzentration ist ein separater Durchlauf mit 20 Problemen, 3 Durchläufe pro Problem, durchgeführt vom 3. bis 4. August 2026, mit Kosten aus Abrechnungsdaten pro Anfrage. Es umfasst 59 der 60 Durchläufe. Der sechzigste, mit 10,91 $ der Gesamtsumme von 432,31 $ abgerechnet, hat keine mit seinem Ergebnis erfassten Kosten und ist nicht enthalten.
  2. GDPval: OpenAI, “GDPval: Evaluating AI Model Performance on Real-World Economically Valuable Tasks,” 2025. Arbeitsergebnisse aus der Wissensarbeit, bewertet anhand von Aufgaben-Rubriken; ein Durchlauf mit 210 Aufgaben des veröffentlichten Gold-Sets, ein Versuch pro Aufgabe, durchgeführt am 2. August 2026. Ein Claude-Modell bewertet, daher können absolute Werte von veröffentlichten Ergebnissen abweichen.
  3. SWE-bench Pro: Scale AI, “SWE-Bench Pro: Can AI Agents Solve Long-Horizon Software Engineering Tasks?”, 2025.
    • Was gemessen wurde: Eine Teilmenge von 482 Problemen, ausgewählt nach Kompatibilität mit Anthropics Evaluations-Harness; die Werte sind nicht mit dem öffentlichen Leaderboard vergleichbar. Sie sind auch nicht mit den SWE-bench-Pro-Ergebnissen in der System Card von Claude Opus 5.5 vergleichbar, die aus Durchläufen mit max-Effort auf einem anderen Problemsatz stammen.
    • Wie bepreist: Die Kosten auf dieser Teilmenge werden so bepreist, wie die Organisation eines Kunden abgerechnet wird: der vorherige Prompt jeder Anfrage als Cache-Lesevorgang und ihre neuen Token als 5-Minuten-Cache-Schreibvorgang, aus den eigenen Nutzungsdaten der Durchläufe, abgeglichen mit einem Kundenkonto.
    • Durchläufe mit Claude Opus 5.5: Die Zahlen für Claude Opus 5.5 mitteln zwei Durchläufe bei low, medium (seinem Standard) und high und verwenden einen Durchlauf bei xhigh, alle durchgeführt vom 19. bis 20. September 2026, mit derselben Obergrenze von 16.384 Token pro Turn wie die Claude Opus 5-Durchläufe im August; die Obergrenze brach 2 xhigh-Versuche ab und keinen bei anderen Einstellungen. Gemessen an high erzielte Claude Opus 5.5 bei seinem Standard, medium, etwa 2,5 Punkte weniger für etwa 70 % der Kosten pro Aufgabe und bei low etwa 8 Punkte weniger für etwa ein Drittel der Kosten; xhigh erzielte etwa 1,4 Punkte mehr für das 2,5-Fache der Kosten von high. Die Verhältnisse stammen aus ungerundeten Kosten.
    • Die 478 Probleme: Die Opus-5.5-Durchläufe verwendeten eine Version des Benchmarks, deren Bewertungscontainer nur interne Paket-Mirrors erreichen können. Diese Version lässt ein Problem weg, dessen Test eine Live-Website benötigt, und bei drei weiteren schlägt die Referenzlösung dort fehl, daher verwenden Opus-5.5-Vergleiche und die daneben gestellten Zahlen für Claude Fable 5.1 die verbleibenden 478 Probleme.
    • Durchläufe mit Claude Sonnet 5.5: Claude Sonnet 5.5 lief auf derselben Version des Benchmarks: zwei Durchläufe bei seinem Standard, high, und zwei bei medium, alle am 24. September 2026, mit derselben Obergrenze von 16.384 Token pro Turn, die keinen seiner Versuche abbrach. Seine Zahlen verwenden die 478 Probleme, ebenso die daneben gestellten Zahlen für Claude Sonnet 5, gezählt über diese Probleme aus ihren August-Durchläufen.
    • Durchläufe mit Claude Opus 5: Die SWE-bench-Pro-Zahlen für Claude Opus 5 in Modell upgraden und in dieser Referenz mitteln zwei Durchläufe bei seinem Standard-Effort und verwenden einen Durchlauf bei low, alle durchgeführt am 4. August 2026.
    • Advisor, Paarungen mit Claude Sonnet 5: Die Paarungen von Claude Sonnet 5 als Executor mit Claude Opus 5 als Advisor hinter den Beispielen zur Konsultationsrate in Advisor-Strategie liefen auf dieser Teilmenge mit demselben Testaufbau: die Paarung beim Standard-Effort lief zweimal (7. und 8. August 2026, ein Durchlauf und eine exakte Replikation), die Paarung mit niedrigem Effort einmal (8. August 2026) und zehn Tage später Claude Sonnet 5 allein zweimal bei seinem Standard-Effort (77,4 %, die Baseline für beide Paarungen).
    • Advisor, Konsultationsprüfung mit Claude Sonnet 5.5: Die in Advisor-Strategie zitierte Konsultationsprüfung mit Claude Sonnet 5.5 führte am 24. September 2026 einen Versuch für jedes von 20 der 478 Probleme durch, mit einem Claude Opus 5.5-Advisor über das Advisor-Tool. Vier Konfigurationen liefen: high und xhigh, jeweils mit und ohne den in der Dokumentation des Advisor-Tools vorgeschlagenen System-Prompt für Coding-Aufgaben. Bei seinem Standard-Effort, high, konsultierte Claude Sonnet 5.5 den Advisor bei keinem der 20 Probleme, mit oder ohne den Prompt. Bei xhigh konsultierte es ihn bei 3 der 20 Probleme ohne den Prompt und bei 4 mit ihm, jedes Mal bei seinen Versuchen mit den meisten Turns.
    • Eskalationszahlen: Die Eskalationszahlen stammen Aufgabe für Aufgabe aus den Opus-5.5-Durchläufen: zuerst low, dann high bei dessen Fehlschlägen, löste über die Durchlaufpaarungen hinweg 96,4 % bis 97,5 % für etwa 0,17 $; zuerst medium, 96,0 % bis 97,1 % für etwa 0,24 $; high erneut auf seinen eigenen Fehlschlägen ausgeführt, 96,9 % für 0,31 $; alles bei high, 94,8 % bis 95,8 % für 0,29 $.
    • Modelle vergleichen: Die Zahl für Claude Fable 5.1 in Modelle vergleichen stammt aus einem Durchlauf auf derselben Teilmenge beim Standard-Effort, durchgeführt am 26. August 2026: gezählt über die 478 Probleme löste es 92,3 % für 1,19 $ pro gelöster Aufgabe. Das Diagramm dieses Abschnitts und die Zahlen seiner Tabelle für Claude Opus 5.5 und Claude Sonnet 5.5 fassen die zwei Durchläufe bei jeder dargestellten Einstellung zusammen, alle gezählt über die 478 Probleme: Claude Opus 5.5 bei low, medium und high und Claude Sonnet 5.5 bei medium und high. Die Zahlen für Claude Fable 5.2 stammen aus je einem Durchlauf bei low und bei high (seinem Standard auf der Messages API), beide mit derselben Obergrenze von 16.384 Token pro Turn, die 8 der 463 high-Versuche und keinen bei low abbrach; abgebrochene Versuche zählen als Fehlschläge. Ein weiterer high-Versuch wurde von einem Sicherheitsmonitor in der Evaluationsumgebung gestoppt, bevor er abgeschlossen war, und zählt ebenfalls als Fehlschlag, obwohl die Änderungen, die er bis dahin vorgenommen hatte, die Tests bestanden; ließe man ihn weg, ergäbe sich für high 96,5 %. Diese Durchläufe verwendeten eine Version des Benchmarks, deren Bewertungscontainer keinen Netzwerkzugriff haben. Von den 478 Problemen, die für die Opus-5.5-Vergleiche verwendet wurden, schlägt die Referenzlösung bei 15 ohne Netzwerkzugriff fehl, daher verwenden die Fable-5.2-Vergleiche die verbleibenden 463. In diesen Vergleichen sind die Zahlen für Claude Opus 5.5 dieselben Durchläufe, gezählt über die 463 Probleme: je zwei Durchläufe bei medium und high und einer bei xhigh. Die daneben gestellten Zahlen für Claude Fable 5.1 und Claude Opus 5.5 wurden mit Netzwerkzugriff bewertet, daher ist nur der Problemsatz abgeglichen, nicht der Bewertungsaufbau. Die Kosten von Claude Fable 5.2 verwenden die unter „Wie bepreist“ beschriebene Abrechnung, angewendet auf die Token-Summen jedes Versuchs statt auf jede Anfrage einzeln, daher sind sie Schätzungen.
    • Modelle vergleichen, Arbeit pro Aufgabe: In diesen Zahlen leistete Claude Opus 5.5 bei low bei jeder Aufgabe weniger Arbeit als Claude Sonnet 5.5 bei seinem Standard: etwas mehr als die Hälfte der Ausgabe-Token von Sonnet 5.5 und etwas mehr als ein Drittel seiner Cache-Lesevorgänge. Bei ihren Standards löste Opus 5.5 bei medium etwa 5 Prozentpunkte mehr als Sonnet 5.5 für etwa die doppelten Kosten. Bei dieser Einstellung leistete es pro Aufgabe etwas mehr Arbeit als Sonnet 5.5.
    • Modell upgraden, Durchläufe: Der Punkt für Claude Fable 5 in „Modell upgraden“ fasst drei Durchläufe beim Standard-Effort zusammen, durchgeführt am 26. August 2026, bepreist so, wie die Organisation eines Kunden abgerechnet wird. Die Upgrade-Leiter zählt jedes Modell über die 478 Probleme, jeweils mit seinen ausgelieferten Standardeinstellungen. Sie verwendet einen Durchlauf pro Modell außer bei Opus 5, Opus 5.5, Sonnet 5 und Sonnet 5.5 (je zwei Durchläufe) und Fable 5 (die drei oben beschriebenen Durchläufe). Die Durchläufe mit Opus 4.7, Opus 4.8, Sonnet 4.6 und Sonnet 5 liefen vom 17. bis 19. August 2026 und die Opus-5-Durchläufe am 4. August, alle in einem Harness und einer Organisation; die Durchläufe mit Opus 5.5 und Sonnet 5.5 sind die weiter oben in dieser Referenz beschriebenen.
    • Modell upgraden, Kosten pro gelöster Aufgabe: Claude Opus 5 kostet pro gelöster Aufgabe 21 % mehr als Claude Opus 4.8, wenn diese Claude Opus 5-Durchläufe mit einem Claude Opus 4.8-Durchlauf mit seinen ausgelieferten Standardeinstellungen aus der Reihe vom 17. bis 19. August verglichen werden, gezählt über dieselben 478 Probleme; das SWE-bench-Pro-Feld des Diagramms zeigt weder Claude Opus 4.7 noch Claude Opus 4.8. In denselben Messungen, bepreist so, wie ein Kunde abgerechnet wird, löst Claude Opus 5 12 Punkte mehr Aufgaben als Claude Opus 4.8 bei diesen 21 % mehr pro gelöster Aufgabe, Claude Opus 4.8 löst denselben Anteil an Aufgaben wie Claude Opus 4.7 für 14 % weniger pro gelöster Aufgabe, und Claude Opus 5 mit low-Effort schlägt auf diesem Benchmark den Standard von Claude Opus 4.8 für etwa 30 % von dessen Kosten pro gelöster Aufgabe.
    • Modell upgraden, Preise: Die Ersparnis von Claude Sonnet 5 gegenüber Claude Sonnet 4.6 in „Modell upgraden“ ergibt sich aus seinem niedrigeren Preis pro Token, der die zusätzlichen Token, die es pro Aufgabe verwendet, mehr als ausgleicht. Claude Sonnet 5.5 berechnet für alles dasselbe wie Claude Sonnet 5 außer für Cache-Lesevorgänge, die halb so viel kosten. Die Token-Preise von Claude Opus 5.5 sind niedriger als die von Claude Opus 5, am stärksten bei Cache-Lesevorgängen. Wie Claude Sonnet 5 hat die Frontier-Stufe über den Preis gewonnen: Der Großteil der Ersparnis von Claude Fable 5.1 ist der niedrigere Preis für Cache-Lesevorgänge.
    • Kosten ohne Caching, bepreist aus aufgezeichneten Token-Zahlen: Anthropic hat die aufgezeichneten Token-Zahlen der Durchläufe mit Claude Opus 5.5 und Claude Sonnet 5.5 über die 478 Probleme für die Caching-Faktoren in Warum Caching an erster Stelle steht neu bepreist.
    • Die Faktoren, nach Modell: Jeder Faktor sind die Token-Kosten mit jedem Eingabe-Token zum Eingabepreis, Ausgabe-Token unverändert, geteilt durch die Kosten, bepreist so, wie die Organisation eines Kunden abgerechnet wird: für Claude Opus 5.5 3,3 bei medium, 2,4 bei low, 3,8 bei high und 5,4 bei xhigh (ein Durchlauf); für Claude Sonnet 5.5, mit Cache-Lesevorgängen zu 0,10 $ pro Million Token, 3,1 bei high und 2,4 bei medium, oder 2,8 bei high zum Einführungspreis von 0,20 $. Die erste Anfrage einer Aufgabe wird als Cache-Schreibvorgang bepreist.
  4. BrowseComp: Wei et al., “BrowseComp: A Simple Yet Challenging Benchmark for Browsing Agents,” OpenAI, 2025. Die Effort-Zahlen verwenden einen Ausschnitt von 500 Problemen, ein bis drei Durchläufe pro Einstellung, durchgeführt am 3. August 2026, wobei der Standardpunkt zwei Durchläufe vom 26. bis 27. Juli 2026 zusammenfasst. Die Messung von Routinearbeit mit einem langen Kostenausläufer in Orchestrator-Strategie verwendet 10 Probleme, die das Modell allein zuverlässig löste, als das Protokoll festgelegt wurde, aus einem Ausschnitt von 26 Problemen, 50 delegierte Durchläufe (5 pro Problem; 1. bis 2. August 2026) und 70 Durchläufe des Modells allein (50 vom 2. bis 3. August 2026; 20 archiviert vom 12. bis 13. Juli und 1. August 2026), 6,45 $ gegenüber 11,99 $ pro Durchlauf im Erwartungswert; delegierte Zahlen haben ein Messband von etwa 20 %. Die 10 Probleme sind diejenigen, bei denen die delegierte Konfiguration, ein Claude Fable 5-Orchestrator mit einem Claude Sonnet 5-Worker, in allen 5 Durchläufen richtig lag und Claude Fable 5 allein in beiden archivierten Durchläufen; die delegierten Durchläufe sind genau diese Durchläufe, und nur Claude Fable 5 allein wurde auf den zehn erneut ausgeführt. Über seine 70 Durchläufe, archivierte und neue, lag Claude Fable 5 allein in 68 richtig. Bei diesen Problemen kostete die delegierte Konfiguration im Durchschnitt etwa halb so viel wie Claude Fable 5 allein (die zuvor genannten 6,45 $ und 11,99 $) und beim 90. Perzentil etwa ein Drittel so viel (12 $ gegenüber 33 $ pro Durchlauf), und ihr teuerster Durchlauf kostete 42 $ gegenüber 84 $; dieser 84-$-Durchlauf war zudem falsch. Auf dem vollständigen, schwierigeren BrowseComp-Satz erreichte Claude Fable 5 allein die Genauigkeit der auf diesem Satz gemessenen Orchestrator-Konfiguration bei 22 % bis 30 % niedrigeren Kosten.
  5. Skalierung von Agentenarchitekturen: Kim et al., “Towards a Science of Scaling Agent Systems,” arXiv:2512.08296, 2025. Unabhängige externe Studie, nur für die Richtung des Befunds zitiert, wann sich Delegation nicht lohnt, nicht für irgendeine Zahl.
  6. DeepWideSearch: “DeepWideSearch: Benchmarking Depth and Width in Agentic Information Seeking,” arXiv:2510.20168, 2025. Die 220 Fragen umfassen 15 Domänen, die jeweils das Sammeln vieler Zeilen mit Multi-Hop-Retrieval kombinieren; gemessen auf dem festen Zeilensatz des Benchmarks, 3 Durchläufe pro Konfiguration, durchgeführt am 2. August 2026 (der Team-Punkt mit einem einzelnen Worker lief vom 26. bis 27. Juli 2026). Mit Claude Fable 5 erreichte low-Effort einen Orchestrator mit einem Claude Sonnet 5-Worker bei 29 % niedrigeren Kosten und benötigte 4,5 Minuten pro Problem gegenüber 7,9 Minuten beim Standard.
  7. DeepResearch Bench II: Li et al., “DeepResearch Bench II: Diagnosing Deep Research Agents via Rubrics from Expert Report,” arXiv:2601.08536, 2026.
    • Was gemessen wurde: Seine 132 Rechercheaufgaben über 22 Domänen werden anhand binärer, von Experten abgeleiteter Rubriken bewertet. Gemessen am 3. November 2026 auf einer aus allen seinen Themen gezogenen Teilmenge von 50 Aufgaben, zur Hälfte auf Englisch und zur Hälfte auf Chinesisch, ein Versuch pro Aufgabe, 3 Durchläufe pro Einstellung: Claude Sonnet 5.5 bei high, Claude Opus 5.5 bei medium sowie Claude Fable 5.1 und Claude Fable 5.2 bei low, medium und high. Jede Einstellung lief auf der Messages API mit adaptivem Nachdenken, und die drei veröffentlichten Modelle liefen mit aktivierten Produktions-Sicherheitsklassifikatoren. Claude Fable 5.2 wurde vor seiner Veröffentlichung ausgeführt, auf 46 der 50 Aufgaben, ohne die vier Biologie-Aufgaben.
    • Tools: Der Agent verwendete Such- und Abruf-Tools, die das Evaluations-Harness über einem Anthropic-Webindex ohne Inhalte mit Datum nach dem 17. März 2026 hostet, und hatte keine Shell. Eine Suchanfrage mit mehr als 120 Zeichen wurde beim letzten vollständigen Wort abgeschnitten, und der Agent wurde darüber informiert: 57 % bis 59 % der Suchen bei Claude Fable 5.2, 49 % bei Claude Sonnet 5.5 und 26 % bis 31 % in den anderen Einstellungen. Innerhalb einer Aufgabe erzielten die Durchläufe von Claude Fable 5.2 mit mehr abgeschnittenen Suchen kein niedrigeres Ergebnis. Weitere Durchläufe von Claude Fable 5.2 und Claude Opus 5.5 folgten am 6. und 7. November 2026, je drei pro Modell in jeder von zwei Gruppen. Das Tool schnitt längere Anfragen in der einen Gruppe wie zuvor ab und lehnte sie in der anderen ab. Auf den 43 Aufgaben, die in beiden Gruppen bewertet wurden, erzielte Claude Fable 5.2 bei high mit dem Abschneiden 0,9 Punkte weniger als Claude Opus 5.5 (95-%-Intervall 1,0 darüber bis 2,7 darunter). Dieses Intervall schließt die am 3. November auf 44 Aufgaben gemessene Lücke von 1,9 Punkten ein. Mit Ablehnung erzielte es 1,9 Punkte weniger (0,0 bis 3,7). Diese Lücke war 1,0 Punkte größer als mit dem Abschneiden (0,8 kleiner bis 2,8 größer), keine messbare Änderung. Etwa ein Viertel der Abrufe lieferte einen Fehler. Der Quellartikel jeder Aufgabe sowie das eigene Paper und der Datensatz des Benchmarks wurden herausgefiltert.
    • Wie bewertet: Claude Opus 4.6 bewertet nach dem Rubrik-Protokoll des Benchmarks; das Original verwendet einen anderen Bewerter, und ein Anthropic-Bewerter könnte den hauseigenen Stil bevorzugen. Die Werte sind Mittelwerte über die 44 Aufgaben, die jede Einstellung beantwortete und die der Bewerter vollständig bewertete. Die anderen sechs: vier Biologie-Aufgaben, die Claude Sonnet 5.5 in jedem Durchlauf beantwortete und bei denen die Sicherheitsklassifikatoren jeden Versuch von Claude Fable 5.1 (36) und 11 der 12 von Claude Opus 5.5 stoppten; eine Aufgabe, ein Überblick über die Forschung zur Computersicherheit, bei der die Klassifikatoren einen Versuch von Claude Fable 5.1 bei low und zwei der drei von Claude Fable 5.2 bei high stoppten; und eine, bei der eine Sicherheitsprüfung, die Anthropic seinen eigenen Evaluationen hinzufügt, einen Versuch von Claude Sonnet 5.5 stoppte.
    • Werte: Auf den 44 Aufgaben und auf allen 50, wobei ein verweigerter oder gestoppter Versuch als 0 gezählt und ein beantworteter Versuch, den der Bewerter nicht vollständig bewertete, mit seinem Teilwert beibehalten wird: Claude Sonnet 5.5 57,2 % und 56,8 %; Claude Opus 5.5 59,6 % und 54,6 %; Claude Fable 5.1 60,2 % und 54,7 % bei low, 62,1 % und 56,6 % bei medium und 62,5 % und 57,0 % bei high. Claude Fable 5.2 auf den 44 Aufgaben: 54,5 % bei low, 55,0 % bei medium und 57,7 % bei high. Differenzen Aufgabe für Aufgabe auf den 44 Aufgaben, vor dem Runden berechnet, mit 95-%-Intervallen: Claude Fable 5.1 bei high gegenüber low 2,3 Punkte (1,3 bis 3,3); Claude Opus 5.5 gegenüber Claude Sonnet 5.5 2,4 (1,0 bis 3,8); Claude Fable 5.1 bei high gegenüber Claude Opus 5.5 2,8 (1,4 bis 4,3) und gegenüber Claude Sonnet 5.5 5,2 Punkte (4,0 bis 6,5); Claude Fable 5.1 bei medium gegenüber low 1,9 (0,6 bis 3,1); Claude Fable 5.2 bei high gegenüber low 3,3 (1,7 bis 4,9) und bei medium gegenüber low 0,6 (-0,6 bis 1,8); Claude Fable 5.2 bei high gegenüber Claude Sonnet 5.5 0,5 (-1,2 bis 2,2) und gegenüber Claude Opus 5.5 -1,9 (-3,6 bis -0,2); Claude Fable 5.2 gegenüber Claude Fable 5.1 -5,8 (-8,0 bis -3,5) bei low, -7,0 (-9,3 bis -4,8) bei medium und -4,7 (-6,4 bis -3,1) bei high. Auf allen 50 Aufgaben: Claude Opus 5.5 gegenüber Claude Sonnet 5.5 -2,2 (-7,6 bis 3,2); Claude Fable 5.1 bei high gegenüber Claude Sonnet 5.5 0,2 (-5,5 bis 5,9).
    • Wie bepreist: Die Kosten pro Aufgabe sind jeweils die eigenen Token des Modells zu Listenpreisen, aus den Nutzungsdaten der Versuche, über alle 50 Aufgaben und jeden Versuch, gemittelt über die drei Durchläufe: 1,11 $ bei Claude Sonnet 5.5, 1,61 $ bei Claude Opus 5.5 und 3,55 $, 4,44 $ und 5,69 $ bei Claude Fable 5.1. Die Kosten von Claude Fable 5.2 beziehen sich auf seine 46 Aufgaben: 1,49 $, 2,16 $ und 4,82 $; über dieselben 46 Aufgaben kosteten die anderen fünf Einstellungen 1,13 $, 1,69 $, 3,85 $, 4,82 $ und 6,18 $. Bei den vier Biologie-Aufgaben wurde jeder Versuch von Claude Fable 5.1 bei seiner ersten Anfrage gestoppt, und Versuche kosteten im Durchschnitt etwa einen Cent bei Claude Fable 5.1 und 0,74 $ bei Claude Opus 5.5. Allein auf den 44 Aufgaben betragen die Kosten 1,13 $, 1,68 $, 3,85 $, 4,77 $ und 6,10 $ sowie 1,50 $, 2,20 $ und 4,86 $ bei Claude Fable 5.2. Die Kostenvergleiche in Modelle vergleichen (das 1,5-, 4,3- und 2,9-Fache; 61 %, 54 % und 20 % weniger als Claude Fable 5.1 bei low, medium und high) und in Effort abstimmen (das 3,2-Fache) beziehen sich auf diese 44 Aufgaben, wie die Werte daneben. Die Kosten decken nur Modell-Token ab; die Tools des Harness verursachen keine Gebühren. Der Agent führte 12 bis 33 Suchen pro Aufgabe durch, verweigerte Versuche mitgezählt.
    • Diagramme: Das Caching-Diagramm und das Effort-Diagramm zeigen Durchläufe vom 22. Oktober 2026 von Claude Fable 5.1, Claude Opus 5.5 und Claude Sonnet 5.5 auf denselben Effort-Stufen. Das Caching-Diagramm bepreist die Anfragen dieser Durchläufe neu, mit jedem Eingabe-Token zum ungecachten Satz. Das Evaluations-Harness setzte die Cache-Breakpoints.
    • Vergleichbarkeit: Diese Werte sind nicht mit dem Leaderboard des Benchmarks vergleichbar.
  8. Interner Benchmark zur Fehlersuche:
    • Was gemessen wurde: Anthropic-intern, für Arbeit, die größer als ein Kontextfenster ist: ein Korpus mit etwa 22 Millionen Token aus 14 öffentlichen Python-Paketquellen, in 201 Teilen, mit 130 eingebauten Defekten und deterministischer Bewertung. Zehn Durchläufe pro Konfiguration, auf Claude Managed Agents: 51 der 170 vom 27. bis 29. Oktober 2026, 69 vom 2. bis 3. November 2026 und die 50 von Claude Fable 5.2 vom 3. bis 4. November 2026, vor seiner Veröffentlichung.
    • Konfigurationen: Jedes Modell lief allein mit einer Sitzung pro Teil, wobei jede Sitzung die bisherigen Funde erhielt: Claude Fable 5.2, Claude Fable 5.1 und Claude Opus 5.5 bei low, medium und high sowie Claude Sonnet 5.5 und Claude Haiku 5.5 bei der Standardeinstellung des jeweiligen Modells (high und medium). Mit Subagenten lief Claude Fable 5.2, Claude Fable 5.1 oder Claude Opus 5.5 bei high als Orchestrator, über Multiagenten-Orchestrierung (der Typ multiagent_20261001): ein vordefinierter Agent als Subagent, beim Standard-Effort seines Modells, einmal für jeden Teil aufgerufen, bis zu 25 gleichzeitig, wobei Inline-Agenten und dynamische Workflows deaktiviert waren. Jede Konfiguration endete mit einer weiteren Sitzung ohne Subagenten, die die Funde zusammenstellte. Nachdenken lief mit der Standardeinstellung der Plattform: aktiviert, wobei das Modell wählt, wann es nachdenkt.
    • Tools: Jeder Agent verwendete die eigenen Shell- und Datei-Tools des Benchmarks, in einer isolierten virtuellen Maschine. Bevor überhaupt ein Agent startete, entfernte die Evaluierung installierte Kopien der Pakete des Korpus von dieser Maschine und prüfte, dass keine Verbindung von ihr aus gelang.
    • Ergebnisse: Mittlerer F1-Wert (Spanne) und mittlere Kosten pro Durchlauf. Claude Haiku 5.5 allein: 0,577 (0,550 bis 0,606), 25 $. Claude Sonnet 5.5 allein: 0,760 (0,669 bis 0,788), 103 $. Claude Opus 5.5 allein bei low: 0,489 (0,437 bis 0,551), 38 $; bei medium: 0,827 (0,797 bis 0,850), 200 $; bei high: 0,850 (0,829 bis 0,876), 236 $. Claude Fable 5.1 allein bei low: 0,829 (0,807 bis 0,841), 527 $; bei medium: 0,839 (0,817 bis 0,856), 603 $; bei high: 0,847 (0,829 bis 0,861), 716 $. Claude Fable 5.2 allein bei low: 0,866 (0,852 bis 0,884), 357 $; bei medium: 0,877 (0,863 bis 0,884), 378 $; bei high: 0,909 (0,896 bis 0,925), 563 $. Claude Opus 5.5 mit Claude Sonnet 5.5-Subagenten: 0,831 (0,814 bis 0,850), 139 $; mit Claude Haiku 5.5-Subagenten: 0,677 (0,640 bis 0,718), 47 $. Claude Fable 5.1 mit Claude Sonnet 5.5-Subagenten: 0,825 (0,812 bis 0,858), 172 $; mit Claude Haiku 5.5-Subagenten: 0,687 (0,660 bis 0,723), 88 $. Claude Fable 5.2 mit Claude Sonnet 5.5-Subagenten: 0,833 (0,795 bis 0,856), 165 $; mit Claude Haiku 5.5-Subagenten: 0,716 (0,683 bis 0,773), 85 $. Bei den Konfigurationen der anderen Modelle mit mehr als 0,80 überlappen sich je zwei beliebige Spannen. Unterschiede im mittleren F1-Wert, mit 95-%-Intervallen: Claude Opus 5.5 mit Claude Sonnet 5.5-Subagenten erzielte 0,4 Punkte mehr als Claude Opus 5.5 allein bei medium (1,1 weniger bis 1,9 mehr), 1,9 weniger als allein bei high (0,6 bis 3,2) und 7,1 mehr als Claude Sonnet 5.5 allein (4,6 bis 9,7). Allein erzielte Claude Opus 5.5 bei high 2,3 Punkte mehr als bei medium (0,7 bis 3,9). Claude Fable 5.1 allein erzielte bei low 1,8 Punkte weniger als bei high (0,8 bis 2,8); bei high erzielte es 2,0 Punkte mehr als Claude Opus 5.5 allein bei medium (0,7 bis 3,4) und 0,3 weniger als Claude Opus 5.5 allein bei high (1,5 weniger bis 1,0 mehr). Mit Claude Sonnet 5.5-Subagenten erzielte Claude Fable 5.1 0,6 Punkte weniger als Claude Opus 5.5 (1,9 weniger bis 0,6 mehr). Gegenüber Claude Opus 5.5 allein bei medium und bei high erzielte Claude Fable 5.2 allein auf jeder Stufe mehr, Differenzen vor dem Runden berechnet: bei low um 3,9 Punkte (2,4 bis 5,3) und 1,6 (0,3 bis 2,9), für das 1,8- und 1,5-Fache der Kosten; bei medium um 5,0 (3,6 bis 6,3) und 2,7 (1,5 bis 3,8), für das 1,9- und 1,6-Fache; bei high um 8,2 (6,8 bis 9,6) und 5,9 (4,7 bis 7,1), für das 2,8- und 2,4-Fache. Es erzielte mehr als Claude Fable 5.1 allein auf derselben Stufe: um 3,6 Punkte bei low (2,6 bis 4,7), 3,8 bei medium (2,8 bis 4,8) und 6,1 bei high (5,3 bis 7,0), für 32 %, 37 % und 21 % weniger. Es erzielte bei low 4,3 Punkte weniger als bei high (3,3 bis 5,3), für 37 % weniger. Mit Claude Sonnet 5.5-Subagenten erzielte Claude Fable 5.2 0,2 Punkte mehr als Claude Opus 5.5 (1,3 weniger bis 1,7 mehr), für 19 % mehr, und 3,2 Punkte weniger als Claude Fable 5.2 allein bei low (1,8 bis 4,7), 4,3 weniger als bei medium (3,0 bis 5,7) und 7,5 weniger als bei high (6,1 bis 9,0), für 54 %, 56 % und 71 % weniger. Ein Durchlauf von Claude Fable 5.2 allein bei high endete vorzeitig ohne Ergebnis und wurde ersetzt. Die Paarung mit Claude Opus 5.5 kostete 31 % weniger als Claude Opus 5.5 allein bei medium und 41 % weniger als allein bei high. Allein kostete Claude Opus 5.5 bei medium 15 % weniger als bei high. Alle sieben November-Durchläufe von Claude Sonnet 5.5 allein erzielten weniger als die drei aus dem Oktober (0,669 bis 0,775, verglichen mit 0,783 bis 0,788); die Ursache ist nicht bekannt, und jeder Durchlauf wird mitgezählt. Claude Fable 5.1 mit Claude Haiku 5.5-Subagenten kostete im Oktober 85,77 $ pro Durchlauf und im November 89,06 $.
    • Wie bepreist: Die Kosten der Sitzungen jedes Durchlaufs zu den Listenpreisen der Plattform: Token mit Prompt-Caching plus Sitzungslaufzeit. Fünf der Durchläufe von Claude Opus 5.5 bei high sind nur anhand ihrer Token-Anzahlen bepreist, zu 5-Minuten-Cache-Preisen, weil jeder von ihnen teilweise mit der 1-Stunden-Cache-Dauer lief, bei der Cache-Schreibvorgänge mehr kosten. Die eigenen Token von Claude Fable 5.2 sind anhand ihrer Anzahlen bepreist, zu Listenpreisen mit 5-Minuten-Cache-Schreibvorgängen; in seinen Durchläufen allein ist die Laufzeit seiner Sitzungen, unter 0,2 % der Kosten eines Durchlaufs, nicht eingerechnet. Die Kosten einer zusätzlichen Prüfung der Tool-Aufrufe, Teil des Sicherheits-Setups der Evaluierung, sind nicht eingerechnet.
  9. GPQA Diamond: Rein et al., “GPQA: A Graduate-Level Google-Proof Q&A Benchmark,” 2023. Die Diamond-Teilmenge mit 198 Fragen, modellbewertet anhand von Referenzantworten, Advisor-Token pro Anfrage erfasst. Claude Haiku 5.5 und Claude Sonnet 5.5, jeweils allein und mit einem Claude Opus 5.5-Advisor, sowie Claude Opus 5.5 allein liefen am 7. Oktober 2026 mit zwei Durchläufen pro Konfiguration, alle mit deaktiviertem serverseitigem Fallback, beim Standard-Effort jedes Modells und mit Verweigerungen als falsch gezählt. Eine Sicherheitsprüfung der Plattform verweigerte pro Durchlauf eine Biologiefrage bei Claude Haiku 5.5 und Claude Sonnet 5.5 allein, eine in zwei Durchläufen bei Haiku 5.5 mit dem Advisor, keine bei Sonnet 5.5 mit dem Advisor und sechs pro Durchlauf bei Opus 5.5, das 91 % erzielte, wenn diese als falsch gezählt werden, und 93,5 % auf den Fragen, die es beantwortete. Claude Haiku 5.5 allein erzielte 85 %, 6 Punkte unter Opus 5.5. Die Advisor-Konfigurationen fügten das Tool ohne einen Prompt hinzu, der um Konsultationen bat, und keiner der Executors rief den Advisor bei irgendeiner Frage auf. Die Paarungen erzielten 0,5 Punkte (Claude Haiku 5.5) und 1,0 Punkte (Claude Sonnet 5.5) mehr als der Executor allein, beides innerhalb des Rauschens zwischen Durchläufen.
  10. DeepSWE: Datacurve, “DeepSWE: Measuring Frontier Coding Agents on Original, Long-Horizon Engineering Tasks,” arXiv:2607.07946, 2026. Der Satz umfasst 113 originale Aufgaben in fünf Sprachen mit programmbasierten Verifizierern. Paarungen sind je zwei Durchläufe, durchgeführt am 7. August 2026, mit pro Anfrage erfassten Advisor-Token, und verwendeten eine clientseitige Advisor-Schleife statt des Advisor-Tools, mit identischer Abrechnung. Effort-Sweeps mit einem einzelnen Modell sind einzelne Durchläufe, bepreist aus Token-Zahlen, eine cache-bewusste Näherung. Die Kosten pro Aufgabe sind Durchlaufsummen geteilt durch 113. Auf diesem Benchmark erzielte ein Claude Sonnet 5-Executor mit niedrigem Effort und einem Advisor 23 Punkte mehr als derselbe Executor allein.
  11. Interner Agentic-Coding-Benchmark:
    • Was gemessen wurde: Anthropic-intern: 370 Repository-Aufgaben, bewertet durch die eigenen Tests der Repositories. Die API-Zahlen wurden mit einem einfachen API-Agenten und einem Ausgabelimit von 128.000 Token gemessen, ein Durchlauf pro Konfiguration: Opus 5 allein beim Standard-Effort vom 9. bis 10. August 2026 und bei low und medium am 10. August 2026; Claude Fable 5.1 allein bei fünf explizit gesetzten Effort-Werten am 20. August 2026 (das Diagramm zeigt drei davon); und die Paarung vom 24. bis 25. August 2026.
    • August-Durchläufe: Die August-Durchläufe hatten fünf Versuche pro Aufgabe für die Paarung und die Claude Opus 5-Kontrolle und einen für die anderen Punkte.
    • Wie bepreist: Die Kosten gelten pro Versuch. Die Kosten werden so bepreist, wie die Organisation eines Kunden abgerechnet wird: der vorherige Prompt jeder Anfrage der Agent-Schleife als Cache-Lesevorgang und ihre neuen Token als 5-Minuten-Cache-Schreibvorgang, aus den eigenen Nutzungsdaten der Durchläufe, und jeder Advisor-Aufruf, der keinen Cache verwendet, aus seinen aufgezeichneten Token, alles zu Listenpreisen.
    • Claude Opus 5.5 allein: Claude Opus 5.5 allein lief auf allen 370 Aufgaben, 19. bis 20. September 2026: bei seinem Standard-Effort (medium) und bei high mit fünf Versuchen pro Aufgabe und bei low und xhigh mit einem (jeweils 369 von 370 bewertet, nach einem Fehlschlag der Setup-Prüfung). Claude Opus 5.5 allein löste 74,8 % der Versuche bei low für 0,35 $ pro Versuch, 86,6 % bei medium für 0,84 $, 88,4 % bei high für 1,38 $ und 91,1 % bei xhigh für 4,11 $.
    • Claude Opus 5.5 mit einem Claude Fable 5.1-Advisor, Durchläufe: Der Claude Opus 5.5-Executor bei high mit dem veröffentlichten Claude Fable 5.1 als Advisor (die August-Durchläufe verwendeten einen Vorabversions-Snapshot) lief an denselben Tagen mit fünf Versuchen pro Aufgabe; eine Aufgabe bestand ihre Setup-Prüfung nicht, daher wurden 1.845 Versuche bewertet. Die 279 Versuche, bei denen der Advisor unter Last abgewiesen wurde, wurden erneut ausgeführt, und Versuche, deren Konsultationen ein Timeout hatten, wurden beibehalten, wie im August.
    • Claude Fable 5.1 und Claude Fable 5.2 allein: Zum Vergleich erzielte das veröffentlichte Claude Fable 5.1 allein bei high, seinem Standard, 85,7 % (317 von 370 Aufgaben), ein Versuch pro Aufgabe am 7. Oktober 2026. Claude Fable 5.2 allein lief auf allen 370 Aufgaben, ein Versuch pro Aufgabe bei low, medium und high (369 von 370 bei medium bewertet, nach einem Fehlschlag der Setup-Prüfung).
    • Konsultationen: Die August-Paarung hatte im Durchschnitt etwa zwei Advisor-Konsultationen pro Versuch; die Claude Opus 5.5-Paarung forderte 1,39 an und erhielt 1,35.
    • Claude Opus 5.5 mit einem Claude Fable 5.1-Advisor, Ergebnisse: Die Claude Opus 5.5-Paarung erzielte 90,1 % bei 2,92 $ pro Versuch: verglichen mit Claude Opus 5.5 bei seinem Standard, medium, sind das 3,5 Punkte für etwa das 3,5-Fache des Geldes. Die Latenzkosten sind die Konsultationen selbst: etwa ein oder zwei zusätzliche Aufrufe eines Frontier-Modells pro Aufgabe, jeweils auf dem kritischen Pfad der Aufgabe. Mit dem Claude Opus 5.5-Executor sparte der Rat fast keine Executor-Kosten: 1,36 $ pro Versuch gegenüber 1,38 $ für Claude Opus 5.5 allein bei high, während die Konsultationen 1,55 $ kosteten.
    • August-Paarung: Im August, mit einem Claude Opus 5-Executor und einem Claude Fable 5.1-Advisor, gab der Executor pro Versuch 1,26 $ weniger aus als Claude Opus 5 allein bei seinem Standard, und die Konsultationen kosteten 2,47 $, sodass diese Ersparnis etwa die Hälfte des Rats bezahlte. Diese August-Paarung war zu dem Zeitpunkt die genaueste gemessene Konfiguration, bei 6,21 $ pro Versuch.
    • Claude Sonnet 5.5 allein, Durchläufe: Claude Sonnet 5.5 allein lief am 24. September 2026 auf allen 370 Aufgaben, bei seinem Standard-Effort (high) und bei medium, ein Versuch pro Aufgabe, mit demselben Ausgabelimit von 128.000 Token, das keinen seiner Versuche abbrach. Alle 370 wurden bei medium bewertet und 369 von 370 bei high, nach einem Fehlschlag der Setup-Prüfung. Seine Kosten werden so bepreist, wie die Organisation eines Kunden abgerechnet wird.
    • Claude Sonnet 5.5 allein, Ergebnisse: Ohne Advisor erzielte Claude Sonnet 5.5 bei seinem Standard, high, 77,8 % für 0,33 $ pro Versuch, etwa 9 Punkte unter Claude Opus 5.5 bei seinem Standard für etwa zwei Fünftel der Kosten; bei medium erzielte es 62,7 % für 0,16 $. Bei medium erzielte Claude Sonnet 5.5 etwa 15 Punkte weniger als bei seinem Standard, high, für etwa 48 % der Kosten pro Versuch.
    • Modelle vergleichen: In Modelle vergleichen kostete Claude Opus 5.5 bei seinem Standard pro Versuch weniger als zwei Drittel so viel wie Claude Fable 5.2 bei medium, was ein einzelner Durchlauf ist. Bei low erzielte Fable 5.2 ebenfalls 88,9 % für 1,05 $ pro Versuch. Bei high, seinem Standard auf der Messages API, erzielte es 93,5 % für 5,39 $ pro Versuch.
  12. Interner Repository-Aufgaben-Benchmark (Messung der Obergrenze):
    • Was gemessen wurde: Ein separater Anthropic-interner Satz von etwa 130 Repository-Aufgaben, durchgeführt am 20. August 2026 (Claude Fable 5.1) und am 19. September 2026 (Claude Opus 5.5, bei seinem Standard-Effort, medium), mit einer einfachen API-Agent-Schleife, ein Versuch pro Aufgabe. Die Durchläufe mit Claude Fable 5.2 verwendeten dieselbe Schleife, ein Versuch pro Aufgabe; in ihnen beendete, wie in den Durchläufen mit Claude Opus 5.5, ein Turn, der die Obergrenze erreichte, seinen Versuch.
    • Wie bepreist: Die Kosten pro gelöster Aufgabe werden für Claude Fable 5.1 so bepreist, wie ein Kunde abgerechnet wird, mit einem 5-Minuten-Prompt-Cache, und für Claude Opus 5.5 zu Listenpreisen aus den Token-Zahlen, die seine Durchläufe aufgezeichnet haben.
    • Durchläufe mit Claude Fable 5.1 und Claude Fable 5.2: Die Durchläufe mit Claude Fable 5.1 umfassen 135 Aufgaben pro Obergrenze beim explizit gesetzten Standard-Effort. Die Durchläufe mit Claude Fable 5.2 umfassen 134 Aufgaben pro Obergrenze bei high, seinem Standard auf der Messages API, explizit gesetzt; eine Aufgabe wurde nach den Durchläufen mit Claude Fable 5.1 und Claude Opus 5.5 aus dem Satz entfernt. Eine weitere Aufgabe bestand in jedem Durchlauf die eigene Prüfung ihrer Referenzlösung durch den Benchmark nicht, bevor das Modell startete, daher wird sie weggelassen, und pro Obergrenze werden 133 Aufgaben bewertet. Die Zahl für 16.384 Token mittelt zwei Durchläufe (19,5 % und 21,1 %); die Zahlen für 64.000 und 128.000 sind einzelne Durchläufe (77,4 % und 78,2 %). Bei 64.000 bestand eine Aufgabe diese Prüfung bei ihrem ersten Durchlauf nicht und wurde erneut ausgeführt; sie bestand die Prüfung und wird bewertet. Kein Versuch von Fable 5.2 bei 16.384 oder 64.000 löste eine Sicherheitsverweigerung aus. Bei 128.000 löste ein Versuch eine Sicherheitsverweigerung aus, und einer wurde von einem Sicherheitsmonitor in der Evaluationsumgebung gestoppt, bevor er abgeschlossen war; beide zählen als Fehlschläge. Die Änderungen, die der gestoppte Versuch bis dahin vorgenommen hatte, bestanden die Tests; ließe man ihn weg, ergäbe sich bei 128.000 78,8 %. Die Kosten für Claude Fable 5.2 und Claude Opus 5.5 in der Tabelle bepreisen die aufgezeichnete Token-Nutzung jedes Versuchs zu den Listenpreisen des Modells. Die Ergebnisse der beiden Modelle wurden mit unterschiedlichen Versionen des Bewertungscodes des Benchmarks bewertet.
    • Durchläufe mit Claude Opus 5.5: Die Zahl für Claude Opus 5.5 bei 16.384 Token mittelt zwei Durchläufe (134 und 135 bewertete Aufgaben), und seine Zahlen für 64.000 und 128.000 sind einzelne Durchläufe (je 135 Aufgaben); zwei Versuche in jedem 16.384-Token-Durchlauf und einer in jedem der Durchläufe mit 64.000 und 128.000 Token endeten mit einer Sicherheitsverweigerung und zählen als Fehlschläge. Claude Opus 5.5 löste 57,6 % bei 16.384 (58,2 % und 57,0 %), 75,6 % bei 64.000 und 68,9 % bei 128.000. Keiner seiner Versuche wurde bei 64.000 oder 128.000 abgebrochen, daher erklärt die Obergrenze den Unterschied zwischen diesen beiden Durchläufen nicht.
    • Von der Obergrenze beendete Versuche: Nur 1 der 66 Claude Opus 5.5-Versuche, die die Obergrenze von 16.384 Token beendete, und 9 der 117 Claude Fable 5.1-Versuche bestanden dennoch. Ebenso 20 der 226 Claude Fable 5.2-Versuche.
    • Kosten pro Versuch: Die Kosten pro Versuch betrugen für Claude Opus 5.5 3 $ bei 16.384 und 4 $ bei 64.000, zu Listenpreisen, und für Claude Fable 5.1 8 $ und 13 $, so wie ein Kunde abgerechnet wird. Für Claude Fable 5.2 betrugen sie 6 $ und 19 $, zu Listenpreisen.
    • Obergrenzen-Zahlen für SWE-bench Pro: Die Obergrenzen-Zahlen für SWE-bench Pro sind ein Claude Fable 5.1-Durchlauf pro Obergrenze beim Standard-Effort, durchgeführt am 26. August 2026, auf einer Teilmenge von 100 Problemen, stratifiziert aus dem 482-Probleme-Satz von Referenz 3, nicht mit dessen Werten vergleichbar; beim Standard-Effort lösten die Durchläufe bei 16.384 und bei 64.000 jeweils 94 der 100 Probleme.
    • Turn-Länge: Die Verteilungen pro Turn im Punktdiagramm des Abschnitts stammen aus den Durchläufen mit Claude Opus 5.5 und Claude Fable 5.1 bei 128.000: kein Opus-5.5-Turn erreichte die Obergrenze (der längste hatte etwa 61.000 Token, und 0,56 % seiner Turns überschritten 16.384), und ein Fable-5.1-Turn erreichte 128.000 (0,46 % seiner Turns überschritten 16.384). Mit der Obergrenze bei 128.000 waren 2 der 14.331 Turns von Claude Fable 5.1 länger als 64.000 Token, und kein Turn von Claude Opus 5.5. Mit der Obergrenze bei 128.000 waren 303 der 17.750 Turns von Claude Fable 5.2 (1,7 %) länger als 16.384 Token und 7 länger als 64.000, einschließlich der Turns von Versuchen, die abgebrochen und erneut ausgeführt wurden.
  13. Chartography: Surge AI, “Chartography,” 2026.
    • Was gemessen wurde: Der vollständige veröffentlichte Satz mit 100 Fragen, gemessen am 6. und 9. August 2026 (Claude Opus 5 allein) und am 20. September 2026 (Claude Opus 5.5), mit Anthropics Implementierung auf Claude Managed Agents (Standard-Cloud-Sandbox; Advisor-Konfigurationen verwenden den Managed-Agents-Advisor).
    • Wie bewertet: Claude Sonnet 4.6 bewertet anstelle des Referenzbewerters, und der Benchmark läuft mit Tools, daher sind die Werte hier über Konfigurationen hinweg vergleichbar, aber nicht mit dem veröffentlichten Leaderboard. Sie sind auch nicht mit den Chartography-Ergebnissen in der System Card von Claude Opus 5.5 vergleichbar, die einen anderen Bewerter verwenden und mit max-Effort laufen. Zwei Durchläufe pro Konfiguration (drei für Claude Opus 5.5), zusammengefasst; die Streuung zwischen Durchläufen betrug bis zu 10 Punkte.
    • Wie bepreist: Die Kosten sind das, was einem Kunden, der den Agenten routinemäßig ausführt, in Rechnung gestellt wird: die erste Anfrage jedes Diagramms liest den gemeinsamen System-Prompt und die Tools des Agenten aus dem Cache, wie es der Fall ist, wenn in den vorangegangenen 5 Minuten eine andere Sitzung desselben Agenten lief. Ein für sich allein ausgeführtes Diagramm kostet mit Claude Opus 5 oder Claude Opus 5.5 etwa 0,03 $ mehr und mit Claude Fable 5.1 etwa 0,12 $ mehr. Die August-Zahlen werden auf diese Weise aus den Nutzungsdaten der Durchläufe neu bepreist. Die Kosten schließen Sandbox-Zeit aus, die den August-Durchläufen weniger als 1 % hinzufügte.
    • Claude Fable 5.1 allein, August-Durchläufe: Die Durchläufe von Claude Fable 5.1 allein stammen vom 24. August 2026, unter den Serving-Einstellungen der Plattform zum Launch, zwei Durchläufe pro Einstellung; sechs Versuche erreichten die Sitzungsobergrenze von 15 Minuten und erhalten 0 Punkte, und zwei Diagramme pro Durchlauf wurden nach einer Sicherheitsverweigerung von Claude Opus 5 beantwortet.
    • Claude Opus 5 mit einem Claude Fable 5.1-Advisor: Der Claude Opus 5-Executor mit niedrigem Effort und einem Claude Fable 5.1-Advisor lief am 30. August 2026 zweimal unter denselben Einstellungen (63,0 und 67,0, Mittelwert 65,0, bei 0,47 $ pro Diagramm; der Advisor wurde in jedem Durchlauf bei 88 % der Aufgaben konsultiert, und 4 seiner 219 Antworten kamen stattdessen von Claude Opus 5, jeweils nachdem ein Produktions-Sicherheitsfilter die eigene Antwort des Advisors gestoppt hatte). Diese Paarung erreichte Claude Fable 5.1 allein bei medium innerhalb des Rauschens zwischen Durchläufen (65,0 gegenüber 67,5) bei etwa dem 1,8-Fachen der Kosten pro Aufgabe: eine Konsultation, die bei den meisten Aufgaben ausgelöst wird, kostet mehr, als das stärkere Modell selbst auszuführen.
    • Durchläufe mit Claude Opus 5.5: Claude Opus 5.5 lief bei low, mit deaktiviertem serverseitigem Fallback und einem Sicherheitsklassifikator, der jeden Tool-Aufruf beurteilte: drei Durchläufe allein (70, 68 und 68) und drei mit einem konfigurierten Claude Fable 5.1-Advisor (59, 63 und 63), in denen es den Advisor bei 1 von 300 Aufgaben konsultierte.
    • Ergebnisse bei low-Effort: Auf diesem Benchmark zum Lesen von Diagrammen erzielte Claude Opus 5.5 bei low 68,7 für etwa 0,03 $ pro Diagramm, gegenüber 62,5 für 0,15 $ von Claude Fable 5.1 bei low und 49 für 0,16 $ von Claude Opus 5 bei low.
    • Claude Fable 5.1 allein, Oktober-Durchläufe: Zum Vergleich mit der Claude Opus 5.5-Paarung wurde Claude Fable 5.1 allein bei high, seinem Standard, am 7. Oktober 2026 dreimal ausgeführt, mit derselben Implementierung und denselben Plattformeinstellungen wie die Claude Opus 5.5-Durchläufe: 82, 79 und 79, ein Mittelwert von 80,0.
    • Konsultationsrate: Der Vergleich der Konsultationsrate für die früheren Paarungen stammt aus der erneuten Ausführung derselben Konfigurationen auf der Messages API mit einem Container-Toolset, 10. bis 11. August 2026.
  14. Evaluation des Prompt-Audits für einen Support-Desk:
    • Was gemessen wurde: Ein von Anthropic erstellter Satz von 44 Support-Tickets mit deterministischer Bewertung, durchgeführt Anfang August 2026 und berichtet am 8. August 2026, unter sechs System-Prompts, von denen jeder demselben sauberen Prompt ein Muster hinzufügt, das in für Claude Opus 4.8 und Claude Sonnet 4.6 geschriebenen Prompts häufig vorkommt.
    • Das Diagramm: Jeder Diagrammpunkt ist einer von drei Fällen (älteres Modell, neueres Modell mit demselben Prompt, neueres Modell nach dem Audit), gemittelt über die sechs Prompts und 44 Tickets.
    • Ergebnisse, Claude Opus 5: Auf Claude Opus 5 kosteten die für Claude Opus 4.8 geschriebenen Prompts pro Ticket 36 % mehr als auf Claude Opus 4.8, ohne Änderung der Genauigkeit. Nach dem Audit kosteten sie auf Claude Opus 5 14 % weniger als davor (aus den ungerundeten Mittelwerten; die gerundeten Kosten des Diagramms, 3,43 und 2,93 US-Cent pro Ticket, ergeben 14,6 %), und Claude Opus 5 löste 97 % der Tickets korrekt, gegenüber 92 % zuvor. Nach Muster, auf Claude Opus 5: das Entfernen von „zweimal überprüfen“ senkte die Kosten pro Ticket um ein Drittel, und das Entfernen von „maximal gründlich sein“ senkte sie fast ebenso stark; das Entfernen der eingestellten Thinking-Einstellung, der widersprüchlichen Regeln und des selbstgebauten Scratchpads stellte jeweils 7 bis 11 Punkte Genauigkeit wieder her.
    • Ergebnisse, Claude Sonnet 5: Bei der Migration von Claude Sonnet 4.6 zu Claude Sonnet 5 senkte das Audit die Kosten pro Ticket um 14 % bei gleicher Genauigkeit.
    • Einschränkungen: Der Genauigkeitsgewinn bei Opus 5 hat ein 95-%-Konfidenzintervall von 3 bis 8 Punkten; die Genauigkeitsunterschiede bei Sonnet liegen innerhalb des Rauschens.
  15. Fragensatz zu Datendateien: Ein von Anthropic erstellter Satz von 25 Aggregatfragen über einen Ausschnitt von 1.862 Zeilen einer öffentlichen CSV-Datei zu Spirituosenverkäufen, mit durch pandas berechneter Ground Truth und Bewertung nach exakter Übereinstimmung, ausgeführt auf Claude Sonnet 5 und Claude Opus 5 mit deaktiviertem Nachdenken (der In-Context-Zweig kann beim Standard nicht abschließen), einem Ausgabelimit von 4.000 Token und ohne Prompt-Caching, drei Durchläufe pro Konfiguration, durchgeführt am 19. August 2026. Der Datei-Zweig lädt die CSV über die Files API hoch und verwendet das Tool code_execution_20260120. Die drei Claude Sonnet 5-Durchläufe des In-Context-Zweigs beantworteten 6, 7 und 7 der 25 Fragen korrekt; die Beschriftung des Diagramms und der Text geben ihren Mittelwert, 6,67, auf die nächste Frage gerundet an, und der Punkt des Diagramms ist beim Mittelwert, 26,7 %, eingezeichnet.
  16. Messung der Cache-Dauer:
    • Was gemessen wurde: Der Triage-Job mit 20 Issues aus Eingabe- und Kontext-Token kürzen, ausgeführt auf Claude Sonnet 5 am 23. August 2026 und auf Claude Opus 5.5 am 19. und 20. September 2026, bei seinem Standard-Effort (medium) und bei high, auf der Messages API mit demselben Harness (für Claude Opus 5.5 eine Portierung davon, die dieselben Request-Bodies sendet), die Claude Opus 5.5-Zellen mit auf 4.096 erhöhtem max_tokens, mit Pausen, die vor einem zufällig gewählten Anteil der Turns eingefügt wurden (keine, 5 %, 10 % und jeder Turn bei 6 Minuten auf allen 20 Issues bei beiden Modellen, plus jeder Turn bei 2 Minuten auf Claude Sonnet 5; Pausen von 20 und 45 Minuten auf einer Teilmenge von 5 Issues bei beiden Modellen). Die Zahlen für Claude Opus 5.5 auf dieser Seite decken beide Effort-Stufen ab.
    • Andere Modelle und Daten: Die Keep-alive-Zahlen für Claude Opus 5 unten stammen aus demselben Job am 23. August 2026, mit auf 4.096 erhöhtem max_tokens, mit denselben Zeitplänen außer den Pausen von 2 und 45 Minuten. Claude Sonnet 5.5 führte dieselbe Messung wie Claude Sonnet 5 durch (dieselben Pausenzeitpläne und drei Cache-Einstellungen, drei Durchläufe pro Zelle), mit dem für Claude Opus 5.5 verwendeten portierten Harness, bei seinem Standard-Effort, high, am 24. September 2026.
    • Wie bewertet und bepreist: Drei Durchläufe pro Zelle, Kosten berechnet aus den usage-Feldern jeder Antwort zu Listenpreisen (für Claude Opus 5.5 4 $ Eingabe, 5 $ 5-Minuten-Schreibvorgang, 8 $ 1-Stunden-Schreibvorgang, 0,20 $ Cache-Lesevorgang und 20 $ Ausgabe pro Million Token; Claude Sonnet 5 lief in einer Anthropic-internen Organisation, deren Nutzung auf dieselbe Weise abgerechnet wird wie die einer Kundenorganisation), Genauigkeit gegenüber denselben Gold-Labels.
    • Wie ausgeführt und bepreist, Claude Sonnet 5.5: Claude Sonnet 5.5 setzte max_tokens bei Sitzungsanfragen auf 4.096 und bei Keep-alive-Anfragen auf 1, lief in einer Anthropic-internen Organisation, deren Nutzung auf dieselbe Weise abgerechnet wird wie die einer Kundenorganisation, und wird zu seinen aktuellen Listenpreisen bepreist (2 $ Eingabe, 2,50 $ 5-Minuten-Schreibvorgang, 4 $ 1-Stunden-Schreibvorgang, 0,10 $ Cache-Lesevorgang und 10 $ Ausgabe pro Million Token). Abgesehen vom höheren max_tokens, das kein Turn erreichte, unterscheidet sich eine Eingabe von den Claude Sonnet 5-Durchläufen: das eine animierte GIF des Jobs wurde als PNG seines ersten Frames gesendet, des einzigen Frames, den die API verwendet (Vision), und beide zählen als dieselbe Anzahl an Eingabe-Token.
    • Break-even: Der Break-even liegt bei etwa 3,3 % der Turns auf Claude Sonnet 5 und bei 3,1 % bis 3,2 % auf Claude Opus 5.5: der Median des Break-even-Anteils jeder Sitzung, vom Kostenmodell aus den Turn-für-Turn-Kontextgrößen dieser Sitzung berechnet, über alle 45 Claude Sonnet 5-Sitzungen mit zwanzig Issues und die 36 Claude Opus 5.5-Sitzungen mit zwanzig Issues auf jeder Effort-Stufe (jeder Pausenzeitplan auf dem vollständigen Job ausgeführt, unter allen drei Cache-Einstellungen, je drei Durchläufe; die 5-Issue-Zellen sind nicht enthalten). Der Break-even auf Claude Sonnet 5.5 liegt bei etwa 3,1 % der Turns, der Median über seine 45 Sitzungen mit zwanzig Issues. Das Diagramm zur Cache-Dauer stellt diese Claude Sonnet 5.5-Sitzungen dar, drei pro Punkt.
    • 5-Minuten- und 1-Stunden-Einstellung, Claude Sonnet 5 und Claude Opus 5.5: In der 5-%-Zelle lagen die 5-Minuten- und die 1-Stunden-Einstellung auf Claude Sonnet 5 gleichauf, weil die Pausen dieser Ziehung auf kleine Präfixe fielen; auf Claude Opus 5.5 lagen sie nahezu gleichauf. Auf Claude Sonnet 5, bei seinem Cache-Lesepreis von 0,20 $ pro Million Token, kostete eine Sitzung mit der 5-Minuten-Einstellung 0,60 $, 0,69 $ und 0,99 $ ohne Pausen, mit 5 % und mit 10 % pausierten Turns, und mit der 1-Stunden-Einstellung 0,70 $, 0,70 $ und 0,71 $.
    • Keep-alive-Anfragen, Claude Sonnet 5 und Claude Opus 5: Anthropic hat Keep-alive-Anfragen, die den 5-Minuten-Cache auffrischen, auf Claude Sonnet 5 und Claude Opus 5 am 23. August 2026 und auf Claude Opus 5.5 in den obigen Durchläufen gemessen, stets mit max_tokens: 1 gesendet. Auf Claude Sonnet 5 kosteten sie 7,7 % weniger als die 1-Stunden-Einstellung mit 5 % pausierten Turns und etwa gleich viel mit 10 %; auf Claude Opus 5 war bei keinem der beiden Anteile ein Unterschied messbar; auf beiden kosteten sie mehr mit einer Pause von 6 Minuten oder mehr vor jedem Turn. Auf diesen beiden Modellen ist daher die 1-Stunden-Dauer die zu verwendende Einstellung, nicht Keep-alive-Anfragen.
    • Keep-alive-Anfragen, Claude Opus 5.5: Auf Claude Opus 5.5 kosteten Keep-alive-Anfragen 8 % bis 18 % weniger als die 1-Stunden-Einstellung mit 5 % und 10 % pausierten Turns (8 % bis 13 % weniger bei seinem Standard-Effort, medium, und 10 % bis 18 % weniger bei high; etwa 10 % bis 15 %, sobald das Rauschen zwischen Sitzungen entfernt wird, indem die eigenen Token jeder Keep-alive-Sitzung zu 1-Stunden-Cache-Preisen neu abgerechnet werden), und mehr mit einer Pause vor jedem Turn: 4 % bis 6 % mehr bei 6 Minuten, 9 % bis 10 % bei 20 Minuten und 56 % bis 58 % bei 45 Minuten.
    • Anfragen mit max_tokens: 0: Gemessen am 20. Oktober 2026 auf Claude Fable 5.1, Claude Opus 5.5, Claude Sonnet 5.5 und Claude Haiku 5.5, dreimal pro Modell, mit einem System-Prompt von 10.000 Token und dem 5-Minuten-Cache. Eine Anfrage mit max_tokens: 0, 4 Minuten nach dem Cache-Schreibvorgang gesendet, lieferte keine Ausgabe, las den gesamten Eintrag und schrieb nichts. Eine Anfrage 4 Minuten später, 8 Minuten nach dem Schreibvorgang, las immer noch den gesamten Eintrag. Ohne die Anfrage mit max_tokens: 0 las die Anfrage nach 8 Minuten nichts und schrieb das Präfix erneut, alle 12 Male.
    • 5-Minuten- und 1-Stunden-Einstellung, Claude Sonnet 5.5: Mit 5 % pausierten Turns kostete die 5-Minuten-Einstellung im Durchschnitt 5 % mehr als die 1-Stunden-Einstellung (2 % weniger bis 12 % mehr über die drei Durchläufe), was innerhalb der Schwankung zwischen Durchläufen liegt: die Pausen dieser Ziehung fielen auf kleine Präfixe, wie auf Claude Sonnet 5, und die Neuabrechnung der eigenen Token jeder 5-Minuten-Sitzung zu 1-Stunden-Cache-Preisen ergibt etwa 1 % mehr. Mit 10 % pausierten Turns kostete sie 54 % mehr (36 % bis 73 % mehr). Ohne Pausen kostete die 5-Minuten-Einstellung im Durchschnitt 19 % weniger als die 1-Stunden-Einstellung (3 % bis 32 % weniger über die drei Durchläufe; der höhere Schreibpreis der 1-Stunden-Einstellung sagt etwa 20 % voraus) und in jedem Durchlauf mit 2-Minuten-Pausen 21 % bis 24 % weniger.
    • Keep-alive-Anfragen, Claude Sonnet 5.5: Keep-alive-Anfragen kosteten im Durchschnitt 16 % weniger als die 1-Stunden-Einstellung mit 5 % pausierten Turns (13 % bis 20 % weniger über die drei Durchläufe) und 8 % weniger mit 10 % (3 % bis 10 % weniger), und kosteten mehr mit einer Pause von 6 Minuten oder mehr vor jedem Turn. Mit 5 % und 10 % pausierten Turns dauerten die Pausen auf Claude Sonnet 5.5 und auf Claude Opus 5.5 6 bis 32 Minuten. Die Neuabrechnung der eigenen Token jeder Keep-alive-Sitzung zu 1-Stunden-Cache-Preisen, wie oben für Claude Opus 5.5, ergibt 15 % bis 16 % weniger bei 5 % pausiert und etwa 10 % weniger bei 10 %, und mit einer Pause vor jedem Turn 7 % mehr bei 6 Minuten, 9 % bis 10 % mehr bei 20 Minuten und 66 % bis 73 % mehr bei 45 Minuten. Die 6-Minuten-Zahlen lassen Durchlauf 3 weg, in dem 2 der 39 Keep-alive-Anfragen dieser Sitzung ein Timeout hatten: der Cache lief vor diesen beiden Turns ab, die Sitzung schrieb 214.000 Token in den Cache gegenüber 80.000 bis 85.000 in den Durchläufen 1 und 2, und sie kostete 38 % mehr als die 1-Stunden-Sitzung von Durchlauf 3.
    • Keep-alive-Anfragen, Claude Sonnet 5.5, nach Durchlauf: Vergleicht man stattdessen die Keep-alive-Sitzung jedes Durchlaufs mit der 1-Stunden-Sitzung desselben Durchlaufs, kostete Keep-alive bei 6 Minuten etwa gleich viel bis 10 % mehr (Durchläufe 1 und 2; im Durchschnitt 4 % mehr), bei 20 Minuten etwa gleich viel bis 16 % mehr und bei 45 Minuten 64 % bis 80 % mehr.
    • Keep-alive-Anfragen, Claude Sonnet 5.5, Stichprobengröße: Die 6-Minuten-Punkte des Keep-alive-Diagramms mitteln die Durchläufe 1 und 2 für alle drei Einstellungen. Jede Zelle umfasst drei Sitzungen (zwei für die obigen 6-Minuten-Zahlen). Ohne Pausen sendet Keep-alive keine zusätzlichen Anfragen und entspricht daher der 5-Minuten-Einstellung, dennoch unterschieden sich die beiden innerhalb eines einzelnen Durchlaufs um bis zu 23 %, sodass ein Unterschied von wenigen Prozent in einem Mittelwert über drei Durchläufe kein klarer Effekt ist.
    • Caching aus und an, Claude Sonnet 5: Auf Claude Sonnet 5 wurde derselbe Job mit deaktiviertem und mit aktiviertem Caching ausgeführt, je drei Durchläufe am 19. August 2026, mit max_tokens bei 700: 3,36 $ gegenüber 0,57 $ pro Sitzung im Durchschnitt, eine Ersparnis von 83 %.
    • Bepreist aus aufgezeichneten Token-Zahlen, Claude Sonnet 5.5: Anthropic hat außerdem die aufgezeichneten Token-Zahlen der drei Claude Sonnet 5.5-Sitzungen mit dem 5-Minuten-Cache und ohne Pausen für die Caching-Zahl in Warum Caching an erster Stelle steht neu bepreist. Jede dieser drei Sitzungen ist eine Konversation mit 40 Anfragen über die 20 Issues des Jobs. Zu Listenpreisen mit Stand 12. Oktober 2026 kosteten die Sitzungen im Durchschnitt je 0,51 $, aus den Nutzungsfeldern, gegenüber 3,70 $ mit jedem Eingabe-Token zum Eingabepreis und unveränderten Ausgabe-Token: eine Ersparnis von 86 % (86 % bis 87 % über die drei Sitzungen), oder ein Faktor von 7,3. Zum Einführungspreis für Cache-Lesevorgänge von 0,20 $ beträgt die Ersparnis 82 %, sodass der Anstieg gegenüber der Zahl für Claude Sonnet 5 vom niedrigeren Cache-Lesepreis herrührt.
    • Bepreist aus aufgezeichneten Token-Zahlen, Claude Opus 5.5: Auf dieselbe Weise neu bepreist, kosteten die drei Claude Opus 5.5-Sitzungen bei seinem Standard-Effort, medium, mit dem 5-Minuten-Cache und ohne Pausen im Durchschnitt je 1,02 $ gegenüber 6,93 $, eine Ersparnis von 85 %, oder ein Faktor von 6,8; das Modell verwendete Nachdenken in 79 % der Anfragen.
    • Wie Nachdenken eingestellt war, nur zwei Gruppen von Durchläufen: Die Anfragen der drei Claude Sonnet 5.5-Sitzungen mit dem 5-Minuten-Cache und ohne Pausen setzten keine Thinking-Option, daher blieb Nachdenken beim Standard des Modells, und das Modell verwendete es in 38 % der Anfragen. Die Anfragen der Claude Sonnet 5-Durchläufe mit deaktiviertem und mit aktiviertem Caching setzten ebenfalls keine Thinking-Option, daher blieb Nachdenken beim Standard des Modells, und das Modell verwendete es in 41 von 121 Anfragen mit deaktiviertem Caching und in 40 von 120 mit aktiviertem Caching.
    • Latenz nach einer Pause: Auf Claude Sonnet 5 und Claude Opus 5 behielt der Turn nach einer Pause mit der 1-Stunden-Einstellung seine Latenz bei warmem Cache.
    • Die Dauer mitten in der Konversation ändern: Gemessen am 21. Oktober 2026 auf Claude Fable 5.1, Claude Opus 5.5, Claude Sonnet 5.5 und Claude Haiku 5.5, über die Messages API ohne Tools, mit adaptivem Nachdenken, high-Effort, einem Cache-Breakpoint am System-Prompt und automatischem Caching oder einem expliziten Breakpoint am letzten Block. Die Konversationen enthielten etwa 5.000 oder 100.000 Token Fülltext, mit festen einwortigen Assistant-Turns und ohne Thinking-Blöcke. In einer mit der 5-Minuten-Dauer gecachten Konversation las die erste Anfrage, die mit der 1-Stunden-Dauer einen Turn hinzufügte, nichts und schrieb den gesamten Prompt zum 1-Stunden-Preis (55 von 55). Die nächste Anfrage mit der 1-Stunden-Dauer las alles (36 von 36). Ein System-Prompt, der mit der 1-Stunden-Dauer ab der ersten Anfrage gecacht war, wurde weiterhin gelesen (12 von 12). Eine Anfrage, die mit der 1-Stunden-Dauer nichts hinzufügte, las die 5-Minuten-Einträge (31 von 31) und verlängerte sie nicht: 8 Minuten später las dieselbe Anfrage nichts (12 von 12). In einer mit der 1-Stunden-Dauer gecachten Konversation las eine Anfrage mit der 5-Minuten-Dauer alles und schrieb nur ihren neuen Turn (12 von 12). Die Anfragen liefen in einer Anthropic-internen Organisation auf der Claude API.
    • Die Dauer mitten in der Konversation ändern, wie bepreist: Aus den usage-Feldern zu Listenpreisen, bei knapp über 100.000 Token, mit max_tokens auf 16, kostete die erste Anfrage, die mit der 1-Stunden-Dauer einen Turn hinzufügte, auf den vier Modellen in der genannten Reihenfolge 2,01 $, 0,80 $, 0,40 $ und 0,10 $. Ein Turn, der den Cache las, kostete 0,026 $, 0,020 $, 0,010 $ und 0,005 $. Claude Haiku 5.5 ist zu seinen Preisen für langen Kontext berechnet.
  17. Anteil der Cache-Lesevorgänge in der Produktion: Aggregierte First-Party-Nutzung der Claude API für die 14 Tage bis zum 23. August 2026, nur das direkte API-Produkt, Anthropic-interne Organisationen ausgeschlossen, keine Organisation identifiziert. Ein Organisationstag zählt als Agent-Schleife, wenn seine Anfragen Tool-Definitionen und Tool-Ergebnisse enthalten, seine Prompts im Durchschnitt 9 oder mehr vorherige Tool-Aufrufe enthalten, Caching verwendet wurde und er mindestens 10 solcher Anfragen stellte (die API hat keine Konversationskennung, daher steht dies stellvertretend für die Konversationslänge): 303.003 Organisationstage über 106.487 Organisationen, medianer Anteil der Cache-Lesevorgänge 84,2 % aller Eingabe-Token, oberes Quartil 91,7 %. Anwendungsfall-Labels (der angegebene Anwendungsfall der Organisation oder andernfalls ihr klassifizierter) decken 74 % dieser Organisationstage und 99 % ihrer Token ab; etwa 72 % der Coding-Organisationstage lesen 80 % oder mehr. Das oberste Dezil der Organisationstage liest 95,9 % oder mehr bei Coding und 94,2 % bis 94,8 % bei Support-, Recherche-, Daten- und anderen Agenten. Die Aufteilung auf Anfrageebene bei 25 oder mehr vorherigen Tool-Aufrufen stammt aus einer sechsstündigen Stichprobe: Coding 92 % gelesen, 7 % geschrieben, unter 1 % ungecacht.
  18. Messungen zu Cache-Brüchen, zum Compaction-Zeitpunkt und zur Statuszeile:
    • Test vom Oktober 2026, eine Änderung an einer langen Konversation: Gemessen am 20. Oktober 2026 auf Claude Fable 5.1, Claude Opus 5.5, Claude Sonnet 5.5 und Claude Haiku 5.5, über die Messages API ohne Tools, mit adaptivem Nachdenken, dem Standard-Effort jedes Modells, dem 5-Minuten-Cache, einem Cache-Breakpoint am System-Prompt und automatischem Caching. Die Konversation enthielt etwa 101.000 Token: einen System-Prompt von 20.000 Token, 13 User-Turns mit Fülltext, die eigene Antwort des Modells auf den ersten Turn mit ihrem Thinking-Block und einwortige Antworten auf den Rest. Nachdem eine Anfrage die Konversation gecacht hatte, fügte eine zweite einen kurzen Turn hinzu, und jede gemessene Anfrage sendete diese längere Konversation mit einer Änderung. Zwei Konversationen pro Modell ergaben dasselbe Ergebnis.
    • Test vom Oktober 2026, gelesene und geschriebene Token: Ohne Änderung und mit einer Effort-Änderung pro Nachricht las die Anfrage alle 101.000 Token und schrieb keine. Mit einer 25 Token langen System-Nachricht mitten in der Konversation oder einer 25 Token langen Statuszeile am Ende des neuesten User-Turns las sie alle und schrieb nur den neuen Text. Eine Effort-Änderung auf oberster Ebene (auf low bei Claude Fable 5.1 und Claude Sonnet 5.5, auf high bei Claude Opus 5.5 und Claude Haiku 5.5) las den System-Prompt von 20.000 Token und schrieb 81.000 Token. Dieselben 25 Token am Anfang oder Ende des System-Prompts lasen nichts und schrieben alle 101.000. Die Anfrage nach einer System-Nachricht mitten in der Konversation, einer Effort-Änderung auf oberster Ebene oder 25 am Ende des System-Prompts hinzugefügten Token las das neue Präfix; eine neue Statuszeile am Anfang schrieb alles erneut. Ein weiterer Test am 21. Oktober 2026, auf denselben vier Modellen mit Konversationen von 5.000 Token und auf allen außer Claude Fable 5.1 mit Konversationen von 100.000 Token, alle mit einwortigen Antworten, sendete mitten in der Konversation zum ersten Mal einen Beta-Header, wie es eine erste Effort-Änderung pro Nachricht tun kann: Diese Anfrage las alles, was die Anfrage davor gecacht hatte, alle 54 Male. Eine ohne Beta-Header gesendete System-Nachricht tat dasselbe, alle 15 Male.
    • Test vom Oktober 2026, wie bepreist: Das Diagramm zeigt die Prompt-Seite einer Anfrage, aus ihren usage-Feldern zu Listenpreisen. Die Werte des Diagramms, in der Reihenfolge Bearbeitung des System-Prompts, System-Nachricht, Effort-Änderung auf oberster Ebene und Effort-Änderung pro Nachricht: Claude Fable 5.1 1,26 $, 0,026 $, 1,02 $ und 0,025 $; Claude Opus 5.5 0,50 $, 0,020 $, 0,41 $ und 0,020 $; Claude Sonnet 5.5 0,25 $, 0,010 $, 0,20 $ und 0,010 $. Die unveränderte Anfrage wiederholte eine frühere Anfrage Byte für Byte; ein neuer Turn von etwa 25 Token fügt weniger als 0,001 $ hinzu. Bei Claude Haiku 5.5, dessen Anfragen über 100.000 Prompt-Token lagen und damit zu seinen Preisen für langen Kontext berechnet wurden: 0,063 $ für die Bearbeitung des System-Prompts, 0,052 $ für die Effort-Änderung und 0,005 $ für den Lesevorgang. Die Anfragen liefen in einer Anthropic-internen Organisation, deren Nutzung genauso gemessen wird wie die einer Kundenorganisation. Die Anfragen enthielten die Einstellung prefix_mismatch_behavior nicht, und die API ließ ihre Thinking-Blöcke, bei denen die Präfixprüfung fehlschlug, durch, sodass sie die Bearbeitungen des System-Prompts in diesen Tests akzeptierte. Jede Anfrage sendete einen früheren Thinking-Block zurück. Auf der Claude API kann dieselbe Bearbeitung auf allen vier Modellen einen 400-Fehler erhalten. Siehe Präfixprüfungen bei Thinking-Blöcken.
    • Test vom November 2026, Bearbeitungen nach einer Compaction: Ausgeführt am 9. November 2026 auf Claude Opus 5.5 und Claude Fable 5.2, über die Messages API mit adaptivem Nachdenken, high-Effort, ohne Caching, einem definierten Tool, tool_choice auf none gesetzt, prefix_mismatch_behavior auf "error" gesetzt und Compaction bei einem Token-Schwellenwert mit einem Trigger von 50.000 Token. Eine erste Anfrage von etwa 55.700 Token löste eine Compaction aus, und ihre Antwort enthielt einen Compaction-Block, gefolgt von einem Thinking-Block. Die nächste Anfrage sendete diese Antwort mit einem neuen User-Turn zurück. Unverändert war sie erfolgreich. Mit einem zu tools hinzugefügten Tool oder mit umformuliertem System-Prompt erhielt sie den 400-Fehler. In einer Konversation ohne Compaction erhielten dieselben zwei Bearbeitungen den 400-Fehler, ebenso das Entfernen eines Textblocks aus einem früheren User-Turn. Eine Konversation jeder Art pro Modell. Bei Claude Fable 5.2 enthielt die Antwort der ersten großen Konversation keinen Thinking-Block. Eine zweite Konversation ersetzte die erste, mit einer schwierigeren Frage, einem höheren max_tokens und benutzerdefinierten Compaction-instructions, und nur die zweite zählt. Die Anfragen liefen auf der Claude API.
    • Was gemessen wurde: Die lange Variante des Triage-Agenten aus Eingabe- und Kontext-Token kürzen, ausgeführt am 24. August 2026 auf Claude Sonnet 5 mit dem 5-Minuten-Cache, Kosten aus den Nutzungsfeldern zu Listenpreisen, fünf Sitzungen pro Zweig: ein Zweig ohne Änderung durchgehend beim Standard-Effort (0,81 $ pro Sitzung) und zwei Zweige, die mit niedrigem Effort beginnen und dieselben zwei cache-brechenden Änderungen vornehmen, einen Wechsel zum Standard-Effort und ein hinzugefügtes Tool, entweder mitten in der Sitzung bei den Anfragen 12 und 17 (0,95 $) oder zusammen bei der ersten Anfrage nach der ersten Compaction (0,75 $).
    • Vierter Zweig: Ein vierter Zweig mit sechs Sitzungen, ausgeführt am 25. August 2026, nahm dieselben zwei Änderungen bei der Anfrage vor, die die erste Compaction auslöste (0,92 $ pro Sitzung): der Zusammenfassungsdurchgang dieser Anfrage schrieb den Kontext von 81.000 Token in den Cache, statt ihn zu lesen, sodass dieser Durchgang 0,21 $ kostete gegenüber 0,04 $ für denselben Durchgang im Grenz-Zweig.
    • Komprimierung: Die Sitzungen führten die erste Compaction bei Anfrage 21 bis 25 durch (16 der 21 Sitzungen bei Anfrage 22), sobald der Prompt den Compaction-Auslöser von 80.000 Token überschritt, und zwei Sitzungen ohne Änderung führten gegen Ende eine zweite Compaction durch. Die niedrigere Gesamtsumme des Grenz-Zweigs gegenüber dem Zweig ohne Änderung spiegelt seine Anfragen mit niedrigem Effort vor der Änderung und diese zweiten Compactions wider, nicht das Caching: die Kosten für erneutes Schreiben der beiden Zweige unterscheiden sich um weniger als 0,01 $.
    • Zweig mitten in der Sitzung: Der Zweig mitten in der Sitzung zahlte 0,23 $ pro Sitzung für erneutes Schreiben in den Cache; der Unterschied zwischen dem Zweig mitten in der Sitzung und dem Grenz-Zweig betrug 0,20 $ mit einem 95-%-Konfidenzintervall von 0,11 $ bis 0,29 $. Im Zweig mitten in der Sitzung schrieben die Effort-Änderung und das hinzugefügte Tool 39.000 bzw. 60.000 gecachte Token neu. Eine seiner Sitzungen lief günstig (0,82 $), nachdem ihr Modell das Such-Tool nach der Compaction falsch aufrief und leere Ergebnisse erhielt; sie ist enthalten, und ohne sie liegt der Zweig im Durchschnitt bei 0,98 $.
    • Genauigkeit und Cache-Lesevorgänge: Die Genauigkeit lag im Durchschnitt bei 14,2 von 20 Labels in jedem Zweig vom 24. August und bei 14,7 im Zweig vom 25. August; Cache-Lesevorgänge machten 91 % der Prompt-Token ohne Änderungen aus, 85 % mitten in der Sitzung, 91 % an der Grenze und 86 % mit den Änderungen bei der auslösenden Anfrage.
    • Separate Messung, Statuszeile: Eine separate Messung am Triage-Job mit 20 Issues aus Eingabe- und Kontext-Token kürzen, ausgeführt am 18. August 2026, ebenfalls auf Claude Sonnet 5 mit dem 5-Minuten-Cache, auf dieselbe Weise bepreist, drei Durchläufe pro Zweig: mit einer Statuszeile von 25 Token am Anfang des System-Prompts kostete ein Durchlauf im Durchschnitt 4,24 $ (4,12 $ bis 4,47 $ über die drei Durchläufe) und las nichts aus dem Cache; mit derselben Zeile am Ende des neuesten User-Turns, nach dem letzten Cache-Breakpoint, kostete ein Durchlauf 0,59 $ (0,55 $ bis 0,61 $). Ersteres ist mehr, als derselbe Job mit deaktiviertem Caching kostete. Eine spätere erneute Ausführung mit derselben Konfiguration ergab 4,28 $ und 0,61 $.
    • Compaction-Trigger bei Claude Haiku 5.5: Gemessen am 21. Oktober 2026 über die Messages API mit Compaction bei einem Token-Schwellenwert, ohne Tools, mit adaptivem Nachdenken, dem Standard-Effort (medium), dem 5-Minuten-Cache, einem Cache-Breakpoint am System-Prompt und automatischem Caching. Jede Sitzung war eine Konversation mit 45 Anfragen: ein System-Prompt von 5.000 Token, 10.000 Token Fülltext bei jedem User-Turn und einwortige Assistant-Turns, außer dass eine Antwort mit einem Compaction-Block vollständig zurückgesendet wurde. Vier Einstellungen liefen mit je drei Sitzungen: Trigger von 150.000 Token (der Standardwert), 90.000 und 50.000 (der niedrigste zulässige Wert) sowie keine Compaction. Die Kosten innerhalb einer Einstellung stimmten auf 4 % überein. Mit dem Standard-Trigger hatten 15 der 45 Antworten jeder Sitzung und alle 3 Zusammenfassungen Prompts über 100.000 Token. Mit einem Trigger von 90.000 enthielt der größte Prompt 97.269 Token. Die Compaction lief bei der ersten Anfrage, deren gesamter Prompt den Trigger erreicht hatte, einschließlich System-Prompt, Cache-Lese- und Cache-Schreibvorgängen. Die Zusammenfassung wurde aus diesem Prompt plus 44 Token geschrieben; zusammen lagen sie bis zu 7.269 Token über dem Trigger. Drei weitere Sitzungen mit einem System-Prompt von 22.000 Token und einem Trigger von 50.000 zeigten, dass der System-Prompt mitzählt. Die Zusammenfassungen waren kurz (184 bis 640 Ausgabe-Token), weil der Text Fülltext war. Die Anfragen liefen in einer Anthropic-internen Organisation auf der Claude API.
    • Compaction-Trigger bei Claude Haiku 5.5, wie bepreist: Aus den usage-Feldern zu Listenpreisen kostete eine Sitzung 0,272 $ mit dem Standard-Trigger, 0,082 $ bei 90.000, 0,075 $ bei 50.000 und 0,729 $ ohne Compaction. Pro Anfrage, von der Anfrage nach der ersten Compaction bis zur letzten Compaction, kosteten die drei Trigger 0,00605 $, 0,00181 $ und 0,00166 $. Mit jedem Prompt zu den Preisen für Prompts bis 100.000 Token würde der Standardwert 0,00206 $ pro Anfrage kosten, und ein Trigger von 90.000 würde 12 % einsparen. Zusammenfassung und Antwort einer Compaction werden jeweils nach der Größe ihres eigenen Prompts bepreist.
  19. Messung der Cache-Dauer auf Claude Fable 5.1 und Claude Fable 5.2: Derselbe Triage-Job mit 20 Issues und dasselbe Harness wie in Referenz 16, mit auf 4.096 erhöhtem max_tokens, ausgeführt am 23. und 26. August 2026 auf dem Launch-Snapshot von Claude Fable 5.1 zu seinen Einführungspreisen (10 $ Eingabe, 12,50 $ 5-Minuten-Schreibvorgang, 20 $ 1-Stunden-Schreibvorgang, 0,25 $ Cache-Lesevorgang, 50 $ Ausgabe pro Million Token), drei Einstellungen pro Zeitplan: der 5-Minuten-Cache, der 1-Stunden-Cache und der 5-Minuten-Cache, warm gehalten durch eine Anfrage mit max_tokens: 0 auf dem unveränderten Präfix alle 4 Minuten, gemessen ab dem Start der vorherigen Anfrage (die Durchläufe vom 23. August sendeten Keep-alive-Anfragen mit max_tokens: 1; in den hier berichteten Zellen vom 26. August frischte jede beantwortete Keep-alive-Anfrage den Cache auf, und ihre Antwort meldete keine Ausgabe-Token). Zeitpläne: keine Pausen, 10 % der Turns und jeder Turn bei 6 Minuten auf allen 20 Issues, und 45-Minuten-Pausen auf der 5-Issue-Teilmenge; drei Durchläufe pro Zelle (sechs für die Keep-alive-Zelle vom 26. August mit 45-Minuten-Pausen), Kosten berechnet aus den usage-Feldern jeder Antwort zu Listenpreisen, Genauigkeit gegenüber denselben Gold-Labels (12 bis 18 exakte Labels von 20). Mittelwerte pro Sitzung am 26. August für die 5-Minuten-, 1-Stunden- und Keep-alive-Einstellung: keine Pausen 2,42 $, 3,09 $, 2,29 $; 10 % pausiert 4,50 $, 2,96 $, 2,36 $; jeder Turn 22,89 $, 3,01 $, 2,62 $; die Zellen vom 23. August stimmen innerhalb von 6 % überein. Die 45-Minuten-Zahlen (1,68 $, 0,59 $ und 0,71 $ pro 5-Issue-Sitzung) stammen aus späteren Sitzungen vom 26. August: die erste Gruppe von Sitzungen dieses Tages wurde abgebrochen, als ihre Maschine heruntergefahren wurde, und die zweite war von einem Fehler im Dienst betroffen und wird beiseitegelassen. Die dritte Gruppe liefert die 5-Minuten- und 1-Stunden-Zahlen; ihre drei Keep-alive-Sitzungen sendeten jede Keep-alive-Anfrage einmal, verloren Anfragen durch Verweigerungen aufgrund des „rate limit“ (Ratenlimit) und sind nicht im Mittelwert enthalten. Die Keep-alive-Zahl ist der Mittelwert von sechs weiteren Sitzungen, die jede verweigerte Keep-alive-Anfrage innerhalb von zwei Sekunden erneut sendeten. Die Durchläufe vom 23. August ergaben 1,67 $, 0,58 $ und 0,70 $. Der Break-even zwischen der 5-Minuten- und der 1-Stunden-Einstellung liegt bei 3,1 % der Turns, dasselbe Maß wie in Referenz 16. Der Cache-Lesevorgang von Claude Fable 5.1 kostet das 0,025-Fache des Eingabepreises, während seine Cache-Schreibvorgänge die Standardmultiplikatoren behalten, sodass eine Keep-alive-Anfrage, die das Präfix erneut liest, günstig ist und der Schreibaufschlag der 1-Stunden-Dauer die größere Rechnung ist, außer bei 45-Minuten-Pausen, wo die Keep-alive-Anfragen mehr kosten als der Aufschlag. Claude Fable 5.2 führte denselben Job bei high, seinem Standard auf der Messages API, und zu Listenpreisen aus (8 $ Eingabe, 10 $ 5-Minuten-Schreibvorgang, 16 $ 1-Stunden-Schreibvorgang, 0,20 $ Cache-Lesevorgang, 40 $ Ausgabe pro Million Token). Wie die Claude Opus 5.5-Zellen in Referenz 16 verwendete es eine Portierung des Harness, die dieselben Request-Bodies sendet, mit auf 4.096 erhöhtem max_tokens. Zeitpläne: keine Pausen, 5 % und 10 % der Turns und jeder Turn bei 6 Minuten auf allen 20 Issues, sowie Pausen von 20 und 45 Minuten auf der 5-Issue-Teilmenge, drei Durchläufe pro Zelle. Die 45-Minuten-Zellen wurden zweimal gemessen; ihre Zahlen fassen beide Gruppen von drei Sitzungen zusammen und lassen, wie bei Claude Fable 5.1, die Keep-alive-Sitzungen weg, die Keep-alive-Anfragen verloren (hier durch Timeouts; eine in jeder Gruppe), sodass die 45-Minuten-Keep-alive-Zahl der Mittelwert von vier Sitzungen ist und die 5-Minuten- und 1-Stunden-Zahlen der Mittelwert von sechs. Durchgehend wurden die Keep-alive-Anfragen mit max_tokens: 0 gesendet. Der Test-Client wartet 30 Sekunden auf eine Keep-alive-Anfrage und wiederholt sie nicht. Über die oben genannten Zeitpläne hinweg hörte er bei 3 von 886 Keep-alive-Anfragen auf zu warten, alle in den 45-Minuten-Zellen, und jedes Mal lief der Cache ab, und die nächste Keep-alive-Anfrage schrieb das Präfix erneut. Mittelwerte pro Sitzung für die 5-Minuten-, 1-Stunden- und Keep-alive-Einstellung: keine Pausen 2,18 $, 2,66 $, 2,23 $; 10 % pausiert 4,16 $, 2,82 $, 2,29 $; jeder Turn bei 6 Minuten 20,36 $, 2,61 $, 2,50 $; sowie 1,43 $, 0,53 $ und 0,65 $ pro 5-Issue-Sitzung mit 45-Minuten-Pausen. Die Ersparnisse von Claude Fable 5.2 in Cache-Dauer wählen sind vor dem Runden berechnet. Mit den beiden Sitzungen, die Keep-alive-Anfragen verloren, lag der 45-Minuten-Keep-alive-Mittelwert bei 0,73 $, 0,20 $ mehr als die 1-Stunden-Einstellung.
  20. Terminal-Bench 3: die 74 Aufgaben des öffentlichen Terminal-Agenten-Benchmarks, ausgeführt auf Claude Managed Agents mit zwei benutzerdefinierten Tools, einer Shell und einem Dateieditor, die das Evaluations-Harness im eigenen Container jeder Aufgabe ausführt, anstelle der integrierten Tools der Plattform, und ansonsten mit den Standardeinstellungen der Plattform für externe Konten, zwei Durchläufe pro Modell mit high-Effort, 27. bis 28. August 2026. Diese Durchläufe verwendeten Terminal-Bench Version 3.0, und ihre Werte sind nicht mit dem öffentlichen Terminal-Bench-Leaderboard oder mit den Terminal-Bench-4.0-Ergebnissen in der System Card von Claude Opus 5.5 vergleichbar, die aus Durchläufen in Claude Code mit max-Effort stammen. Die Zeitlimits jeder Aufgabe betragen das 2,5-Fache der eigenen Limits des Benchmarks, was dem Agenten zwischen 75 Minuten und 20 Stunden pro Aufgabe gibt (5 Stunden für die mediane Aufgabe), und jede Aufgabe erhält das Dreifache des von ihr angegebenen Speichers, von 6 GiB bis 96 GiB, mit zusätzlichem Speicher für die 12 Aufgaben, die Hilfsdienste ausführen. Der Agent hatte keinen allgemeinen Internetzugang: seine Container konnten einen internen Paket-Mirror erreichen, eine kurze Liste von Download-Seiten einschließlich GitHub und des Python Package Index sowie einige für bestimmte Aufgaben spezifische Seiten, und acht der Aufgaben hatten überhaupt keinen Netzwerkzugriff. Die Werte sind rohe Erfolgsquoten über die 148 Versuche pro Modell; einzelne Durchläufe schwanken um 5 bis 11 Punkte. Die Kosten sind das, was einem Kunden zu Listenpreisen in Rechnung gestellt würde, Anfrage für Anfrage aus den Nutzungsdaten der Durchläufe mit der 5-Minuten-Cache-Lebensdauer neu bepreist. Claude Opus 4.7, Claude Opus 4.8 und Claude Opus 5 geben jeweils 8 $ bis 15 $ pro Aufgabe aus. Claude Opus 4.7 beendete 11 seiner 148 Versuche an seinem Ausgabelimit.
  21. DRACO: Perplexity, “DRACO: a Cross-Domain Benchmark for Deep Research Accuracy, Completeness, and Objectivity,” arXiv:2602.11685, 2026.
    • Was gemessen wurde: Seine 100 Rechercheaufgaben über 10 Domänen werden anhand von Experten geschriebener Rubriken mit jeweils etwa 40 gewichteten Kriterien bewertet, und der Wert ist der gewichtete Anteil erfüllter Kriterien, von 0 bis 100.
    • Konfigurationen: Jede Konfiguration lief auf der Claude API mit Claude Opus 5.5, dem standardmäßigen adaptiven Nachdenken, aktivierten Produktions-Sicherheitsklassifikatoren und max_tokens bei 128.000 mit Streaming: ein einzelner Agent mit medium-Effort (dem Standard des Modells) und bei low, der einzelne Agent bei medium mit dem Satz und der Uhr, und ein Team bei medium mit und ohne sie. Das Team ist ein Lead-Agent, der über ein Tool Hilfsagenten desselben Modells starten kann, ohne Obergrenze für ihre Anzahl.
    • Der Satz: Die zwei Änderungen sind ein Satz und eine Uhr. Der Satz, “Time matters here: do not spend time that can be avoided, and the earlier a correct result is obtained, the better.”, steht am Ende der Aufgabe in der ersten user-Nachricht des Agenten, nach einer Leerzeile, und am Ende des Briefings jedes Helfers.
    • Die Uhr: Die Uhr ist die verstrichene Zeit in ganzen Sekunden, etwa [elapsed 252s], die vor jeder Anfrage, einschließlich der ersten, am Ende der neuesten user-Nachricht hinzugefügt wird: in einem eigenen Textblock nach der Aufgabe bei der ersten Anfrage und am Ende des Texts des letzten Tool-Ergebnisses, nach einer Leerzeile, wenn die Nachricht Tool-Ergebnisse enthält. Frühere Uhren bleiben an ihrem Platz, sodass das gecachte Präfix bei der nächsten Anfrage weiterhin übereinstimmt. Jeder Agent in einem Team liest dieselbe Uhr, und der System-Prompt ändert sich nicht.
    • In den gemessenen Durchläufen: Die gemessenen Durchläufe verwendeten diesen Wortlaut und dieses Format. Ihre Uhr startete beim ersten Token der ersten Antwort statt beim Start der Aufgabe. In den gemessenen Team-Durchläufen erreichte der Bericht eines Helfers den Lead in einer separaten Nachricht nach der Uhr, nicht innerhalb des letzten Tool-Ergebnisses.
    • Wann: Jede Konfiguration unternahm drei Versuche bei jeder Aufgabe, mit einem Limit von vier Stunden pro Versuch, durchgeführt am 24. September 2026, und alle Konfigurationen einer Gruppe starteten gemeinsam.
    • Tools: Die Agenten verwendeten Such- und Abruf-Tools, die das Evaluations-Harness über einem Anthropic-Webindex hostet, sowie Python und eine Shell in einer Sandbox ohne Netzwerkzugriff. Diese Tools bestimmen einen Teil der Zeit, und deine werden mit einer anderen Geschwindigkeit laufen, daher gibt die Seite Zeit als Verhältnis zwischen Konfigurationen an, nicht in Minuten.
    • Wie gemessen: Die Zeit ist die Wall-Clock-Zeit eines Versuchs, von seiner ersten Anfrage bis zum Ende der letzten Anfrage eines beliebigen Agenten, einschließlich Tool-Ausführungen, gemittelt über die Versuche einer Aufgabe. Eine Zahl für die typische Aufgabe ist der Median, über die Aufgaben, des Verhältnisses jeder Aufgabe zwischen zwei Konfigurationen.
    • Wie bepreist: Die Kosten jeder Aufgabe sind ihre Anfragen, bepreist zu den öffentlichen Listenpreisen von Claude Opus 5.5, wobei Prompt-Caching so abgerechnet wird, wie es für einen Kunden der Fall wäre, der am Ende jeder Anfrage einen Cache-Breakpoint setzt und die 5-Minuten-Cache-Lebensdauer verwendet. Jede Anfrage liest den Prompt der vorherigen Anfrage aus dem Cache und schreibt den Rest. Die erste Anfrage eines Versuchs und jede Anfrage, die mehr als 5 Minuten nach der vorherigen startet, schreibt ihren gesamten Prompt. Die Kosten decken nur Modell-Token ab; die Tools des Harness verursachen keine Gebühren.
    • Wie bewertet: Alle Intervalle sind 95-%-Bootstrap-Intervalle über Aufgaben, und Wertänderungen sind gepaarte Differenzen über Aufgaben. Claude Opus 5 bewertet die Antworten, sodass Claude Opus 5.5 seine eigene Arbeit nicht bewertet, und der Wert jeder Antwort mittelt fünf Bewertungsdurchläufe.
    • Einschränkungen: Ein Produktions-Sicherheitsklassifikator stoppte in jeder Konfiguration drei Versuche, alle bei einer Aufgabe, und diese Versuche erhalten 0 Punkte; das Weglassen dieser Aufgabe ändert keinen Befund. Die Durchläufe leiteten außerdem die Tool-Nutzung jedes Agenten durch eine Anthropic-interne Sicherheitsprüfung, die Kundenanfragen nicht haben, was jeder Anfrage in jeder Konfiguration Zeit hinzufügt. Auf DRACO stellte der einzelne Agent ohne die Änderungen etwa doppelt so viele Anfragen und das Team etwa ein Drittel mehr, daher lässt die Prüfung die Zeitersparnisse bei DRACO wahrscheinlich etwas größer erscheinen.
    • Ergebnisse, einzelner Agent: Ergebnisse für Dem Modell die verstrichene Zeit zeigen: mit den Änderungen benötigte der einzelne Agent bei der typischen Aufgabe 47 % weniger Zeit bei 60 % niedrigeren Kosten, seine durchschnittlichen Kosten sanken von 1,13 $ auf 0,44 $ pro Aufgabe, und sein Wert lag 4,1 Punkte niedriger (95-%-Intervall 2,9 bis 5,2 niedriger).
    • Ergebnisse, niedrigerer Effort: Das Senken des Effort des einzelnen Agenten sparte mehr Zeit und Kosten als die Änderungen und verlor mehr Punkte. Mit low-Effort erzielte er auf DRACO 13,3 Punkte weniger, auf HLE 3,4 und auf dem Physik-Satz 14,0 als bei medium, und die typische Aufgabe benötigte 84 %, 30 % und 47 % weniger Zeit. Mit den Änderungen bei medium-Effort erzielte er 9,2, 2,5 und 11,0 Punkte mehr als bei low, und die typische Aufgabe dauerte um einen Faktor von 1,2 bis 3,2 länger als bei low.
    • Ergebnisse, Team, Helfer: Der Lead des Teams startete selten Helfer. Ohne die Änderungen startete er einen Helfer in nur 5 von 300 Versuchen auf DRACO, 13 von 1.479 auf HLE und keinem von 280 auf dem Physik-Satz.
    • Ergebnisse, Team: Die Team-Ergebnisse zeigen also größtenteils den Lead-Agenten, der allein arbeitet, mit den eigenen Anweisungen und Tools des Teams. Ohne die Änderungen benötigte das Team bei der typischen DRACO-Aufgabe bereits etwa die Hälfte der Zeit des einzelnen Agenten und erzielte 3,3 Punkte weniger (95-%-Intervall 2,1 bis 4,6 niedriger). Mit den Änderungen benötigte das Team bei der typischen DRACO-Aufgabe 17 % weniger Zeit bei 20 % niedrigeren Kosten und erzielte 1,6 Punkte weniger (95-%-Intervall 0,3 bis 2,8 niedriger).
  22. HLE: Phan et al., “Humanity’s Last Exam,” arXiv:2501.14249, 2025. Von Experten geschriebene Fragen mit exakten Antworten, bewertet anhand der Referenzantworten. Gemessen auf den ersten 500 Fragen der Veröffentlichung vom 10. September 2025, einschließlich Bildern, mit für die Suche gesperrten eigenen Quellen des Benchmarks und demselben Setup wie in Referenz 21. Jede Konfiguration unternahm drei Versuche bei jeder Frage, durchgeführt am 24. September 2026. Claude Opus 5 vergleicht jede Antwort mit der Referenzantwort unter Verwendung des veröffentlichten Bewerter-Prompts des Benchmarks, und die Mehrheit von drei Bewertungen zählt. Die Werte decken in jeder Konfiguration 493 Fragen ab. Bei fünf der übrigen lag die Bewertungsanfrage über dem Limit des Bewerters von 1M Token, und die anderen zwei werden weggelassen, weil der Durchlauf des einzelnen Agenten ohne die Änderungen stoppte, bevor drei seiner Versuche bei ihnen abgeschlossen waren. Zeit- und Kostenverhältnisse decken 492 Fragen für den einzelnen Agenten und 491 für das Team ab, weil für eine oder zwei Fragen keine Zeitmessung vorliegt. Ein Produktions-Sicherheitsklassifikator stoppte 3 % bis 4 % der Versuche jeder Konfiguration, und diese Versuche erhalten 0 Punkte; ihr Weglassen ändert keinen Befund. Ergebnisse für Dem Modell die verstrichene Zeit zeigen: mit den Änderungen benötigte der einzelne Agent bei der typischen Frage 14 % weniger Zeit bei 9 % niedrigeren Kosten. Mit dem Claude Opus 5-Bewerter zeigte sein Wert keine klare Änderung (0,9 Punkte niedriger, 95-%-Intervall 2,5 niedriger bis 0,7 höher). Mit einem zweiten Bewerter, Claude Opus 4.6, lag sein Wert 1,9 Punkte niedriger (95-%-Intervall 0,2 bis 3,7 niedriger). Die durchschnittliche Zeit sank stärker als die der typischen Frage: die durchschnittliche Zeit sank um 43 % und die durchschnittlichen Kosten um 37 %, weil die Änderungen einige sehr lange Fragen verkürzten. Die Zeit des Teams bei der typischen Frage änderte sich um 3 % oder weniger, und sein Wert änderte sich nicht klar.
  23. Physik-Satz: Ein interner Satz von 70 Physikproblemen auf Forschungsniveau, adaptiert aus dem öffentlichen CritPt-Benchmark: Zhu et al., “Probing the Critical Point (CritPt) of AI Reasoning: a Frontier Physics Research Benchmark,” arXiv:2509.26574, 2025. Fachgutachter korrigierten die Problemstellungen. Claude Opus 4.6 bewertet jede Antwort mit Teilpunkten unter Verwendung des Bewertungs-Prompts des Satzes anhand von nicht öffentlichen Referenzlösungen von Experten, daher können die Werte nicht mit veröffentlichten Ergebnissen verglichen werden. Der Wert ist die mittlere Bewertung über die Versuche eines Problems, gemittelt über die Probleme, in Punkten von 100. Gemessen auf allen 70 Problemen, vier Versuche pro Problem, durchgeführt am 24. September 2026. Jeder Agent hatte ein Python-Tool, eine Shell und einen Dateieditor in einem Sandbox-Container ohne Netzwerkzugriff und keine Such- oder Abruf-Tools. Kein Sicherheitsklassifikator stoppte einen Versuch auf dem Physik-Satz. Ansonsten entspricht das Setup dem von Referenz 21. Ergebnisse für Dem Modell die verstrichene Zeit zeigen: mit den Änderungen benötigte der einzelne Agent beim typischen Problem 7 % weniger Zeit bei 4 % niedrigeren Kosten, und sein Wert lag 3,0 Punkte niedriger (95-%-Intervall 0,4 bis 5,6 niedriger). Die Zeit des Teams beim typischen Problem änderte sich um 3 % oder weniger, und sein Wert änderte sich nicht klar. Die durchschnittliche Zeit des einzelnen Agenten sank um 14 %. Die gesamte durchschnittliche Zeitersparnis des einzelnen Agenten stammt von einem Problem, bei dem der Agent ohne die Änderungen pro Versuch etwa eine halbe Stunde lang Code ausführte; ohne dieses Problem ist seine durchschnittliche Zeit mit und ohne die Änderungen etwa gleich.
  24. tau2-bench retail: Barres et al., "τ²-Bench: Evaluating Conversational Agents in a Dual-Control Environment," arXiv:2506.07982, 2025.
    • Was gemessen wurde: Die 114 Aufgaben der Retail-Domäne liefen auf dem öffentlichen Harness gegen die Claude API, mit Claude Haiku 4.5 als simuliertem Benutzer, Claude Sonnet 5 als Bewerter für natürliche Sprache und aktiviertem Prompt-Caching; die Aufgaben wurden in 57 für die Suche und 57 zurückgehaltene aufgeteilt.
    • Wann: Die zwei Suchen liefen am 6. September 2026, gesteuert durch den Befehl hillclimb des Claude API Skills. Das Vorher-Nachher-Paar zum Caching lief am 8. September 2026.
    • Wie bewertet: In den Suchen sind die Startpunkte und die bestätigte Konfiguration der Mittelwert von drei zurückgehaltenen Durchläufen, beibehaltene Schritte wurden anhand von zwei Durchläufen beurteilt, und andere Kandidaten wurden anhand von einem oder zwei Durchläufen bewertet. Das Caching-Paar: je drei Durchläufe auf allen 114 Aufgaben, wobei nur die Cache-Breakpoints des Harness umgeschaltet wurden, die Konfiguration, die der Befehl cost-optimize in einem früheren Durchlauf erzeugt hatte. Zurückgehaltene Zahlen beziehen sich auf 57 Aufgaben, die die Suche nie gelesen hat.
    • Wie bepreist: Die Kosten pro Aufgabe bepreisen die Token-Zahlen des Agenten und des simulierten Benutzers zu Listenpreisen (Claude Opus 5 5 $ und 25 $, Claude Sonnet 5 2 $ und 10 $ pro Million Eingabe- und Ausgabe-Token, Cache-Lese- und -Schreibvorgänge zu ihren veröffentlichten Sätzen) und schließen den Bewerter aus; prozentuale Änderungen stammen aus ungerundeten Kosten; die monatliche Zahl sind allein die Token des Agenten, 0,135 $ und 0,047 $ pro Aufgabe, mal 10.000. Bei 10.000 Konversationen pro Monat sind das etwa 1.350 $ vor der ersten Suche und 470 $ danach.
    • Einschränkungen: Diese Messungen liefen auf den vorherigen Claude Opus- und Claude Sonnet-Modellen: das Caching-Paar lief auf Claude Sonnet 5, die zweite Suche startete von Claude Sonnet 5, und die erste Suche ging von Claude Opus 5 zu Claude Sonnet 5.
    • Caching-Paar: Das Paar lief auf Claude Sonnet 5 beim Standard-Effort. Das öffentliche Harness sendet im Auslieferungszustand bei jedem Turn die gesamte Konversation ungecacht. Die gecachte Konfiguration hat einen Breakpoint auf dem System-Prompt und einen auf der neuesten Nachricht. Beide Suchen liefen mit diesem aktivierten Caching. Die Kosten pro Aufgabe gingen von 0,223 $ ungecacht auf 0,062 $ gecacht, eine Ersparnis von 72 %, und die Erfolgsquote von 79,2 % auf 76,0 %. Identische gecachte Durchläufe dieser Konfiguration reichten über verschiedene Tage von 85 bis 93 von 114. Jeder gecachte Durchlauf erzielte höchstens so viel wie jeder ungecachte Durchlauf, aber die Lücke von weniger als 4 Aufgaben liegt innerhalb der Streuung identischer gecachter Durchläufe, daher ist die Genauigkeitsänderung bei dieser Stichprobengröße zu klein, um sie zu messen.
    • Wie die Suche ablief. Der Befehl hillclimb stellt vier Fragen, legt einen Plan vor und wartet auf Zustimmung, bevor er etwas ausgibt. In der ersten Suche ließ der Plan den Benutzersimulator, den Bewerter, das Caching, die Temperatur und die Aufgaben unverändert. Die letzte der vier Fragen begann mit: One pass over the full set is 114 cases x 1 rep on claude-opus-5, roughly 22 minutes. In jeder Runde schlägt die Suche eine Änderung vor und führt den vollständigen Satz aus. Sie behält die Änderung nur, wenn sich die Zahl bewegt hat und der vorhergesagte Mechanismus in den Nutzungsdaten sichtbar ist. Sie stoppt, wenn drei Runden in Folge nichts bringen, und bestätigt dann den Gewinner in neuen Durchläufen.
    • Erste Suche, Ergebnis. Die Suche senkte die Kosten pro Aufgabe um 61 %, während sie die Erfolgsquote innerhalb eines vor der Suche festgelegten Bands von 2 Punkten hielt: von Claude Opus 5 beim Standard-Effort (0,142 $ pro Aufgabe, 76,0 % bestanden) zu Claude Sonnet 5 bei low mit einer kostenneutralen Prompt-Änderung (0,055 $, 74,3 %). Die Suche kostete 179 $ an Evaluationsdurchläufen und 228 $ an eigenen Token.
    • Erste Suche, Start: Claude Opus 5, Standard-Effort. 76,0 % bei 0,142 $. Drei identische Durchläufe reichten von 43 bis 44 von 57. Die Suche setzte die Untergrenze 2 Punkte darunter, bei 74,0 %, und rundete sie für ihre Urteile auf 43 von 57 (75,4 %) auf.
    • Erste Suche, Schritt 1, Effort auf low: beibehalten. 77,2 % in den zwei Durchläufen, die ihn beibehielten, 77,8 % in einer Bestätigung mit drei Durchläufen nach der Suche, bei 0,119 $, 17 % günstiger. Die eigene Statuszeile der Suche lautet teilweise: two runs held-out 42 and 46, mean 44.0 >= floor 43; cost mean $0.1187 <= gate $0.1208; mechanism confirmed (output tokens -34% with calls flat).
    • Erste Suche, Schritt 2, Claude Sonnet 5 bei low: beibehalten. 75,4 % bei 0,055 $, 61 % günstiger.
    • Erste Suche, Schritt 3, eine Prompt-Änderung (die Bestellungen des Kunden nach dem Login nachschlagen, statt nach einer Bestellnummer zu fragen): bei der Auswahl beibehalten, dann nicht gehalten. 79,8 % in zwei Durchläufen; 74,3 % in drei neuen Durchläufen. Die Suche ließ sie als kostenneutral drin: der freigewordene Turn wurde zu einem weiteren Nachschlage-Turn.
    • Erste Suche, Schritt 4, eine Prompt-Änderung (nur auf Anfrage an einen Menschen übergeben): abgelehnt und rückgängig gemacht. 71,9 %. Sie behob die 3 Fälle, auf die sie abzielte, und brach 10 andere mit einer generischen Vorlage „sag, was du tun kannst und was nicht“.
    • Erste Suche, Schritt 5, eine Prompt-Änderung: nicht ausgeführt. Ihr vorhergesagter Gewinn von 0,5 Aufgaben lag unter der Übernahmeschwelle der Suche von 2 Aufgaben.
    • Erste Suche, Bestätigung: Claude Sonnet 5 bei low mit dem Prompt aus Schritt 3, drei neue Durchläufe. 74,3 % bei 0,055 $, innerhalb des 2-Punkte-Bands um 0,14 einer Aufgabe, 1 Aufgabe von 57 unter dem Start und unter der von der Suche registrierten Untergrenze von 43 von 57. Die fünf Durchläufe dieser Konfiguration reichten von 42 bis 46, breiter als die 43 bis 44 des Starts.
    • Erste Suche, was sie zeigte. Die Hebel Effort und Modell erzeugten die Ersparnisse, und der Mechanismus jedes einzelnen bestätigte sie. Der Prompt-Hebel erzeugte echte Verhaltensänderungen, aber keinen dauerhaften Gewinn. Bei diesem Workload bestimmen die Anzahl der Turns und das gecachte Präfix, das jeder Turn erneut liest, die Kosten pro Aufgabe, nicht der Wortlaut.
    • Zweite Suche. Sie startete von Claude Sonnet 5 beim Standard-Effort mit aktiviertem Caching: 79,5 % bei 0,062 $ auf der zurückgehaltenen Hälfte, mit drei Durchläufen von 42 bis 47 von 57, sodass die Untergrenze bei 45 von 57 (78,9 %) lag. Identische Durchläufe einer Startkonfiguration unterschieden sich hier um bis zu 5 Aufgaben von 57. Die zweite Suche behielt nichts bei. Effort bei low, zwei Prompt-Änderungen und beides zusammen erzielten jeweils 77,2 %, unter der Untergrenze, und sparten 10 % bis 14 %, knapp unter der Kostenschwelle der Suche von 15 %. Eine Prompt-Änderung für Genauigkeit erzielte 79,8 % in zwei Durchläufen und 73,7 % in drei neuen Durchläufen und wurde rückgängig gemacht. Die Suche benötigte etwa 19 Evaluationsdurchläufe und 120 $.
  25. Aufgabenset für Claude Managed Agents:
    • Was gemessen wurde: Ein Anthropic-interner Satz von 79 geskripteten Agentenaufgaben in acht Bereichen, darunter Memory-, Multiagenten- und Long-Context-Arbeit, ausgeführt als Claude Managed Agents-Sitzungen, in denen der Test jeden Tool-Aufruf beantwortet. Jede Aufgabe lief fünfmal pro Modell.
    • Durchläufe: Die Zahlen stammen aus einem Durchlauf pro Modell am 7. Oktober 2026, am selben Tag bewertet. In drei weiteren Durchläufen derselben Aufgaben am 8. und 9. Oktober 2026 bestand Claude Haiku 5.5 91 % bis 93 % der Versuche, und in einem weiteren Durchlauf am 8. Oktober bestand Claude Haiku 4.5 63 %.
    • Wie bewertet: Ein Versuch bestand nur, wenn der Bewerter, Claude Sonnet 4.6, bei einmaliger Bewertung jede Zeile der Checkliste der Aufgabe als erfüllt markierte, daher hängen die Erfolgsquoten vom Bewerter ab. Bei allen Aufgaben außer einer bewertete ein separater Aufruf, dem die Tool-Ergebnisse vollständig gezeigt wurden, die Zeile, die die vom Agenten über seine Tools geschriebenen Dateien und Nachrichten prüft, anhand dieser Ergebnisse.
    • Wie bepreist: Die Kosten sind Token-Kosten zu Listenpreisen mit 5-Minuten-Prompt-Caching, Anfrage für Anfrage bepreist, und schließen die Sitzungslaufzeit aus.
    • Ergebnisse, Token-Preise und Kosten: Claude Haiku 4.5 cachte 80 % seiner Anfragen nicht: jede hatte einen Prompt von etwa 4.100 Token oder weniger, und seine minimale cachebare Prompt-Länge beträgt 4.096 Token (512 für Claude Haiku 5.5). Von Claude Haiku 4.5 zu Claude Haiku 5.5 sanken die Token-Preise um bis zu 90 %, und die Token-Kosten der 79 Aufgaben sanken um etwa 75 %. Die Token-Kosten sanken weniger als die Preise, weil etwa 5 % der Anfragen von Claude Haiku 5.5 Prompts über 100.000 Token hatten, die höhere Preise zahlen (Preise für langen Kontext), und diese trugen 73 % seiner Kosten.
    • Nachdenken: Anthropic setzte den Effort von Claude Haiku 5.5 auf medium und sendete für keines der beiden Modelle eine Thinking-Einstellung oder ein Ausgabelimit, daher blieb Nachdenken den eigenen Einstellungen von Claude Managed Agents für jedes Modell überlassen. Claude Haiku 5.5 verwendete Nachdenken in 59 % der Anfragen und Claude Haiku 4.5 in 22 %. Der Vergleich betrifft jedes Modell so, wie es bereitgestellt wird, nicht bei gleichen Einstellungen.
    • Kosten ohne Caching, bepreist aus aufgezeichneten Token-Zahlen: Anthropic hat außerdem die aufgezeichneten Token-Zahlen des Durchlaufs von Claude Haiku 5.5 vom 7. Oktober für den Caching-Faktor in Warum Caching an erster Stelle steht neu bepreist. Claude Managed Agents wendet Prompt-Caching selbst an, daher vergleicht der Faktor zwei Preise für dieselben Anfragen, nicht zwei Einstellungen.
    • Der Faktor: Der Faktor, 1,7, sind die Token-Kosten des Durchlaufs mit jedem Eingabe-Token zum Eingabepreis, Ausgabe-Token unverändert, geteilt durch seine Token-Kosten, wobei jede Sitzung für sich bepreist wird: der vorherige Prompt jeder Anfrage als Cache-Lesevorgang und ihre neuen Token als 5-Minuten-Cache-Schreibvorgang. Jede Anfrage wird in beiden Kosten für ihre eigene Prompt-Länge bepreist, sodass die 87 Anfragen über 100.000 Token in beiden die höheren Preise zahlen. Auf den Token-Zahlen wie aufgezeichnet, die die Kosten dieses Leitfadens für den Durchlauf verwenden, beträgt der Faktor 1,9, weil die fünf Versuche einer Aufgabe nebeneinander liefen und die Cache-Einträge der jeweils anderen lasen.
    • Warum der Faktor niedrig ist: Der Faktor ist niedrig, weil die Sitzungen kurz sind, im Median 4 Anfragen: die meisten Eingabe-Token kommen als Tool-Ergebnisse bei der zweiten oder dritten Anfrage an und werden nur ein- oder zweimal aus dem Cache gelesen. Acht Long-Context-Aufgaben machen drei Viertel der Kosten aus. Ein zweiter Durchlauf am 8. Oktober ergibt ebenfalls 1,7.
  26. Messung des Antwortformats:
    • Was gemessen wurde: Der Triage-Job mit 20 Issues aus Eingabe- und Kontext-Token kürzen, ausgeführt auf Claude Sonnet 5 mit aktiviertem Prompt-Caching und ohne Thinking-Einstellung in der Anfrage, sodass Nachdenken beim Standard des Modells blieb, unter drei Anweisungen für die finale Antwort, drei Durchläufe pro Anweisung.
    • Zweizeilige Anweisung: Das Original verlangte zwei Zeilen: 4. Finish with exactly two lines: LABEL: <one of: bug-confirmed, needs-more-info, duplicate-candidate, feature-request, upstream-issue, perf, ui-polish> SUMMARY: <one or two sentences for the engineering team>
    • Einzeilige Anweisung: Die kürzere Variante verlangte eine: 4. Finish with exactly one line in this form: DECISION | LABEL | REASON where DECISION is one of: triage-now, needs-info, close-duplicate; LABEL is one of: bug-confirmed, needs-more-info, duplicate-candidate, feature-request, upstream-issue, perf, ui-polish; REASON is one clause under 15 words. Output nothing after that line.
    • Memo-Anweisung: Die längere Variante verlangte ein Memo mit sechs überschriebenen Abschnitten: Problemzusammenfassung, Belege, Duplikatprüfung, empfohlenes Label, nächste Schritte und Konfidenz.
    • Ebenfalls in den gesendeten Anweisungen: Wie gesendet, sagte die zweizeilige Anweisung außerdem “Be concise.” und die Memo-Anweisung “Be thorough and explicit.”
    • Wann: Die zweizeilige und die einzeilige Anweisung liefen am 18. August 2026 mit max_tokens bei 700 und die Memo-Anweisung am 19. August 2026 mit max_tokens bei 3.000. Keine Antwort erreichte ihr Limit.
    • Wie bewertet und bepreist: Die Zahlen sind der Mittelwert der drei Durchläufe zu den Listenpreisen von Claude Sonnet 5, und die Genauigkeit ist exakte Übereinstimmung mit den Gold-Labels.
    • Ergebnisse: Die einzeilige Antwort verwendete 39 % weniger Ausgabe-Token als das zweizeilige Original und kostete pro Durchlauf 13 % weniger (aus den ungerundeten Mittelwerten; die gerundeten Kosten des Diagramms, 0,49 $ und 0,57 $, ergeben 14 %). Das Memo verwendete das Sechsfache der Ausgabe-Token des zweizeiligen Originals und kostete das 2,8-Fache der einzeiligen Antwort.
    • Nachdenken: Etwa die Hälfte der Antworten enthielt Nachdenken, und dessen Token sind in den Ausgabe-Token enthalten.
  27. Messung der Tool-Suche:
    • Was gemessen wurde: Der Triage-Job mit 20 Issues aus Eingabe- und Kontext-Token kürzen, ausgeführt auf Claude Sonnet 5 am 19. August 2026, mit aktiviertem Prompt-Caching und ohne Thinking-Einstellung in der Anfrage, sodass Nachdenken beim Standard des Modells blieb, drei Durchläufe pro Konfiguration. Der Agent hatte seine eigenen zwei Tools plus echte Tool-Definitionen von öffentlichen MCP-Servern, insgesamt 7, 17, 52, 102, 252 oder 502 Tools, wobei jede Definition geladen war oder die hinzugefügten mit defer_loading hinter der Tool-Suche markiert waren.
    • Wie bewertet und bepreist: Die Zahlen sind der Mittelwert der drei Durchläufe zu den Listenpreisen von Claude Sonnet 5, und die Genauigkeit ist exakte Übereinstimmung mit den Gold-Labels.
    • Ergebnisse: Mit jeder geladenen Definition stiegen die Kosten des Durchlaufs von 0,55 $ bei 7 Tools auf 1,02 $ bei 502 Tools, fast das Doppelte. Mit Tool-Suche lagen sie bei jeder Katalog-Größe bei 0,55 $ bis 0,56 $, 45 % weniger bei 502 Tools (aus den gerundeten Kosten des Diagramms, 0,56 $ und 1,02 $; die ungerundeten Mittelwerte ergeben 45,6 %). Jeder Durchlauf beantwortete 15 bis 18 der 20 Issues korrekt, mit oder ohne Tool-Suche.
    • Einschränkungen: Kein Durchlauf rief ein Tool aus dem Katalog oder das Tool-Search-Tool auf: die eigenen zwei Tools des Agenten waren immer geladen, und jeder Tool-Aufruf ging an eines davon. Die Messung zeigt, was das Mitführen ungenutzter Definitionen kostet.
    • Separate Messung: In einer separaten Messung auf demselben Modell und am selben Datum, mit einem öffentlichen GitHub-MCP-Server, der über den MCP-Connector angebunden war, und ohne Katalog, kosteten drei Durchläufe mit verzögert geladenem Toolset des Servers 20 % weniger als drei Durchläufe ohne (0,56 $ und 0,70 $ pro Durchlauf), und die drei Durchläufe jedes Zweigs beantworteten 17, 16 und 16 Issues korrekt. Die Anfragen in dieser separaten Messung enthielten kein Tool-Search-Tool. Mit geladenem Toolset rief jeder Durchlauf eines der Tools des Servers, issue_read, 3- oder 4-mal auf; mit verzögert geladenem Toolset rief kein Durchlauf eines der Tools des Servers auf.
  28. Messungen zum Input-Trimming und zum Kontext-Lebenszyklus:
    • Was gemessen wurde: Der Triage-Job mit 20 Issues aus Eingabe- und Kontext-Token kürzen und seine lange Variante, ausgeführt auf Claude Sonnet 5 am 19. August 2026 (datiert in UTC), drei Durchläufe pro Einstellung, ohne Thinking-Einstellung in der Anfrage, sodass Nachdenken beim Standard des Modells blieb; etwa 3 von 10 Antworten enthielten Nachdenken.
    • Das Diagramm: Das Diagramm in Den Kontext-Lebenszyklus verwalten vergleicht vier Einstellungen bei jedem Job: den Job mit aktiviertem Prompt-Caching und aktiviertem Input-Trimming (Bildgrößenanpassung und Tool-Suche) und denselben mit einem hinzugefügten Hebel, nämlich der Kontextbearbeitung, der Komprimierung oder dem Pruning. Das Diagramm zählt eine Änderung von unter 10 % als keine Änderung.
    • Hebeleinstellungen: Die Hebeleinstellungen unterschieden sich zwischen den beiden Jobs: Die Kontextbearbeitung löschte beim 20-Issue-Job mindestens 2.000 Token, sobald der Prompt 20.000 überschritt, und beim langen Job mindestens 40.000, sobald er 50.000 überschritt, wobei die drei neuesten Tool-Nutzungen beibehalten wurden, und Compaction wurde beim 20-Issue-Job bei 50.000 Eingabe-Token und beim langen bei 80.000 ausgelöst.
    • Wie bepreist: Jede Kostenangabe ist der Mittelwert der drei Durchläufe, aus den Nutzungsfeldern der Antworten zu den Listenpreisen von Claude Sonnet 5, mit Cache-Schreibvorgängen zu 2,50 $ und Cache-Lesevorgängen zu 0,20 $ pro Million Token.
    • Ergebnisse, Input-Trimming: Eine fünfte Einstellung, Prompt-Caching ohne Input-Trimming, kostete 0,57 $ pro Durchlauf beim 20-Issue-Job und 1,38 $ beim langen, sodass das Input-Trimming beim ersten 26 % und beim zweiten 21 % einsparte. Gegenüber demselben 20-Issue-Job mit deaktiviertem Caching, der 3,36 $ pro Durchlauf kostete (Referenz 16), sparten Prompt-Caching und Input-Trimming zusammen 88 % (die ungerundeten Mittelwerte ergeben 87,5 %).
    • Ergebnisse, 20-Issue-Durchlauf: Beim 20-Issue-Durchlauf, bei dem der Job ohne Hebel 0,42 $ pro Durchlauf kostete, kostete die Kontextbearbeitung 73 % mehr, Compaction lief einmal gegen Ende jedes Durchlaufs und kostete 7 % weniger, und das Pruning schrieb nichts um, weil kein Suchergebnis über seinem Schwellenwert von 2.000 Zeichen lag.
    • Ergebnisse, langer Durchlauf: Beim langen Durchlauf, bei dem der Job ohne Hebel 1,09 $ pro Durchlauf kostete, kostete das Pruning 39 % weniger, Compaction 32 % weniger und die Kontextbearbeitung 4 % mehr.
    • Cache-Lesevorgänge, lange Durchläufe: In den langen Durchläufen mit dem Pruning wurden bei der ersten Anfrage nach einer Aufgabengrenze 89 % der Prompt-Token aus dem Cache gelesen und bei den anderen Anfragen 81 %. Über die gesamten langen Durchläufe wurden mit dem Pruning 85 % der Prompt-Token aus dem Cache gelesen und mit der Kontextbearbeitung 85 %, gegenüber 95 % ohne Hebel.
  29. Interner Programmier-Benchmark (Subagenten-Messung):
    • Was gemessen wurde: 134 Programmieraufgaben in Repositories, jeweils als bestanden oder nicht bestanden bewertet durch Tests, die der Agent nicht sehen kann, fünf Versuche pro Aufgabe in jedem von drei Durchläufen vom 21. bis 23. Oktober 2026, auf Claude Managed Agents mit dessen eigener Multiagenten-Orchestrierung (der Typ multiagent_20261001): ein vordefinierter Agent als Subagent, wobei Inline-Agenten und dynamische Workflows deaktiviert waren.
    • Konfigurationen: Claude Opus 5.5 allein bei medium, seiner Standardeinstellung, und bei low; sowie Claude Opus 5.5 bei medium mit Claude Haiku 5.5-Subagenten bei medium, einmal ohne zusätzlichen Prompt und einmal mit einem Delegations-Prompt von 113 Wörtern als System-Prompt des Orchestrators. Eine fünfte Konfiguration mit einem längeren Prompt wird nicht berichtet. Die Evaluierung setzte keine Thinking-Option, daher lief Nachdenken mit seiner Standardeinstellung: aktiviert, wobei das Modell wählt, wann es nachdenkt.
    • Tools: Jeder Agent verwendete zwei benutzerdefinierte Tools, eine Shell und einen Dateieditor, die die Evaluierung in der eigenen Sandbox jedes Versuchs ausführt, anstelle der integrierten Tools der Plattform. Als Teil des Sicherheits-Setups der Evaluierung durchliefen ihre Aufrufe eine zusätzliche Prüfung. Im dokumentierten Setup gelten Berechtigungsrichtlinien nicht für benutzerdefinierte Tools.
    • Ergebnisse: Bestandene Versuche und Kosten pro Versuch betrugen 72,1 % und 4,78 $ für Claude Opus 5.5 allein bei medium; 68,8 % und 3,35 $ mit Subagenten und ohne zusätzlichen Prompt; 67,9 % und 3,27 $ mit Subagenten und dem Prompt; sowie 63,0 % und 1,84 $ allein bei low.
    • Verglichen mit Claude Opus 5.5 allein bei medium: Mit dem Prompt 32 % weniger Kosten (95-%-Intervall 29 % bis 35 %) und 4,2 Prozentpunkte weniger bestanden (1,3 bis 7,1). Ohne zusätzlichen Prompt 30 % weniger (27 % bis 33 %) und 3,3 weniger (0,8 bis 5,8). Allein bei low: 62 % weniger (59 % bis 64 %) und 9,1 weniger (5,0 bis 13,3), ein Vergleich, der nach den Durchläufen hinzugefügt wurde. Die Differenzen sind innerhalb jedes Durchlaufs nach Aufgabe gepaart, und die Intervalle sind Bootstrap-Intervalle über die 134 Aufgaben.
    • Verglichen mit niedrigerem Effort: Einen Anteil der Aufgaben an low und den Rest an medium zu senden, ergibt eine gerade Linie zwischen diesen beiden Ergebnissen, eine Berechnung und kein Durchlauf. Bei ihren eigenen Kosten bestanden die Konfigurationen mit Subagenten mit dem Prompt 0,5 Prozentpunkte mehr als diese Linie (2,3 weniger bis 3,2 mehr) und ohne zusätzlichen Prompt 1,1 mehr (1,2 weniger bis 3,3 mehr): weder darüber noch darunter. Die Kosten pro bestandenem Versuch betrugen 6,63 $ allein bei medium, 4,86 $ mit Subagenten und ohne zusätzlichen Prompt, 4,81 $ mit dem Prompt und 2,92 $ bei low.
    • Wie bepreist: Die Kosten sind Token-Kosten zu Listenpreisen mit 5-Minuten-Prompt-Caching, wobei jede Anfrage für ihre eigene Prompt-Länge bepreist wird (Preise für langen Kontext), und schließen die Sitzungslaufzeit aus. Die Kosten lassen die zusätzliche Prüfung der Tool-Aufrufe durch die Evaluierung außen vor; wenn sie mitgezählt wird, beträgt die Ersparnis mit dem Prompt 27 % (25 % bis 30 %).
    • Was als Fehlschlag zählt: Ein Versuch zählt als Fehlschlag, wenn eine Sicherheitsprüfung ihn gestoppt hat, wenn der Schutzmechanismus der Plattform einen Turn abgelehnt hat oder wenn die Evaluierung ihn für ungültig erklärt hat, weil sie nicht bestätigen konnte, dass ihre Sicherheitsprüfungen jeden Schritt gesehen haben. Für ungültig erklärte Versuche fielen nur bei den Konfigurationen mit Subagenten an: 72 von 2.010 mit dem Prompt, 57 davon in einem Durchlauf. Als der Teil des Durchlaufs dieser Konfiguration erneut ausgeführt wurde, bestand sie 3,6 Prozentpunkte weniger als Claude Opus 5.5 allein (1,0 bis 6,3). Wenn stattdessen auf beiden Seiten jeder Versuch außen vor gelassen wird, den eine Sicherheitsprüfung gestoppt oder die Evaluierung für ungültig erklärt hat, bestand sie 1,7 weniger (4,4 weniger bis 1,1 mehr). Ein Teil des Verlusts, aber nicht der gesamte, stammt also aus den eigenen Regeln der Evaluierung. Ein Versuch von Claude Opus 5.5 allein bei medium, der beim Limit von drei Stunden abgebrochen wurde, hat kein Ergebnis und wird außen vor gelassen; mit Subagenten zählt derselbe Abbruch als Fehlschlag.

Nächste Schritte

Der größte kostenlose Gewinn auf dieser Seite: Einrichtung, Lebensdauern und Diagnose.

Tausche Intelligenz gegen Latenz und Kosten innerhalb eines einzelnen Modells.

Bewerte Fähigkeit, Geschwindigkeit und Kosten über die gesamte Claude-Modellfamilie hinweg.

Setze eine harte Dollar-Obergrenze für eine Managed Agents-Session.

Sieh dir die aktuellen Preise pro Token für jedes Claude-Modell an.

Wende diese Hebel einzeln nacheinander auf einen funktionierenden Agenten in einem ausführbaren Notebook an, mit Kosten pro Aufgabe nach jedem Schritt.

Sieh dir eine Schritt-für-Schritt-Erklärung der Advisor- und Orchestrator-Muster an.

War diese Seite hilfreich?