Optimiser le coût et l’intelligence
Équilibrez coût et intelligence sur la Claude Platform, avec des résultats mesurés pour la mise en cache des prompts, l’effort, le choix du modèle, les plafonds de sortie et les stratégies multi-modèles.
Le modèle le plus performant peut s’avérer trop coûteux à grande échelle, et le modèle le moins coûteux peut manquer de qualité. La Claude Platform vous donne un contrôle direct sur ce compromis. Vous choisissez le modèle, le niveau d’effort et l’architecture de chaque requête, ce qui vous permet de placer une charge de travail presque n’importe où sur la frontière coût-intelligence.
Le coût et l’intelligence sont généralement représentés comme une frontière où l’un s’obtient au prix de l’autre. Le premier groupe de leviers de cette page rapproche une charge de travail de cette frontière en réduisant le coût sans toucher à la qualité ; seul le second groupe la déplace le long de celle-ci :
Les leviers sont de deux types :
- Les gains gratuits réduisent les dépenses sans toucher à la qualité : la « prompt caching » (mise en cache des prompts), la « token hygiene » (hygiène des tokens), un audit des prompts par rapport au modèle que vous utilisez, et le « batch processing » (traitement par lots) à 50 % de réduction pour le travail qui peut attendre jusqu’à 24 heures.
- Les compromis échangent du coût contre de l’intelligence : le choix du modèle, l’effort, les plafonds de sortie et les budgets de session, une horloge du temps écoulé, et les architectures multi-modèles.
Une limite de dépenses de l’espace de travail sert de filet de sécurité pour les deux types de leviers : consultez Définir des budgets et des plafonds de sortie.
Chaque levier s’accompagne de résultats mesurés et de la règle indiquant quand il est rentable. Dans les mesures d’Anthropic, la mise en cache des prompts était généralement le levier le plus important. Les leviers multi-modèles ont une portée plus restreinte ; un second modèle a été mesuré sous deux formes, un conseiller et un orchestrateur.
Par où commencer
Trouvez la ligne qui correspond à votre situation.
| Votre situation | Que faire | Où |
|---|---|---|
| Toute charge de travail, tout modèle | Activez la mise en cache des prompts et supprimez les tokens inutiles ; les deux sont gratuits | Mettre en cache le contexte répété · Réduire les tokens |
| Une personne attend entre les tours | Comptez les intervalles entre vos requêtes, puis choisissez la durée du cache dans le tableau de cette section | Choisir la durée du cache |
| Les coûts sont trop élevés ; la qualité est satisfaisante | Essayez un effort plus faible sur le modèle que vous utilisez actuellement | Ajuster l’effort |
| Vous n’utilisez pas le dernier modèle | Mettez à niveau ; sur les benchmarks de codage de cette section, chaque nouveau modèle a résolu au moins autant de tâches que le précédent, généralement pour un coût inférieur par tâche résolue | Mettre à niveau le modèle |
| Vous choisissez ou changez de modèle | Comparez le coût par tâche accomplie, et non par token | Comparer les modèles |
| Travail à fort volume avec des sorties que vous pouvez vérifier | Essayez d’abord Claude Haiku 5.5 | Comparer les modèles |
| La qualité n’est pas suffisante | Si vous avez réduit l’effort, rétablissez-le ; sinon, essayez le niveau supérieur avec son effort par défaut | Ajuster l’effort · Comparer les modèles |
Les tentatives se terminent par stop_reason: max_tokens | Augmentez max_tokens à 64 000 : dans les tests d’Anthropic, seuls 7 tours sur environ 18 000 étaient plus longs, et le coût par tâche résolue n’a pas augmenté | Définir des budgets |
| Vous pouvez vérifier les résultats (tests, un vérificateur) | Exécutez avec l’effort low et relancez les échecs avec high : dans les tests d’Anthropic, un coût inférieur d’environ 40 % par rapport à tout exécuter avec high, pour le même taux de réussite | Relancer les échecs |
| Des boucles d’agent avec quelques exécutions très coûteuses | Définissez un budget de session Claude Managed Agents et une limite de dépenses par espace de travail | Définir des budgets |
| Vous voulez que les exécutions d’agent se terminent plus tôt | Indiquez au modèle que le temps compte et montrez-lui le temps écoulé : de 7 % à 47 % de temps en moins dans les tests d’Anthropic, pour quelques points de score | Montrer au modèle le temps écoulé |
| Un modèle moins coûteux ne bloque que sur les décisions difficiles | Essayez un conseiller. Il ne peut aider que lorsque votre modèle le consulte ; évaluez d’abord le prix de son modèle seul avec un effort faible et mesurez le taux de consultation | Stratégie du conseiller |
| Le travail dépasse une seule fenêtre de contexte | Divisez le travail et confiez les parties à des modèles moins coûteux | Stratégie de l’orchestrateur |
Ces résultats sont internes à Anthropic (Benchmarks référencés) et indicatifs, et non des garanties ; mesurez donc sur votre propre charge de travail avec la méthode en quatre étapes.
Réduire les dépenses sans perdre en qualité
La mise en cache des prompts, l’hygiène des tokens, le traitement par lots et un audit des prompts par rapport à votre modèle actuel réduisent tous ce que vous payez sans réduire la qualité des résultats. Deux réserves s’appliquent : le traitement par lots échange de la latence contre sa réduction, et l’édition de contexte, un levier d’hygiène des tokens, a coûté plus qu’elle n’a économisé sur l’exécution courte mesurée dans cette section et n’a rien changé sur la longue.
Mettre en cache le contexte répété
Pourquoi la mise en cache vient en premier
Activez la mise en cache des prompts avant tout autre levier, car, par défaut, chaque tour d’une tâche agentique renvoie l’intégralité de la conversation qui s’allonge : l’invite système, les définitions d’outils et chaque tour précédent.
- Une tâche de 40 tours envoie son premier tour 40 fois, de sorte que le coût de la tâche croît à peu près avec le carré du nombre de tours.
- La mise en cache n’empêche pas le renvoi, mais chaque renvoi coûte environ un dixième (un vingtième sur Claude Opus 5.5 et Claude Sonnet 5.5, un quarantième sur Claude Fable 5.2, Claude Mythos 5.2, Claude Fable 5.1, et Claude Mythos 5.1) et est traité plus rapidement.
- Le préfixe est facturé au tarif de lecture du cache au lieu du prix d’entrée, et chaque tour ne paie le tarif d’écriture du cache de 1,25x que pour ce qui est nouveau.
Les fils de messages, en bêta, empêchent le renvoi tant qu’un fil existe, c’est-à-dire jusqu’à ce que 5 minutes se soient écoulées depuis sa dernière requête. Ils réduisent le délai avant le premier token, pas le coût : le modèle continue de lire l’intégralité de la conversation, donc conservez cache_control sur chaque requête. Les fils ne prennent en charge ni la compaction ni la plupart des formes d’édition du contexte.
À quoi ressemble un bon résultat.
- Sur une journée complète de trafic réel, les boucles d’agent lisent en médiane 84 % de leur entrée depuis le cache, et les 10 % les meilleures d’entre elles, qu’il s’agisse de code ou non, en lisent 94 % ou plus17.
- Bien avancée dans une tâche, une boucle bien construite paie le plein tarif sur moins de 1 % de son entrée.
- En dessous d’environ 80 %, cherchez ce qui casse le cache (voir Ce qui casse le cache).
Anthropic a évalué le prix des exécutions DeepResearch Bench II7 avec et sans la réduction de cache :
La durée de vie par défaut du cache est de 5 minutes et les tours d’une boucle d’agent sont espacés de quelques secondes, de sorte que la réduction s’applique à la plupart des tokens à chaque tour. Les exécutions du graphique sur la mise en cache ont lu de 89 % à 93 % de leurs tokens d’entrée depuis le cache.
Calculer de la même manière le prix des nombres de tokens enregistrés pour d’autres exécutions, chaque modèle à son effort par défaut, donne le coût moyen en tokens par tâche sans mise en cache :
| Benchmark | Modèle | Sans mise en cache |
|---|---|---|
| SWE-bench Pro3 | Claude Opus 5.5 | 3,3 fois le coût avec mise en cache |
| SWE-bench Pro | Claude Sonnet 5.5 | 3,1 fois le coût avec mise en cache |
| Ensemble de tâches Claude Managed Agents25, dont les sessions sont courtes | Claude Haiku 5.5 | 1,7 fois le coût avec mise en cache |
| Un petit agent qui trie les rapports de bogues (Réduire les tokens d’entrée et de contexte)16 | Claude Sonnet 5.5 | 7,3 fois le coût avec mise en cache |
L’économie varie selon le nombre de tours que prend une tâche, car les boucles plus courtes relisent moins.
Choisir la durée du cache
Si votre boucle attend une personne entre les tours, utilisez la durée de cache d’une heure dès qu’environ 1 tour sur 20 suit une pause comprise entre 5 minutes et une heure et que peu d’intervalles dépassent une heure. Sur Claude Fable 5.2, Claude Fable 5.1, Claude Opus 5.5 et Claude Sonnet 5.5, maintenir le cache de 5 minutes actif peut coûter moins cher.
La durée d’une heure coûte plus cher à l’écriture (2x le prix d’entrée au lieu de 1,25x). Un échec de cache, quelle que soit la durée, facture l’intégralité du préfixe au prix d’écriture au lieu du prix de lecture.
Choisissez la durée du cache au début d’une conversation. Dans le test d’Anthropic, le premier tour ajouté avec une durée d’1 heure à une conversation mise en cache avec une durée de 5 minutes a réécrit l’intégralité du prompt, une fois : 0,80 $ USD à 100 000 tokens sur Claude Opus 5.5, contre 0,02 $ USD d’entrée pour un tour qui a lu le cache16.
Anthropic a mesuré un petit agent qui trie les rapports de bogues (Réduire les tokens d’entrée et de contexte) avec des pauses insérées avant certains tours pour simuler le délai d’une personne16. La précision est restée dans les limites du bruit d’une exécution à l’autre pour chaque paramètre mesuré. Anthropic a également mesuré des requêtes supplémentaires qui maintiennent le cache de 5 minutes actif (requêtes keep-alive).
Pour décider, comptez les intervalles entre les requêtes consécutives d’une conversation, et trouvez votre ligne dans le tableau suivant. Une ligne qui nomme votre modèle prévaut sur une ligne indiquant « Tous » dans la colonne Modèle :
| Vos intervalles entre les requêtes | Modèle | Utiliser |
|---|---|---|
| Les tours arrivent à quelques secondes d’intervalle | Tous | Valeur par défaut de 5 minutes |
| Environ 1 intervalle sur 20 ou plus se situe entre 5 minutes et une heure, et peu d’intervalles dépassent une heure | Tous | Durée d’une heure |
| Les intervalles de plus d’une heure sont fréquents : environ 60 % ou plus de vos pauses de plus de 5 minutes dépassent aussi une heure | Tous | Valeur par défaut de 5 minutes |
| Seuls 1 ou 2 intervalles sur 20 se situent entre 5 minutes et une heure, et aucun ne dure plus d’environ une demi-heure | Claude Opus 5.5 et Claude Sonnet 5.5 | Cache de 5 minutes maintenu actif, au lieu de la durée d’une heure |
| Une pause de plus de 5 minutes précède chaque tour, et peu de pauses dépassent une heure | Claude Opus 5.5 et Claude Sonnet 5.5 | Durée d’une heure |
| Les pauses durent quelques minutes | Claude Fable 5.1 et Claude Fable 5.2 | Cache de 5 minutes maintenu actif, au lieu de la durée d’une heure |
| Les pauses approchent une heure, et peu dépassent une heure | Claude Fable 5.1 et Claude Fable 5.2 | Durée d’une heure |
Sur Claude Haiku 5.5, utilisez les lignes « Tous » : il lit le cache au tarif standard de 0,1x le prix d’entrée, soit le double des 0,05x de Claude Opus 5.5 et Claude Sonnet 5.5 ; d’après les prix catalogue, chaque requête keep-alive coûte donc, par rapport au prix d’entrée, deux fois plus que sur ces deux modèles. Une requête max_tokens: 0 a rafraîchi son cache lors d’un test distinct (référence 16).
Pourquoi, ligne par ligne.
- Tous les modèles.
- Les tours arrivent à quelques secondes d’intervalle. Aucune pause : la valeur par défaut a coûté environ 19 % de moins que le paramètre d’une heure sur Claude Sonnet 5.5, environ 15 % à 18 % de moins sur Claude Opus 5.5.
- Environ 1 intervalle sur 20 ou plus. Le seuil de rentabilité, calculé à partir des nombres de tokens, est d’environ 1 tour sur 30 sur Claude Sonnet 5.5 et Claude Opus 5.5.
- Les intervalles de plus d’une heure sont fréquents. Sur tout modèle, un intervalle de plus d’une heure fait expirer les deux durées, et le paramètre d’une heure réécrit alors le préfixe à son prix d’écriture plus élevé.
- Claude Opus 5.5 et Claude Sonnet 5.5, dont les lectures du cache coûtent 0,05x le prix d’entrée.
- Seuls 1 ou 2 intervalles sur 20. À l’effort par défaut, les requêtes keep-alive coûtent de 8 % à 13 % de moins que la durée d’une heure sur Claude Opus 5.5, de 8 % à 16 % de moins sur Claude Sonnet 5.5.
- Une pause précède chaque tour. Sur Claude Opus 5.5 et Claude Sonnet 5.5, les requêtes keep-alive coûtent quelques pour cent de plus que la durée d’une heure avec des pauses de 6 minutes et plus de 50 % de plus avec des pauses de 45 minutes.
- Claude Fable 5.1 et Claude Fable 5.2, dont les lectures du cache coûtent 0,025x le prix d’entrée.
- Les pauses durent quelques minutes. Sur Claude Fable 5.2, les requêtes keep-alive19 coûtent d’environ 4,5 % à 19 % de moins que le cache d’une heure, avec 10 % des tours en pause et avec une pause de 6 minutes avant chaque tour.
- Les pauses approchent une heure. Sur Claude Fable 5.2, ce n’est qu’avec une pause de 45 minutes avant chaque tour que le cache d’une heure l’a emporté, d’environ 0,12 $ USD19 sur une session de 5 rapports de bogues.
Le graphique suivant représente le coût par session en fonction de la proportion de tours en pause sur Claude Sonnet 5.5 :
Le graphique suivant ajoute le cache de 5 minutes maintenu actif par des requêtes keep-alive, sur Claude Fable 5.1, Claude Opus 5.5 et Claude Sonnet 5.5 :
Ce qu’il faut savoir.
- La règle de 1 sur 20 laisse une marge par rapport au seuil de rentabilité d’environ 1 tour sur 30. À 1 tour sur 20, le paramètre de 5 minutes et celui d’une heure ont coûté à peu près la même chose sur Claude Sonnet 5.5, dans les limites de la variation d’une exécution à l’autre ; à 1 tour sur 10, le paramètre de 5 minutes a coûté 54 % de plus (référence 16).
- Sur les modèles autres que Claude Sonnet 5.5 et Claude Opus 5.5, les prix placent le seuil de rentabilité dans la même fourchette : tous les modèles actuels utilisent les mêmes multiplicateurs d’écriture du cache, et tous les modèles sauf Claude Fable 5.2, Claude Mythos 5.2, Claude Fable 5.1, Claude Mythos 5.1, Claude Opus 5.5 et Claude Sonnet 5.5 le même prix de lecture.
- Les chiffres keep-alive de Claude Opus 5.5 et Claude Sonnet 5.5 proviennent de requêtes envoyées avec
max_tokens: 1. Une requêtemax_tokens: 0a également rafraîchi une entrée de cache existante sur Claude Fable 5.1, Claude Opus 5.5, Claude Sonnet 5.5 et Claude Haiku 5.5 (référence 16).
Pour maintenir le cache actif :
- Reprenez la requête précédente, définissez
max_tokensà 0 et supprimezstreams’il était défini. Ne modifiez pas un seul octet du préfixe. - Renvoyez les en-têtes de la requête avec son corps. Sans l’en-tête
anthropic-betade la requête d’origine, les champs soumis à la bêta dans le corps rejoué sont rejetés. - Envoyez-la dans les 4 minutes suivant le début de la requête précédente, puis toutes les 4 minutes, jusqu’à l’arrivée du tour suivant ou la fin de la session. Comptez à partir du début de la requête, car la durée de vie de 5 minutes du cache court à partir de là.
Il s’agit de la requête de préchauffage : elle rafraîchit la durée de vie du cache, ne renvoie aucune sortie et coûte à peine plus que la lecture du cache. Une fois le cache expiré, la requête suivante, keep-alive ou non, réécrit le préfixe au prix d’écriture du cache16.
Une requête max_tokens: 0 est rejetée dans les cas suivants :
- La requête définit
thinking.type: "enabled"(la réflexion adaptative par défaut sur Claude Fable 5.1 et Claude Fable 5.2 ne pose pas de problème), des sorties structurées ou un choix d’outil forcé (ses limitations). Pour ces charges de travail, optez plutôt pour la durée d’une heure. - La requête comporte le paramètre de premier niveau
compaction; ne renvoyez donc pas une requête de compaction issue de la compaction à la demande comme requête keep-alive.
# Dans les 4 minutes suivant le début de la dernière requête (le temps de génération est décompté
# de la durée de vie du cache), renvoyez cette requête avec max_tokens défini à
# 0, en retirant stream (une requête max_tokens: 0 ne peut pas utiliser le streaming). Envoyez les mêmes
# en-têtes que la requête d'origine, y compris tout en-tête anthropic-beta.
jq '.max_tokens = 0 | del(.stream)' last_request.json | \
curl https://api.anthropic.com/v1/messages \
-H "x-api-key: $ANTHROPIC_API_KEY" \
-H "anthropic-version: 2026-10-21" \
-H "content-type: application/json" \
--data-binary @-Activer la mise en cache
La configuration demande peu de travail. La mise en cache automatique place les points d’arrêt pour vous ; sinon, la skill Claude API livrée avec Claude Code peut ajouter la mise en cache à une intégration existante à partir d’un seul prompt :
Claude Code
Laissez Claude Code ajouter la mise en cache pour vous
/claude-api ajoute la mise en cache des prompts à cette intégrationSur le code qui a produit ces mesures, la skill a placé un point d’arrêt sur le bloc système et un sur chacun des deux tours utilisateur les plus récents ; Points d’arrêt de cache explicites explique où les placer.
Ce qui casse le cache
Placez le texte propre à chaque requête, comme une ligne d’état, à la fin du tour utilisateur le plus récent, après le dernier point d’arrêt du cache. Lors des requêtes ultérieures, laissez chaque tour antérieur tel que vous l’avez envoyé, avec son ancienne ligne d’état toujours présente. Effectuez les modifications invalidant le cache à une coupure naturelle, comme la première requête après une compaction. Sur les modèles qui exécutent la vérification du préfixe, une requête qui modifie l’invite système ou tools peut recevoir une erreur 400, même à une telle coupure. Envoyez plutôt ces modifications dans messages, lorsque votre plateforme le prend en charge (voir Modifier les outils ou les instructions sans échouer à la vérification du préfixe). Le cache est une correspondance de préfixe exacte à l’octet près sur la requête dans l’ordre (outils, puis invite système, puis messages), de sorte qu’une modification à n’importe quel endroit invalide tout ce qui suit.
Lorsqu’un élément doit changer en cours de conversation, envoyez-le sous la forme qui préserve le cache, lorsque le modèle la prend en charge. Anthropic a testé chaque modification des deux façons sur Claude Fable 5.1, Claude Opus 5.5 et Claude Sonnet 5.5, sur une conversation en cache d’environ 100 000 tokens qui contenait la première réponse du modèle avec sa réflexion. Modifier l’invite système a coûté environ 25 à 50 fois ce que le même texte a coûté sous forme de message système en cours de conversation. Changer l’effort au premier niveau a coûté 20 à 40 fois ce qu’a coûté le changer dans un message18 :
Lorsqu’une modification invalide le cache, la partie du préfixe qu’elle affecte est écrite à nouveau au lieu d’être lue. Une écriture dans le cache de 5 minutes coûte 1,25x le prix d’entrée, et une lecture du cache coûte une petite fraction du prix d’entrée. Aux prix catalogue, cette écriture coûte 50 fois une lecture sur Claude Fable 5.2, Claude Mythos 5.2, Claude Fable 5.1 et Claude Mythos 5.1, où une lecture du cache coûte 0,025x le prix d’entrée. Cette écriture coûte 25 fois une lecture sur Claude Opus 5.5 et Claude Sonnet 5.5 (0,05x), et 12,5 fois sur Claude Haiku 5.5 (0,1x). Les chiffres du graphique proviennent de l’API Messages.
Dans un test distinct d’Anthropic sur Claude Opus 5.5 et Claude Fable 5.2, des requêtes qui modifiaient l’invite système ou tools et renvoyaient des blocs de réflexion antérieurs ont tout de même reçu l’erreur 400. Elles l’ont reçue même en tant que première requête après une compaction à un seuil de tokens18.
Que faire.
- Ne placez rien qui change à chaque requête, comme un horodatage ou une position dans une file d’attente, avant le préfixe stable : cela transforme chaque requête en une écriture complète du cache. Dans le test d’Anthropic, une ligne d’état de 25 tokens au début de l’invite système a fait écrire à chaque requête l’intégralité de la conversation ; déplacée à la fin du tour utilisateur le plus récent, elle a laissé la lecture du cache intacte18.
- La page mise en cache des prompts répertorie les modifications qui invalident le cache, comme une modification de
effort, de la configuration de réflexion, du paramètrespeed, de l’invite système ou d’une définition d’outil. Changer le format de sortie invalide le cache pour cette conversation (voir sorties structurées). - Vérifiez quels modèles prennent en charge chaque forme : les messages système en cours de conversation, et l’effort par message, qui est en bêta.
- Après une modification invalidant le cache, vérifiez que les lectures du cache n’ont pas chuté ; si c’est le cas, les diagnostics du cache montrent où le préfixe a divergé.
Sur un modèle antérieur, Anthropic a mesuré à quel moment effectuer une telle modification, sur les longues sessions de l’agent de triage de tickets décrit dans Réduire les tokens d’entrée et de contexte18. Les sessions qui effectuaient des modifications commençaient avec un effort faible, puis passaient à l’effort par défaut et ajoutaient un outil. Effectuer les deux modifications en cours de session a coûté le plus cher. Les effectuer sur la requête qui a déclenché la compaction a coûté presque autant, car cette requête transportait encore l’intégralité de la conversation et l’a réécrite dans le cache. Les effectuer sur la requête suivante, la première après la compaction, a coûté le moins cher. La précision est restée dans les limites du bruit d’une exécution à l’autre. Ce modèle n’exécute pas la vérification du préfixe. Sur un modèle qui l’exécute, ajoutez plutôt l’outil dans un message : voir Ajouter, supprimer ou désactiver des outils, qui est en bêta. Le graphique suivant montre également des sessions sans modification. Elles ne constituent pas une référence à conditions égales, car elles ont fonctionné à l’effort par défaut tout du long et deux d’entre elles ont été compactées une seconde fois :
Réduire les tokens d’entrée et de contexte
La plupart des requêtes d’agent transportent des tokens qui n’influencent jamais la réponse. Les supprimer coûte rarement en qualité de sortie, même si tous les leviers présentés ici n’ont pas permis d’économiser lors des mesures. Deux endroits à examiner :
- Réduction des entrées.
- Le filtrage dynamique de l’outil de récupération web écarte le contenu standard des pages récupérées.
- Le redimensionnement des images ajuste la taille des entrées visuelles.
- La recherche d’outils avec chargement différé ne charge les définitions d’outils qu’en cas de besoin (voir Différer les définitions d’outils inutilisées).
- L’appel d’outils programmatique permet à Claude d’exécuter plusieurs appels d’outils depuis du code afin que seul le résultat filtré entre dans le contexte ; sa documentation fait état de 24 % de tokens d’entrée en moins sur des benchmarks de recherche agentique, avec un score plus élevé.
- Gérer le contexte des outils compare la recherche d’outils, l’appel d’outils programmatique, la mise en cache des prompts et l’édition du contexte.
- Cycle de vie du contexte. L’édition du contexte efface les résultats d’outils obsolètes, et la compaction automatique avec son seuil empêche les longues boucles de transporter tout leur historique.
Les leviers interagissent avec le cache et entre eux ; jugez-les donc sur leur effet net, et utilisez les diagnostics du cache pour confirmer que votre préfixe en cache survit à chaque modification.
Dans des mesures sur un modèle antérieur28, Anthropic les a exécutés sur un agent de triage de tickets traitant 20 rapports de bogues réels avec captures d’écran provenant d’un dépôt public, et sur une variante plus longue de la même tâche avec 2,6 fois plus de tokens. Avec la mise en cache activée, la réduction des entrées (redimensionnement des images et recherche d’outils) a encore réduit le coût des deux exécutions.
Différer les définitions d’outils inutilisées
Chaque définition d’outil attachée à une requête constitue une entrée à chaque tour, et quelques serveurs MCP en ajoutent des centaines.
Dans une mesure sur un modèle antérieur27, Anthropic a exécuté l’agent de triage avec ses deux propres outils plus un catalogue de définitions d’outils réelles provenant de serveurs MCP publics, pour un total allant jusqu’à 502 outils, en les chargeant tous ou en marquant les outils supplémentaires defer_loading derrière la recherche d’outils :
- Avec toutes les définitions chargées, le coût de l’exécution a augmenté à mesure que le catalogue grandissait, suivant les tokens de schéma de chaque requête.
- Avec la recherche d’outils, le coût de l’exécution est resté stable quelle que soit la taille du catalogue.
- La précision était dans la même fourchette dans les deux cas, et le modèle n’a jamais appelé un mauvais outil ; à cette échelle, les définitions inutilisées coûtent donc de l’argent, pas de l’exactitude.
- Gardez chargés vos 3 à 5 outils les plus utilisés, afin que Claude puisse les appeler sans effectuer de recherche au préalable.
- Sur le même modèle antérieur, différer l’ensemble d’outils d’un serveur MCP GitHub public (
default_config: {defer_loading: true}sur le connecteur MCP) a réduit le coût de l’exécution à précision égale. Avec l’ensemble d’outils différé, et sans outil de recherche d’outils dans la requête, aucune exécution n’a appelé les outils du serveur.
Garder les fichiers de données hors du prompt
Lorsque le modèle doit effectuer des calculs sur un tableau, téléversez-le avec l’API Files et laissez le modèle l’interroger avec l’exécution de code au lieu de le coller. Anthropic a posé 25 questions d’agrégation15 (sommes, comptages filtrés, regroupements et un filtre de date) sur un CSV public de 1 862 lignes, avec les réponses calculées par pandas :
Collé dans le prompt, le tableau représente environ 91 000 tokens d’entrée à chaque requête, et Claude Sonnet 5 a répondu correctement à 7 questions sur 25. Téléversé, avec l’exécution de code, il a répondu aux 25, et l’exécution a coûté environ un douzième. Claude Opus 5 a montré le même schéma. Aucune des deux approches n’utilisait la mise en cache des prompts.
Gérer le cycle de vie du contexte
Les leviers de contexte ne sont rentables que sur une session assez longue pour en avoir besoin :
Anthropic a mesuré ces leviers sur un modèle antérieur28 :
- Dans ces exécutions, l’élagage était une courte fonction dans le propre code de l’agent de triage de tickets : à chaque frontière de tâche, il remplaçait chaque résultat de recherche de plus de 2 000 caractères par un extrait d’une ligne.
- Sur l’exécution de 20 tickets, les leviers ont peu ou pas fait économiser, et l’édition du contexte a rendu l’exécution plus coûteuse.
- Sur l’exécution longue, l’élagage et la compaction ont tous deux réduit le coût, tandis que l’édition du contexte n’a rien changé.
- Si vous utilisez l’édition du contexte, effacez en quelques grands lots, car chaque effacement coûte une écriture en cache.
Mettre en lots le travail qui peut attendre
Faites passer chaque requête que personne n’attend par l’API Batch, et réservez le chemin interactif pour le reste. L’API Batch applique une réduction de 50 % sur chaque token d’une requête, y compris ceux en cache, en échange de résultats qui arrivent à tout moment dans un délai de 24 heures.
- Le traitement par lots est le deuxième levier gratuit le plus important après la mise en cache pour le travail d’agent sans surveillance : exécutions d’évaluation, remplissages rétroactifs et tâches planifiées, comme une exécution récurrente de l’agent de triage de tickets issu de la mesure de réduction des tokens.
- Le traitement par lots se combine avec la plupart des éléments de cette page, mais pas avec le mode rapide, ni avec les fils de messages, ni avec les sessions Claude Managed Agents (voir Tarification de Claude Managed Agents).
Auditer les prompts par rapport au modèle actuel
Auditez les prompts par rapport au modèle que vous utilisez actuellement, et recommencez chaque fois que vous changez de modèle : c’est un gain gratuit.
- Chaque génération de modèle réagit différemment aux prompts, de sorte qu’un prompt accumule du texte écrit pour un modèle que vous n’utilisez plus.
- Le cas habituel est celui d’instructions trop spécifiques ajoutées pour compenser un modèle plus ancien : « vérifiez deux fois », « soyez aussi exhaustif que possible », une procédure étape par étape obligatoire, ou un brouillon de raisonnement fait maison.
- Un modèle plus récent suit ces instructions à la lettre, produisant des tours d’outils et de la rédaction supplémentaires que vous payez sans gain de précision.
L’audit est une seule commande. La skill Claude API livrée avec Claude Code dispose d’une commande prompt-audit qui lit les prompts et le code de requête d’un projet et signale ce qui a été écrit pour un modèle différent :
Claude Code
Laissez Claude Code auditer vos prompts pour vous
/claude-api prompt-auditCet extrait raccourci montre la commande exécutée sur un prompt de service d’assistance et un code de requête contenant ces schémas :
$ claude
> /claude-api prompt-audit
10 findings. The three that matter most:
1. budget_tokens returns a 400 on Opus 5 (support_agent.py:10). This code
does not run against its own target model. Everything else here is
quality; this one is an outage.
2. The prompt contains two live contradictions. Line 15 says confirm before
every refund, line 17 says process every eligible refund immediately.
Line 19 asks for a complete recap *and* a three-sentence maximum.
3. The reasoning scaffold and the 6-step script fight the model rather than
steer it. <scratchpad> + "reason step by step" is now a request
parameter, not prose; the mandatory 6-step procedure plus "investigate
fully even when the ticket looks simple" forces four tool calls on a
"where's my package" ticket.
...
-After any refund or escalation, verify twice before submitting: re-fetch
-the order, re-check every figure in your reply against the fresh lookup,
-and review the reply a second time for errors.
+Before submitting a refund or an escalation, re-fetch the order and confirm
+every figure in your reply matches the fresh lookup.La commande propose ensuite ses modifications sous forme de diff (un seul bloc affiché) et liste ce qu’elle a délibérément laissé intact : la fenêtre de remboursement, l’exigence de ton et le niveau de qualité. Vous examinez un correctif, pas une réécriture.
Anthropic a mesuré l’effet sur une évaluation de service d’assistance14, lors de deux migrations entre des modèles antérieurs :
- De Claude Opus 4.8 à Claude Opus 5, les prompts écrits pour l’ancien modèle ont coûté plus cher par ticket sur le nouveau modèle, sans changement de précision.
- L’exécution de l’audit sur les mêmes prompts a rendu Claude Opus 5 à la fois moins cher que la version non auditée et plus précis, un gain au-delà du bruit.
- De Claude Sonnet 4.6 à Claude Sonnet 5, l’audit a réduit le coût par ticket à précision égale.
Les deux types de texte obsolète ont des coûts différents :
- Les instructions que le nouveau modèle suit trop littéralement coûtent de l’argent : supprimer « vérifiez deux fois » a réduit le coût par ticket de Claude Opus 5, et supprimer « soyez aussi exhaustif que possible » l’a réduit presque autant.
- Le texte qui ne convient plus au modèle coûte plutôt de la précision : un paramètre de réflexion retiré, des règles contradictoires et un brouillon fait maison qui entre en conflit avec la propre réflexion du modèle ont chacun, une fois supprimés, rétabli la précision sur Claude Opus 5.
Les mêmes schémas ont tendance à apparaître dans les descriptions d’outils et les skills, qui méritent également d’être auditées.
Arbitrer entre coût et intelligence
Ces leviers déterminent où se situe un modèle unique entre coût et intelligence : le choix du modèle, l’effort, la relance des échecs avec un réglage plus élevé, les budgets et plafonds dans lesquels il travaille, et le fait qu’il puisse voir combien de temps s’est écoulé. Si vous avez un ou deux modèles de retard, commencez par mettre à niveau (Mettre à niveau le modèle) ; sinon, commencez par un balayage de l’effort sur votre modèle actuel (Ajuster l’effort). Du coût et de la capacité les plus faibles aux plus élevés, les modèles actuels sont Claude Haiku 5.5, Claude Sonnet 5.5, Claude Opus 5.5 et Claude Fable 5.2 (le modèle de pointe) ; la Vue d’ensemble des modèles présente la gamme complète et les tarifs.
Comparer les modèles sur le coût par tâche
Comparez les modèles sur le coût par tâche accomplie, et non par token, car vous payez pour des tâches accomplies. Pour la plupart des charges de travail d’agents, commencez avec Claude Opus 5.5 à son effort par défaut (medium).
Un modèle plus performant peut accomplir une tâche avec moins de travail, ce qui peut compenser une grande partie du surcoût par token. Anthropic l’a mesuré sur le sous-ensemble SWE-bench Pro3, dont les scores ne sont pas comparables au classement public, avec une tarification identique à la facturation d’un client :
Le tableau suivant présente les résultats :
| Benchmark | Modèle | Effort | Score | Coût |
|---|---|---|---|---|
| Sous-ensemble SWE-bench Pro3 | Claude Sonnet 5.5 | high (par défaut) | 87,6 % des tâches résolues | 0,11 $ USD par tâche résolue |
| Sous-ensemble SWE-bench Pro | Claude Opus 5.5 | low | 87,4 % des tâches résolues | 0,12 $ USD par tâche résolue |
| Sous-ensemble SWE-bench Pro | Claude Opus 5.5 | medium (par défaut) | 92,8 % des tâches résolues | 0,22 $ USD par tâche résolue |
| Sous-ensemble SWE-bench Pro | Claude Fable 5.1 | high (par défaut) | 92,3 % des tâches résolues (une seule exécution) | 1,19 $ USD par tâche résolue |
| Benchmark interne de codage agentique11 | Claude Opus 5.5 | medium (par défaut) | 86,6 % | 0,84 $ USD par tentative |
| Benchmark interne de codage agentique | Claude Fable 5.2 | medium | 88,9 % (une seule exécution) | 1,34 $ USD par tentative |
| GPQA Diamond9 | Claude Haiku 5.5 | medium (par défaut) | 85 % de précision, contre 91 % pour Claude Opus 5.5 et pour Claude Sonnet 5.5 | Environ un vingtième du coût par bonne réponse de Claude Opus 5.5 et environ un dixième de celui de Claude Sonnet 5.5 |
| Ensemble de tâches Claude Managed Agents25, 79 tâches | Claude Haiku 5.5 | medium | 93 % des tentatives réussies (une seule exécution) | Environ 0,011 $ USD par tentative réussie |
Sur 463 des 478 problèmes du sous-ensemble SWE-bench Pro, ceux dont les solutions de référence réussissent également sans accès réseau (référence 3), Claude Fable 5.2 à high, son réglage par défaut sur l’API Messages, a résolu 96,3 % des tâches pour 1,39 $ USD par tâche résolue. La même exécution de Claude Fable 5.1 à son réglage par défaut, comptée sur ces 463 problèmes, a résolu 92,4 % pour 1,17 $ USD. À low, Fable 5.2 a résolu 94,6 % pour 0,39 $ USD par tâche résolue : plus de tâches que Fable 5.1 à son réglage par défaut, pour environ un tiers du coût. À taux de réussite similaire, Claude Opus 5.5 coûte toujours moins cher par tâche résolue sur ces problèmes : à son réglage par défaut, il a résolu 93,1 % pour 0,22 $ USD, à high 95,5 % pour 0,30 $ USD, et à xhigh 96,5 % pour 0,75 $ USD, au niveau de Fable 5.2 à high pour un peu plus de la moitié du coût.
Que faire.
- Commencez avec Claude Opus 5.5 à son effort par défaut : sur le sous-ensemble SWE-bench Pro, il a égalé Claude Fable 5.1 à son effort par défaut, dans les limites du bruit d’une exécution à l’autre, pour environ un cinquième du coût par tâche résolue. Opus 5.5 et Fable 5.1 saturent tous deux largement le sous-ensemble SWE-bench Pro. Utilisez Claude Fable 5.2 pour le raisonnement exigeant et le travail agentique à long horizon, ou lorsque vos évaluations de Claude Opus 5.5 à un effort plus élevé restent insuffisantes.
- À l’autre extrémité, Claude Haiku 5.5 convient au travail à fort volume et sensible à la latence, dont les sorties sont vérifiables.
- Évaluez chaque candidat en coût par tâche accomplie sur votre propre trafic, y compris Claude Opus 5.5 à son effort par défaut et le modèle de pointe à effort réduit. Chacun des prix par token de Claude Opus 5.5, lectures de cache comprises, est le double de celui de Claude Sonnet 5.5, mais sur le sous-ensemble SWE-bench Pro, Opus 5.5 à
lowa résolu à peu près la même proportion de tâches que Sonnet 5.5 à son effort par défaut, dans les limites du bruit d’une exécution à l’autre, pour environ 7 % de plus par tâche résolue. - Mesurez ce qu’un modèle plus coûteux apporte sur votre propre charge de travail. Sur les 44 tâches de DeepResearch Bench II7 notées pour chaque modèle, à l’effort par défaut sur l’API Messages, Claude Opus 5.5 a obtenu 2,4 points de plus que Claude Sonnet 5.5 pour 1,5 fois le coût par tâche. Claude Fable 5.2 a coûté 4,3 fois plus que Claude Sonnet 5.5 sans gain de score mesurable, et 2,9 fois plus que Claude Opus 5.5 pour un score inférieur de 1,9 point. Par rapport à Claude Fable 5.1, il a coûté de 20 % à 61 % de moins à chaque niveau d’effort et a obtenu de 4,7 à 7,0 points de moins. Sur l’ensemble des 50 tâches, Claude Opus 5.5 n’est pas mesurablement en avance sur Claude Sonnet 5.5 : les mesures de protection l’ont presque toujours arrêté sur quatre tâches de biologie auxquelles Claude Sonnet 5.5 a répondu, et une tentative arrêtée compte comme un échec.
- Évaluez la queue de votre charge de travail, pas la médiane : comparez les modèles sur le dixième le plus difficile de vos tâches, pas sur la tâche typique.
La facture est déterminée par les tâches sur lesquelles le modèle le moins cher échoue, car une tâche échouée facture quand même ses tokens, puis la nouvelle tentative, puis tout ce que l’échec coûte en aval. La queue est aussi l’endroit où part l’argent, même quand rien n’échoue. Sur une exécution WideSearch1 de 20 problèmes, deux problèmes ont représenté 43 % des dépenses :
Les stratégies multi-modèles existent pour consacrer l’intelligence de pointe à cette queue sans payer les tarifs de pointe pour le reste.
Mettre à niveau le modèle
Si vous avez un ou deux modèles de retard, le levier le moins cher est la chaîne du modèle. Sur les benchmarks de codage de cette section et de Comparer les modèles, chaque modèle plus récent a résolu au moins autant de tâches que le précédent ; la plupart ont coûté moins cher par tâche résolue, et Claude Fable 5.2, à high, a coûté plus cher que Claude Fable 5.1. Sur un benchmark de recherche, Claude Fable 5.2 a fait l’inverse : il a coûté moins cher par tâche que Claude Fable 5.1 à chaque niveau d’effort et a obtenu un score inférieur (Comparer les modèles). Le graphique représente les modèles Claude récents sur deux benchmarks dans lesquels un agent travaille seul sur une tâche écrite et des tests vérifient le résultat : le sous-ensemble SWE-bench Pro3, où chaque modèle a été exécuté avec la même configuration de test, et Terminal-Bench 320. Le tableau indique ce que chaque mise à niveau a changé :
| Benchmark | Mise à niveau | Effort | Score | Coût |
|---|---|---|---|---|
| Sous-ensemble SWE-bench Pro3 | De Claude Sonnet 4.6 à Claude Sonnet 5 | Par défaut | 5 points de plus | 16 % de moins par tâche résolue |
| Sous-ensemble SWE-bench Pro | De Claude Sonnet 5 à Claude Sonnet 5.5 | Par défaut | Environ 10 points de plus | 87 % de moins par tâche résolue ; 85 % de moins aux prix de Claude Sonnet 5 |
| Sous-ensemble SWE-bench Pro | De Claude Opus 5 à Claude Opus 5.5 | Par défaut : de high à medium | À peu près identique : de 91,9 % à 92,8 % des tâches résolues | 78 % de moins par tâche résolue ; environ 69 % de moins aux prix de Claude Opus 5 |
| Sous-ensemble SWE-bench Pro | De Claude Fable 5 à Claude Fable 5.1 | Par défaut | Score à peu près identique | 43 % de moins par tâche résolue |
| Terminal-Bench 320 | De Claude Opus 4.7 à Claude Opus 4.8 | high | De 7 % à 15 % des tâches résolues | De 183 $ USD à 63 $ USD par tâche résolue |
| Terminal-Bench 3 | De Claude Opus 4.8 à Claude Opus 5 | high | De 15 % à 41 % des tâches résolues | De 63 $ USD à 28 $ USD par tâche résolue, soit une économie de 56 % |
| Ensemble de tâches Claude Managed Agents25 | De Claude Haiku 4.5 à Claude Haiku 5.5 | Tel que servi ; medium sur Claude Haiku 5.5 | De 62 % à 93 % des tentatives réussies, une exécution par modèle | De 0,041 $ USD à environ 0,010 $ USD de coût en tokens par tentative ; environ 84 % de moins par tentative réussie |
Quand c’est rentable.
- L’ampleur de l’économie dépend du travail. De Claude Opus 5 à Claude Opus 5.5, elle est de 78 % par tâche résolue sur le sous-ensemble SWE-bench Pro et de 40 % sur les charges de travail typiques (Introducing Claude Opus 5.5). De Claude Sonnet 5 à Claude Sonnet 5.5, elle est de 87 % sur le même sous-ensemble et jusqu’à 30 % pour la plupart des travaux (Introducing Claude Sonnet 5.5).
- Lorsque les anciens modèles résolvent déjà la plupart des tâches, c’est le coût de chaque tentative qui détermine l’économie : sur le sous-ensemble SWE-bench Pro, Claude Opus 5.5 obtient à peu près le même score que Claude Opus 5 pour 78 % de moins par tâche résolue.
- Lorsque les anciens modèles échouent le plus souvent, c’est le taux de réussite qui détermine l’économie : sur Terminal-Bench 320, la mise à niveau de Claude Opus 4.8 vers Claude Opus 5 fait passer les tâches résolues de 15 % à 41 % et coûte 56 % de moins par tâche résolue.
- Comparez selon le coût par tâche résolue, et non par token : le même texte coûte environ 30 % de tokens de plus sur Claude 4.7 et les modèles ultérieurs, de sorte qu’une comparaison par token fait paraître les modèles plus récents plus chers par construction.
Ajuster l’effort
Balayez les niveaux d’effort sur votre propre charge de travail avant d’ajouter un second modèle. Un effort plus faible coûte moins et est souvent plus rapide, et la précision qu’il sacrifie dépend de la tâche : sur le codage à long horizon, l’effort a apporté de la précision, et sur les tâches de recherche, il en a apporté beaucoup lors d’une mesure et un peu lors d’une autre. Le paramètre effort détermine la quantité de réflexion, d’appels d’outils et d’auto-vérification qu’effectue le modèle ; sur l’API Messages, high est la valeur par défaut sur la plupart des modèles, et medium sur Claude Opus 5.5 et Claude Haiku 5.5.
Le tableau suivant présente les mesures d’Anthropic sur deux benchmarks avec des modèles actuels ; les scores et les coûts ne sont pas comparables entre les deux benchmarks. Les coûts sont exprimés par tâche, et non par tâche résolue comme dans Comparer les modèles sur le coût par tâche. Chaque score regroupe deux exécutions sur SWE-bench Pro et trois sur DeepResearch Bench II, sauf indication contraire dans sa cellule :
| Benchmark | Modèle | Effort | Score | Coût par tâche |
|---|---|---|---|---|
| Sous-ensemble SWE-bench Pro3 | Claude Opus 5.5 | low | 87,4 % des tâches résolues | 0,11 $ USD |
| Sous-ensemble SWE-bench Pro | Claude Opus 5.5 | medium (par défaut) | 92,8 % des tâches résolues | 0,21 $ USD |
| Sous-ensemble SWE-bench Pro | Claude Opus 5.5 | high | 95,3 % des tâches résolues | 0,29 $ USD |
| Sous-ensemble SWE-bench Pro | Claude Opus 5.5 | xhigh | 96,7 % des tâches résolues (une seule exécution) | 0,74 $ USD |
| DeepResearch Bench II7 | Claude Fable 5.2 | low | Score de grille d’évaluation 54,5 % | 1,49 $ USD |
| DeepResearch Bench II | Claude Fable 5.2 | medium | Score de grille d’évaluation 55,0 % | 2,16 $ USD |
| DeepResearch Bench II | Claude Fable 5.2 | high (par défaut sur l’API Messages) | Score de grille d’évaluation 57,7 % | 4,82 $ USD |
Le graphique suivant représente la précision en fonction du coût par tâche pour Claude Opus 5.5 sur le sous-ensemble SWE-bench Pro3 :
Le graphique suivant représente le score de grille d’évaluation en fonction du coût par tâche pour Claude Fable 5.1 sur DeepResearch Bench II7 :
Que faire.
- Balayez deux ou trois niveaux d’effort sur un échantillon de votre propre trafic, chacun dans une session distincte : modifier l’effort de niveau supérieur en cours de session invalide le cache et fausse la comparaison. La courbe est la référence que toute stratégie multi-modèles doit battre (étape 2 de la mesure sur votre propre charge de travail).
- Sur le codage à long horizon, l’effort est un véritable compromis, que la réexécution des échecs à un effort plus élevé transforme à nouveau en économie. À
medium, Claude Sonnet 5.5 a obtenu environ 7 points de moins qu’à son effort par défaut,high, sur le sous-ensemble SWE-bench Pro3 pour environ 59 % du coût par tâche (2 exécutions chacun), et a obtenu 62,7 % contre 77,8 % sur le benchmark interne de codage agentique11 (1 tentative par tâche). - À
xhighetmax, Claude Sonnet 5.5 peut lancer ses propres cycles de revue après avoir terminé une tâche, ce qui prend plus de temps et de tokens. Pour que ce travail reste centré sur la tâche, ajoutez à votre invite système le prompt figurant sous « Minutie à un effortxhighetmax» dans Rédiger des prompts pour Claude Sonnet 5.5. - Sur les tâches de recherche, mesurez le modèle que vous déployez. Claude Fable 5.2 a obtenu 3,3 points de plus à
highqu’àlowsur DeepResearch Bench II, pour 3,2 fois le coût, et pas mesurablement davantage àmediumqu’àlow; Claude Opus 5.5 a obtenu 13,3 points de moins àlowqu’àmediumsur DRACO21. Les deux résultats proviennent de modèles différents sur des benchmarks différents ; ils montrent donc que la réponse varie, mais pas pourquoi. - À
low, la tâche typique de Claude Opus 5.5 a pris 84 % de temps en moins qu’àmediumsur DRACO21, 30 % de moins sur HLE22 et 47 % de moins sur un ensemble interne de problèmes de physique23, et a obtenu respectivement 13,3, 3,4 et 14,0 points de moins (3, 3 et 4 tentatives par tâche). - Sur un benchmark interne de recherche de défauts8 (10 exécutions par réglage), Claude Opus 5.5 a obtenu 34 points de moins à
lowqu’àmedium, pour environ un cinquième du coût. Claude Fable 5.2 a obtenu 4,3 points de moins àlowqu’àhigh, pour 37 % de moins.
Relancer les échecs avec un effort plus élevé
Lorsque le résultat d’une tâche est vérifiable, la politique la moins coûteuse sur la courbe d’effort n’est pas un réglage fixe : exécutez chaque tâche à un réglage bas et réexécutez uniquement les échecs à un réglage plus élevé.
Anthropic a calculé cette politique tâche par tâche à partir des exécutions d’effort de Claude Opus 5.5 sur le sous-ensemble SWE-bench Pro3 présentées dans Ajuster l’effort :
Dans le tableau suivant, les coûts de réexécution incluent les tentatives bon marché échouées :
| Politique | Tâches résolues | Coût par tâche |
|---|---|---|
low, échecs réexécutés à high | Environ 97 % | Environ 0,17 $ USD |
medium, échecs réexécutés à high | Environ 97 % | Environ 0,24 $ USD |
Tout à high | 95,3 % | 0,29 $ USD |
- À
low, 13 % des tâches ont échoué. Avec ces tâches réexécutées àhigh, le taux de réussite a été légèrement supérieur à celui obtenu avec tout àhigh, pour un peu plus de la moitié du coût. - Utilisez cette politique pour l’économie, pas pour le gain. L’essentiel du faible gain provient de la seconde tentative : réexécuter à
highles échecs d’une exécution àhighdonne à peu près le même score, pour plus d’argent.
Deux conditions s’appliquent. Premièrement, vous avez besoin d’un signal d’échec (ici, les propres tests du benchmark) ; un vérificateur qui valide un mauvais travail laisse passer ces échecs. Deuxièmement, chaque échec de première passe prend le « wall-clock time » (temps réel écoulé) de deux exécutions ; l’économie se paie donc en latence sur les échecs.
Définir des budgets et des plafonds de sortie
Deux contrôles remplissent deux fonctions différentes : un budget de session plafonne ce qu’une session Claude Managed Agents peut dépenser, et max_tokens plafonne la longueur d’une réponse. Définissez chacun là où il s’applique, avec une limite de dépenses de l’espace de travail comme filet de sécurité final.
- Les budgets de session sur Claude Managed Agents constituent un arrêt strict des dépenses. Un budget de session est un plafond en dollars sur le coût au tarif public d’une session, que la plateforme mesure pour les tokens, les recherches web et la durée d’exécution de la session.
- Au plafond, ou légèrement au-delà, la session se met en pause avec
stop_reason: budget_reached; augmenter le budget la reprend. Il est appliqué par la plateforme et fonctionne sur tout modèle disposant d’un prix catalogue. Les déploiements appliquent le même budget à chaque session qu’ils démarrent. max_tokensplafonne une seule réponse, de manière invisible pour le modèle ; l’abaisser n’incite donc pas le modèle à économiser. Les tours qui avaient besoin de cette marge sont abandonnés et restent facturés. Relancer les tentatives plafonnées aide rarement : au même plafond, la plupart échouent à nouveau, et à un plafond plus élevé, vous payez aussi la tentative gaspillée.- Définissez
max_tokensà 64 000 pour le travail agentique, ou à 128 000, le maximum, lorsqu’une seule tentative interrompue est coûteuse. Diffusez en streaming les réponses de cette taille, traitezstop_reason: max_tokenscomme un échec, et économisez grâce à l’effort, que le modèle peut voir. - Sur Claude Haiku 5.5, augmentez un
max_tokensfaible ou réduisez l’effort : la réflexion est activée par défaut et compte dans le plafond, de sorte qu’une réponse peut se terminer avant tout texte (voir le guide de migration de Claude Haiku 5.5).
Le tableau suivant indique ce que chaque modèle a résolu et ce qu’a coûté une tâche résolue à chaque plafond sur un benchmark interne de tâches de dépôt12, une tentative par tâche, chaque modèle à son effort par défaut sur l’API Messages. Les lignes à 16 384 font la moyenne de deux exécutions, et les autres lignes correspondent à une exécution chacune :
| Modèle | max_tokens | Tentatives interrompues par le plafond | Tâches résolues | Coût par tâche résolue |
|---|---|---|---|---|
| Claude Opus 5.5 | 16 384 | 25 % | 57,6 % | 5,38 $ USD aux prix catalogue |
| Claude Opus 5.5 | 64 000 | 0 % | 75,6 % | 5,38 $ USD aux prix catalogue |
| Claude Opus 5.5 | 128 000 | 0 % | 68,9 % | 5,94 $ USD aux prix catalogue |
| Claude Fable 5.2 | 16 384 | 85 % | 20,3 % | 27,96 $ USD aux prix catalogue |
| Claude Fable 5.2 | 64 000 | 2 % | 77,4 % | 24,42 $ USD aux prix catalogue |
| Claude Fable 5.2 | 128 000 | 0 % | 78,2 % | 24,52 $ USD aux prix catalogue |
Claude Opus 5.5 à 64 000 et 128 000 : aucune tentative n’a été interrompue à l’un ou l’autre plafond ; le plafond n’explique donc pas pourquoi ces deux lignes diffèrent en tâches résolues ou en coût par tâche résolue. Chaque ligne correspond à une exécution.
Comparez les plafonds au sein de chaque modèle. Les deux modèles ont été mesurés lors d’exécutions distinctes.
Sur les tâches de dépôt internes12, presque chaque tour se termine bien en dessous d’un plafond de 16 384 tokens, mais un seul tour plus long met fin à toute la tentative : avec un plafond plus élevé, 1,7 % des tours de Claude Fable 5.2 ont dépassé 16 384 tokens, et à 16 384, le plafond a interrompu 85 % de ses tentatives. Le rare tour long est ce qu’apporte un plafond plus élevé (Claude Opus 5.5 et Claude Fable 5.1 sont les deux modèles de ce graphique) :
Demandez des réponses plus courtes. Les tokens de sortie coûtent cinq fois plus que les tokens d’entrée sur Claude Haiku 5.5, Claude Sonnet 5.5, Claude Opus 5.5, Claude Fable 5.2 et Claude Fable 5.1, et dans une boucle d’agent, chaque token écrit par le modèle revient en entrée à chaque tour ultérieur ; vous payez donc une longue réponse encore et encore.
Dans une mesure sur un modèle antérieur26, Anthropic a exécuté un petit agent qui trie des rapports de bogues (Réduire les tokens d’entrée et de contexte) avec trois instructions de réponse finale, trois exécutions chacune, avec le même modèle et les mêmes outils :
- L’original demandait deux lignes.
- La variante plus courte en demandait une.
- La variante plus longue demandait un mémo avec six sections titrées.
Le graphique suivant représente le coût par exécution de chaque format :
Les trois ont obtenu des scores dans les limites du bruit d’une exécution à l’autre par rapport aux étiquettes correctes ; les formats diffèrent donc bien plus par ce que vous payez que par ce qu’ils réussissent. Demandez la réponse que vous lirez, pas celle qui paraît exhaustive.
Montrer au modèle le temps écoulé
Pour qu’un agent termine plus tôt et coûte moins, indiquez-lui que le temps compte et montrez-lui le temps écoulé à chaque requête. Dans la mesure d’Anthropic, les deux modifications ont réduit de 47 % le temps d’un agent Claude Opus 5.5 unique à l’effort medium et de 60 % son coût sur la tâche de recherche DRACO21 typique (médiane), et son score moyen a été inférieur de 4,1 points.
Sur HLE22 et un ensemble interne de physique23, la tâche typique a pris respectivement 14 % et 7 % de temps en moins, et le score en physique a été inférieur de 3,0 points. Abaisser l’effort à low a fait gagner plus de temps et de coût que les modifications, et a fait perdre plus de score (référence 21). Vérifiez le score sur vos propres tâches avant d’adopter les modifications.
La référence 21 donne le texte exact utilisé pour les deux modifications dans les exécutions mesurées. Pour du code fonctionnel, consultez la recette du Claude Cookbook Multi-agent teams under latency pressure and budgets, qui applique les deux modifications à une équipe d’agents. Pour utiliser l’invite système plutôt que le premier message user afin d’indiquer que le temps compte, consultez Signaux temporels pour les environnements multi-agents.
Le graphique suivant représente également une équipe, dont l’agent principal a rarement lancé des auxiliaires, et un agent unique à l’effort low :
Pour payer plutôt pour la vitesse, définissez speed: "fast" sur Claude Fable 5.2 ou Claude Opus 5.5. Le mode rapide offre jusqu’à 2,5 fois plus de tokens de sortie par seconde pour le double des prix standard des tokens. Changer de vitesse en cours de conversation provoque un échec du cache des prompts.
Combiner des modèles
Ajustez un modèle avant d’en ajouter un second : balayez d’abord l’effort sur votre modèle actuel, car la plupart des charges de travail s’arrêtent là, et si le balayage révèle un écart, évaluez le modèle plus puissant seul à faible effort. Ne construisez une association que si elle bat toute la courbe score-dépenses du modèle unique. Sur votre propre charge de travail, évaluez une association par rapport au même modèle à un effort plus faible et par rapport au modèle de niveau inférieur fonctionnant seul.
Le tableau suivant compare les deux stratégies :
| Stratégie | Flux de contrôle | Rôle du modèle de pointe | Convient à | Le coût de pointe évolue avec |
|---|---|---|---|---|
| Conseiller | Le modèle plus petit exécute la boucle, fait remonter à la demande | Consulté pour les plans et les corrections | Travail en série difficile par endroits, comme les nombreux tours d’un agent de codage entre quelques vraies décisions | La fréquence à laquelle l’exécuteur se retrouve bloqué |
| Orchestrateur | Le modèle de pointe exécute la boucle, délègue le travail de masse | Planifie, répartit et synthétise | Travail qui se déploie sur des fichiers, documents ou cas réellement indépendants, surtout au-delà d’une fenêtre de contexte | La difficulté de coordination des morceaux |
Stratégie du conseiller : faire remonter les décisions difficiles
Un conseiller ne peut aider que lorsque l’« executor » (exécuteur) le consulte.
Dans les mesures d’Anthropic, la seule association dont l’exécuteur consultait souvent, sur un benchmark de codage, a obtenu 1,7 point de plus que l’exécuteur seul au même effort, à la limite du bruit d’une exécution à l’autre, pour environ 2,1 fois le coût. Lorsque l’exécuteur consultait rarement ou jamais, l’association a obtenu un score dans les limites du bruit d’une exécution à l’autre par rapport à l’exécuteur seul, ou inférieur.
Pour l’activer, ajoutez l’outil advisor, une fonctionnalité bêta, à votre requête. Sur Claude Managed Agents, donnez un conseiller à la session. Pour Claude Code, consultez faire remonter les décisions difficiles avec l’outil advisor.
Le tableau suivant compare chaque association avec son exécuteur seul au même effort :
| Benchmark | Score | Coût | Conseiller consulté |
|---|---|---|---|
| Benchmark interne de codage agentique11 | 90,1 %, 1,7 point de plus que l’exécuteur seul, à la limite du bruit d’une exécution à l’autre | 2,92 $ USD par tentative, environ 2,1 fois l’exécuteur seul | Environ 1,4 fois par tentative ; 4 % des tentatives n’ont reçu aucun conseil |
| GPQA Diamond9 | Dans les limites du bruit d’une exécution à l’autre par rapport à l’exécuteur seul | 12 % de plus par question pour Claude Haiku 5.5, 25 % de plus pour Claude Sonnet 5.5 | Sur aucune des 198 questions, en deux exécutions chacune ; aucune invite système ne demandait de consultations |
| Chartography13 | 61,7, 7 points en dessous de l’exécuteur seul et au-delà du bruit d’une exécution à l’autre | À peu près identique à l’exécuteur seul | Sur 1 des 300 tâches |
- Benchmark interne de codage agentique. Claude Opus 5.5 à
high, avec un conseiller Claude Fable 5.1. - GPQA Diamond. Claude Haiku 5.5 ou Claude Sonnet 5.5 à l’effort par défaut de chaque modèle (
mediumethigh), avec un conseiller Claude Opus 5.5. - Chartography. Claude Opus 5.5 à
low, avec un conseiller Claude Fable 5.1.
Le conseiller ne peut transmettre que les capacités qui manquent à l’exécuteur : sur GPQA Diamond, Claude Sonnet 5.5 seul a égalé Claude Opus 5.5 seul à 91 % en comptant les refus comme des erreurs, mais uniquement parce qu’Opus 5.5 a refusé six questions de biologie par exécution contre une pour Sonnet 5.5. Sur les questions auxquelles chacun a répondu, Opus 5.5 menait d’environ 2 points.
Sur le benchmark de codage, le gain de l’association se situe à la limite du bruit d’une exécution à l’autre, et il tombe à peu près sur la propre courbe d’effort de Claude Opus 5.5 ; le conseiller a donc apporté à peu près ce qu’apporte un effort supplémentaire. Le graphique suivant représente l’association par rapport à cette courbe et à celle de Claude Fable 5.1 d’août :
Que faire.
- Mesurez le taux de consultation sur vos propres tâches. La définition de l’outil advisor, environ 1 000 tokens de prompt par requête, ajoute un coût même lorsque l’exécuteur ne consulte jamais. Avec la mise en cache des prompts, une boucle d’agent multi-tours paie la définition au prix de lecture du cache après la première requête ; ce surcoût compte donc surtout pour les tâches courtes à requête unique.
- Si l’exécuteur consulte rarement, consultez Prompts pour les tâches de codage et d’agent pour des invites système qui demandent des consultations, et mesurez à nouveau après en avoir ajouté une. Sur 20 problèmes SWE-bench Pro3, le prompt suggéré n’a fait aucune différence nette pour Claude Sonnet 5.5.
- Rétablissez l’effort de l’exécuteur si le taux de consultation s’effondre. Dans des mesures sur des modèles antérieurs, une association qui consultait sur la plupart des tâches à l’effort par défaut consultait sur peu de tâches lorsque l’effort était abaissé, et obtenait alors un score inférieur à l’exécuteur seul à son effort par défaut (SWE-bench Pro3).
- Revérifiez à chaque nouvelle version de modèle, car les versions modifient à la fois l’écart de capacités et le rapport de prix.
Stratégie de l’orchestrateur : déléguer le travail de masse
Dans les mesures d’Anthropic, la délégation ne l’a emporté que dans deux situations :
- Le travail routinier avec une longue queue de coûts (une tranche facile de BrowseComp4, mesurée avec des modèles antérieurs)
- Le travail dépassant une fenêtre de contexte (un benchmark interne de recherche de défauts8)
Lorsque le travail est une seule chaîne dépendante, ou tient dans un seul contexte sans longue queue de coûts, le modèle de l’orchestrateur seul à un effort plus faible l’a emporté dans tous les cas mesurés avec des modèles antérieurs (l’ensemble BrowseComp plus difficile et DeepWideSearch6) ; des travaux externes indépendants rapportent le même schéma5.
Pour construire un orchestrateur, utilisez l’orchestration multi-agents dans Claude Managed Agents : configurez un agent orchestrateur et les sous-agents qu’il peut appeler, chacun avec son propre modèle.
Le graphique suivant représente neuf des dix-sept configurations du benchmark de recherche de défauts selon le coût et le score (aucune des cinq de Claude Fable 5.2) :
Que faire.
- Travail routinier avec une longue queue de coûts : mesurez ce cas en premier, pour la précision comme pour le coût. La mesure sur laquelle il repose ne couvre que les problèmes auxquels la configuration déléguée a répondu correctement à chaque exécution (référence 4).
- Travail dépassant une fenêtre de contexte : découpez-le en parties, une session ou un sous-agent par partie. Sur le benchmark de recherche de défauts8, Claude Opus 5.5 avec des sous-agents Claude Sonnet 5.5 a coûté environ un tiers de moins que Claude Opus 5.5 à son effort par défaut avec une session par partie, et a obtenu à peu près le même score. Utilisé comme orchestrateur à la place de Claude Opus 5.5, Claude Fable 5.2 a coûté 19 % de plus et a obtenu à peu près le même score. Seul, de
lowàhigh, Claude Fable 5.2 a obtenu de 1,6 à 5,9 points de plus que Claude Opus 5.5 seul àhigh, pour 1,5 à 2,4 fois le coût, et de 3,2 à 7,5 points de plus qu’avec des sous-agents Claude Sonnet 5.5, pour 2,2 à 3,4 fois le coût. Il a également obtenu un score supérieur à celui de Claude Fable 5.1 seul à chaque niveau d’effort : 3,6 points àlow, pour 32 % de moins ; 3,8 àmedium, pour 37 % de moins ; et 6,1 àhigh, pour 21 % de moins. - Sous-agents Claude Haiku 5.5 sur des tâches de codage : comparez-les d’abord à l’abaissement de l’effort. Sur un benchmark de codage interne sur Claude Managed Agents, ils ont constitué une alternative à l’abaissement de l’effort, sans être meilleurs. Les ajouter à Claude Opus 5.5 à
medium, avec un court prompt de délégation, a réduit le coût par tentative de 32 % et le taux de réussite d’environ 4 points de pourcentage (intervalle à 95 % de 1,3 à 7,1), soit à peu près ce que donnerait à ce coût un mélange delowet demediumsans sous-agents29.
Mesurer sur votre propre charge de travail
Mesurez sur votre propre charge de travail : les chiffres de cette page reflètent les prix catalogue au moment de la mesure et évolueront à mesure que les modèles et les prix changent. Votre taux d’escalade, la netteté avec laquelle les tâches se découpent et la longueur des transcriptions les font également varier. La méthode reste la même :
- Prélevez quelques tâches dans les journaux de production, pondérées comme le trafic réel, et rédigez des vérifications de résultat pour chacune : les tests réussissent, le ticket est fermé, le nombre de lignes est correct. Enregistrez le coût par tâche à côté du score.
- Établissez une référence pour chaque niveau de modèle sur l’ensemble des niveaux d’effort, pas seulement celui par défaut, et tracez le score en fonction de la dépense. Une configuration multi-modèles doit battre toute la courbe du modèle unique.
- Si la courbe révèle un écart que l’effort ne peut pas combler, ajoutez la stratégie multi-modèles adaptée et relancez la suite.
- Exécutez la configuration gagnante en mode fantôme sur une tranche de trafic avant la bascule, puis continuez à exécuter la suite.
Comment calculer le prix d’une tâche. Appliquez à chacun des cinq nombres de tokens du usage d’une réponse son propre tarif : entrée non mise en cache, écritures en cache de 5 minutes et d’1 heure à 1,25x et 2x le prix d’entrée, lectures du cache, et sortie. Additionnez-les sur l’ensemble des requêtes de la tâche (l’API Usage and Cost Analytics fournit l’agrégat). Sur Claude Haiku 5.5, utilisez les tarifs correspondant à la longueur du prompt de chaque requête, en comptant les lectures et écritures du cache (voir Tarification du contexte long). Lorsque usage.speed vaut "fast", utilisez les tarifs du mode rapide.
L’exemple suivant calcule le coût d’une requête aux prix catalogue de Claude Opus 5.5. Modifiez les trois prix pour un autre modèle :
INPUT_PER_MTOK = 4.00 # Claude Opus 5.5
# 0,05x le prix d'entrée sur Claude Opus 5.5 ; le multiplicateur varie selon le modèle
CACHE_READ_PER_MTOK = 0.20
OUTPUT_PER_MTOK = 20.00
client = anthropic.Anthropic()
response = client.messages.create(
model="claude-opus-5-5",
max_tokens=1024,
messages=[{"role": "user", "content": "Hello, Claude"}],
)
usage = response.usage
cache_writes = usage.cache_creation
writes_1h = cache_writes.ephemeral_1h_input_tokens if cache_writes else 0
writes_5m = cache_writes.ephemeral_5m_input_tokens if cache_writes else 0
cost = (
usage.input_tokens * INPUT_PER_MTOK
# Écritures en cache d'une heure facturées à 2x le prix d'entrée, 5 minutes à 1,25x ; lectures au prix de lecture du cache.
+ writes_1h * INPUT_PER_MTOK * 2.0
+ writes_5m * INPUT_PER_MTOK * 1.25
+ (usage.cache_read_input_tokens or 0) * CACHE_READ_PER_MTOK
+ usage.output_tokens * OUTPUT_PER_MTOK
) / 1_000_000
print(f"Request cost: ${cost:.6f}")Points à vérifier.
- Part des lectures du cache. Dans les boucles d’agent, la plupart des tokens d’entrée devraient être des lectures du cache. Si
cache_read_input_tokensest faible par rapport àinput_tokenspluscache_creation_input_tokens, vérifiez que la mise en cache est activée et que le préfixe reste identique d’une requête à l’autre. - Outil advisor et compaction. Lorsque l’outil advisor ou la compaction est activé, certains tokens sont signalés uniquement dans
usage.iterationset non dans les totaux de premier niveau. Faites plutôt la somme surusage.iterations, et appliquez aux entréesadvisor_messageles tarifs du modèle conseiller.
Le tableau suivant liste les leviers dans l’ordre où les essayer. Les chiffres proviennent des tests d’Anthropic, des annonces de lancement, et des prix et vitesses publiés :
| Levier | Économie | Coût en qualité | Latence | Où |
|---|---|---|---|---|
| Mise en cache des prompts | Coût divisé par 4,8 à 7,2 sur un agent de recherche, et réduit d’une proportion comprise entre 83 % et 86 % sur un petit agent de triage | Aucun | Plus rapide | Mettre en cache le contexte répété |
| Durée de cache d’1 heure | Avec 1 tour sur 10 après une pause, la valeur par défaut de 5 minutes coûtait 54 % de plus ; avec 1 sur 20, à peu près autant | Aucun | Sur des modèles antérieurs, le cache restait chaud après une pause16 | Choisir la durée du cache |
| Réduction des entrées | Encore 21 % à 26 % de moins sur la facture d’un petit agent de triage | Avec la recherche d’outils, une précision dans la même fourchette que sans27 | Neutre | Réduire les tokens d’entrée et de contexte |
| Recherche d’outils | 45 % avec 500 définitions d’outils attachées ; 20 % en différant l’ensemble d’outils d’un serveur MCP GitHub | Aucun pour les outils dont la tâche n’a jamais besoin | Neutre | Réduire les tokens d’entrée et de contexte |
| Fichiers de données via l’exécution de code | 92 % sur une tâche de données de 25 questions, avec la mise en cache des prompts désactivée | Un gain : 25 réponses correctes sur 25 au lieu de 7 | Plus rapide | Réduire les tokens d’entrée et de contexte |
| API Batch | 50 % | Aucun | Résultats sous 24 heures | Mettre en lots le travail qui peut attendre |
| Audit des prompts par rapport au modèle actuel | 14 % sur les deux mises à niveau de modèle testées | Aucun ; un gain sur l’une d’elles | Plus rapide (moins de tours d’outils) | Auditer les prompts par rapport au modèle actuel |
| Mettre à niveau le modèle | Généralement moins : jusqu’à 40 % de moins sur les charges de travail typiques, et jusqu’à 87 % de moins par tâche résolue sur un benchmark de codage | Aucun en codage, un gain sur la plupart ; inférieur sur un benchmark de recherche pour Claude Fable 5.2 | Neutre | Mettre à niveau le modèle |
| Réduire l’effort | Sur les longues tâches de codage, medium coûtait environ 30 % à 52 % de moins que high, et low environ deux tiers de moins | Jusqu’à 34 points de moins, selon la tâche et le modèle ; 3,3 sur un agent de recherche | Plus rapide | Ajuster l’effort |
| Relancer les échecs | Environ 40 % de moins que de tout exécuter à high, avec un taux de réussite identique ou légèrement meilleur | Aucun | Une seconde tentative sur les tâches qui échouent | Relancer les échecs avec un effort plus élevé |
| Demander des réponses plus courtes | Environ 13 % de moins, grâce à 39 % de tokens de sortie en moins | Aucun | Plus rapide | Définir des budgets et des plafonds de sortie |
Augmenter max_tokens | Aucune : le coût par tâche résolue n’a pas augmenté à 64 000 | Un gain : jusqu’à 57 points de tâches résolues en plus à 64 000 sur un benchmark de codage ; aucun sur un autre | Neutre | Définir des budgets et des plafonds de sortie |
| Conseiller | Aucune : environ 2,1 fois le coût du modèle seul, sur un benchmark de codage | En codage, un petit gain qui peut être dû au hasard ; en lecture de graphiques, une perte | Environ 1,4 appel supplémentaire par tentative, en codage | Stratégie du conseiller |
| Orchestrateur | Avec des sous-agents sur le modèle de niveau inférieur, environ un tiers de moins que le modèle de l’orchestrateur seul à son effort par défaut, sur un travail plus grand qu’une fenêtre de contexte ; sur le travail routinier, mesurez d’abord | Aucune perte mesurable sur ce travail | Jusqu’à 25 sous-agents à la fois | Stratégie de l’orchestrateur |
| Mode rapide | Aucune : le double des prix standard des tokens | Aucun | Jusqu’à 2,5 fois plus de tokens de sortie par seconde | Montrer au modèle le temps écoulé |
Automatiser la recherche avec la skill Claude API
Exécutez la commande cost-optimize de la skill Claude API avant de rechercher des économies. Elle établit le profil de la consommation de vos tokens et applique les leviers dans l’ordre, en commençant par la mise en cache :
Claude Code
Laissez Claude Code trouver des économies pour vous
/claude-api cost-optimizeExécutez ensuite la commande hillclimb dans le répertoire qui contient votre évaluation :
Claude Code
Laissez Claude Code effectuer la recherche pour vous
/claude-api hillclimbAnthropic a mesuré le premier levier de cost-optimize et deux recherches sur tau2-bench retail24, toutes sur des modèles antérieurs. Les points d’arrêt de cache produits par cost-optimize ont réduit le coût par tâche, et le taux de réussite a baissé de moins que la dispersion entre des exécutions identiques.
Une recherche a trouvé une configuration moins coûteuse en réduisant l’effort et en descendant d’un niveau de modèle. Son taux de réussite est resté dans la bande fixée avant la recherche, à une fraction de tâche près, et a fini sous le seuil plus strict que la recherche utilisait pour ses propres verdicts. Une seconde recherche, lancée à partir du modèle moins coûteux à son effort par défaut, n’a rien conservé. La référence 24 donne les chiffres et le coût d’exécution de chaque recherche.
Le graphique suivant représente chaque étape de la première recherche :
Deux paramètres déterminent si vous pouvez vous fier à la réponse de la recherche :
- Réservez une partition que la recherche ne lit jamais. La recherche y juge l’adoption, de sorte que la confirmation détecte un changement qui ne convient qu’aux tâches vues par la recherche, comme ce fut le cas pour les modifications du prompt (référence 24).
- Répétez la référence avant le premier changement. Des exécutions identiques d’une même configuration de départ différaient de plusieurs tâches dans ces mesures (référence 24). Les répétitions donnent au critère d’adoption de la recherche une barre de bruit.
Benchmarks référencés
Sauf indication contraire dans une référence, les mesures sont des exécutions internes à Anthropic de ces benchmarks. Sauf mention contraire, les coûts sont exprimés en dollars US aux prix catalogue en vigueur au moment de chaque benchmark ; les chiffres de Claude Sonnet 5 utilisent 2 $ USD et 10 $ USD par million de tokens d’entrée et de sortie. Les chiffres de Claude Sonnet 5.5 issus des exécutions du 24 septembre 2026 utilisent les mêmes prix d’entrée et de sortie et son prix actuel de lecture du cache, 0,10 $ USD par million de tokens, plutôt que son prix de lancement de 0,20 $ USD, appliqués aux nombres de tokens enregistrés de chaque exécution. Ces exécutions utilisaient une version préliminaire de Claude Sonnet 5.5, et aucune tentative n’y a reçu de réponse d’un modèle de repli. Les graphiques intitulés « notional USD » (USD théoriques) valorisent les nombres de tokens de chaque requête à ces tarifs plutôt que de rapporter des factures.
- WideSearch : Wong et al., “WideSearch: Benchmarking Agentic Broad Info-Seeking,” arXiv:2508.07999, 2025. Tâches de recherche web étendue notées sur l’exhaustivité et l’exactitude d’un tableau de nombreuses lignes ; 200 problèmes, 3 exécutions par configuration, réalisées du 1er au 2 août 2026. Avec Claude Fable 5 sur ce benchmark, DeepWideSearch (référence 6), BrowseComp (référence 4) et GDPval (référence 2), l’effort
lowa cédé 1 à 3 points pour un coût par tâche réduit d’un tiers à la moitié,mediuma égalé la précision du réglage par défaut pour environ 70 % à 87 % de son coût, et le réglage par défaut n’a rien apporté de mesurable par rapport àmediumsur aucun des quatre. Le graphique de concentration des coûts provient d’une exécution distincte sur 20 problèmes, 3 exécutions par problème, réalisée du 3 au 4 août 2026, dont les coûts sont calculés à partir des relevés de facturation par requête. Il couvre 59 des 60 exécutions. La soixantième, facturée 10,91 $ USD sur un total de 432,31 $ USD, n’a aucun coût enregistré avec son résultat et n’est pas incluse. - GDPval : OpenAI, « GDPval: Evaluating AI Model Performance on Real-World Economically Valuable Tasks », 2025. Livrables de travail intellectuel notés selon les grilles d’évaluation de chaque tâche ; une exécution de 210 tâches de l’ensemble de référence publié, une tentative par tâche, réalisée le 2 août 2026. Un modèle Claude effectue la notation, de sorte que les scores absolus peuvent différer des résultats publiés.
- SWE-bench Pro : Scale AI, “SWE-Bench Pro: Can AI Agents Solve Long-Horizon Software Engineering Tasks?”, 2025.
- Ce qui a été mesuré : Un sous-ensemble de 482 problèmes sélectionnés pour leur compatibilité avec le harnais d’évaluation d’Anthropic ; les scores ne sont pas comparables au classement public. Ils ne sont pas non plus comparables aux résultats SWE-bench Pro de la fiche système de Claude Opus 5.5, qui proviennent d’exécutions à l’effort
maxsur un ensemble de problèmes différent. - Mode de tarification : Les coûts sur ce sous-ensemble sont valorisés comme l’est la consommation de l’organisation d’un client : le prompt antérieur de chaque requête comme une lecture du cache et ses nouveaux tokens comme une écriture en cache de 5 minutes, à partir des propres relevés d’utilisation des exécutions, vérifiés par rapport au registre d’un client.
- Exécutions de Claude Opus 5.5 : Les chiffres de Claude Opus 5.5 font la moyenne de deux exécutions à
low,medium(son réglage par défaut) ethigh, et utilisent une exécution àxhigh, toutes réalisées du 19 au 20 septembre 2026, avec le même plafond de 16 384 tokens par tour que les exécutions de Claude Opus 5 d’août ; le plafond a interrompu 2 tentatives àxhighet aucune aux autres réglages. Par rapport àhigh, Claude Opus 5.5 a obtenu environ 2,5 points de moins à son réglage par défaut,medium, pour environ 70 % du coût par tâche, et environ 8 points de moins àlowpour environ un tiers du coût ;xhigha obtenu environ 1,4 point de plus pour 2,5 fois le coût dehigh. Les ratios proviennent des coûts non arrondis. - Les 478 problèmes : Les exécutions d’Opus 5.5 utilisaient une version du benchmark dont les conteneurs de notation ne peuvent atteindre que des miroirs de paquets internes. Cette version écarte un problème dont le test nécessite un site web en ligne, et sur trois autres la solution de référence y échoue, de sorte que les comparaisons d’Opus 5.5, ainsi que les chiffres de Claude Fable 5.1 placés à côté, utilisent les 478 problèmes restants.
- Exécutions de Claude Sonnet 5.5 : Claude Sonnet 5.5 a exécuté la même version du benchmark : deux exécutions à son réglage par défaut,
high, et deux àmedium, toutes le 24 septembre 2026, avec le même plafond de 16 384 tokens par tour, qui n’a interrompu aucune de ses tentatives. Ses chiffres utilisent les 478 problèmes, tout comme les chiffres de Claude Sonnet 5 placés à côté, comptés sur ces problèmes à partir de leurs exécutions d’août. - Exécutions de Claude Opus 5 : Les chiffres SWE-bench Pro de Claude Opus 5 dans Mettre à niveau le modèle et dans cette référence font la moyenne de deux exécutions à son effort par défaut et utilisent une exécution à
low, toutes réalisées le 4 août 2026. - Conseiller, associations avec Claude Sonnet 5 : Les associations d’un exécuteur Claude Sonnet 5 avec un conseiller Claude Opus 5 à l’origine des exemples de taux de consultation dans Stratégie du conseiller ont été exécutées sur ce sous-ensemble avec la même configuration de test : l’association à l’effort par défaut a été exécutée deux fois (les 7 et 8 août 2026, une exécution et une réplication exacte), l’association à effort faible une fois (le 8 août 2026), et, dix jours plus tard, Claude Sonnet 5 seul deux fois à son effort par défaut (77,4 %, la référence pour les deux associations).
- Conseiller, vérification de consultation de Claude Sonnet 5.5 : La vérification de consultation de Claude Sonnet 5.5 citée dans Stratégie du conseiller a effectué une tentative sur chacun de 20 des 478 problèmes, le 24 septembre 2026, avec un conseiller Claude Opus 5.5 via l’outil advisor. Quatre configurations ont été exécutées :
highetxhigh, chacune avec et sans l’invite système suggérée par la documentation de l’outil advisor pour les tâches de codage. À son effort par défaut,high, Claude Sonnet 5.5 n’a consulté le conseiller sur aucun des 20 problèmes, avec ou sans le prompt. Àxhigh, il l’a consulté sur 3 des 20 problèmes sans le prompt et sur 4 avec, chaque fois lors de ses tentatives comportant le plus de tours. - Chiffres d’escalade : Les chiffres d’escalade proviennent, tâche par tâche, des exécutions d’Opus 5.5 :
lowd’abord, puishighsur ses échecs, a résolu 96,4 % à 97,5 % selon les appariements d’exécutions pour environ 0,17 $ USD ;mediumd’abord, 96,0 % à 97,1 % pour environ 0,24 $ USD ;highréexécuté sur ses propres échecs, 96,9 % pour 0,31 $ USD ; tout àhigh, 94,8 % à 95,8 % pour 0,29 $ USD. - Comparer les modèles : Le chiffre de Claude Fable 5.1 dans Comparer les modèles provient d’une exécution sur le même sous-ensemble à l’effort par défaut, réalisée le 26 août 2026 : compté sur les 478 problèmes, il a résolu 92,3 % pour 1,19 $ USD par tâche résolue. Le graphique de cette section et les chiffres de son tableau concernant Claude Opus 5.5 et Claude Sonnet 5.5 regroupent les deux exécutions à chaque réglage représenté, toutes comptées sur les 478 problèmes : Claude Opus 5.5 à
low,mediumethigh, et Claude Sonnet 5.5 àmediumethigh. Les chiffres de Claude Fable 5.2 correspondent à une exécution chacun àlowet àhigh(son réglage par défaut sur l’API Messages), toutes deux avec le même plafond de 16 384 tokens par tour, qui a interrompu 8 des 463 tentatives àhighet aucune àlow; les tentatives interrompues comptent comme des échecs. Une autre tentative àhigha été arrêtée par un moniteur de sécurité de l’environnement d’évaluation avant de se terminer et compte également comme un échec, bien que les modifications qu’elle avait apportées jusque-là aient réussi les tests ; l’exclure donnerait 96,5 % pourhigh. Ces exécutions utilisaient une version du benchmark dont les conteneurs de notation n’ont aucun accès réseau. Sur les 478 problèmes utilisés pour les comparaisons d’Opus 5.5, la solution de référence échoue sans accès réseau sur 15, de sorte que les comparaisons de Fable 5.2 utilisent les 463 restants. Dans ces comparaisons, les chiffres de Claude Opus 5.5 sont les mêmes exécutions comptées sur les 463 problèmes : deux exécutions chacune àmediumethigh, et une àxhigh. Les chiffres de Claude Fable 5.1 et Claude Opus 5.5 placés à côté ont été notés avec accès réseau ; seul l’ensemble de problèmes est donc apparié, pas la configuration de notation. Les coûts de Claude Fable 5.2 utilisent la mesure décrite sous Mode de tarification, appliquée aux totaux de tokens de chaque tentative plutôt qu’à chaque requête séparément ; ce sont donc des estimations. - Comparer les modèles, travail par tâche : Dans ces chiffres, Claude Opus 5.5 à
lowa effectué moins de travail sur chaque tâche que Claude Sonnet 5.5 à son réglage par défaut : un peu plus de la moitié des tokens de sortie de Sonnet 5.5 et un peu plus d’un tiers de ses lectures du cache. À leurs réglages par défaut, Opus 5.5 àmediuma résolu environ 5 points de pourcentage de plus que Sonnet 5.5 pour environ deux fois le coût. À ce réglage, il a effectué un peu plus de travail par tâche que Sonnet 5.5. - Mettre à niveau le modèle, exécutions : Le point de Claude Fable 5 dans Mettre à niveau le modèle regroupe trois exécutions à l’effort par défaut, réalisées le 26 août 2026, valorisées comme l’est la consommation de l’organisation d’un client. L’échelle de mise à niveau compte chaque modèle sur les 478 problèmes, chacun à ses réglages par défaut livrés. Elle utilise une exécution par modèle, sauf pour Opus 5, Opus 5.5, Sonnet 5 et Sonnet 5.5 (deux exécutions chacun) et Fable 5 (les trois exécutions décrites ci-dessus). Les exécutions d’Opus 4.7, Opus 4.8, Sonnet 4.6 et Sonnet 5 ont eu lieu du 17 au 19 août 2026, et celles d’Opus 5 le 4 août, toutes dans un même harnais et une même organisation ; les exécutions d’Opus 5.5 et Sonnet 5.5 sont celles décrites plus haut dans cette référence.
- Mettre à niveau le modèle, coût par tâche résolue : Claude Opus 5 coûte 21 % de plus par tâche résolue que Claude Opus 4.8 lorsque ces exécutions de Claude Opus 5 sont comparées à une exécution de Claude Opus 4.8 à ses réglages par défaut livrés issue de la série du 17 au 19 août, comptée sur les mêmes 478 problèmes ; le panneau SWE-bench Pro du graphique ne montre ni Claude Opus 4.7 ni Claude Opus 4.8. Dans les mêmes mesures, valorisées comme un client est facturé, Claude Opus 5 résout 12 points de tâches de plus que Claude Opus 4.8 pour ces 21 % de plus par tâche résolue, Claude Opus 4.8 résout la même part de tâches que Claude Opus 4.7 pour 14 % de moins par tâche résolue, et Claude Opus 5 à l’effort
lowbat le réglage par défaut de Claude Opus 4.8 sur ce benchmark pour environ 30 % de son coût par tâche résolue. - Mettre à niveau le modèle, prix : L’économie de Claude Sonnet 5 par rapport à Claude Sonnet 4.6 dans Mettre à niveau le modèle provient de son prix par token plus bas, qui fait plus que compenser les tokens supplémentaires qu’il utilise par tâche. Claude Sonnet 5.5 facture le même prix que Claude Sonnet 5 pour tout sauf les lectures du cache, qui coûtent moitié moins. Les prix par token de Claude Opus 5.5 sont inférieurs à ceux de Claude Opus 5, surtout pour les lectures du cache. Comme Claude Sonnet 5, le niveau de pointe a progressé par le prix : l’essentiel de l’économie de Claude Fable 5.1 tient au prix plus bas des lectures du cache.
- Coût sans mise en cache, valorisé à partir des nombres de tokens enregistrés : Anthropic a revalorisé les nombres de tokens enregistrés des exécutions de Claude Opus 5.5 et Claude Sonnet 5.5, sur les 478 problèmes, pour les facteurs de mise en cache dans Pourquoi la mise en cache vient en premier.
- Les facteurs, par modèle : Chaque facteur est le coût en tokens avec chaque token d’entrée au prix d’entrée, les tokens de sortie inchangés, divisé par le coût valorisé comme l’est la consommation de l’organisation d’un client : pour Claude Opus 5.5, 3,3 à
medium, 2,4 àlow, 3,8 àhighet 5,4 àxhigh(une exécution) ; pour Claude Sonnet 5.5, avec les lectures du cache à 0,10 $ USD par million de tokens, 3,1 àhighet 2,4 àmedium, ou 2,8 àhighau prix de lancement de 0,20 $ USD. La première requête d’une tâche est valorisée comme une écriture en cache.
- Ce qui a été mesuré : Un sous-ensemble de 482 problèmes sélectionnés pour leur compatibilité avec le harnais d’évaluation d’Anthropic ; les scores ne sont pas comparables au classement public. Ils ne sont pas non plus comparables aux résultats SWE-bench Pro de la fiche système de Claude Opus 5.5, qui proviennent d’exécutions à l’effort
- BrowseComp : Wei et al., “BrowseComp: A Simple Yet Challenging Benchmark for Browsing Agents,” OpenAI, 2025. Les chiffres d’effort utilisent une sélection de 500 problèmes, une à trois exécutions par réglage, réalisées le 3 août 2026, le point par défaut regroupant deux exécutions des 26 et 27 juillet 2026. La mesure du travail routinier avec une longue queue de coûts dans Stratégie de l’orchestrateur utilise 10 problèmes que le modèle résolvait de manière fiable seul lorsque le protocole a été fixé, issus d’une tranche de 26 problèmes, 50 exécutions déléguées (5 par problème ; du 1er au 2 août 2026) et 70 exécutions du modèle seul (50 du 2 au 3 août 2026 ; 20 archivées des 12 et 13 juillet et du 1er août 2026), 6,45 $ USD contre 11,99 $ USD par exécution en espérance ; les chiffres délégués comportent une marge de mesure d’environ 20 %. Les 10 problèmes sont ceux sur lesquels la configuration déléguée, un orchestrateur Claude Fable 5 avec un worker Claude Sonnet 5, avait raison dans les 5 exécutions et Claude Fable 5 seul dans les deux exécutions archivées ; les exécutions déléguées sont ces mêmes exécutions, et seul Claude Fable 5 seul a été réexécuté sur les dix. Sur ses 70 exécutions, archivées et nouvelles, Claude Fable 5 seul avait raison dans 68. Sur ces problèmes, la configuration déléguée a coûté environ moitié moins que Claude Fable 5 seul en moyenne (les 6,45 $ USD et 11,99 $ USD indiqués plus haut) et environ un tiers au 90e centile (12 $ USD contre 33 $ USD par exécution), et son exécution la plus chère a coûté 42 $ USD contre 84 $ USD ; cette exécution à 84 $ USD était en outre erronée. Sur l’ensemble BrowseComp complet, plus difficile, Claude Fable 5 seul a atteint la précision de la configuration d’orchestrateur mesurée sur cet ensemble pour un coût inférieur de 22 % à 30 %.
- Mise à l’échelle des architectures d’agents : Kim et al., « Towards a Science of Scaling Agent Systems », arXiv:2512.08296, 2025. Étude externe indépendante, citée uniquement pour le sens de sa conclusion sur les cas où la délégation n’est pas rentable, et non pour ses chiffres.
- DeepWideSearch : “DeepWideSearch: Benchmarking Depth and Width in Agentic Information Seeking,” arXiv:2510.20168, 2025. Les 220 questions couvrent 15 domaines, chacune combinant une collecte sur de nombreuses lignes et une récupération multi-sauts ; mesuré sur l’ensemble de lignes permanent du benchmark, 3 exécutions par configuration, réalisées le 2 août 2026 (le point de l’équipe à un seul worker a été exécuté du 26 au 27 juillet 2026). Avec Claude Fable 5, l’effort
lowa égalé un orchestrateur avec un worker Claude Sonnet 5 pour un coût inférieur de 29 %, et a pris 4,5 minutes par problème, contre 7,9 minutes au réglage par défaut. - DeepResearch Bench II : Li et al., “DeepResearch Bench II: Diagnosing Deep Research Agents via Rubrics from Expert Report,” arXiv:2601.08536, 2026.
- Ce qui a été mesuré : Ses 132 tâches de recherche réparties sur 22 domaines sont notées selon des grilles binaires dérivées d’experts. Mesuré le 3 novembre 2026, sur un sous-ensemble de 50 tâches tiré de tous ses thèmes, moitié en anglais et moitié en chinois, une tentative par tâche, 3 exécutions par réglage : Claude Sonnet 5.5 à
high, Claude Opus 5.5 àmedium, et Claude Fable 5.1 et Claude Fable 5.2 àlow,mediumethigh. Chaque réglage a été exécuté sur l’API Messages avec la réflexion adaptative, et les trois modèles publiés avec les classificateurs de sécurité de production activés. Claude Fable 5.2 a été exécuté avant sa sortie, sur 46 des 50 tâches, sans les quatre tâches de biologie. - Outils : L’agent utilisait des outils de recherche et de récupération que le harnais d’évaluation héberge sur un index web d’Anthropic ne contenant rien de daté après le 17 mars 2026, et ne disposait d’aucun shell. Une requête de recherche de plus de 120 caractères était coupée au dernier mot entier, et l’agent en était informé : 57 % à 59 % des recherches sur Claude Fable 5.2, 49 % sur Claude Sonnet 5.5, et de 26 % à 31 % dans les autres réglages. Au sein d’une même tâche, les exécutions de Claude Fable 5.2 comportant davantage de recherches coupées n’ont pas obtenu de score inférieur. D’autres exécutions de Claude Fable 5.2 et Claude Opus 5.5 ont suivi les 6 et 7 novembre 2026, trois par modèle dans chacune de deux séries. L’outil coupait les requêtes plus longues comme auparavant dans une série et les refusait dans l’autre. Sur les 43 tâches notées dans les deux séries, Claude Fable 5.2 à
higha obtenu 0,9 point de moins que Claude Opus 5.5 avec la coupure (intervalle à 95 % de 1,0 de plus à 2,7 de moins). Cet intervalle inclut l’écart de 1,9 point mesuré le 3 novembre, sur 44 tâches. Avec le refus, il a obtenu 1,9 point de moins (de 0,0 à 3,7). Cet écart était supérieur de 1,0 point à celui obtenu avec la coupure (de 0,8 de moins à 2,8 de plus), ce qui ne constitue pas un changement mesurable. Environ un quart des récupérations ont renvoyé une erreur. L’article source de chaque tâche ainsi que l’article et le jeu de données propres au benchmark ont été exclus par filtrage. - Mode de notation : Claude Opus 4.6 juge selon le protocole de grille du benchmark ; l’original utilise un juge différent, et un juge Anthropic peut favoriser le style maison. Les scores sont des moyennes sur les 44 tâches auxquelles chaque réglage a répondu et que le juge a entièrement notées. Les six autres : quatre tâches de biologie auxquelles Claude Sonnet 5.5 a répondu dans chaque exécution, et sur lesquelles les classificateurs de sécurité ont arrêté chaque tentative de Claude Fable 5.1 (36) et 11 des 12 de Claude Opus 5.5 ; une tâche, une revue de la recherche en sécurité informatique, sur laquelle les classificateurs ont arrêté une tentative de Claude Fable 5.1 à
lowet deux des trois de Claude Fable 5.2 àhigh; et une sur laquelle une vérification de sécurité qu’Anthropic ajoute à ses propres évaluations a arrêté une tentative de Claude Sonnet 5.5. - Scores : Sur les 44 tâches, et sur l’ensemble des 50, avec une tentative refusée ou arrêtée comptée comme 0 et une tentative ayant reçu une réponse que le juge n’a pas entièrement notée conservée à son score partiel : Claude Sonnet 5.5, 57,2 % et 56,8 % ; Claude Opus 5.5, 59,6 % et 54,6 % ; Claude Fable 5.1, 60,2 % et 54,7 % à
low, 62,1 % et 56,6 % àmedium, et 62,5 % et 57,0 % àhigh. Claude Fable 5.2, sur les 44 tâches : 54,5 % àlow, 55,0 % àmediumet 57,7 % àhigh. Différences tâche par tâche sur les 44 tâches, calculées avant arrondi, avec intervalles à 95 % : Claude Fable 5.1 àhighpar rapport àlow, 2,3 points (1,3 à 3,3) ; Claude Opus 5.5 par rapport à Claude Sonnet 5.5, 2,4 (1,0 à 3,8) ; Claude Fable 5.1 àhighpar rapport à Claude Opus 5.5, 2,8 (1,4 à 4,3), et par rapport à Claude Sonnet 5.5, 5,2 points (4,0 à 6,5) ; Claude Fable 5.1 àmediumpar rapport àlow, 1,9 (0,6 à 3,1) ; Claude Fable 5.2 àhighpar rapport àlow, 3,3 (1,7 à 4,9), et àmediumpar rapport àlow, 0,6 (-0,6 à 1,8) ; Claude Fable 5.2 àhighpar rapport à Claude Sonnet 5.5, 0,5 (-1,2 à 2,2), et par rapport à Claude Opus 5.5, -1,9 (-3,6 à -0,2) ; Claude Fable 5.2 par rapport à Claude Fable 5.1, -5,8 (-8,0 à -3,5) àlow, -7,0 (-9,3 à -4,8) àmediumet -4,7 (-6,4 à -3,1) àhigh. Sur l’ensemble des 50 tâches : Claude Opus 5.5 par rapport à Claude Sonnet 5.5, -2,2 (-7,6 à 3,2) ; Claude Fable 5.1 àhighpar rapport à Claude Sonnet 5.5, 0,2 (-5,5 à 5,9). - Mode de tarification : Chaque coût par tâche correspond aux propres tokens du modèle aux prix catalogue, à partir des relevés d’utilisation des tentatives, sur l’ensemble des 50 tâches et toutes les tentatives, moyenné sur les trois exécutions : 1,11 $ USD sur Claude Sonnet 5.5, 1,61 $ USD sur Claude Opus 5.5, et 3,55 $ USD, 4,44 $ USD et 5,69 $ USD sur Claude Fable 5.1. Les coûts de Claude Fable 5.2 portent sur ses 46 tâches : 1,49 $ USD, 2,16 $ USD et 4,82 $ USD ; sur ces mêmes 46 tâches, les cinq autres réglages coûtent 1,13 $ USD, 1,69 $ USD, 3,85 $ USD, 4,82 $ USD et 6,18 $ USD. Sur les quatre tâches de biologie, chaque tentative de Claude Fable 5.1 a été arrêtée à sa première requête, et les tentatives ont coûté en moyenne environ un centime sur Claude Fable 5.1 et 0,74 $ USD sur Claude Opus 5.5. Sur les seules 44 tâches, les coûts sont de 1,13 $ USD, 1,68 $ USD, 3,85 $ USD, 4,77 $ USD et 6,10 $ USD, et de 1,50 $ USD, 2,20 $ USD et 4,86 $ USD sur Claude Fable 5.2. Les comparaisons de coût dans Comparer les modèles (1,5, 4,3 et 2,9 fois ; 61 %, 54 % et 20 % de moins que Claude Fable 5.1 à
low,mediumethigh) et dans Ajuster l’effort (3,2 fois) portent sur ces 44 tâches, comme les scores qui les accompagnent. Les coûts couvrent uniquement les tokens du modèle ; les outils du harnais n’ajoutent aucuns frais. L’agent a effectué de 12 à 33 recherches par tâche, tentatives refusées comprises. - Graphiques : Le graphique de mise en cache et le graphique d’effort montrent des exécutions du 22 octobre 2026 de Claude Fable 5.1, Claude Opus 5.5 et Claude Sonnet 5.5 aux mêmes niveaux d’effort. Le graphique de mise en cache revalorise les requêtes de ces exécutions avec chaque token d’entrée au tarif sans cache. Le harnais d’évaluation a défini les points d’arrêt du cache.
- Comparabilité : Ces scores ne sont pas comparables au classement du benchmark.
- Ce qui a été mesuré : Ses 132 tâches de recherche réparties sur 22 domaines sont notées selon des grilles binaires dérivées d’experts. Mesuré le 3 novembre 2026, sur un sous-ensemble de 50 tâches tiré de tous ses thèmes, moitié en anglais et moitié en chinois, une tentative par tâche, 3 exécutions par réglage : Claude Sonnet 5.5 à
- Benchmark interne de recherche de défauts :
- Ce qui a été mesuré : Interne à Anthropic, pour un travail plus grand qu’une seule fenêtre de contexte : un corpus d’environ 22 millions de tokens issu des sources de 14 paquets Python publics, en 201 parties, avec 130 défauts implantés et une notation déterministe. Dix exécutions par configuration, sur Claude Managed Agents : 51 des 170 ont eu lieu du 27 au 29 octobre 2026, 69 les 2 et 3 novembre 2026, et les 50 de Claude Fable 5.2 les 3 et 4 novembre 2026, avant sa sortie.
- Configurations : Utilisé seul, chaque modèle a exécuté une session par partie, chaque session recevant les constats établis jusque-là : Claude Fable 5.2, Claude Fable 5.1 et Claude Opus 5.5 à
low,mediumethigh, et Claude Sonnet 5.5 et Claude Haiku 5.5 à la valeur par défaut de chaque modèle (highetmedium). Avec des sous-agents, Claude Fable 5.2, Claude Fable 5.1 ou Claude Opus 5.5 a fonctionné àhighcomme orchestrateur, via l’orchestration multi-agents (le typemultiagent_20261001) : un agent prédéfini comme sous-agent, à l’effort par défaut de son modèle, appelé une fois pour chaque partie, jusqu’à 25 à la fois, avec les agents inline et les workflows dynamiques tous deux désactivés. Chaque configuration s’est terminée par une session supplémentaire, sans sous-agents, qui a assemblé les constats. La réflexion a fonctionné selon la valeur par défaut de la plateforme : activée, le modèle choisissant quand réfléchir. - Outils : Chaque agent a utilisé les outils de shell et de fichiers propres au benchmark, dans une machine virtuelle isolée. Avant le démarrage de tout agent, l’évaluation a supprimé de cette machine les copies installées des paquets du corpus et a vérifié qu’aucune connexion depuis celle-ci n’aboutissait.
- Résultats : F1 moyen (plage) et coût moyen par exécution. Claude Haiku 5.5 seul : 0,577 (de 0,550 à 0,606), 25 $ USD. Claude Sonnet 5.5 seul : 0,760 (de 0,669 à 0,788), 103 $ USD. Claude Opus 5.5 seul à
low: 0,489 (de 0,437 à 0,551), 38 $ USD ; àmedium: 0,827 (de 0,797 à 0,850), 200 $ USD ; àhigh: 0,850 (de 0,829 à 0,876), 236 $ USD. Claude Fable 5.1 seul àlow: 0,829 (de 0,807 à 0,841), 527 $ USD ; àmedium: 0,839 (de 0,817 à 0,856), 603 $ USD ; àhigh: 0,847 (de 0,829 à 0,861), 716 $ USD. Claude Fable 5.2 seul àlow: 0,866 (de 0,852 à 0,884), 357 $ USD ; àmedium: 0,877 (de 0,863 à 0,884), 378 $ USD ; àhigh: 0,909 (de 0,896 à 0,925), 563 $ USD. Claude Opus 5.5 avec des sous-agents Claude Sonnet 5.5 : 0,831 (de 0,814 à 0,850), 139 $ USD ; avec des sous-agents Claude Haiku 5.5 : 0,677 (de 0,640 à 0,718), 47 $ USD. Claude Fable 5.1 avec des sous-agents Claude Sonnet 5.5 : 0,825 (de 0,812 à 0,858), 172 $ USD ; avec des sous-agents Claude Haiku 5.5 : 0,687 (de 0,660 à 0,723), 88 $ USD. Claude Fable 5.2 avec des sous-agents Claude Sonnet 5.5 : 0,833 (de 0,795 à 0,856), 165 $ USD ; avec des sous-agents Claude Haiku 5.5 : 0,716 (de 0,683 à 0,773), 85 $ USD. Pour les autres modèles, parmi les configurations dont le score dépasse 0,80, toutes les paires de plages se chevauchent. Écarts de F1 moyen, avec des intervalles à 95 % : Claude Opus 5.5 avec des sous-agents Claude Sonnet 5.5 a obtenu un score supérieur de 0,4 point à celui de Claude Opus 5.5 seul àmedium(de 1,1 point de moins à 1,9 point de plus), inférieur de 1,9 point à celui de Claude Opus 5.5 seul àhigh(de 0,6 à 3,2) et supérieur de 7,1 points à celui de Claude Sonnet 5.5 seul (de 4,6 à 9,7). Seul, Claude Opus 5.5 a obtenu 2,3 points de plus àhighqu’àmedium(de 0,7 à 3,9). Claude Fable 5.1 seul a obtenu 1,8 point de moins àlowqu’àhigh(de 0,8 à 2,8) ; àhigh, il a obtenu un score supérieur de 2,0 points à celui de Claude Opus 5.5 seul àmedium(de 0,7 à 3,4) et inférieur de 0,3 point à celui de Claude Opus 5.5 seul àhigh(de 1,5 point de moins à 1,0 point de plus). Avec des sous-agents Claude Sonnet 5.5, Claude Fable 5.1 a obtenu un score inférieur de 0,6 point à celui de Claude Opus 5.5 (de 1,9 point de moins à 0,6 point de plus). Par rapport à Claude Opus 5.5 seul àmediumet àhigh, Claude Fable 5.2 seul a obtenu un score supérieur à chaque niveau, écarts calculés avant arrondi : àlow, de 3,9 points (de 2,4 à 5,3) et de 1,6 (de 0,3 à 2,9), pour 1,8 et 1,5 fois le coût ; àmedium, de 5,0 (de 3,6 à 6,3) et de 2,7 (de 1,5 à 3,8), pour 1,9 et 1,6 fois ; àhigh, de 8,2 (de 6,8 à 9,6) et de 5,9 (de 4,7 à 7,1), pour 2,8 et 2,4 fois. Il a obtenu un score supérieur à celui de Claude Fable 5.1 seul au même niveau : de 3,6 points àlow(de 2,6 à 4,7), de 3,8 àmedium(de 2,8 à 4,8) et de 6,1 àhigh(de 5,3 à 7,0), pour 32 %, 37 % et 21 % de moins. Il a obtenu 4,3 points de moins àlowqu’àhigh(de 3,3 à 5,3), pour 37 % de moins. Avec des sous-agents Claude Sonnet 5.5, Claude Fable 5.2 a obtenu un score supérieur de 0,2 point à celui de Claude Opus 5.5 (de 1,3 point de moins à 1,7 point de plus), pour 19 % de plus, et inférieur de 3,2 points à celui de Claude Fable 5.2 seul àlow(de 1,8 à 4,7), de 4,3 points à celui obtenu àmedium(de 3,0 à 5,7) et de 7,5 points à celui obtenu àhigh(de 6,1 à 9,0), pour 54 %, 56 % et 71 % de moins. Une exécution de Claude Fable 5.2 seul àhighs’est terminée prématurément, sans score, et a été remplacée. L’association de Claude Opus 5.5 a coûté 31 % de moins que Claude Opus 5.5 seul àmediumet 41 % de moins que seul àhigh. Seul, Claude Opus 5.5 a coûté 15 % de moins àmediumqu’àhigh. Les sept exécutions de novembre de Claude Sonnet 5.5 seul ont toutes obtenu un score inférieur à ceux des trois d’octobre (de 0,669 à 0,775, contre 0,783 à 0,788) ; la cause n’est pas connue, et toutes les exécutions sont prises en compte. Claude Fable 5.1 avec des sous-agents Claude Haiku 5.5 a coûté 85,77 $ USD par exécution en octobre et 89,06 $ USD en novembre. - Mode de tarification : Le coût des sessions de chaque exécution aux prix catalogue de la plateforme : tokens avec mise en cache des prompts, plus le temps d’exécution des sessions. Cinq des exécutions de Claude Opus 5.5 à
highsont valorisées uniquement à partir de leurs nombres de tokens, aux prix de la mise en cache d’une durée de 5 minutes, car chacune a fonctionné en partie avec la durée de mise en cache d’une heure, dont les écritures en cache coûtent plus cher. Les propres tokens de Claude Fable 5.2 sont valorisés à partir de leurs nombres, aux prix catalogue avec des écritures en cache de 5 minutes ; dans ses exécutions seul, le temps d’exécution de ses sessions, inférieur à 0,2 % du coût d’une exécution, n’est pas inclus. Le coût d’une vérification supplémentaire sur les appels d’outils, faisant partie du dispositif de sécurité de l’évaluation, n’est pas inclus.
- GPQA Diamond : Rein et al., “GPQA: A Graduate-Level Google-Proof Q&A Benchmark,” 2023. Le sous-ensemble Diamond de 198 questions, noté par un modèle par rapport aux réponses de référence, les tokens du conseiller étant mesurés par requête. Claude Haiku 5.5 et Claude Sonnet 5.5, chacun seul et avec un conseiller Claude Opus 5.5, et Claude Opus 5.5 seul ont effectué deux exécutions par configuration le 7 octobre 2026, toutes avec le repli côté serveur désactivé, à l’effort par défaut de chaque modèle, et avec les refus comptés comme faux. Une vérification de sécurité de la plateforme a refusé une question de biologie par exécution sur Claude Haiku 5.5 et Claude Sonnet 5.5 seuls, une sur deux exécutions sur Haiku 5.5 avec le conseiller, aucune sur Sonnet 5.5 avec le conseiller, et six par exécution sur Opus 5.5, qui a obtenu 91 % en les comptant comme fausses et 93,5 % sur les questions auxquelles il a répondu. Claude Haiku 5.5 seul a obtenu 85 %, 6 points de moins qu’Opus 5.5. Les configurations avec conseiller ont ajouté l’outil sans prompt demandant des consultations, et aucun des exécuteurs n’a appelé le conseiller sur aucune question. Les associations ont obtenu 0,5 point (Claude Haiku 5.5) et 1,0 point (Claude Sonnet 5.5) de plus que l’exécuteur seul, tous deux dans les limites du bruit d’une exécution à l’autre.
- DeepSWE : Datacurve, “DeepSWE: Measuring Frontier Coding Agents on Original, Long-Horizon Engineering Tasks,” arXiv:2607.07946, 2026. L’ensemble comprend 113 tâches originales dans cinq langages avec des vérificateurs basés sur des programmes. Les associations comptent deux exécutions chacune, réalisées le 7 août 2026, avec les tokens du conseiller mesurés par requête, et utilisaient une boucle de conseiller côté client plutôt que l’outil advisor, avec une comptabilité identique. Les balayages d’effort à modèle unique sont des exécutions uniques valorisées à partir des nombres de tokens, une approximation tenant compte du cache. Les coûts par tâche sont les totaux d’exécution divisés par 113. Sur ce benchmark, un exécuteur Claude Sonnet 5 à effort faible avec un conseiller a obtenu 23 points de plus que le même exécuteur seul.
- Benchmark interne de codage agentique :
- Ce qui a été mesuré : Interne à Anthropic : 370 tâches de dépôt notées par les propres tests des dépôts. Les chiffres de l’API ont été mesurés avec un agent API simple et un plafond de sortie de 128 000 tokens, une exécution par configuration : Opus 5 seul à l’effort par défaut du 9 au 10 août 2026, et à
lowetmediumle 10 août 2026 ; Claude Fable 5.1 seul à cinq valeurs d’effort définies explicitement le 20 août 2026 (le graphique en montre trois) ; et l’association du 24 au 25 août 2026. - Exécutions d’août : Les exécutions d’août comportaient cinq tentatives par tâche pour l’association et le contrôle Claude Opus 5, et une pour les autres points.
- Mode de tarification : Les coûts sont par tentative. Les coûts sont valorisés comme l’est la consommation de l’organisation d’un client : le prompt antérieur de chaque requête de la boucle d’agent comme une lecture du cache et ses nouveaux tokens comme une écriture en cache de 5 minutes, à partir des propres relevés d’utilisation des exécutions, et chaque appel au conseiller, qui n’utilise pas de cache, à partir de ses tokens enregistrés, le tout aux prix catalogue.
- Claude Opus 5.5 seul : Claude Opus 5.5 seul a été exécuté sur les 370 tâches, du 19 au 20 septembre 2026 : à son effort par défaut (
medium) et àhighavec cinq tentatives par tâche, et àlowetxhighavec une (369 sur 370 notées à chaque réglage, après un échec de la vérification de configuration). Claude Opus 5.5 seul a résolu 74,8 % des tentatives àlowpour 0,35 $ USD par tentative, 86,6 % àmediumpour 0,84 $ USD, 88,4 % àhighpour 1,38 $ USD et 91,1 % àxhighpour 4,11 $ USD. - Claude Opus 5.5 avec un conseiller Claude Fable 5.1, exécutions : L’exécuteur Claude Opus 5.5 à
highavec le Claude Fable 5.1 publié comme conseiller (les exécutions d’août utilisaient un instantané préliminaire) a effectué cinq tentatives par tâche aux mêmes dates ; une tâche a échoué à sa vérification de configuration, de sorte que 1 845 tentatives ont été notées. Les 279 tentatives dans lesquelles le conseiller a été refusé en raison de la charge ont été réexécutées, et les tentatives dont les consultations ont expiré ont été conservées, comme en août. - Claude Fable 5.1 seul et Claude Fable 5.2 seul : À titre de comparaison, le Claude Fable 5.1 publié seul à
high, son réglage par défaut, a obtenu 85,7 % (317 des 370 tâches), une tentative par tâche le 7 octobre 2026. Claude Fable 5.2 seul a été exécuté sur les 370 tâches, une tentative par tâche àlow,mediumethigh(369 sur 370 notées àmedium, après un échec de la vérification de configuration). - Consultations : L’association d’août a fait en moyenne environ deux consultations du conseiller par tentative ; l’association Claude Opus 5.5 en a demandé 1,39 et reçu 1,35.
- Claude Opus 5.5 avec un conseiller Claude Fable 5.1, résultats : L’association Claude Opus 5.5 a obtenu 90,1 % pour 2,92 $ USD par tentative : par rapport à Claude Opus 5.5 à son réglage par défaut,
medium, cela représente 3,5 points pour environ 3,5 fois le prix. Le coût en latence correspond aux consultations elles-mêmes : environ un ou deux appels supplémentaires à un modèle de pointe par tâche, chacun sur le chemin critique de la tâche. Avec l’exécuteur Claude Opus 5.5, les conseils n’ont presque rien économisé sur le coût de l’exécuteur : 1,36 $ USD par tentative contre 1,38 $ USD pour Claude Opus 5.5 seul àhigh, tandis que les consultations ont coûté 1,55 $ USD. - Association d’août : En août, avec un exécuteur Claude Opus 5 et un conseiller Claude Fable 5.1, l’exécuteur a dépensé 1,26 $ USD de moins par tentative que Claude Opus 5 seul à son réglage par défaut, et les consultations ont coûté 2,47 $ USD, de sorte que cette économie a payé environ la moitié des conseils. Cette association d’août était la configuration la plus précise mesurée à l’époque, à 6,21 $ USD par tentative.
- Claude Sonnet 5.5 seul, exécutions : Claude Sonnet 5.5 seul a été exécuté sur les 370 tâches le 24 septembre 2026, à son effort par défaut (
high) et àmedium, une tentative par tâche, avec le même plafond de sortie de 128 000 tokens, qui n’a interrompu aucune de ses tentatives. Les 370 ont été notées àmedium, et 369 sur 370 àhigh, après un échec de la vérification de configuration. Ses coûts sont valorisés comme l’est la consommation de l’organisation d’un client. - Claude Sonnet 5.5 seul, résultats : Sans conseiller, Claude Sonnet 5.5 a obtenu 77,8 % à son réglage par défaut,
high, pour 0,33 $ USD par tentative, environ 9 points de moins que Claude Opus 5.5 à son réglage par défaut pour environ deux cinquièmes du coût ; àmedium, il a obtenu 62,7 % pour 0,16 $ USD. Àmedium, Claude Sonnet 5.5 a obtenu environ 15 points de moins qu’à son réglage par défaut,high, pour environ 48 % du coût par tentative. - Comparer les modèles : Dans Comparer les modèles, Claude Opus 5.5 à son réglage par défaut a coûté moins de deux tiers du coût par tentative de Claude Fable 5.2 à
medium, qui est une exécution unique. Àlow, Fable 5.2 a également obtenu 88,9 % pour 1,05 $ USD par tentative. Àhigh, son réglage par défaut sur l’API Messages, il a obtenu 93,5 % pour 5,39 $ USD par tentative.
- Ce qui a été mesuré : Interne à Anthropic : 370 tâches de dépôt notées par les propres tests des dépôts. Les chiffres de l’API ont été mesurés avec un agent API simple et un plafond de sortie de 128 000 tokens, une exécution par configuration : Opus 5 seul à l’effort par défaut du 9 au 10 août 2026, et à
- Benchmark interne de tâches de dépôt (mesure du plafond) :
- Ce qui a été mesuré : Un ensemble interne distinct d’Anthropic d’environ 130 tâches de dépôt, exécuté le 20 août 2026 (Claude Fable 5.1) et le 19 septembre 2026 (Claude Opus 5.5, à son effort par défaut,
medium), avec une boucle d’agent API simple, une tentative par tâche. Les exécutions de Claude Fable 5.2 utilisaient la même boucle, une tentative par tâche ; dans celles-ci, comme dans les exécutions de Claude Opus 5.5, un tour qui atteignait le plafond mettait fin à sa tentative. - Mode de tarification : Le coût par tâche résolue est valorisé comme un client est facturé, avec un cache de prompts de 5 minutes, pour Claude Fable 5.1, et aux prix catalogue à partir des nombres de tokens enregistrés par ses exécutions pour Claude Opus 5.5.
- Exécutions de Claude Fable 5.1 et Claude Fable 5.2 : Les exécutions de Claude Fable 5.1 portent sur 135 tâches par plafond à l’effort par défaut défini explicitement. Les exécutions de Claude Fable 5.2 portent sur 134 tâches par plafond à
high, son réglage par défaut sur l’API Messages, défini explicitement ; une tâche a été retirée de l’ensemble après les exécutions de Claude Fable 5.1 et Claude Opus 5.5. Une autre tâche a échoué à la propre vérification de la solution de référence du benchmark avant le démarrage du modèle, dans chaque exécution ; elle est donc exclue et 133 tâches sont notées par plafond. Le chiffre à 16 384 tokens fait la moyenne de deux exécutions (19,5 % et 21,1 %) ; les chiffres à 64 000 et 128 000 sont des exécutions uniques (77,4 % et 78,2 %). À 64 000, une tâche a échoué à cette vérification lors de sa première exécution et a été réexécutée ; elle a réussi la vérification et est notée. Aucune tentative de Fable 5.2 à 16 384 ou 64 000 n’a suscité de refus de sécurité. À 128 000, une tentative a suscité un refus de sécurité et une autre a été arrêtée par un moniteur de sécurité de l’environnement d’évaluation avant de se terminer ; les deux comptent comme des échecs. Les modifications que la tentative arrêtée avait apportées jusque-là ont réussi les tests ; l’exclure donnerait 78,8 % à 128 000. Les coûts de Claude Fable 5.2 et Claude Opus 5.5 dans le tableau valorisent l’utilisation de tokens enregistrée de chaque tentative aux prix catalogue du modèle. Les résultats des deux modèles ont été notés par des versions différentes du code de notation du benchmark. - Exécutions de Claude Opus 5.5 : Le chiffre de Claude Opus 5.5 à 16 384 tokens fait la moyenne de deux exécutions (134 et 135 tâches notées), et ses chiffres à 64 000 et 128 000 sont des exécutions uniques (135 tâches chacune) ; deux tentatives dans chaque exécution à 16 384 tokens et une dans chacune des exécutions à 64 000 et 128 000 tokens se sont terminées par un refus de sécurité et comptent comme des échecs. Claude Opus 5.5 a résolu 57,6 % à 16 384 (58,2 % et 57,0 %), 75,6 % à 64 000 et 68,9 % à 128 000. Aucune de ses tentatives n’a été interrompue à 64 000 ou 128 000, de sorte que le plafond n’explique pas la différence entre ces deux exécutions.
- Tentatives interrompues par le plafond : Seule 1 des 66 tentatives de Claude Opus 5.5 que le plafond de 16 384 tokens a interrompues, et 9 des 117 tentatives de Claude Fable 5.1, ont tout de même réussi. C’est également le cas de 20 des 226 tentatives de Claude Fable 5.2.
- Coût par tentative : Le coût par tentative était de 3 $ USD à 16 384 et de 4 $ USD à 64 000 pour Claude Opus 5.5, aux prix catalogue, et de 8 $ USD et 13 $ USD pour Claude Fable 5.1, tel qu’un client est facturé. Il était de 6 $ USD et 19 $ USD pour Claude Fable 5.2, aux prix catalogue.
- Chiffres de plafond SWE-bench Pro : Les chiffres de plafond SWE-bench Pro correspondent à une exécution de Claude Fable 5.1 par plafond à l’effort par défaut, réalisée le 26 août 2026, sur un sous-ensemble de 100 problèmes stratifié à partir de l’ensemble de 482 problèmes de la référence 3, non comparable à ses scores ; à l’effort par défaut, les exécutions à 16 384 et à 64 000 ont chacune résolu 94 des 100 problèmes.
- Longueur des tours : Les distributions par tour dans le diagramme à points de la section proviennent des exécutions de Claude Opus 5.5 et Claude Fable 5.1 à 128 000 : aucun tour d’Opus 5.5 n’a atteint le plafond (le plus long faisait environ 61 000 tokens, et 0,56 % de ses tours dépassaient 16 384), et un tour de Fable 5.1 a atteint 128 000 (0,46 % de ses tours dépassaient 16 384). Avec le plafond à 128 000, 2 des 14 331 tours de Claude Fable 5.1 dépassaient 64 000 tokens, et aucun tour de Claude Opus 5.5. Avec le plafond à 128 000, 303 des 17 750 tours de Claude Fable 5.2 (1,7 %) dépassaient 16 384 tokens et 7 dépassaient 64 000, en comptant les tours des tentatives annulées puis réexécutées.
- Ce qui a été mesuré : Un ensemble interne distinct d’Anthropic d’environ 130 tâches de dépôt, exécuté le 20 août 2026 (Claude Fable 5.1) et le 19 septembre 2026 (Claude Opus 5.5, à son effort par défaut,
- Chartography : Surge AI, “Chartography,” 2026.
- Ce qui a été mesuré : L’ensemble complet publié de 100 questions, mesuré les 6 et 9 août 2026 (Claude Opus 5 seul) et le 20 septembre 2026 (Claude Opus 5.5), avec l’implémentation d’Anthropic sur Claude Managed Agents (bac à sable cloud standard ; les configurations avec conseiller utilisent le conseiller de Managed Agents).
- Mode de notation : Claude Sonnet 4.6 note à la place du juge de référence et le benchmark s’exécute avec des outils, de sorte que les scores sont comparables entre configurations ici mais pas avec le classement publié. Ils ne sont pas non plus comparables aux résultats Chartography de la fiche système de Claude Opus 5.5, qui utilisent un autre correcteur et s’exécutent à l’effort
max. Deux exécutions par configuration (trois pour Claude Opus 5.5), regroupées ; les écarts d’une exécution à l’autre atteignaient 10 points. - Mode de tarification : Les coûts correspondent à ce qui est facturé à un client qui exécute l’agent de manière routinière : la première requête de chaque graphique lit depuis le cache l’invite système partagée et les outils de l’agent, comme c’est le cas lorsqu’une autre session du même agent a été exécutée dans les 5 minutes précédentes. Un graphique exécuté isolément coûte environ 0,03 $ USD de plus avec Claude Opus 5 ou Claude Opus 5.5 et environ 0,12 $ USD de plus avec Claude Fable 5.1. Les chiffres d’août sont revalorisés de cette manière à partir des relevés d’utilisation des exécutions. Les coûts excluent le temps de bac à sable, qui a ajouté moins de 1 % aux exécutions d’août.
- Claude Fable 5.1 seul, exécutions d’août : Les exécutions de Claude Fable 5.1 seul datent du 24 août 2026, avec les paramètres de service de lancement de la plateforme, deux exécutions par réglage ; six tentatives ont atteint le plafond de session de 15 minutes et obtiennent 0, et deux graphiques par exécution ont reçu une réponse de Claude Opus 5 après un refus de sécurité.
- Claude Opus 5 avec un conseiller Claude Fable 5.1 : L’exécuteur Claude Opus 5 à effort faible avec un conseiller Claude Fable 5.1 a été exécuté deux fois le 30 août 2026, avec les mêmes paramètres (63,0 et 67,0, moyenne 65,0, pour 0,47 $ USD par graphique ; le conseiller a été consulté sur 88 % des tâches dans chaque exécution, et 4 de ses 219 réponses provenaient de Claude Opus 5 à la place, chaque fois après qu’un filtre de sécurité de production a bloqué la propre réponse du conseiller). Cette association a égalé Claude Fable 5.1 seul à
mediumdans les limites du bruit d’une exécution à l’autre (65,0 contre 67,5) pour environ 1,8 fois le coût par tâche : une consultation qui se déclenche sur la plupart des tâches coûte plus cher que d’exécuter directement le modèle plus puissant. - Exécutions de Claude Opus 5.5 : Claude Opus 5.5 a été exécuté à
low, avec le repli côté serveur désactivé et un classificateur de sécurité évaluant chaque appel d’outil : trois exécutions seul (70, 68 et 68) et trois avec un conseiller Claude Fable 5.1 configuré (59, 63 et 63), dans lesquelles il a consulté le conseiller sur 1 des 300 tâches. - Résultats à l’effort
low: Sur ce benchmark de lecture de graphiques, Claude Opus 5.5 àlowa obtenu 68,7 pour environ 0,03 $ USD par graphique, contre 62,5 pour 0,15 $ USD pour Claude Fable 5.1 àlowet 49 pour 0,16 $ USD pour Claude Opus 5 àlow. - Claude Fable 5.1 seul, exécutions d’octobre : À titre de comparaison avec l’association Claude Opus 5.5, Claude Fable 5.1 seul à
high, son réglage par défaut, a été exécuté trois fois le 7 octobre 2026, avec la même implémentation et les mêmes paramètres de plateforme que les exécutions de Claude Opus 5.5 : 82, 79 et 79, soit une moyenne de 80,0. - Taux de consultation : La comparaison des taux de consultation pour les associations antérieures provient de la réexécution des mêmes configurations sur l’API Messages avec un ensemble d’outils de conteneur, du 10 au 11 août 2026.
- Évaluation de l’audit des prompts d’un service d’assistance :
- Ce qui a été mesuré : Un ensemble construit par Anthropic de 44 tickets de support avec une notation déterministe, exécuté début août 2026 et rapporté le 8 août 2026, sous six invites système, chacune ajoutant à la même invite propre un schéma courant dans les prompts écrits pour Claude Opus 4.8 et Claude Sonnet 4.6.
- Le graphique : Chaque point du graphique correspond à l’un des trois cas (ancien modèle, nouveau modèle avec le même prompt, nouveau modèle après l’audit) moyenné sur les six prompts et les 44 tickets.
- Résultats, Claude Opus 5 : Sur Claude Opus 5, les prompts écrits pour Claude Opus 4.8 ont coûté 36 % de plus par ticket que sur Claude Opus 4.8, sans changement de précision. Après l’audit, ils ont coûté 14 % de moins sur Claude Opus 5 qu’avant (d’après les moyennes non arrondies ; les coûts arrondis du graphique, 3,43 et 2,93 cents US par ticket, donnent 14,6 %), et Claude Opus 5 a correctement résolu 97 % des tickets, contre 92 % auparavant. Par schéma, sur Claude Opus 5 : supprimer « vérifiez deux fois » a réduit le coût par ticket d’un tiers, et supprimer « soyez aussi exhaustif que possible » l’a réduit presque autant ; supprimer le paramètre de réflexion retiré, les règles contradictoires et le brouillon fait maison a chacun rétabli 7 à 11 points de précision.
- Résultats, Claude Sonnet 5 : Sur la migration de Claude Sonnet 4.6 vers Claude Sonnet 5, l’audit a réduit de 14 % le coût par ticket à précision égale.
- Mises en garde : Le gain de précision d’Opus 5 a un intervalle de confiance à 95 % de 3 à 8 points ; les différences de précision de Sonnet sont dans les limites du bruit.
- Ensemble de questions sur un fichier de données : Un ensemble construit par Anthropic de 25 questions d’agrégation sur une tranche de 1 862 lignes d’un CSV public de ventes d’alcool, avec une vérité terrain calculée par pandas et une notation par correspondance exacte, exécuté sur Claude Sonnet 5 et Claude Opus 5 avec la réflexion désactivée (le bras en contexte ne peut pas aboutir au réglage par défaut), un plafond de sortie de 4 000 tokens et sans mise en cache des prompts, trois exécutions par configuration, réalisées le 19 août 2026. Le bras fichier téléverse le CSV via l’API Files et utilise l’outil
code_execution_20260120. Les trois exécutions de Claude Sonnet 5 du bras en contexte ont répondu correctement à 6, 7 et 7 des 25 questions ; l’étiquette du graphique et le texte donnent leur moyenne, 6,67, arrondie à la question près, et le point du graphique est tracé à la moyenne, 26,7 %. - Mesure de la durée du cache :
- Ce qui a été mesuré : La tâche de triage de 20 issues de Réduire les tokens d’entrée et de contexte, exécutée sur Claude Sonnet 5 le 23 août 2026, et sur Claude Opus 5.5 les 19 et 20 septembre 2026, à son effort par défaut (
medium) et àhigh, sur l’API Messages avec le même harnais (pour Claude Opus 5.5, un portage de celui-ci qui envoie les mêmes corps de requête), les cellules de Claude Opus 5.5 avecmax_tokensporté à 4 096, avec des pauses insérées avant une part de tours choisie aléatoirement (aucune, 5 %, 10 % et chaque tour à 6 minutes sur les 20 issues sur les deux modèles, plus chaque tour à 2 minutes sur Claude Sonnet 5 ; des pauses de 20 et 45 minutes sur un sous-ensemble de 5 issues sur les deux modèles). Les chiffres de Claude Opus 5.5 sur cette page couvrent les deux niveaux d’effort. - Autres modèles et dates : Les chiffres de keep-alive de Claude Opus 5 ci-dessous proviennent de la même tâche le 23 août 2026, avec
max_tokensporté à 4 096, selon les mêmes calendriers sauf les pauses de 2 et 45 minutes. Claude Sonnet 5.5 a effectué la même mesure que Claude Sonnet 5 (les mêmes calendriers de pauses et trois paramètres de cache, trois exécutions par cellule), avec le harnais porté utilisé pour Claude Opus 5.5, à son effort par défaut,high, le 24 septembre 2026. - Mode de notation et de tarification : Trois exécutions par cellule, coût calculé à partir des champs
usagede chaque réponse aux prix catalogue (pour Claude Opus 5.5, 4 $ USD en entrée, 5 $ USD en écriture de 5 minutes, 8 $ USD en écriture d’1 heure, 0,20 $ USD en lecture du cache et 20 $ USD en sortie par million de tokens ; Claude Sonnet 5 a été exécuté sur une organisation interne à Anthropic dont l’utilisation est mesurée de la même manière que celle d’une organisation cliente), précision par rapport aux mêmes étiquettes de référence. - Mode d’exécution et de tarification, Claude Sonnet 5.5 : Claude Sonnet 5.5 a défini
max_tokensà 4 096 sur les requêtes de session et à 1 sur les requêtes keep-alive, a été exécuté sur une organisation interne à Anthropic dont l’utilisation est mesurée de la même manière que celle d’une organisation cliente, et est valorisé à ses prix catalogue actuels (2 $ USD en entrée, 2,50 $ USD en écriture de 5 minutes, 4 $ USD en écriture d’1 heure, 0,10 $ USD en lecture du cache et 10 $ USD en sortie par million de tokens). Hormis lemax_tokensplus élevé, qu’aucun tour n’a atteint, une entrée diffère des exécutions de Claude Sonnet 5 : l’unique GIF animé de la tâche a été envoyé sous forme de PNG de sa première image, la seule image que l’API utilise (Vision), et les deux comptent pour le même nombre de tokens d’entrée. - Seuil de rentabilité : Le seuil de rentabilité est d’environ 3,3 % des tours sur Claude Sonnet 5 et de 3,1 % à 3,2 % sur Claude Opus 5.5 : la médiane de la part de seuil de rentabilité de chaque session, calculée par le modèle de coût à partir des tailles de contexte tour par tour de cette session, sur l’ensemble des 45 sessions de vingt issues de Claude Sonnet 5 et des 36 sessions de vingt issues de Claude Opus 5.5 à chaque niveau d’effort (chaque calendrier de pauses exécuté sur la tâche complète, avec les trois paramètres de cache, trois exécutions chacun ; les cellules de 5 issues n’y figurent pas). Le seuil de rentabilité sur Claude Sonnet 5.5 est d’environ 3,1 % des tours, la médiane sur ses 45 sessions de vingt issues. Le graphique de durée du cache représente ces sessions de Claude Sonnet 5.5, trois par point.
- Paramètres de 5 minutes et d’1 heure, Claude Sonnet 5 et Claude Opus 5.5 : Dans la cellule à 5 %, les paramètres de 5 minutes et d’1 heure étaient à égalité sur Claude Sonnet 5, car les pauses de ce tirage sont tombées sur de petits préfixes ; sur Claude Opus 5.5, ils étaient presque à égalité. Sur Claude Sonnet 5, à son prix de lecture du cache de 0,20 $ USD par million de tokens, une session a coûté 0,60 $ USD, 0,69 $ USD et 0,99 $ USD avec le paramètre de 5 minutes sans pauses, avec 5 % et avec 10 % des tours en pause, et 0,70 $ USD, 0,70 $ USD et 0,71 $ USD avec le paramètre d’1 heure.
- Requêtes keep-alive, Claude Sonnet 5 et Claude Opus 5 : Anthropic a mesuré des requêtes keep-alive qui rafraîchissent le cache de 5 minutes sur Claude Sonnet 5 et Claude Opus 5 le 23 août 2026, et sur Claude Opus 5.5 dans les exécutions ci-dessus, toujours envoyées avec
max_tokens: 1. Sur Claude Sonnet 5, elles ont coûté 7,7 % de moins que le paramètre d’1 heure avec 5 % des tours en pause et à peu près autant avec 10 % ; sur Claude Opus 5, aucune différence n’était mesurable pour l’une ou l’autre part ; sur les deux, elles ont coûté plus cher avec une pause de 6 minutes ou plus avant chaque tour. Sur ces deux modèles, le paramètre à utiliser est donc la durée d’1 heure, et non les requêtes keep-alive. - Requêtes keep-alive, Claude Opus 5.5 : Sur Claude Opus 5.5, les requêtes keep-alive ont coûté 8 % à 18 % de moins que le paramètre d’1 heure avec 5 % et 10 % des tours en pause (8 % à 13 % de moins à son effort par défaut,
medium, et 10 % à 18 % de moins àhigh; environ 10 % à 15 % une fois le bruit entre sessions éliminé en refacturant les propres tokens de chaque session keep-alive aux prix du cache d’1 heure), et plus cher avec une pause avant chaque tour : 4 % à 6 % de plus à 6 minutes, 9 % à 10 % à 20 minutes et 56 % à 58 % à 45 minutes. - Requêtes avec
max_tokens: 0: Mesuré le 20 octobre 2026, sur Claude Fable 5.1, Claude Opus 5.5, Claude Sonnet 5.5 et Claude Haiku 5.5, trois fois par modèle, sur une invite système de 10 000 tokens avec le cache de 5 minutes. Une requêtemax_tokens: 0envoyée 4 minutes après l’écriture du cache n’a renvoyé aucune sortie, a lu l’intégralité de l’entrée et n’a rien écrit. Une requête envoyée 4 minutes plus tard, 8 minutes après l’écriture, a encore lu l’intégralité de l’entrée. Sans la requêtemax_tokens: 0, la requête à 8 minutes n’a rien lu et a réécrit le préfixe, les 12 fois. - Paramètres de 5 minutes et d’1 heure, Claude Sonnet 5.5 : Avec 5 % des tours en pause, le paramètre de 5 minutes a coûté 5 % de plus que le paramètre d’1 heure en moyenne (de 2 % de moins à 12 % de plus selon les trois exécutions), ce qui reste dans la variation d’une exécution à l’autre : les pauses de ce tirage sont tombées sur de petits préfixes, comme sur Claude Sonnet 5, et refacturer les propres tokens de chaque session de 5 minutes aux prix du cache d’1 heure donne environ 1 % de plus. Avec 10 % en pause, il a coûté 54 % de plus (36 % à 73 % de plus). Sans pauses, le paramètre de 5 minutes a coûté 19 % de moins que le paramètre d’1 heure en moyenne (3 % à 32 % de moins selon les trois exécutions ; le prix d’écriture plus élevé du paramètre d’1 heure prédit environ 20 %), et 21 % à 24 % de moins dans chaque exécution avec des pauses de 2 minutes.
- Requêtes keep-alive, Claude Sonnet 5.5 : Les requêtes keep-alive ont coûté 16 % de moins que le paramètre d’1 heure en moyenne avec 5 % des tours en pause (13 % à 20 % de moins selon les trois exécutions) et 8 % de moins avec 10 % (3 % à 10 % de moins), et ont coûté plus cher avec une pause de 6 minutes ou plus avant chaque tour. Avec 5 % et 10 % des tours en pause, les pauses ont duré de 6 à 32 minutes sur Claude Sonnet 5.5 et sur Claude Opus 5.5. Refacturer les propres tokens de chaque session keep-alive aux prix du cache d’1 heure, comme pour Claude Opus 5.5 ci-dessus, donne 15 % à 16 % de moins à 5 % en pause et environ 10 % de moins à 10 %, et avec une pause avant chaque tour 7 % de plus à 6 minutes, 9 % à 10 % de plus à 20 minutes et 66 % à 73 % de plus à 45 minutes. Les chiffres à 6 minutes excluent l’exécution 3, dans laquelle 2 des 39 requêtes keep-alive de cette session ont expiré : le cache a expiré avant ces deux tours, la session a écrit 214 000 tokens dans le cache contre 80 000 à 85 000 dans les exécutions 1 et 2, et elle a coûté 38 % de plus que la session d’1 heure de l’exécution 3.
- Requêtes keep-alive, Claude Sonnet 5.5, par exécution : En comparant plutôt la session keep-alive de chaque exécution avec la session d’1 heure de la même exécution, le keep-alive a coûté d’à peu près autant à 10 % de plus à 6 minutes (exécutions 1 et 2 ; 4 % de plus sur leur moyenne), d’à peu près autant à 16 % de plus à 20 minutes, et 64 % à 80 % de plus à 45 minutes.
- Requêtes keep-alive, Claude Sonnet 5.5, taille de l’échantillon : Les points à 6 minutes du graphique keep-alive font la moyenne des exécutions 1 et 2 pour les trois paramètres. Chaque cellule compte trois sessions (deux pour les chiffres à 6 minutes ci-dessus). Sans pauses, le keep-alive n’envoie aucune requête supplémentaire et correspond donc au paramètre de 5 minutes, pourtant les deux ont différé de jusqu’à 23 % au sein d’une même exécution ; une différence de quelques pour cent dans une moyenne sur trois exécutions n’est donc pas un effet net.
- Mise en cache désactivée et activée, Claude Sonnet 5 : Sur Claude Sonnet 5, la même tâche a été exécutée avec la mise en cache désactivée et activée, trois exécutions chacune le 19 août 2026, avec
max_tokensà 700 : 3,36 $ USD contre 0,57 $ USD par session en moyenne, soit une économie de 83 %. - Valorisé à partir des nombres de tokens enregistrés, Claude Sonnet 5.5 : Anthropic a également revalorisé les nombres de tokens enregistrés des trois sessions de Claude Sonnet 5.5 avec le cache de 5 minutes et sans pauses pour le chiffre de mise en cache dans Pourquoi la mise en cache vient en premier. Chacune de ces trois sessions est une conversation de 40 requêtes sur les 20 issues de la tâche. Aux prix catalogue en vigueur au 12 octobre 2026, les sessions ont coûté 0,51 $ USD chacune en moyenne, d’après les champs d’utilisation, contre 3,70 $ USD avec chaque token d’entrée au prix d’entrée et les tokens de sortie inchangés : une économie de 86 % (86 % à 87 % selon les trois sessions), soit un facteur de 7,3. Au prix de lancement de la lecture du cache de 0,20 $ USD, l’économie est de 82 % ; la hausse par rapport au chiffre de Claude Sonnet 5 provient donc du prix plus bas de la lecture du cache.
- Valorisé à partir des nombres de tokens enregistrés, Claude Opus 5.5 : Revalorisées de la même manière, les trois sessions de Claude Opus 5.5 à son effort par défaut,
medium, avec le cache de 5 minutes et sans pauses ont coûté 1,02 $ USD chacune en moyenne contre 6,93 $ USD, soit une économie de 85 %, ou un facteur de 6,8 ; le modèle a utilisé la réflexion dans 79 % des requêtes. - Réglage de la réflexion, deux séries d’exécutions seulement : Les requêtes des trois sessions de Claude Sonnet 5.5 avec le cache de 5 minutes et sans pauses ne définissaient aucune option de réflexion ; la réflexion a donc été laissée au réglage par défaut du modèle, et le modèle l’a utilisée dans 38 % des requêtes. Les requêtes des exécutions de Claude Sonnet 5 avec la mise en cache désactivée et activée ne définissaient pas non plus d’option de réflexion ; la réflexion a donc été laissée au réglage par défaut du modèle, et le modèle l’a utilisée dans 41 des 121 requêtes avec la mise en cache désactivée et 40 des 120 avec la mise en cache activée.
- Latence après une pause : Sur Claude Sonnet 5 et Claude Opus 5, le tour suivant une pause a conservé sa latence de cache chaud avec le paramètre d’1 heure.
- Changer la durée en cours de conversation : Mesuré le 21 octobre 2026, sur Claude Fable 5.1, Claude Opus 5.5, Claude Sonnet 5.5 et Claude Haiku 5.5, sur l’API Messages sans outils, avec la réflexion adaptative, l’effort
high, un point d’arrêt du cache sur l’invite système, et la mise en cache automatique ou un point d’arrêt explicite sur le dernier bloc. Les conversations contenaient environ 5 000 ou 100 000 tokens de texte de remplissage, avec des tours d’assistant fixes d’un mot et sans blocs de réflexion. Dans une conversation mise en cache avec une durée de 5 minutes, la première requête avec une durée d’une heure qui ajoutait un tour n’a rien lu et a écrit l’intégralité du prompt au prix d’1 heure (55 sur 55). La requête suivante avec une durée d’une heure a tout lu (36 sur 36). Une invite système mise en cache avec une durée d’une heure dès la première requête a tout de même été lue (12 sur 12). Une requête avec une durée d’une heure qui n’ajoutait rien a lu les entrées de 5 minutes (31 sur 31) et ne les a pas prolongées : 8 minutes plus tard, la même requête n’a rien lu (12 sur 12). Dans une conversation mise en cache avec une durée d’une heure, une requête avec une durée de 5 minutes a tout lu et n’a écrit que son nouveau tour (12 sur 12). Les requêtes ont été exécutées dans une organisation interne d’Anthropic sur l’API Claude. - Changer la durée en cours de conversation, méthode de valorisation : D’après les champs
usageaux prix catalogue, à un peu plus de 100 000 tokens, avecmax_tokensà 16, la première requête avec une durée d’une heure qui ajoutait un tour a coûté 2,01 $ USD, 0,80 $ USD, 0,40 $ USD et 0,10 $ USD sur les quatre modèles dans l’ordre cité. Un tour qui lisait le cache a coûté 0,026 $ USD, 0,020 $ USD, 0,010 $ USD et 0,005 $ USD. Claude Haiku 5.5 est à ses prix de contexte long.
- Ce qui a été mesuré : La tâche de triage de 20 issues de Réduire les tokens d’entrée et de contexte, exécutée sur Claude Sonnet 5 le 23 août 2026, et sur Claude Opus 5.5 les 19 et 20 septembre 2026, à son effort par défaut (
- Part des lectures du cache en production : Utilisation agrégée de l’API Claude first-party sur les 14 jours se terminant le 23 août 2026, produit API direct uniquement, organisations internes à Anthropic exclues, aucune organisation identifiée. Un jour-organisation compte comme une boucle d’agent lorsque ses requêtes comportent des définitions d’outils et des résultats d’outils, que ses prompts contiennent en moyenne 9 appels d’outils antérieurs ou plus, que la mise en cache a été utilisée et qu’il a effectué au moins 10 requêtes de ce type (l’API n’a pas d’identifiant de conversation, ce critère tient donc lieu de longueur de conversation) : 303 003 jours-organisation répartis sur 106 487 organisations, part médiane des lectures du cache de 84,2 % de l’ensemble des tokens d’entrée, quartile supérieur à 91,7 %. Les étiquettes de cas d’usage (le cas d’usage déclaré de l’organisation, ou à défaut son cas d’usage classifié) couvrent 74 % de ces jours-organisation et 99 % de leurs tokens ; environ 72 % des jours-organisation de codage lisent 80 % ou plus. Le décile supérieur des jours-organisation lit 95,9 % ou plus pour le codage et 94,2 % à 94,8 % pour les agents de support, de recherche, de données et autres. La répartition au niveau des requêtes à 25 appels d’outils antérieurs ou plus provient d’un échantillon de six heures : codage 92 % en lecture, 7 % en écriture, moins de 1 % sans cache.
- Mesures de rupture du cache, du moment de la compaction et de la ligne d’état :
- Test d’octobre 2026, une modification d’une longue conversation : Mesuré le 20 octobre 2026, sur Claude Fable 5.1, Claude Opus 5.5, Claude Sonnet 5.5 et Claude Haiku 5.5, sur l’API Messages sans outils, avec la réflexion adaptative, l’effort par défaut de chaque modèle, le cache de 5 minutes, un point d’arrêt du cache sur l’invite système, et la mise en cache automatique. La conversation contenait environ 101 000 tokens : une invite système de 20 000 tokens, 13 tours utilisateur de texte de remplissage, la propre réponse du modèle au premier tour avec son bloc de réflexion, et des réponses d’un mot aux autres. Une fois qu’une requête avait mis la conversation en cache, une deuxième ajoutait un court tour, et chaque requête mesurée envoyait cette conversation plus longue avec une modification. Deux conversations par modèle ont donné le même résultat.
- Test d’octobre 2026, tokens lus et écrits : Sans modification, et avec une modification de l’effort par message, la requête a lu les 101 000 tokens et n’en a écrit aucun. Avec un message système de 25 tokens en cours de conversation, ou une ligne d’état de 25 tokens à la fin du tour utilisateur le plus récent, elle les a tous lus et n’a écrit que le nouveau texte. Une modification de l’effort au premier niveau (vers
lowsur Claude Fable 5.1 et Claude Sonnet 5.5, vershighsur Claude Opus 5.5 et Claude Haiku 5.5) a lu l’invite système de 20 000 tokens et écrit 81 000 tokens. Les mêmes 25 tokens au début ou à la fin de l’invite système n’ont rien lu et ont écrit les 101 000. La requête suivant un message système en cours de conversation, une modification de l’effort au premier niveau ou 25 tokens ajoutés à la fin de l’invite système a lu le nouveau préfixe ; une nouvelle ligne d’état au début a tout réécrit. Un test supplémentaire le 21 octobre 2026, sur les quatre mêmes modèles avec des conversations de 5 000 tokens, et sur tous sauf Claude Fable 5.1 avec des conversations de 100 000 tokens, toutes avec des réponses d’un mot, a envoyé un en-tête bêta pour la première fois en cours de conversation, comme peut le faire une première modification de l’effort par message : cette requête a lu tout ce que la requête précédente avait mis en cache, les 54 fois. Un message système envoyé sans en-tête bêta a fait de même, les 15 fois. - Test d’octobre 2026, méthode de valorisation : Le graphique donne le côté prompt d’une requête, d’après ses champs
usageaux prix catalogue. Les valeurs du graphique, dans l’ordre modification de l’invite système, message système, modification de l’effort au premier niveau et modification de l’effort par message : Claude Fable 5.1 1,26 $ USD, 0,026 $ USD, 1,02 $ USD et 0,025 $ USD ; Claude Opus 5.5 0,50 $ USD, 0,020 $ USD, 0,41 $ USD et 0,020 $ USD ; Claude Sonnet 5.5 0,25 $ USD, 0,010 $ USD, 0,20 $ USD et 0,010 $ USD. La requête inchangée répétait une requête antérieure octet pour octet ; un nouveau tour d’environ 25 tokens ajoute moins de 0,001 $ USD. Sur Claude Haiku 5.5, dont les requêtes dépassaient 100 000 tokens de prompt et étaient donc à ses prix de contexte long : 0,063 $ USD pour la modification de l’invite système, 0,052 $ USD pour la modification de l’effort et 0,005 $ USD pour la lecture. Les requêtes ont été exécutées sur une organisation interne d’Anthropic dont l’utilisation est mesurée de la même manière que celle d’une organisation cliente. Les requêtes ne définissaient pasprefix_mismatch_behavior, et l’API a laissé passer leurs blocs de réflexion qui échouaient à la vérification du préfixe ; elle a donc accepté les modifications de l’invite système de ces tests. Chaque requête renvoyait un bloc de réflexion antérieur. Sur l’API Claude, la même modification peut recevoir une erreur 400 sur les quatre modèles. Consultez Vérifications du préfixe sur les blocs de réflexion. - Test de novembre 2026, modifications après une compaction : Exécuté le 9 novembre 2026, sur Claude Opus 5.5 et Claude Fable 5.2, sur l’API Messages avec la réflexion adaptative, l’effort
high, sans mise en cache, un outil défini,tool_choicedéfini ànone,prefix_mismatch_behaviordéfini à"error", et la compaction à un seuil de tokens avec un déclencheur de 50 000 tokens. Une première requête d’environ 55 700 tokens a déclenché une compaction, et sa réponse contenait un bloc de compaction suivi d’un bloc de réflexion. La requête suivante a renvoyé cette réponse avec un nouveau tour utilisateur. Inchangée, elle a réussi. Avec un outil ajouté àtools, ou avec l’invite système reformulée, elle a reçu l’erreur 400. Dans une conversation sans compaction, les deux mêmes modifications ont reçu l’erreur 400, tout comme la suppression d’un bloc de texte d’un tour utilisateur antérieur. Une conversation de chaque type par modèle. Sur Claude Fable 5.2, la réponse de la première grande conversation ne contenait aucun bloc de réflexion. Une deuxième conversation a remplacé la première, avec une question plus difficile, unmax_tokensplus élevé et desinstructionsde compaction personnalisées, et seule la deuxième compte. Les requêtes ont été exécutées sur l’API Claude. - Ce qui a été mesuré : La variante longue de l’agent de triage de Réduire les tokens d’entrée et de contexte, exécutée le 24 août 2026, sur Claude Sonnet 5 avec le cache de 5 minutes, coût calculé à partir des champs d’utilisation aux prix catalogue, cinq sessions par bras : un bras sans changement à l’effort par défaut tout du long (0,81 $ USD par session), et deux bras qui commencent à effort faible et effectuent les deux mêmes changements qui cassent le cache, un passage à l’effort par défaut et un outil ajouté, soit en milieu de session aux requêtes 12 et 17 (0,95 $ USD), soit ensemble sur la première requête après la première compaction (0,75 $ USD).
- Quatrième bras : Un quatrième bras de six sessions, exécuté le 25 août 2026, a effectué les deux mêmes changements sur la requête qui a déclenché la première compaction (0,92 $ USD par session) : la passe de résumé de cette requête a écrit le contexte de 81 000 tokens dans le cache au lieu de le lire, de sorte que cette passe a coûté 0,21 $ USD contre 0,04 $ USD pour la même passe dans le bras à la frontière.
- Compaction : Les sessions ont été compactées pour la première fois entre les requêtes 21 et 25 (16 des 21 sessions à la requête 22), une fois que le prompt a dépassé le seuil de compaction de 80 000 tokens, et deux sessions sans changement ont été compactées une seconde fois vers la fin. Le total plus bas du bras à la frontière par rapport au bras sans changement reflète ses requêtes à effort faible avant le changement et ces secondes compactions plutôt que la mise en cache : les coûts de réécriture des deux bras diffèrent de moins de 0,01 $ USD.
- Bras en milieu de session : Le bras en milieu de session a payé 0,23 $ USD par session en réécritures du cache ; la différence entre les bras en milieu de session et à la frontière était de 0,20 $ USD avec un intervalle de confiance à 95 % de 0,11 $ USD à 0,29 $ USD. Dans le bras en milieu de session, le changement d’effort et l’outil ajouté ont réécrit 39 000 et 60 000 tokens en cache. L’une de ses sessions a été peu coûteuse (0,82 $ USD) après que son modèle a mal appelé l’outil de recherche à la suite de la compaction et obtenu des résultats vides ; elle est incluse, et sans elle le bras a une moyenne de 0,98 $ USD.
- Précision et lectures du cache : La précision a été en moyenne de 14,2 étiquettes sur 20 dans chaque bras du 24 août et de 14,7 dans le bras du 25 août ; les lectures du cache représentaient 91 % des tokens de prompt sans changement, 85 % en milieu de session, 91 % à la frontière et 86 % avec les changements sur la requête déclenchante.
- Mesure distincte, ligne d’état : Une mesure distincte sur la tâche de triage de 20 issues de Réduire les tokens d’entrée et de contexte, exécutée le 18 août 2026, également sur Claude Sonnet 5 avec le cache de 5 minutes, valorisée de la même manière, trois exécutions par bras : avec une ligne d’état de 25 tokens au début de l’invite système, une exécution a coûté 4,24 $ USD en moyenne (4,12 $ USD à 4,47 $ USD selon les trois exécutions) et n’a rien lu depuis le cache ; avec la même ligne à la fin du tour utilisateur le plus récent, après le dernier point d’arrêt du cache, une exécution a coûté 0,59 $ USD (0,55 $ USD à 0,61 $ USD). La première coûte plus que la même tâche avec la mise en cache désactivée. Une réexécution ultérieure avec la même configuration a donné 4,28 $ USD et 0,61 $ USD.
- Déclencheur de compaction sur Claude Haiku 5.5 : Mesuré le 21 octobre 2026, sur l’API Messages avec la compaction à un seuil de tokens, sans outils, avec la réflexion adaptative, l’effort par défaut (
medium), le cache de 5 minutes, un point d’arrêt du cache sur l’invite système, et la mise en cache automatique. Chaque session était une conversation de 45 requêtes : une invite système de 5 000 tokens, 10 000 tokens de texte de remplissage avec chaque tour utilisateur, et des tours d’assistant d’un mot, sauf qu’une réponse contenant un bloc de compaction était renvoyée en entier. Quatre paramètres ont été exécutés avec trois sessions chacun : des déclencheurs de 150 000 tokens (la valeur par défaut), 90 000 et 50 000 (le minimum autorisé), et sans compaction. Les coûts au sein d’un même paramètre concordaient à 4 % près. Avec le déclencheur par défaut, 15 des 45 réponses de chaque session et les 3 résumés avaient des prompts de plus de 100 000 tokens. Avec un déclencheur de 90 000, le plus grand prompt contenait 97 269 tokens. La compaction s’est exécutée à la première requête dont le prompt entier avait atteint le déclencheur, en comptant l’invite système, les lectures du cache et les écritures du cache. Le résumé a été rédigé à partir de ce prompt plus 44 tokens ; ensemble, ils dépassaient le déclencheur de 7 269 tokens au plus. Trois sessions supplémentaires, avec une invite système de 22 000 tokens et un déclencheur de 50 000, ont montré que l’invite système compte. Les résumés étaient courts (184 à 640 tokens de sortie) parce que le texte était du remplissage. Les requêtes ont été exécutées dans une organisation interne d’Anthropic sur l’API Claude. - Déclencheur de compaction sur Claude Haiku 5.5, méthode de valorisation : D’après les champs
usageaux prix catalogue, une session a coûté 0,272 $ USD avec le déclencheur par défaut, 0,082 $ USD à 90 000, 0,075 $ USD à 50 000 et 0,729 $ USD sans compaction. Par requête, de la requête suivant la première compaction jusqu’à la dernière compaction, les trois déclencheurs ont coûté 0,00605 $ USD, 0,00181 $ USD et 0,00166 $ USD. Avec chaque prompt aux prix des prompts jusqu’à 100 000 tokens, la valeur par défaut coûterait 0,00206 $ USD par requête, et un déclencheur de 90 000 ferait économiser 12 %. Le résumé et la réponse d’une compaction sont chacun valorisés selon la taille de leur propre prompt.
- Mesure de la durée du cache sur Claude Fable 5.1 et Claude Fable 5.2 : La même tâche de triage de 20 issues et le même harnais que la référence 16, avec
max_tokensporté à 4 096, exécutés les 23 et 26 août 2026, sur l’instantané de lancement de Claude Fable 5.1 à ses prix de lancement (10 $ USD en entrée, 12,50 $ USD en écriture de 5 minutes, 20 $ USD en écriture d’1 heure, 0,25 $ USD en lecture du cache, 50 $ USD en sortie par million de tokens), trois paramètres par calendrier : le cache de 5 minutes, le cache d’1 heure, et le cache de 5 minutes maintenu actif par une requêtemax_tokens: 0sur le préfixe inchangé toutes les 4 minutes, chronométrée à partir du début de la requête précédente (les exécutions du 23 août envoyaient les requêtes keep-alive avecmax_tokens: 1; dans les cellules du 26 août rapportées ici, chaque requête keep-alive ayant reçu une réponse a rafraîchi le cache et sa réponse n’a signalé aucun token de sortie). Calendriers : sans pauses, 10 % des tours et chaque tour à 6 minutes sur les 20 issues, et des pauses de 45 minutes sur le sous-ensemble de 5 issues ; trois exécutions par cellule (six pour la cellule keep-alive du 26 août avec des pauses de 45 minutes), coût calculé à partir des champsusagede chaque réponse aux prix catalogue, précision par rapport aux mêmes étiquettes de référence (12 à 18 étiquettes exactes sur 20). Moyennes par session le 26 août pour les paramètres de 5 minutes, d’1 heure et keep-alive : sans pauses 2,42 $ USD, 3,09 $ USD, 2,29 $ USD ; 10 % en pause 4,50 $ USD, 2,96 $ USD, 2,36 $ USD ; chaque tour 22,89 $ USD, 3,01 $ USD, 2,62 $ USD ; les cellules du 23 août concordent à 6 % près. Les chiffres à 45 minutes (1,68 $ USD, 0,59 $ USD et 0,71 $ USD par session de 5 issues) proviennent de sessions ultérieures du 26 août : la première série de sessions de ce jour a été interrompue lorsque sa machine a été arrêtée, et la deuxième a été affectée par une panne du service et est mise de côté. La troisième série donne les chiffres de 5 minutes et d’1 heure ; ses trois sessions keep-alive ont envoyé chaque requête keep-alive une seule fois, ont perdu des requêtes à cause de refus liés à la limite de débit, et ne figurent pas dans la moyenne. Le chiffre keep-alive est la moyenne de six sessions supplémentaires qui renvoyaient toute requête keep-alive refusée dans les deux secondes. Les exécutions du 23 août ont donné 1,67 $ USD, 0,58 $ USD et 0,70 $ USD. Le seuil de rentabilité entre les paramètres de 5 minutes et d’1 heure est de 3,1 % des tours, selon la même mesure que la référence 16. La lecture du cache de Claude Fable 5.1 coûte 0,025x le prix d’entrée tandis que ses écritures en cache conservent les multiplicateurs standard ; une requête keep-alive qui relit le préfixe est donc bon marché et la prime d’écriture de la durée d’1 heure constitue la facture la plus élevée, sauf avec des pauses de 45 minutes, où les requêtes keep-alive coûtent plus que la prime. Claude Fable 5.2 a exécuté la même tâche àhigh, son réglage par défaut sur l’API Messages, et aux prix catalogue (8 $ USD en entrée, 10 $ USD en écriture de 5 minutes, 16 $ USD en écriture d’1 heure, 0,20 $ USD en lecture du cache, 40 $ USD en sortie par million de tokens). Comme les cellules de Claude Opus 5.5 de la référence 16, il a utilisé un portage du harnais qui envoie les mêmes corps de requête, avecmax_tokensporté à 4 096. Calendriers : sans pauses, 5 % et 10 % des tours, et chaque tour à 6 minutes sur les 20 issues, et des pauses de 20 et 45 minutes sur le sous-ensemble de 5 issues, trois exécutions par cellule. Les cellules à 45 minutes ont été mesurées deux fois ; leurs chiffres regroupent les deux séries de trois sessions et, comme pour Claude Fable 5.1, excluent les sessions keep-alive qui ont perdu des requêtes keep-alive (ici, à cause d’expirations ; une dans chaque série), de sorte que le chiffre keep-alive à 45 minutes est la moyenne de quatre sessions et les chiffres de 5 minutes et d’1 heure la moyenne de six. Tout au long, les requêtes keep-alive ont été envoyées avecmax_tokens: 0. Le client de test attend 30 secondes une requête keep-alive et ne réessaie pas. Sur l’ensemble des calendriers énumérés ci-dessus, il a cessé d’attendre pour 3 des 886 requêtes keep-alive, toutes dans les cellules à 45 minutes, et chaque fois le cache a expiré et la requête keep-alive suivante a réécrit le préfixe. Moyennes par session pour les paramètres de 5 minutes, d’1 heure et keep-alive : sans pauses 2,18 $ USD, 2,66 $ USD, 2,23 $ USD ; 10 % en pause 4,16 $ USD, 2,82 $ USD, 2,29 $ USD ; chaque tour à 6 minutes 20,36 $ USD, 2,61 $ USD, 2,50 $ USD ; et 1,43 $ USD, 0,53 $ USD et 0,65 $ USD par session de 5 issues avec des pauses de 45 minutes. Les économies de Claude Fable 5.2 dans Choisir la durée du cache sont calculées avant arrondi. En incluant les deux sessions qui ont perdu des requêtes keep-alive, la moyenne keep-alive à 45 minutes était de 0,73 $ USD, soit 0,20 $ USD de plus que le paramètre d’1 heure. - Terminal-Bench 3 : les 74 tâches du benchmark public d’agents de terminal, exécutées sur Claude Managed Agents avec deux outils personnalisés, un shell et un éditeur de fichiers que le harnais d’évaluation exécute dans le propre conteneur de chaque tâche, à la place des outils intégrés de la plateforme, et sinon avec les paramètres par défaut de la plateforme pour les comptes externes, deux exécutions par modèle à l’effort
high, du 27 au 28 août 2026. Ces exécutions utilisaient la version 3.0 de Terminal-Bench, et leurs scores ne sont pas comparables au classement public de Terminal-Bench ni aux résultats Terminal-Bench 4.0 de la fiche système de Claude Opus 5.5, qui proviennent d’exécutions dans Claude Code à l’effortmax. Les limites de temps de chaque tâche sont 2,5 fois celles du benchmark, ce qui donne à l’agent entre 75 minutes et 20 heures par tâche (5 heures pour la tâche médiane), et chaque tâche reçoit trois fois la mémoire qu’elle spécifie, de 6 Gio à 96 Gio, avec de la mémoire supplémentaire pour les 12 tâches qui exécutent des services auxiliaires. L’agent n’avait pas d’accès général à Internet : ses conteneurs pouvaient atteindre un miroir de paquets interne, une courte liste de sites de téléchargement incluant GitHub et le Python Package Index, et quelques sites propres à certaines tâches, et huit des tâches n’avaient aucun accès réseau. Les scores sont des taux de réussite bruts sur les 148 tentatives par modèle ; les exécutions individuelles varient de 5 à 11 points. Les coûts correspondent à ce qu’un client serait facturé aux prix catalogue, revalorisés requête par requête à partir des relevés d’utilisation des exécutions avec la durée de vie du cache de 5 minutes. Claude Opus 4.7, Claude Opus 4.8 et Claude Opus 5 dépensent chacun de 8 $ USD à 15 $ USD par tâche. Claude Opus 4.7 a terminé 11 de ses 148 tentatives à son plafond de sortie. - DRACO : Perplexity, “DRACO: a Cross-Domain Benchmark for Deep Research Accuracy, Completeness, and Objectivity,” arXiv:2602.11685, 2026.
- Ce qui a été mesuré : Ses 100 tâches de recherche réparties sur 10 domaines sont notées selon des grilles rédigées par des experts d’environ 40 critères pondérés chacune, et le score est la part pondérée des critères satisfaits, de 0 à 100.
- Configurations : Chaque configuration a été exécutée sur l’API Claude avec Claude Opus 5.5, la réflexion adaptative par défaut, les classificateurs de sécurité de production activés, et
max_tokensà 128 000 avec le streaming : un agent unique à l’effortmedium(le réglage par défaut du modèle) et àlow, l’agent unique àmediumavec la phrase et l’horloge, et une équipe àmediumavec et sans elles. L’équipe est un agent principal qui peut lancer des agents auxiliaires du même modèle via un outil, sans limite de nombre. - La phrase : Les deux changements sont une phrase et une horloge. La phrase, « Time matters here: do not spend time that can be avoided, and the earlier a correct result is obtained, the better. », est placée à la fin de la tâche dans le premier message
userde l’agent, après une ligne vide, et à la fin de la consigne de chaque auxiliaire. - L’horloge : L’horloge est le temps écoulé en secondes entières, par exemple
[elapsed 252s], ajouté avant chaque requête, y compris la première, à la fin du messageuserle plus récent : dans son propre bloc de texte après la tâche lors de la première requête, et à la fin du texte du dernier résultat d’outil, après une ligne vide, lorsque le message contient des résultats d’outils. Les horloges précédentes restent en place, de sorte que le préfixe en cache correspond toujours à la requête suivante. Chaque agent d’une équipe lit la même horloge, et l’invite système ne change pas. - Dans les exécutions mesurées : Les exécutions mesurées utilisaient cette formulation et ce format. Leur horloge démarrait au premier token de la première réponse plutôt qu’au début de la tâche. Dans les exécutions d’équipe mesurées, le rapport d’un auxiliaire parvenait à l’agent principal dans un message distinct après l’horloge, et non à l’intérieur du dernier résultat d’outil.
- Quand : Chaque configuration a effectué trois tentatives sur chaque tâche, avec une limite de quatre heures par tentative, exécutées le 24 septembre 2026, et toutes les configurations d’une série ont démarré ensemble.
- Outils : Les agents utilisaient des outils de recherche et de récupération que le harnais d’évaluation héberge sur un index web d’Anthropic, ainsi que Python et un shell dans un bac à sable sans accès réseau. Ces outils déterminent une partie du temps, et les vôtres fonctionneront à une vitesse différente ; la page exprime donc le temps sous forme de ratio entre configurations, et non en minutes.
- Mode de chronométrage : Le temps est la durée réelle d’une tentative, de sa première requête à la fin de la dernière requête de n’importe quel agent, exécutions d’outils comprises, moyennée sur les tentatives d’une tâche. Un chiffre de tâche typique est la médiane, sur les tâches, du ratio de chaque tâche entre deux configurations.
- Mode de tarification : Le coût de chaque tâche correspond à ses requêtes valorisées aux prix catalogue publics de Claude Opus 5.5, avec la mise en cache des prompts facturée comme elle le serait pour un client qui place un point d’arrêt du cache à la fin de chaque requête et utilise la durée de vie du cache de 5 minutes. Chaque requête lit depuis le cache le prompt de la requête précédente et écrit le reste. La première requête d’une tentative, et toute requête qui démarre plus de 5 minutes après la précédente, écrit l’intégralité de son prompt. Les coûts couvrent uniquement les tokens du modèle ; les outils du harnais n’ajoutent aucuns frais.
- Mode de notation : Tous les intervalles sont des intervalles bootstrap à 95 % sur les tâches, et les variations de score sont des différences appariées sur les tâches. Claude Opus 5 note les réponses, de sorte que Claude Opus 5.5 ne note pas son propre travail, et le score de chaque réponse fait la moyenne de cinq passes de jugement.
- Mises en garde : Un classificateur de sécurité de production a arrêté trois tentatives dans chaque configuration, toutes sur une même tâche, et ces tentatives obtiennent 0 ; exclure cette tâche ne modifie aucune conclusion. Les exécutions ont également fait passer l’utilisation d’outils de chaque agent par une vérification de sécurité interne à Anthropic que les requêtes des clients ne subissent pas, ce qui ajoute du temps à chaque requête dans chaque configuration. Sur DRACO, l’agent unique sans les changements a effectué environ deux fois plus de requêtes, et l’équipe environ un tiers de plus ; la vérification fait donc probablement paraître les gains de temps sur DRACO légèrement plus importants.
- Résultats, agent unique : Résultats pour Montrer au modèle le temps écoulé : avec les changements, l’agent unique a pris 47 % de temps en moins pour un coût inférieur de 60 % sur la tâche typique, son coût moyen est passé de 1,13 $ USD à 0,44 $ USD par tâche, et son score a été inférieur de 4,1 points (intervalle à 95 % de 2,9 à 5,2 de moins).
- Résultats, effort réduit : Réduire l’effort de l’agent unique a permis d’économiser plus de temps et de coût que les changements, et a fait perdre davantage de score. À l’effort
low, il a obtenu 13,3 points de moins sur DRACO, 3,4 sur HLE et 14,0 sur l’ensemble de physique qu’àmedium, et la tâche typique a pris 84 %, 30 % et 47 % de temps en moins. Avec les changements à l’effortmedium, il a obtenu 9,2, 2,5 et 11,0 points de plus qu’àlow, et la tâche typique a pris plus de temps qu’àlowd’un facteur de 1,2 à 3,2. - Résultats, équipe, auxiliaires : L’agent principal de l’équipe a rarement lancé des auxiliaires. Sans les changements, il a lancé un auxiliaire dans seulement 5 des 300 tentatives sur DRACO, 13 des 1 479 sur HLE, et aucune des 280 sur l’ensemble de physique.
- Résultats, équipe : Les résultats de l’équipe montrent donc surtout l’agent principal travaillant seul, avec les propres instructions et outils de l’équipe. Sans les changements, l’équipe prenait déjà environ la moitié du temps de l’agent unique sur la tâche DRACO typique, et obtenait 3,3 points de moins (intervalle à 95 % de 2,1 à 4,6 de moins). Avec les changements, l’équipe a pris 17 % de temps en moins pour un coût inférieur de 20 % sur la tâche DRACO typique, et a obtenu 1,6 point de moins (intervalle à 95 % de 0,3 à 2,8 de moins).
- HLE : Phan et al., “Humanity’s Last Exam,” arXiv:2501.14249, 2025. Questions rédigées par des experts avec des réponses exactes, notées par rapport aux réponses de référence. Mesuré sur les 500 premières questions de la version du 10 septembre 2025, images incluses, avec les propres sources du benchmark bloquées dans la recherche, et la même configuration que la référence 21. Chaque configuration a effectué trois tentatives sur chaque question, exécutées le 24 septembre 2026. Claude Opus 5 compare chaque réponse à la réponse de référence, en utilisant le prompt de juge publié du benchmark, et la majorité de trois jugements fait foi. Les scores couvrent 493 questions dans chaque configuration. Pour cinq des autres, la requête de notation dépassait la limite de 1M de tokens du juge, et les deux autres sont exclues parce que l’exécution de l’agent unique sans les changements s’est arrêtée avant que trois de ses tentatives sur celles-ci ne soient terminées. Les ratios de temps et de coût couvrent 492 questions pour l’agent unique et 491 pour l’équipe, car une ou deux questions n’ont pas de chronométrage. Un classificateur de sécurité de production a arrêté 3 % à 4 % des tentatives de chaque configuration, et ces tentatives obtiennent 0 ; les exclure ne modifie aucune conclusion. Résultats pour Montrer au modèle le temps écoulé : avec les changements, l’agent unique a pris 14 % de temps en moins pour un coût inférieur de 9 % sur la question typique. Avec le juge Claude Opus 5, son score n’a montré aucun changement net (0,9 point de moins, intervalle à 95 % de 2,5 de moins à 0,7 de plus). Avec un second correcteur, Claude Opus 4.6, son score a été inférieur de 1,9 point (intervalle à 95 % de 0,2 à 3,7 de moins). Le temps moyen a baissé davantage que celui de la question typique : le temps moyen a baissé de 43 % et le coût moyen de 37 %, car les changements ont écourté quelques questions très longues. Le temps de l’équipe sur la question typique a varié de 3 % ou moins, et son score n’a pas changé de manière nette.
- Ensemble de physique : Un ensemble interne de 70 problèmes de physique de niveau recherche, adapté du benchmark public CritPt : Zhu et al., “Probing the Critical Point (CritPt) of AI Reasoning: a Frontier Physics Research Benchmark,” arXiv:2509.26574, 2025. Des relecteurs experts ont corrigé les énoncés des problèmes. Claude Opus 4.6 note chaque réponse avec crédit partiel, en utilisant le prompt de notation de l’ensemble, par rapport à des solutions de référence d’experts qui ne sont pas publiques ; les scores ne peuvent donc pas être comparés aux résultats publiés. Le score est la note moyenne sur les tentatives d’un problème, moyennée sur les problèmes, en points sur 100. Mesuré sur les 70 problèmes, quatre tentatives par problème, exécutées le 24 septembre 2026. Chaque agent disposait d’un outil Python, d’un shell et d’un éditeur de fichiers dans un conteneur de bac à sable sans accès réseau, et d’aucun outil de recherche ou de récupération. Aucun classificateur de sécurité n’a arrêté de tentative sur l’ensemble de physique. Pour le reste, la configuration est celle de la référence 21. Résultats pour Montrer au modèle le temps écoulé : avec les changements, l’agent unique a pris 7 % de temps en moins pour un coût inférieur de 4 % sur le problème typique, et son score a été inférieur de 3,0 points (intervalle à 95 % de 0,4 à 5,6 de moins). Le temps de l’équipe sur le problème typique a varié de 3 % ou moins, et son score n’a pas changé de manière nette. Le temps moyen de l’agent unique a baissé de 14 %. La totalité du gain de temps moyen de l’agent unique provient d’un seul problème, sur lequel l’agent sans les changements a exécuté du code pendant environ une demi-heure par tentative ; sans ce problème, son temps moyen est à peu près le même avec et sans les changements.
- tau2-bench retail : Barres et al., "τ²-Bench: Evaluating Conversational Agents in a Dual-Control Environment," arXiv:2506.07982, 2025.
- Ce qui a été mesuré : Les 114 tâches du domaine retail ont été exécutées sur le harnais public avec l’API Claude, avec Claude Haiku 4.5 comme utilisateur simulé, Claude Sonnet 5 comme juge en langage naturel, et la mise en cache des prompts activée ; les tâches ont été réparties en 57 de recherche et 57 réservées.
- Quand : Les deux recherches ont été exécutées le 6 septembre 2026, pilotées par la commande
hillclimbde la skill Claude API. La paire avant-après de mise en cache a été exécutée le 8 septembre 2026. - Mode de notation : Dans les recherches, les points de départ et la configuration confirmée correspondent à la moyenne de trois exécutions sur l’ensemble réservé, les étapes conservées ont été jugées sur deux exécutions, et les autres candidats ont été notés sur une ou deux exécutions. La paire de mise en cache : trois exécutions chacune sur les 114 tâches avec uniquement les points d’arrêt du cache du harnais activés ou désactivés, la configuration que la commande
cost-optimizea produite lors d’une exécution antérieure. Les chiffres réservés portent sur 57 tâches que la recherche n’a jamais lues. - Mode de tarification : Le coût par tâche valorise les nombres de tokens de l’agent et de l’utilisateur simulé aux prix catalogue (Claude Opus 5 à 5 $ USD et 25 $ USD, Claude Sonnet 5 à 2 $ USD et 10 $ USD par million de tokens d’entrée et de sortie, lectures et écritures du cache à leurs tarifs publiés) et exclut le juge ; les variations en pourcentage proviennent des coûts non arrondis ; le chiffre mensuel correspond aux seuls tokens de l’agent, 0,135 $ USD et 0,047 $ USD par tâche, multipliés par 10 000. À 10 000 conversations par mois, cela représente environ 1 350 $ USD avant la première recherche et 470 $ USD après.
- Mises en garde : Ces mesures ont été réalisées sur les modèles Claude Opus et Claude Sonnet précédents : la paire de mise en cache a été exécutée sur Claude Sonnet 5, la deuxième recherche est partie de Claude Sonnet 5, et la première recherche est passée de Claude Opus 5 à Claude Sonnet 5.
- Paire de mise en cache : La paire a été exécutée sur Claude Sonnet 5 à l’effort par défaut. Le harnais public, tel que livré, envoie l’intégralité de la conversation sans cache à chaque tour. La configuration avec cache comporte un point d’arrêt sur l’invite système et un sur le dernier message. Les deux recherches ont été exécutées avec cette mise en cache activée. Le coût par tâche est passé de 0,223 $ USD sans cache à 0,062 $ USD avec cache, soit une économie de 72 %, et le taux de réussite de 79,2 % à 76,0 %. Des exécutions identiques avec cache de cette configuration ont varié de 85 à 93 sur 114 selon les jours. Chaque exécution avec cache a obtenu un score inférieur ou égal à chaque exécution sans cache, mais l’écart de moins de 4 tâches se situe dans la dispersion des exécutions identiques avec cache ; la variation de précision est donc trop faible pour être mesurée avec cette taille d’échantillon.
- Déroulement de la recherche. La commande
hillclimbpose quatre questions, présente un plan et attend l’approbation avant de dépenser quoi que ce soit. Dans la première recherche, le plan laissait inchangés le simulateur d’utilisateur, le correcteur, la mise en cache, la température et les tâches. La dernière des quatre questions commençait par :One pass over the full set is 114 cases x 1 rep on claude-opus-5, roughly 22 minutes.À chaque tour, la recherche propose un changement et exécute l’ensemble complet. Elle ne conserve le changement que lorsque le chiffre a bougé et que le mécanisme prédit apparaît dans les données d’utilisation. Elle s’arrête lorsque trois tours consécutifs n’apportent rien, puis confirme le gagnant sur de nouvelles exécutions. - Première recherche, résultat. La recherche a réduit le coût par tâche de 61 % tout en maintenant le taux de réussite dans une bande de 2 points fixée avant la recherche : de Claude Opus 5 à l’effort par défaut (0,142 $ USD par tâche, 76,0 % de réussite) à Claude Sonnet 5 à
lowavec une modification de prompt neutre en coût (0,055 $ USD, 74,3 %). La recherche a coûté 179 $ USD en exécutions d’évaluation et 228 $ USD pour ses propres tokens. - Première recherche, départ : Claude Opus 5, effort par défaut. 76,0 % pour 0,142 $ USD. Trois exécutions identiques ont varié de 43 à 44 sur 57. La recherche a fixé le plancher 2 points en dessous, à 74,0 %, et l’a arrondi à 43 sur 57 (75,4 %) pour ses verdicts.
- Première recherche, étape 1, effort à
low: conservée. 77,2 % sur les deux exécutions qui l’ont retenue, 77,8 % sur une confirmation en trois exécutions après la recherche, pour 0,119 $ USD, 17 % moins cher. La ligne d’état de la recherche indique, en partie :two runs held-out 42 and 46, mean 44.0 >= floor 43; cost mean $0.1187 <= gate $0.1208; mechanism confirmed (output tokens -34% with calls flat). - Première recherche, étape 2, Claude Sonnet 5 à
low: conservée. 75,4 % pour 0,055 $ USD, 61 % moins cher. - Première recherche, étape 3, une modification de prompt (rechercher les commandes du client après la connexion au lieu de demander un numéro de commande) : conservée lors de la sélection, puis non confirmée. 79,8 % sur deux exécutions ; 74,3 % sur trois nouvelles exécutions. La recherche l’a laissée en place comme neutre en coût : le tour libéré est devenu un autre tour de recherche.
- Première recherche, étape 4, une modification de prompt (transférer à un humain uniquement sur demande) : rejetée et annulée. 71,9 %. Elle a corrigé les 3 cas qu’elle ciblait et en a cassé 10 autres avec un modèle générique « dites ce que vous pouvez et ne pouvez pas faire ».
- Première recherche, étape 5, une modification de prompt : non exécutée. Son gain prédit de 0,5 tâche était inférieur au seuil d’adoption de 2 tâches de la recherche.
- Première recherche, confirmation : Claude Sonnet 5 à
lowavec le prompt de l’étape 3, trois nouvelles exécutions. 74,3 % pour 0,055 $ USD, dans la bande de 2 points à 0,14 tâche près, 1 tâche sur 57 en dessous du départ, et sous le plancher de 43 sur 57 enregistré par la recherche. Les cinq exécutions de cette configuration ont varié de 42 à 46, plus largement que les 43 à 44 du départ. - Première recherche, ce qu’elle a montré. Les leviers de l’effort et du modèle ont produit les économies, et le mécanisme de chacun l’a confirmé. Le levier du prompt a produit de réels changements de comportement mais aucun gain durable. Sur cette charge de travail, ce sont le nombre de tours et le préfixe en cache que chaque tour relit qui déterminent le coût par tâche, et non la formulation.
- Deuxième recherche. Elle est partie de Claude Sonnet 5 à l’effort par défaut avec la mise en cache activée : 79,5 % pour 0,062 $ USD sur la moitié réservée, avec trois exécutions variant de 42 à 47 sur 57 ; le plancher était donc de 45 sur 57 (78,9 %). Des exécutions identiques d’une configuration de départ ont différé ici de jusqu’à 5 tâches sur 57. La deuxième recherche n’a rien conservé. L’effort à
low, deux modifications de prompt, et les deux combinés ont chacun obtenu 77,2 %, sous le plancher, et ont économisé 10 % à 14 %, en deçà du seuil de coût de 15 % de la recherche. Une modification de prompt visant la précision a obtenu 79,8 % sur deux exécutions et 73,7 % sur trois nouvelles exécutions, et a été annulée. La recherche a nécessité environ 19 exécutions d’évaluation et 120 $ USD.
- Ensemble de tâches Claude Managed Agents :
- Ce qui a été mesuré : Un ensemble interne à Anthropic de 79 tâches d’agent scriptées dans huit domaines, dont la mémoire, le multi-agent et le travail en contexte long, exécutées sous forme de sessions Claude Managed Agents dans lesquelles le test répond à chaque appel d’outil. Chaque tâche a été exécutée cinq fois par modèle.
- Exécutions : Les chiffres proviennent d’une exécution par modèle le 7 octobre 2026, notée le jour même. Dans trois exécutions supplémentaires des mêmes tâches les 8 et 9 octobre 2026, Claude Haiku 5.5 a réussi 91 % à 93 % des tentatives, et dans une exécution supplémentaire le 8 octobre, Claude Haiku 4.5 a réussi 63 %.
- Mode de notation : Une tentative n’était réussie que si le correcteur, Claude Sonnet 4.6, notant une seule fois, marquait chaque ligne de la liste de contrôle de la tâche comme satisfaite ; les taux de réussite dépendent donc du correcteur. Sur toutes les tâches sauf une, un appel distinct, auquel les résultats d’outils étaient montrés en entier, a noté la ligne qui vérifie les fichiers et messages que l’agent a écrits via ses outils par rapport à ces résultats.
- Mode de tarification : Les coûts sont des coûts en tokens aux prix catalogue avec une mise en cache des prompts d’une durée de 5 minutes, valorisés requête par requête, et excluent le temps d’exécution des sessions.
- Résultats, prix des tokens et coût : Claude Haiku 4.5 n’a pas mis en cache 80 % de ses requêtes : chacune avait un prompt d’environ 4 100 tokens ou moins, et sa longueur minimale de prompt pouvant être mise en cache est de 4 096 tokens (512 pour Claude Haiku 5.5). De Claude Haiku 4.5 à Claude Haiku 5.5, les prix des tokens ont baissé de jusqu’à 90 %, et le coût en tokens des 79 tâches a baissé d’environ 75 %. Le coût en tokens a moins baissé que les prix car environ 5 % des requêtes de Claude Haiku 5.5 avaient des prompts de plus de 100 000 tokens, qui paient des prix plus élevés (Tarification du contexte long), et elles représentaient 73 % de son coût.
- Réflexion : Anthropic a défini l’effort de Claude Haiku 5.5 à
mediumet n’a envoyé aucun paramètre de réflexion ni limite de sortie pour l’un ou l’autre modèle ; la réflexion a donc été laissée aux propres paramètres de Claude Managed Agents pour chaque modèle. Claude Haiku 5.5 a utilisé la réflexion dans 59 % des requêtes, et Claude Haiku 4.5 dans 22 %. La comparaison porte sur chaque modèle tel que servi, et non à paramètres égaux. - Coût sans mise en cache, valorisé à partir des nombres de tokens enregistrés : Anthropic a également revalorisé les nombres de tokens enregistrés de l’exécution du 7 octobre de Claude Haiku 5.5 pour le facteur de mise en cache dans Pourquoi la mise en cache vient en premier. Claude Managed Agents applique lui-même la mise en cache des prompts ; le facteur compare donc deux prix pour les mêmes requêtes, et non deux paramètres.
- Le facteur : Le facteur, 1,7, est le coût en tokens de l’exécution avec chaque token d’entrée au prix d’entrée, les tokens de sortie inchangés, divisé par son coût en tokens avec chaque session valorisée isolément : le prompt antérieur de chaque requête comme une lecture du cache et ses nouveaux tokens comme une écriture en cache de 5 minutes. Chaque requête est valorisée selon la longueur de son propre prompt dans les deux coûts, de sorte que les 87 requêtes de plus de 100 000 tokens paient les prix plus élevés dans les deux. Sur les nombres de tokens tels qu’enregistrés, qu’utilisent les coûts de ce guide pour l’exécution, le facteur est de 1,9, car les cinq tentatives d’une tâche ont été exécutées côte à côte et ont lu les entrées de cache les unes des autres.
- Pourquoi le facteur est faible : Le facteur est faible car les sessions sont courtes, avec une médiane de 4 requêtes : la plupart des tokens d’entrée arrivent sous forme de résultats d’outils à la deuxième ou troisième requête et ne sont lus depuis le cache qu’une ou deux fois. Huit tâches en contexte long représentent les trois quarts du coût. Une deuxième exécution, le 8 octobre, donne également 1,7.
- Mesure du format de réponse :
- Ce qui a été mesuré : La tâche de triage de 20 issues de Réduire les tokens d’entrée et de contexte, exécutée sur Claude Sonnet 5 avec la mise en cache des prompts activée et aucun paramètre de réflexion dans la requête, de sorte que la réflexion a été laissée au réglage par défaut du modèle, avec trois instructions de réponse finale, trois exécutions par instruction.
- Instruction sur deux lignes : L’original demandait deux lignes :
4. Finish with exactly two lines: LABEL: <one of: bug-confirmed, needs-more-info, duplicate-candidate, feature-request, upstream-issue, perf, ui-polish> SUMMARY: <one or two sentences for the engineering team> - Instruction sur une ligne : La variante plus courte en demandait une :
4. Finish with exactly one line in this form: DECISION | LABEL | REASON where DECISION is one of: triage-now, needs-info, close-duplicate; LABEL is one of: bug-confirmed, needs-more-info, duplicate-candidate, feature-request, upstream-issue, perf, ui-polish; REASON is one clause under 15 words. Output nothing after that line. - Instruction de mémo : La variante plus longue demandait un mémo avec six sections titrées : résumé du problème, éléments probants, vérification des doublons, étiquette recommandée, prochaines étapes et niveau de confiance.
- Également dans les instructions telles qu’envoyées : Telles qu’envoyées, l’instruction sur deux lignes indiquait aussi « Be concise. » et l’instruction de mémo « Be thorough and explicit. »
- Quand : Les instructions sur deux lignes et sur une ligne ont été exécutées le 18 août 2026, avec
max_tokensà 700, et l’instruction de mémo le 19 août 2026, avecmax_tokensà 3 000. Aucune réponse n’a atteint son plafond. - Mode de notation et de tarification : Les chiffres sont la moyenne des trois exécutions aux prix catalogue de Claude Sonnet 5, et la précision est une correspondance exacte avec les étiquettes de référence.
- Résultats : La réponse sur une ligne a utilisé 39 % de tokens de sortie en moins que l’original sur deux lignes et a coûté 13 % de moins par exécution (d’après les moyennes non arrondies ; les coûts arrondis du graphique, 0,49 $ USD et 0,57 $ USD, donnent 14 %). Le mémo a utilisé six fois les tokens de sortie de l’original sur deux lignes et a coûté 2,8 fois la réponse sur une ligne.
- Réflexion : Environ la moitié des réponses incluaient de la réflexion, et ses tokens sont comptés dans les tokens de sortie.
- Mesure de la recherche d’outils :
- Ce qui a été mesuré : La tâche de triage de 20 issues de Réduire les tokens d’entrée et de contexte, exécutée sur Claude Sonnet 5 le 19 août 2026, avec la mise en cache des prompts activée et aucun paramètre de réflexion dans la requête, de sorte que la réflexion a été laissée au réglage par défaut du modèle, trois exécutions par configuration. L’agent disposait de ses deux propres outils plus de véritables définitions d’outils issues de serveurs MCP publics, pour un total de 7, 17, 52, 102, 252 ou 502 outils, avec chaque définition chargée ou avec celles ajoutées marquées
defer_loadingderrière la recherche d’outils. - Mode de notation et de tarification : Les chiffres sont la moyenne des trois exécutions aux prix catalogue de Claude Sonnet 5, et la précision est une correspondance exacte avec les étiquettes de référence.
- Résultats : Avec chaque définition chargée, le coût de l’exécution est passé de 0,55 $ USD à 7 outils à 1,02 $ USD à 502 outils, soit presque le double. Avec la recherche d’outils, il était de 0,55 $ USD à 0,56 $ USD quelle que soit la taille du catalogue, 45 % de moins à 502 outils (d’après les coûts arrondis du graphique, 0,56 $ USD et 1,02 $ USD ; les moyennes non arrondies donnent 45,6 %). Chaque exécution a répondu correctement à 15 à 18 des 20 issues, avec ou sans recherche d’outils.
- Mises en garde : Aucune exécution n’a appelé un outil du catalogue ni l’outil de recherche d’outils : les deux propres outils de l’agent étaient toujours chargés, et chaque appel d’outil est allé à l’un d’eux. La mesure montre ce que coûte le fait de transporter des définitions inutilisées.
- Mesure distincte : Dans une mesure distincte sur le même modèle et à la même date, avec un serveur MCP GitHub public connecté via le connecteur MCP et sans catalogue, trois exécutions avec l’ensemble d’outils du serveur différé ont coûté 20 % de moins que trois exécutions sans (0,56 $ USD et 0,70 $ USD par exécution), et les trois exécutions de chaque bras ont répondu correctement à 17, 16 et 16 issues. Les requêtes de cette mesure distincte n’incluaient aucun outil de recherche d’outils. Avec l’ensemble d’outils chargé, chaque exécution a appelé l’un des outils du serveur,
issue_read, 3 ou 4 fois ; avec l’ensemble différé, aucune exécution n’a appelé d’outil du serveur.
- Ce qui a été mesuré : La tâche de triage de 20 issues de Réduire les tokens d’entrée et de contexte, exécutée sur Claude Sonnet 5 le 19 août 2026, avec la mise en cache des prompts activée et aucun paramètre de réflexion dans la requête, de sorte que la réflexion a été laissée au réglage par défaut du modèle, trois exécutions par configuration. L’agent disposait de ses deux propres outils plus de véritables définitions d’outils issues de serveurs MCP publics, pour un total de 7, 17, 52, 102, 252 ou 502 outils, avec chaque définition chargée ou avec celles ajoutées marquées
- Mesures de la réduction des entrées et du cycle de vie du contexte :
- Ce qui a été mesuré : La tâche de triage de 20 issues de Réduire les tokens d’entrée et de contexte et sa variante longue, exécutées sur Claude Sonnet 5 le 19 août 2026 (date en UTC), trois exécutions par paramètre, sans paramètre de réflexion dans la requête, de sorte que la réflexion a été laissée au réglage par défaut du modèle ; environ 3 réponses sur 10 incluaient de la réflexion.
- Le graphique : Le graphique dans Gérer le cycle de vie du contexte compare quatre paramètres sur chaque tâche : la tâche avec la mise en cache des prompts et la réduction des entrées (redimensionnement des images et recherche d’outils) activées, et la même avec un levier ajouté, à savoir l’édition du contexte, la compaction ou l’élagage. Le graphique considère une variation de moins de 10 % comme une absence de changement.
- Paramètres des leviers : Les paramètres des leviers différaient entre les deux tâches : l’édition du contexte effaçait au moins 2 000 tokens une fois que le prompt dépassait 20 000 sur la tâche de 20 issues, et au moins 40 000 une fois qu’il dépassait 50 000 sur la longue, en conservant les trois utilisations d’outils les plus récentes, et la compaction se déclenchait à 50 000 tokens d’entrée sur la tâche de 20 issues et à 80 000 sur la longue.
- Mode de tarification : Chaque coût est la moyenne des trois exécutions, à partir des champs d’utilisation des réponses aux prix catalogue de Claude Sonnet 5, avec les écritures en cache à 2,50 $ USD et les lectures du cache à 0,20 $ USD par million de tokens.
- Résultats, réduction des entrées : Un cinquième paramètre, la mise en cache des prompts sans réduction des entrées, a coûté 0,57 $ USD par exécution sur la tâche de 20 issues et 1,38 $ USD sur la longue ; la réduction des entrées a donc retranché 26 % à la première et 21 % à la seconde. Par rapport à la même tâche de 20 issues avec la mise en cache désactivée, qui coûtait 3,36 $ USD par exécution (référence 16), la mise en cache des prompts et la réduction des entrées combinées ont permis d’économiser 88 % (les moyennes non arrondies donnent 87,5 %).
- Résultats, exécution de 20 issues : Sur l’exécution de 20 issues, où la tâche sans levier coûtait 0,42 $ USD par exécution, l’édition du contexte a coûté 73 % de plus, la compaction s’est exécutée une fois vers la fin de chaque exécution et a coûté 7 % de moins, et l’élagage n’a rien réécrit, car aucun résultat de recherche ne dépassait son seuil de 2 000 caractères.
- Résultats, exécution longue : Sur l’exécution longue, où la tâche sans levier coûtait 1,09 $ USD par exécution, l’élagage a coûté 39 % de moins, la compaction 32 % de moins et l’édition du contexte 4 % de plus.
- Lectures du cache, exécutions longues : Dans les exécutions longues avec l’élagage, 89 % des tokens de prompt ont été lus depuis le cache lors de la première requête après une frontière de tâche et 81 % lors des autres requêtes. Sur l’ensemble des exécutions longues, 85 % des tokens de prompt ont été lus depuis le cache avec l’élagage et 85 % avec l’édition du contexte, contre 95 % sans levier.
- Benchmark de codage interne (mesure des sous-agents) :
- Ce qui a été mesuré : 134 tâches de codage sur des dépôts, chacune notée réussie ou échouée par des tests que l’agent ne peut pas voir, cinq tentatives par tâche dans chacune de trois exécutions, du 21 au 23 octobre 2026, sur Claude Managed Agents avec sa propre orchestration multi-agents (le type
multiagent_20261001) : un agent prédéfini comme sous-agent, avec les agents inline et les workflows dynamiques tous deux désactivés. - Configurations : Claude Opus 5.5 seul à
medium, sa valeur par défaut, et àlow; et Claude Opus 5.5 àmediumavec des sous-agents Claude Haiku 5.5 àmedium, une fois sans prompt ajouté et une fois avec un prompt de délégation de 113 mots comme invite système de l’orchestrateur. Une cinquième configuration, avec un prompt plus long, n’est pas rapportée. L’évaluation n’a défini aucune option de réflexion ; la réflexion a donc fonctionné selon sa valeur par défaut : activée, le modèle choisissant quand réfléchir. - Outils : Chaque agent a utilisé deux outils personnalisés, un shell et un éditeur de fichiers que l’évaluation exécute dans le propre bac à sable de chaque tentative, à la place des outils intégrés de la plateforme. Dans le cadre du dispositif de sécurité de l’évaluation, leurs appels sont passés par une vérification supplémentaire. Dans la configuration documentée, les politiques d’autorisation ne s’appliquent pas aux outils personnalisés.
- Résultats : Les tentatives réussies et le coût par tentative étaient de 72,1 % et 4,78 $ USD pour Claude Opus 5.5 seul à
medium; 68,8 % et 3,35 $ USD avec des sous-agents et sans prompt ajouté ; 67,9 % et 3,27 $ USD avec des sous-agents et le prompt ; et 63,0 % et 1,84 $ USD seul àlow. - Comparé à Claude Opus 5.5 seul à
medium: Avec le prompt, un coût inférieur de 32 % (intervalle à 95 % de 29 % à 35 %) et 4,2 points de pourcentage de réussites en moins (de 1,3 à 7,1). Sans prompt ajouté, 30 % de moins (de 27 % à 33 %) et 3,3 de moins (de 0,8 à 5,8). Seul àlow, 62 % de moins (de 59 % à 64 %) et 9,1 de moins (de 5,0 à 13,3), une comparaison ajoutée après les exécutions. Les différences sont appariées par tâche au sein de chaque exécution, et les intervalles sont des intervalles bootstrap sur les 134 tâches. - Comparé à un effort plus faible : Envoyer une partie des tâches à
lowet le reste àmediumdonne une droite entre ces deux résultats, un calcul et non une exécution. À leur propre coût, les configurations avec sous-agents ont réussi, avec le prompt, 0,5 point de pourcentage de plus que cette droite (de 2,3 de moins à 3,2 de plus), et, sans prompt ajouté, 1,1 de plus (de 1,2 de moins à 3,3 de plus) : ni au-dessus ni en dessous. Le coût par tentative réussie était de 6,63 $ USD seul àmedium, 4,86 $ USD avec des sous-agents et sans prompt ajouté, 4,81 $ USD avec le prompt, et 2,92 $ USD àlow. - Mode de tarification : Les coûts sont des coûts en tokens aux prix catalogue avec une mise en cache des prompts d’une durée de 5 minutes, chaque requête étant valorisée selon la longueur de son propre prompt (Tarification du contexte long), et excluent le temps d’exécution des sessions. Les coûts ne tiennent pas compte de la vérification supplémentaire de l’évaluation sur les appels d’outils ; en la comptant, l’économie avec le prompt est de 27 % (de 25 % à 30 %).
- Ce qui compte comme un échec : Une tentative compte comme un échec si une vérification de sécurité l’a arrêtée, si les mesures de protection de la plateforme ont refusé un tour, ou si l’évaluation l’a invalidée parce qu’elle ne pouvait pas confirmer que ses vérifications de sécurité avaient vu chaque étape. Les tentatives invalidées n’ont concerné que les configurations avec sous-agents : 72 sur 2 010 avec le prompt, dont 57 dans une seule exécution. Avec la partie de l’exécution correspondant à cette configuration refaite, elle a réussi 3,6 points de pourcentage de moins que Claude Opus 5.5 seul (de 1,0 à 6,3). En excluant plutôt des deux côtés chaque tentative qu’une vérification de sécurité a arrêtée ou que l’évaluation a invalidée, elle a réussi 1,7 de moins (de 4,4 de moins à 1,1 de plus). Une partie de la perte, mais pas la totalité, provient donc des propres règles de l’évaluation. Une tentative de Claude Opus 5.5 seul à
medium, interrompue à la limite de trois heures, n’a pas de résultat et est exclue ; avec des sous-agents, la même interruption compte comme un échec.
- Ce qui a été mesuré : 134 tâches de codage sur des dépôts, chacune notée réussie ou échouée par des tests que l’agent ne peut pas voir, cinq tentatives par tâche dans chacune de trois exécutions, du 21 au 23 octobre 2026, sur Claude Managed Agents avec sa propre orchestration multi-agents (le type
Prochaines étapes
Le plus grand gain gratuit de cette page : configuration, durées de vie et diagnostics.
Échangez de l’intelligence contre de la latence et du coût au sein d’un même modèle.
Évaluez les capacités, la vitesse et le coût dans toute la famille de modèles Claude.
Fixez un plafond strict en dollars sur une session Managed Agents.
Consultez la tarification actuelle par token pour chaque modèle Claude.
Appliquez ces leviers un par un à un agent fonctionnel dans un notebook exécutable, avec le coût par tâche après chaque étape.
Regardez une présentation pas à pas des modèles de conseiller et d’orchestrateur.
Cette page vous a-t-elle été utile ?