Construire avec la réflexion étendue

Comment fonctionne la réflexion étendue

Lorsque la réflexion étendue est activée, Claude crée des blocs de contenu thinking où il produit son raisonnement interne. Claude intègre les idées de ce raisonnement avant de formuler une réponse finale.

La réponse de l'API inclura des blocs de contenu thinking, suivis de blocs de contenu text.

Voici un exemple du format de réponse par défaut :

Pour plus d'informations sur le format de réponse de la réflexion étendue, consultez la Référence de l'API Messages.

Comment utiliser la réflexion étendue

Voici un exemple d'utilisation de la réflexion étendue dans l'API Messages :

Pour activer la réflexion étendue, ajoutez un objet thinking, avec le paramètre type défini sur enabled et budget_tokens défini sur un budget de jetons spécifié pour la réflexion étendue.

Le paramètre budget_tokens détermine le nombre maximal de jetons que Claude est autorisé à utiliser pour son processus de raisonnement interne. Dans les modèles Claude 4, cette limite s'applique aux jetons de réflexion complète, et non à la sortie résumée. Des budgets plus importants peuvent améliorer la qualité des réponses en permettant une analyse plus approfondie pour les problèmes complexes, bien que Claude n'utilise pas nécessairement l'intégralité du budget alloué, en particulier pour les plages supérieures à 32k.

budget_tokens doit être défini sur une valeur inférieure à max_tokens. Cependant, lors de l'utilisation de la réflexion entrelacée avec des outils, vous pouvez dépasser cette limite car la limite de jetons devient votre fenêtre de contexte entière (200k jetons).

Réflexion résumée

Avec la réflexion étendue activée, l'API Messages pour les modèles Claude 4 retourne un résumé du processus de réflexion complet de Claude. La réflexion résumée fournit tous les avantages en termes d'intelligence de la réflexion étendue, tout en prévenant les abus.

Voici quelques considérations importantes pour la réflexion résumée :

• Vous êtes facturé pour les jetons de réflexion complets générés par la demande originale, pas les jetons de résumé.
• Le nombre de jetons de sortie facturés ne correspondra pas au nombre de jetons que vous voyez dans la réponse.
• Les premières lignes de la sortie de réflexion sont plus détaillées, fournissant un raisonnement détaillé qui est particulièrement utile à des fins d'ingénierie des invites.
• Alors qu'Anthropic cherche à améliorer la fonctionnalité de réflexion étendue, le comportement de résumé est sujet à changement.
• La résumé préserve les idées clés du processus de réflexion de Claude avec une latence minimale ajoutée, permettant une expérience utilisateur en continu et une migration facile de Claude Sonnet 3.7 vers les modèles Claude 4.
• La résumé est traitée par un modèle différent de celui que vous ciblez dans vos demandes. Le modèle de réflexion ne voit pas la sortie résumée.

Réflexion en continu

Vous pouvez diffuser les réponses de réflexion étendue en utilisant les événements envoyés par le serveur (SSE).

Lorsque la diffusion en continu est activée pour la réflexion étendue, vous recevez le contenu de réflexion via les événements thinking_delta.

Pour plus de documentation sur la diffusion en continu via l'API Messages, consultez Messages en continu.

Voici comment gérer la diffusion en continu avec la réflexion :

Exemple de sortie en continu :

Réflexion étendue avec utilisation d'outils

La réflexion étendue peut être utilisée aux côtés de l'utilisation d'outils, permettant à Claude de raisonner sur la sélection des outils et le traitement des résultats.

Lors de l'utilisation de la réflexion étendue avec l'utilisation d'outils, soyez conscient des limitations suivantes :

1. Limitation du choix d'outil : L'utilisation d'outils avec réflexion ne prend en charge que tool_choice: {"type": "auto"} (par défaut) ou tool_choice: {"type": "none"}. L'utilisation de tool_choice: {"type": "any"} ou tool_choice: {"type": "tool", "name": "..."} entraînera une erreur car ces options forcent l'utilisation d'outils, ce qui est incompatible avec la réflexion étendue.

2. Préservation des blocs de réflexion : Lors de l'utilisation d'outils, vous devez repasser les blocs thinking à l'API pour le dernier message de l'assistant. Incluez le bloc complet non modifié à l'API pour maintenir la continuité du raisonnement.

Basculer les modes de réflexion dans les conversations

Vous ne pouvez pas basculer la réflexion au milieu d'un tour d'assistant, y compris pendant les boucles d'utilisation d'outils. Le tour d'assistant entier doit fonctionner dans un seul mode de réflexion :

• Si la réflexion est activée, le tour d'assistant final doit commencer par un bloc de réflexion.
• Si la réflexion est désactivée, le tour d'assistant final ne doit contenir aucun bloc de réflexion

Du point de vue du modèle, les boucles d'utilisation d'outils font partie du tour d'assistant. Un tour d'assistant ne se termine pas jusqu'à ce que Claude termine sa réponse complète, qui peut inclure plusieurs appels d'outils et résultats.

Par exemple, cette séquence fait partie d'un seul tour d'assistant :

Bien qu'il y ait plusieurs messages d'API, la boucle d'utilisation d'outils fait conceptuellement partie d'une réponse d'assistant continue.

Scénarios d'erreur courants

Vous pourriez rencontrer cette erreur :

Cela se produit généralement lorsque :

1. Vous aviez la réflexion désactivée pendant une séquence d'utilisation d'outils
2. Vous voulez activer la réflexion à nouveau
3. Votre dernier message d'assistant contient des blocs d'utilisation d'outils mais pas de bloc de réflexion

Conseils pratiques

✗ Invalide : Basculer la réflexion immédiatement après l'utilisation d'outils

✓ Valide : Terminer le tour d'assistant en premier

Meilleure pratique : Planifiez votre stratégie de réflexion au début de chaque tour plutôt que d'essayer de basculer en milieu de tour.

Préservation des blocs de réflexion

Lors de l'utilisation d'outils, vous devez repasser les blocs thinking à l'API, et vous devez inclure le bloc complet non modifié à l'API. Ceci est critique pour maintenir le flux de raisonnement du modèle et l'intégrité de la conversation.

Lorsque Claude invoque des outils, il met en pause la construction d'une réponse pour attendre des informations externes. Lorsque les résultats des outils sont retournés, Claude continuera à construire cette réponse existante. Cela nécessite de préserver les blocs de réflexion lors de l'utilisation d'outils, pour quelques raisons :

1. Continuité du raisonnement : Les blocs de réflexion capturent le raisonnement étape par étape de Claude qui a conduit aux demandes d'outils. Lorsque vous publiez les résultats des outils, inclure la réflexion originale garantit que Claude peut continuer son raisonnement à partir de là où il s'était arrêté.

2. Maintenance du contexte : Bien que les résultats des outils apparaissent comme des messages utilisateur dans la structure de l'API, ils font partie d'un flux de raisonnement continu. Préserver les blocs de réflexion maintient ce flux conceptuel à travers plusieurs appels d'API. Pour plus d'informations sur la gestion du contexte, consultez notre guide sur les fenêtres de contexte.

Important : Lors de la fourniture de blocs thinking, la séquence entière de blocs thinking consécutifs doit correspondre aux résultats générés par le modèle lors de la demande originale ; vous ne pouvez pas réorganiser ou modifier la séquence de ces blocs.

Pensée entrelacée

La pensée étendue avec utilisation d'outils dans les modèles Claude 4 prend en charge la pensée entrelacée, qui permet à Claude de réfléchir entre les appels d'outils et de faire un raisonnement plus sophistiqué après avoir reçu les résultats des outils.

Avec la pensée entrelacée, Claude peut :

• Raisonner sur les résultats d'un appel d'outil avant de décider de la prochaine étape
• Enchaîner plusieurs appels d'outils avec des étapes de raisonnement entre les deux
• Prendre des décisions plus nuancées basées sur les résultats intermédiaires

Pour activer la pensée entrelacée, ajoutez l'en-tête bêta interleaved-thinking-2025-05-14 à votre demande d'API.

Voici quelques considérations importantes pour la pensée entrelacée :

• Avec la pensée entrelacée, le budget_tokens peut dépasser le paramètre max_tokens, car il représente le budget total sur tous les blocs de pensée au cours d'un seul tour d'assistant.
• La pensée entrelacée n'est prise en charge que pour les outils utilisés via l'API Messages.
• La pensée entrelacée est prise en charge uniquement pour les modèles Claude 4, avec l'en-tête bêta interleaved-thinking-2025-05-14.
• Les appels directs à l'API Claude vous permettent de passer interleaved-thinking-2025-05-14 dans les demandes à n'importe quel modèle, sans effet.
• Sur les plates-formes tierces (par exemple, Amazon Bedrock et Vertex AI), si vous passez interleaved-thinking-2025-05-14 à n'importe quel modèle autre que Claude Opus 4.5, Claude Opus 4.1, Opus 4 ou Sonnet 4, votre demande échouera.

Pensée étendue avec mise en cache des invites

La mise en cache des invites avec la pensée a plusieurs considérations importantes :

Suppression du contexte des blocs de pensée

• Les blocs de pensée des tours précédents sont supprimés du contexte, ce qui peut affecter les points d'arrêt du cache
• Lors de la continuation des conversations avec utilisation d'outils, les blocs de pensée sont mis en cache et comptent comme des jetons d'entrée lors de la lecture à partir du cache
• Cela crée un compromis : bien que les blocs de pensée ne consomment pas d'espace de fenêtre de contexte visuellement, ils comptent toujours vers votre utilisation de jetons d'entrée lorsqu'ils sont mis en cache
• Si la pensée est désactivée, les demandes échoueront si vous transmettez du contenu de pensée dans le tour d'utilisation d'outils actuel. Dans d'autres contextes, le contenu de pensée transmis à l'API est simplement ignoré

Modèles d'invalidation du cache

• Les modifications des paramètres de pensée (activé/désactivé ou allocation de budget) invalident les points d'arrêt du cache de messages
• La pensée entrelacée amplifie l'invalidation du cache, car les blocs de pensée peuvent se produire entre plusieurs appels d'outils
• Les invites système et les outils restent mis en cache malgré les modifications des paramètres de pensée ou la suppression de blocs

Comprendre le comportement de mise en cache des blocs de pensée

Lors de l'utilisation de la pensée étendue avec utilisation d'outils, les blocs de pensée présentent un comportement de mise en cache spécifique qui affecte le comptage des jetons :

Comment cela fonctionne :

1. La mise en cache ne se produit que lorsque vous effectuez une demande ultérieure qui inclut les résultats des outils
2. Lorsque la demande ultérieure est effectuée, l'historique de conversation précédent (y compris les blocs de pensée) peut être mis en cache
3. Ces blocs de pensée mis en cache comptent comme des jetons d'entrée dans vos métriques d'utilisation lorsqu'ils sont lus à partir du cache
4. Lorsqu'un bloc utilisateur sans résultat d'outil est inclus, tous les blocs de pensée précédents sont ignorés et supprimés du contexte

Flux d'exemple détaillé :

Demande 1 :

Réponse 1 :

Demande 2 :

Réponse 2 :

La demande 2 écrit un cache du contenu de la demande (pas de la réponse). Le cache inclut le message utilisateur d'origine, le premier bloc de pensée, le bloc d'utilisation d'outil et le résultat de l'outil.

Demande 3 :

Pour Claude Opus 4.5 et versions ultérieures, tous les blocs de pensée précédents sont conservés par défaut. Pour les modèles plus anciens, parce qu'un bloc utilisateur sans résultat d'outil a été inclus, tous les blocs de pensée précédents sont ignorés. Cette demande sera traitée de la même manière que :

Points clés :

• Ce comportement de mise en cache se produit automatiquement, même sans marqueurs cache_control explicites
• Ce comportement est cohérent, que vous utilisiez la pensée régulière ou la pensée entrelacée

Jetons max et taille de la fenêtre de contexte avec pensée étendue

Dans les modèles Claude plus anciens (antérieurs à Claude Sonnet 3.7), si la somme des jetons d'invite et de max_tokens dépassait la fenêtre de contexte du modèle, le système ajustait automatiquement max_tokens pour s'adapter à la limite de contexte. Cela signifiait que vous pouviez définir une grande valeur max_tokens et le système la réduirait silencieusement selon les besoins.

Avec les modèles Claude 3.7 et 4, max_tokens (qui inclut votre budget de pensée lorsque la pensée est activée) est appliqué comme une limite stricte. Le système retournera maintenant une erreur de validation si les jetons d'invite + max_tokens dépassent la taille de la fenêtre de contexte.

La fenêtre de contexte avec pensée étendue

Lors du calcul de l'utilisation de la fenêtre de contexte avec la pensée activée, il y a quelques considérations à prendre en compte :

• Les blocs de pensée des tours précédents sont supprimés et ne comptent pas vers votre fenêtre de contexte
• La pensée du tour actuel compte vers votre limite max_tokens pour ce tour

Le diagramme ci-dessous illustre la gestion spécialisée des jetons lorsque la pensée étendue est activée :

La fenêtre de contexte effective est calculée comme :

Nous recommandons d'utiliser l'API de comptage des jetons pour obtenir des comptages de jetons précis pour votre cas d'usage spécifique, en particulier lorsque vous travaillez avec des conversations multi-tours qui incluent la pensée.

La fenêtre de contexte avec pensée étendue et utilisation d'outils

Lors de l'utilisation de la pensée étendue avec utilisation d'outils, les blocs de pensée doivent être explicitement préservés et retournés avec les résultats des outils.

Le calcul de la fenêtre de contexte effective pour la pensée étendue avec utilisation d'outils devient :

Le diagramme ci-dessous illustre la gestion des jetons pour la pensée étendue avec utilisation d'outils :

Gestion des jetons avec pensée étendue

Compte tenu du comportement de la fenêtre de contexte et de max_tokens avec les modèles Claude 3.7 et 4 de pensée étendue, vous devrez peut-être :

• Surveiller et gérer plus activement votre utilisation de jetons
• Ajuster les valeurs max_tokens à mesure que la longueur de votre invite change
• Potentiellement utiliser les points de terminaison de comptage des jetons plus fréquemment
• Être conscient que les blocs de pensée précédents ne s'accumulent pas dans votre fenêtre de contexte

Ce changement a été apporté pour fournir un comportement plus prévisible et transparent, en particulier à mesure que les limites de jetons maximaux ont augmenté considérablement.

Chiffrement de la pensée

Le contenu complet de la pensée est chiffré et retourné dans le champ signature. Ce champ est utilisé pour vérifier que les blocs de pensée ont été générés par Claude lorsqu'ils sont renvoyés à l'API.

Voici quelques considérations importantes sur le chiffrement de la pensée :

• Lors du streaming des réponses, la signature est ajoutée via un signature_delta à l'intérieur d'un événement content_block_delta juste avant l'événement content_block_stop.
• Les valeurs signature sont considérablement plus longues dans les modèles Claude 4 que dans les modèles précédents.
• Le champ signature est un champ opaque et ne doit pas être interprété ou analysé - il existe uniquement à des fins de vérification.
• Les valeurs signature sont compatibles entre les plates-formes (API Claude, Amazon Bedrock et Vertex AI). Les valeurs générées sur une plate-forme seront compatibles avec une autre.

Rédaction de la réflexion

Occasionnellement, le raisonnement interne de Claude sera signalé par nos systèmes de sécurité. Lorsque cela se produit, nous chiffrons une partie ou la totalité du bloc thinking et le retournons sous la forme d'un bloc redacted_thinking. Les blocs redacted_thinking sont déchiffrés lorsqu'ils sont renvoyés à l'API, permettant à Claude de continuer sa réponse sans perdre le contexte.

Lors de la création d'applications orientées client utilisant la réflexion étendue :

• Soyez conscient que les blocs de réflexion réduits contiennent du contenu chiffré qui n'est pas lisible par l'homme
• Envisagez de fournir une explication simple comme : « Certains des raisonnements internes de Claude ont été automatiquement chiffrés pour des raisons de sécurité. Cela n'affecte pas la qualité des réponses. »
• Si vous montrez les blocs de réflexion aux utilisateurs, vous pouvez filtrer les blocs réduits tout en préservant les blocs de réflexion normaux
• Soyez transparent sur le fait que l'utilisation des fonctionnalités de réflexion étendue peut occasionnellement entraîner le chiffrement de certains raisonnements
• Implémentez une gestion des erreurs appropriée pour gérer gracieusement la réflexion réduite sans casser votre interface utilisateur

Voici un exemple montrant à la fois les blocs de réflexion normaux et réduits :

Lors du passage des blocs thinking et redacted_thinking à l'API dans une conversation multi-tours, vous devez inclure le bloc complet et non modifié à l'API pour le dernier tour d'assistant. Ceci est critique pour maintenir le flux de raisonnement du modèle. Nous suggérons de toujours renvoyer tous les blocs de réflexion à l'API. Pour plus de détails, consultez la section Préservation des blocs de réflexion ci-dessus.

Différences de réflexion entre les versions de modèle

L'API Messages gère la réflexion différemment selon les modèles Claude Sonnet 3.7 et Claude 4, principalement dans le comportement de rédaction et de résumé.

Consultez le tableau ci-dessous pour une comparaison condensée :

Préservation du bloc de réflexion dans Claude Opus 4.5

Claude Opus 4.5 introduit un nouveau comportement par défaut : les blocs de réflexion des tours d'assistant précédents sont préservés dans le contexte du modèle par défaut. Cela diffère des modèles antérieurs, qui suppriment les blocs de réflexion des tours précédents.

Avantages de la préservation des blocs de réflexion :

• Optimisation du cache : Lors de l'utilisation de l'utilisation d'outils, les blocs de réflexion préservés permettent les accès au cache car ils sont renvoyés avec les résultats des outils et mis en cache de manière incrémentale dans le tour d'assistant, ce qui entraîne des économies de jetons dans les flux de travail multi-étapes
• Aucun impact sur l'intelligence : La préservation des blocs de réflexion n'a aucun effet négatif sur les performances du modèle

Considérations importantes :

• Utilisation du contexte : Les conversations longues consommeront plus d'espace de contexte puisque les blocs de réflexion sont conservés dans le contexte
• Comportement automatique : C'est le comportement par défaut pour Claude Opus 4.5 — aucune modification de code ou en-tête bêta requis
• Compatibilité rétroactive : Pour exploiter cette fonctionnalité, continuez à renvoyer les blocs de réflexion complets et non modifiés à l'API comme vous le feriez pour l'utilisation d'outils

Tarification

Pour les informations de tarification complètes, y compris les tarifs de base, les écritures en cache, les accès au cache et les jetons de sortie, consultez la page de tarification.

Le processus de réflexion entraîne des frais pour :

• Les jetons utilisés pendant la réflexion (jetons de sortie)
• Les blocs de réflexion du dernier tour d'assistant inclus dans les demandes ultérieures (jetons d'entrée)
• Les jetons de sortie de texte standard

Lors de l'utilisation de la réflexion résumée :

• Jetons d'entrée : Jetons dans votre demande originale (exclut les jetons de réflexion des tours précédents)
• Jetons de sortie (facturés) : Les jetons de réflexion originaux que Claude a générés en interne
• Jetons de sortie (visibles) : Les jetons de réflexion résumés que vous voyez dans la réponse
• Aucun frais : Jetons utilisés pour générer le résumé

Meilleures pratiques et considérations pour la réflexion étendue

Travailler avec les budgets de réflexion

• Optimisation du budget : Le budget minimum est de 1 024 jetons. Nous suggérons de commencer par le minimum et d'augmenter le budget de réflexion de manière incrémentale pour trouver la plage optimale pour votre cas d'utilisation. Des nombres de jetons plus élevés permettent un raisonnement plus complet mais avec des rendements décroissants selon la tâche. L'augmentation du budget peut améliorer la qualité des réponses au détriment d'une latence accrue. Pour les tâches critiques, testez différents paramètres pour trouver l'équilibre optimal. Notez que le budget de réflexion est une cible plutôt qu'une limite stricte — l'utilisation réelle des jetons peut varier selon la tâche.
• Points de départ : Commencez avec des budgets de réflexion plus importants (16k+ jetons) pour les tâches complexes et ajustez selon vos besoins.
• Budgets importants : Pour les budgets de réflexion supérieurs à 32k, nous recommandons d'utiliser le traitement par lots pour éviter les problèmes de réseau. Les demandes poussant le modèle à réfléchir au-dessus de 32k jetons causent des demandes longues qui pourraient se heurter aux délais d'expiration du système et aux limites de connexion ouverte.
• Suivi de l'utilisation des jetons : Surveillez l'utilisation des jetons de réflexion pour optimiser les coûts et les performances.

Considérations de performance

• Temps de réponse : Soyez préparé à des temps de réponse potentiellement plus longs en raison du traitement supplémentaire requis pour le processus de raisonnement. Tenez compte du fait que la génération de blocs de réflexion peut augmenter le temps de réponse global.
• Exigences de streaming : Le streaming est requis lorsque max_tokens est supérieur à 21 333. Lors du streaming, soyez préparé à gérer à la fois les blocs de contenu de réflexion et de texte à mesure qu'ils arrivent.

Compatibilité des fonctionnalités

• La réflexion n'est pas compatible avec les modifications temperature ou top_k ainsi qu'avec l'utilisation forcée d'outils.
• Lorsque la réflexion est activée, vous pouvez définir top_p sur des valeurs entre 1 et 0,95.
• Vous ne pouvez pas pré-remplir les réponses lorsque la réflexion est activée.
• Les modifications du budget de réflexion invalident les préfixes d'invite en cache qui incluent des messages. Cependant, les invites système en cache et les définitions d'outils continueront à fonctionner lorsque les paramètres de réflexion changent.

Directives d'utilisation

• Sélection des tâches : Utilisez la réflexion étendue pour les tâches particulièrement complexes qui bénéficient d'un raisonnement étape par étape comme les mathématiques, le codage et l'analyse.
• Gestion du contexte : Vous n'avez pas besoin de supprimer vous-même les blocs de réflexion précédents. L'API Claude ignore automatiquement les blocs de réflexion des tours précédents et ils ne sont pas inclus lors du calcul de l'utilisation du contexte.
• Ingénierie des invites : Consultez nos conseils d'ingénierie des invites pour la réflexion étendue si vous souhaitez maximiser les capacités de réflexion de Claude.

Étapes suivantes