Le « batch processing » (traitement par lots) est une approche puissante pour gérer efficacement de grands volumes de requêtes. Au lieu de traiter les requêtes une par une avec des réponses immédiates, le traitement par lots vous permet de soumettre plusieurs requêtes ensemble pour un traitement asynchrone. Ce modèle est particulièrement utile lorsque :

• Vous devez traiter de grands volumes de données.
• Des réponses immédiates ne sont pas nécessaires.
• Vous souhaitez optimiser la rentabilité.
• Vous exécutez des évaluations ou des analyses à grande échelle.

L’API Message Batches est la première implémentation de ce modèle par Anthropic.

API Message Batches

L’API Message Batches est un moyen puissant et économique de traiter de manière asynchrone de grands volumes de requêtes MessagesAperçu disponible avec des liens vers la référence de l’API, appuyez sur Tab jusqu’à ce que le focus entre dans la carte, et sur Échap pour revenir.. Cette approche est bien adaptée aux tâches qui ne nécessitent pas de réponses immédiates, la plupart des lots se terminant en moins d’une heure tout en réduisant les coûts de 50 pour cent et en augmentant le débit.

Vous pouvez explorer directement la référence de l’APIAperçu disponible avec des liens vers la référence de l’API, appuyez sur Tab jusqu’à ce que le focus entre dans la carte, et sur Échap pour revenir., en plus de ce guide.

Fonctionnement de l’API Message Batches

Lorsque vous envoyez une requête à l’API Message Batches :

1. Le système crée un nouveau lot de messages avec les requêtes Messages fournies.
2. Le lot est ensuite traité de manière asynchrone, chaque requête étant traitée indépendamment.
3. Vous pouvez interroger le statut du lot et récupérer les résultats lorsque le traitement est terminé pour toutes les requêtes.

Ceci est particulièrement utile pour les opérations en masse qui ne nécessitent pas de résultats immédiats, telles que :

• Évaluations à grande échelle : traitez efficacement des milliers de cas de test.
• Modération de contenu : analysez de manière asynchrone de grands volumes de contenu généré par les utilisateurs.
• Analyse de données : générez des informations ou des résumés pour de grands ensembles de données.
• Génération de contenu en masse : créez de grandes quantités de texte à des fins diverses (par exemple, descriptions de produits, résumés d’articles).

Limitations des lots

• Un lot de messages est limité à 100 000 requêtes Message ou à 256 Mo de taille, selon la limite atteinte en premier.
• Le système traite chaque lot aussi rapidement que possible, la plupart des lots se terminant en moins d’une heure. Vous pouvez accéder aux résultats du lot lorsque tous les messages sont terminés ou après 24 heures, selon ce qui survient en premier. Les lots expirent si le traitement ne se termine pas dans les 24 heures.
• Les résultats des lots sont disponibles pendant 29 jours après leur création. Passé ce délai, vous pouvez toujours consulter le lot, mais ses résultats ne seront plus disponibles au téléchargement.
• Les lots sont limités à un espace de travail dans la Claude Console. Vous pouvez consulter tous les lots (et leurs résultats) qui ont été créés dans l’espace de travail dans lequel votre requête s’exécute.
• Les limites de débit s’appliquent à la fois aux requêtes HTTP de l’API Batches et au nombre de requêtes d’un lot en attente de traitement. Consultez Limites de débit de l’API Message Batches. De plus, le traitement peut être ralenti en fonction de la demande actuelle et de votre volume de requêtes. Dans ce cas, vous pourriez voir davantage de requêtes expirer après 24 heures.
• En raison du débit élevé et du traitement simultané, les lots peuvent légèrement dépasser la limite de dépenses configurée dans la Claude Console pour votre espace de travail.
• Chaque requête d’un lot doit avoir un max_tokensAperçu disponible avec des liens vers la référence de l’API, appuyez sur Tab jusqu’à ce que le focus entre dans la carte, et sur Échap pour revenir. d’au moins 1. max_tokens: 0 (préchauffage du cache) n’est pas pris en charge dans un lot, car une entrée de cache éphémère écrite pendant le traitement du lot expirerait probablement avant l’exécution de la requête suivante.

Modèles pris en charge

Tous les modèles actifs prennent en charge l’API Message Batches.

Ce qui peut être traité par lots

Presque toutes les requêtes que vous pouvez adresser à l’API Messages peuvent être incluses dans un lot. Cela inclut :

• La vision
• L’utilisation d’outils, y compris tous les outils serveur (recherche web, récupération web, exécution de code, connecteurs MCP, conseiller et recherche d’outils)
• Les messages système
• Les conversations multi-tours
• La réflexion étendue
• La plupart des fonctionnalités bêta

Étant donné que chaque requête du lot est traitée indépendamment, vous pouvez mélanger différents types de requêtes au sein d’un même lot.

Un petit nombre de paramètres de l’API Messages ne sont pas pris en charge dans les requêtes par lots. L’inclusion de l’un d’entre eux renvoie une erreur de validation :

Tarification

L’API Batches offre des économies significatives. Toute l’utilisation est facturée à 50 pour cent des prix standard de l’API.

Modèle	Jetons par lots
Nom	Entrée	Sortie
Claude Fable 5.2For demanding reasoning and long-horizon agentic work	4 $US / MTok	20 $US / MTok
Claude Opus 5.5For long-running agentic coding and knowledge work	2 $US / MTok	10 $US / MTok
Claude Sonnet 5.5The best combination of speed and intelligence	1 $US / MTok	5 $US / MTok
Claude Haiku 5.5For high-volume, latency-sensitive tasks such as classification, extraction, and routing	0,05 $US / MTokpour les requêtes jusqu’à 100 000 jetons	0,25 $US / MTok
	0,25 $US / MTokpour les requêtes de plus de 100 000 jetons	1,25 $US / MTok
Modèles supplémentaires
Claude Mythos 5.2	4 $US / MTok	20 $US / MTok
Claude Fable 5.1	5 $US / MTok	25 $US / MTok
Claude Mythos 5.1	5 $US / MTok	25 $US / MTok
Claude Fable 5	5 $US / MTok	25 $US / MTok
Claude Mythos 5	5 $US / MTok	25 $US / MTok
Claude Opus 5	2,50 $US / MTok	12,50 $US / MTok
Claude Opus 4.8	2,50 $US / MTok	12,50 $US / MTok
Claude Opus 4.7	2,50 $US / MTok	12,50 $US / MTok
Claude Opus 4.6	2,50 $US / MTok	12,50 $US / MTok
Claude Opus 4.5	2,50 $US / MTok	12,50 $US / MTok
Claude Opus 4.1	7,50 $US / MTok	37,50 $US / MTok
Claude Opus 4	7,50 $US / MTok	37,50 $US / MTok
Claude Sonnet 5	1 $US / MTok	5 $US / MTok
Claude Sonnet 4.6	1,50 $US / MTok	7,50 $US / MTok
Claude Sonnet 4.5	1,50 $US / MTok	7,50 $US / MTok
Claude Sonnet 4	1,50 $US / MTok	7,50 $US / MTok
Claude Haiku 4.5	0,50 $US / MTok	2,50 $US / MTok

Comment utiliser l’API Message Batches

Préparer et créer votre lot

Un lot de messages est composé d’une liste de requêtes de création d’un Message. La structure d’une requête individuelle comprend :

• Un custom_idAperçu disponible avec des liens vers la référence de l’API, appuyez sur Tab jusqu’à ce que le focus entre dans la carte, et sur Échap pour revenir. unique pour identifier la requête Messages. Il doit comporter de 1 à 64 caractères et ne contenir que des caractères alphanumériques, des traits d’union et des traits de soulignement (correspondant à ^[a-zA-Z0-9_-]{1,64}$).
• Un objet paramsAperçu disponible avec des liens vers la référence de l’API, appuyez sur Tab jusqu’à ce que le focus entre dans la carte, et sur Échap pour revenir. avec les paramètres standard de l’API MessagesAperçu disponible avec des liens vers la référence de l’API, appuyez sur Tab jusqu’à ce que le focus entre dans la carte, et sur Échap pour revenir..

Vous pouvez créer un lotAperçu disponible avec des liens vers la référence de l’API, appuyez sur Tab jusqu’à ce que le focus entre dans la carte, et sur Échap pour revenir. en passant cette liste dans le paramètre requests :

from anthropic.types.message_create_params import MessageCreateParamsNonStreaming
from anthropic.types.messages.batch_create_params import Request

client = anthropic.Anthropic()

message_batch = client.messages.batches.create(
    requests=[
        Request(
            custom_id="my-first-request",
            params=MessageCreateParamsNonStreaming(
                model="claude-opus-5-5",
                max_tokens=1024,
                messages=[
                    {
                        "role": "user",
                        "content": "Hello, world",
                    }
                ],
            ),
        ),
        Request(
            custom_id="my-second-request",
            params=MessageCreateParamsNonStreaming(
                model="claude-opus-5-5",
                max_tokens=1024,
                messages=[
                    {
                        "role": "user",
                        "content": "Hi again, friend",
                    }
                ],
            ),
        ),
    ]
)

print(message_batch)

Dans cet exemple, deux requêtes distinctes sont regroupées pour un traitement asynchrone. Chaque requête possède un custom_id unique et contient les paramètres standard que vous utiliseriez pour un appel à l’API Messages.

Lorsqu’un lot est créé pour la première fois, la réponse a un statut de traitement in_progress.

{
  "id": "msgbatch_01HkcTjaV5uDC8jWR4ZsDV8d",
  "type": "message_batch",
  "processing_status": "in_progress",
  "request_counts": {
    "processing": 2,
    "succeeded": 0,
    "errored": 0,
    "canceled": 0,
    "expired": 0
  },
  "ended_at": null,
  "created_at": "2024-09-24T18:37:24.100435Z",
  "expires_at": "2024-09-25T18:37:24.100435Z",
  "cancel_initiated_at": null,
  "results_url": null
}

Suivre votre lot

Le champ processing_statusAperçu disponible avec des liens vers la référence de l’API, appuyez sur Tab jusqu’à ce que le focus entre dans la carte, et sur Échap pour revenir. du lot de messages indique l’étape de traitement dans laquelle se trouve le lot. Il commence à in_progress, puis passe à ended une fois que toutes les requêtes du lot ont fini d’être traitées et que les résultats sont prêts. Vous pouvez surveiller l’état de votre lot en visitant la Console, ou en utilisant le point de terminaison de récupération.

Interroger l’achèvement d’un lot de messages

Pour interroger un lot de messages, vous aurez besoin de son id, qui est fourni dans la réponse lors de la création d’un lot ou en listant les lots. Vous pouvez implémenter une boucle d’interrogation qui vérifie périodiquement le statut du lot jusqu’à la fin du traitement :

import time

client = anthropic.Anthropic()

MESSAGE_BATCH_ID = "msgbatch_01HkcTjaV5uDC8jWR4ZsDV8d"

message_batch = None
while True:
    message_batch = client.messages.batches.retrieve(MESSAGE_BATCH_ID)
    if message_batch.processing_status == "ended":
        break

    print(f"Batch {MESSAGE_BATCH_ID} is still processing...")
    time.sleep(60)
print(message_batch)

Lister tous les lots de messages

Vous pouvez lister tous les lots de messages de votre espace de travail en utilisant le point de terminaison de listeAperçu disponible avec des liens vers la référence de l’API, appuyez sur Tab jusqu’à ce que le focus entre dans la carte, et sur Échap pour revenir.. L’API prend en charge la pagination, en récupérant automatiquement des pages supplémentaires si nécessaire :

client = anthropic.Anthropic()

# Récupère automatiquement d'autres pages si nécessaire.
for message_batch in client.messages.batches.list(limit=20):
    print(message_batch)

Récupérer les résultats d’un lot

Une fois le traitement du lot terminé, chaque requête Messages du lot a un résultat. Il existe quatre types de résultats :

L’objet request_counts du lot compte les requêtes encore en cours de traitement et les requêtes de chaque type de résultat.

Les résultats du lot sont disponibles au téléchargement via la propriété results_urlAperçu disponible avec des liens vers la référence de l’API, appuyez sur Tab jusqu’à ce que le focus entre dans la carte, et sur Échap pour revenir. du lot de messages et, si les autorisations de l’organisation le permettent, dans la Console. En raison de la taille potentiellement importante des résultats, il est recommandé de récupérer les résultats en streamingAperçu disponible avec des liens vers la référence de l’API, appuyez sur Tab jusqu’à ce que le focus entre dans la carte, et sur Échap pour revenir. plutôt que de les télécharger tous en une seule fois.

client = anthropic.Anthropic()

# Lit le fichier de résultats en streaming par blocs économes en mémoire, traités un par un.
for result in client.messages.batches.results(
    "msgbatch_01HkcTjaV5uDC8jWR4ZsDV8d",
):
    outcome = result.result
    match outcome.type:
        case "succeeded":
            print(f"Success! {result.custom_id}")
        case "errored":
            if outcome.error.error.type == "invalid_request_error":
                # Le corps de la requête doit être corrigé avant de renvoyer la requête.
                print(f"Validation error {result.custom_id}")
            else:
                # La requête peut être relancée directement.
                print(f"Server error {result.custom_id}")
        case "expired":
            print(f"Request expired {result.custom_id}")

Les résultats sont au format .jsonl, où chaque ligne est un objet JSON valide représentant le résultat d’une seule requête du lot de messages. Pour chaque résultat reçu en streaming, vous pouvez effectuer une action différente en fonction de son custom_id et de son type de résultat. Voici un exemple d’ensemble de résultats :

{"custom_id":"my-second-request","result":{"type":"succeeded","message":{"id":"msg_014VwiXbi91y3JMjcpyGBHX5","type":"message","role":"assistant","model":"claude-opus-5-5","content":[{"type":"text","text":"Hello again! It's nice to see you. How can I assist you today? Is there anything specific you'd like to chat about or any questions you have?"}],"stop_reason":"end_turn","stop_sequence":null,"usage":{"input_tokens":11,"output_tokens":36}}}}
{"custom_id":"my-first-request","result":{"type":"succeeded","message":{"id":"msg_01FqfsLoHwgeFbguDgpz48m7","type":"message","role":"assistant","model":"claude-opus-5-5","content":[{"type":"text","text":"Hello! How can I assist you today? Feel free to ask me any questions or let me know if there's anything you'd like to chat about."}],"stop_reason":"end_turn","stop_sequence":null,"usage":{"input_tokens":10,"output_tokens":34}}}}

Si votre résultat comporte une erreur, son result.error sera défini selon la structure d’erreur standard.

Les résultats des lots utilisent la version de l’API de la requête qui a créé le lot.

Annuler un lot de messages

Vous pouvez annuler un lot de messages en cours de traitement en utilisant le point de terminaison d’annulationAperçu disponible avec des liens vers la référence de l’API, appuyez sur Tab jusqu’à ce que le focus entre dans la carte, et sur Échap pour revenir.. Immédiatement après l’annulation, le processing_status d’un lot sera canceling. Vous pouvez utiliser la même technique d’interrogation décrite précédemment pour attendre que l’annulation soit finalisée. Les lots annulés se terminent avec un statut ended et peuvent contenir des résultats partiels pour les requêtes qui ont été traitées avant l’annulation.

client = anthropic.Anthropic()

MESSAGE_BATCH_ID = "msgbatch_01HkcTjaV5uDC8jWR4ZsDV8d"

message_batch = client.messages.batches.cancel(
    MESSAGE_BATCH_ID,
)
print(message_batch)

La réponse montre le lot dans un état canceling :

{
  "id": "msgbatch_013Zva2CMHLNnXjNJJKqJ2EF",
  "type": "message_batch",
  "processing_status": "canceling",
  "request_counts": {
    "processing": 2,
    "succeeded": 0,
    "errored": 0,
    "canceled": 0,
    "expired": 0
  },
  "ended_at": null,
  "created_at": "2024-09-24T18:37:24.100435Z",
  "expires_at": "2024-09-25T18:37:24.100435Z",
  "cancel_initiated_at": "2024-09-24T18:39:03.114875Z",
  "results_url": null
}

Utiliser la mise en cache des prompts avec les Message Batches

L’API Message Batches prend en charge la « prompt caching » (mise en cache des prompts), ce qui vous permet potentiellement de réduire les coûts et le temps de traitement des requêtes par lots. Les réductions tarifaires de la mise en cache des prompts et des Message Batches peuvent se cumuler, offrant des économies encore plus importantes lorsque les deux fonctionnalités sont utilisées ensemble. Cependant, étant donné que les requêtes par lots sont traitées de manière asynchrone et simultanée, les succès du cache sont fournis dans la mesure du possible. Les utilisateurs constatent généralement des taux de succès du cache allant de 30 pour cent à 98 pour cent, selon leurs modèles de trafic.

Pour maximiser la probabilité de succès du cache dans vos requêtes par lots :

1. Incluez des blocs cache_control identiques dans chaque requête Message de votre lot.
2. Maintenez un flux régulier de requêtes pour éviter que les entrées du cache n’expirent après leur durée de vie de 5 minutes.
3. Structurez vos requêtes pour partager autant de contenu mis en cache que possible.

Exemple d’implémentation de la mise en cache des prompts dans un lot :

from anthropic.types.message_create_params import MessageCreateParamsNonStreaming
from anthropic.types.messages.batch_create_params import Request

client = anthropic.Anthropic()

message_batch = client.messages.batches.create(
    requests=[
        Request(
            custom_id="my-first-request",
            params=MessageCreateParamsNonStreaming(
                model="claude-opus-5-5",
                max_tokens=1024,
                system=[
                    {
                        "type": "text",
                        "text": "You are an AI assistant tasked with analyzing literary works. Your goal is to provide insightful commentary on themes, characters, and writing style.\n",
                    },
                    {
                        "type": "text",
                        "text": "<the entire contents of Pride and Prejudice>",
                        "cache_control": {"type": "ephemeral"},
                    },
                ],
                messages=[
                    {
                        "role": "user",
                        "content": "Analyze the major themes in Pride and Prejudice.",
                    }
                ],
            ),
        ),
        Request(
            custom_id="my-second-request",
            params=MessageCreateParamsNonStreaming(
                model="claude-opus-5-5",
                max_tokens=1024,
                system=[
                    {
                        "type": "text",
                        "text": "You are an AI assistant tasked with analyzing literary works. Your goal is to provide insightful commentary on themes, characters, and writing style.\n",
                    },
                    {
                        "type": "text",
                        "text": "<the entire contents of Pride and Prejudice>",
                        "cache_control": {"type": "ephemeral"},
                    },
                ],
                messages=[
                    {
                        "role": "user",
                        "content": "Write a summary of Pride and Prejudice.",
                    }
                ],
            ),
        ),
    ]
)

Dans cet exemple, les deux requêtes du lot incluent des messages système identiques ainsi que le texte intégral d’Orgueil et Préjugés marqué avec cache_control afin d’augmenter la probabilité de succès du cache.

Outils serveur et boucle agentique

Tous les outils serveur (recherche web, récupération web, exécution de code, connecteurs MCP, conseiller et recherche d’outils) fonctionnent dans les requêtes par lots. Le worker de lots exécute la même boucle agentique côté serveur que l’API Messages synchrone.

Comme il n’y a pas de connexion ouverte à maintenir, la boucle de lot peut exécuter plus d’itérations au cours d’un tour qu’une requête synchrone avant de renvoyer stop_reason: "pause_turn". Si un résultat de lot revient avec pause_turn, le tour ne s’est pas terminé ; vous pouvez le poursuivre en soumettant le contenu de l’assistant mis en pause dans une requête ultérieure (par lots ou synchrone), exactement comme indiqué dans le modèle de continuation pause_turn.

Le worker de lots limite en outre web_search pour chaque organisation afin que le traitement par lots hautement simultané n’épuise pas la limite de débit de recherche web de votre organisation. Le lot réessaie automatiquement les requêtes limitées ; vous n’avez pas besoin de gérer cela vous-même, mais les très grands lots de recherche web pourraient prendre plus de temps à se terminer.

Sortie étendue (bêta)

L’en-tête bêta output-300k-2026-03-24 porte le plafond de max_tokens à 300 000 pour les requêtes par lots utilisant Claude Opus 5.5, Claude Opus 5, Claude Opus 4.8, Claude Opus 4.7, Claude Opus 4.6, Claude Sonnet 5.5, Claude Sonnet 5, Claude Sonnet 4.6 ou Claude Haiku 5.5. Incluez cet en-tête pour générer des sorties bien plus longues que la limite standard de 128k max_tokens en un seul tour.

Utilisez la sortie étendue pour la génération de contenus longs tels que des brouillons de la longueur d’un livre et de la documentation technique, l’extraction exhaustive de données structurées, de grands squelettes de génération de code et de longues chaînes de raisonnement.

Une seule génération de 300k tokens peut prendre plus d’une heure, planifiez donc vos soumissions de lots en tenant compte de la fenêtre de traitement de 24 heures. La tarification standard des lots (50 pour cent des prix standard de l’API) s’applique.

from anthropic.types.beta.message_create_params import MessageCreateParamsNonStreaming
from anthropic.types.beta.messages.batch_create_params import Request

client = anthropic.Anthropic()

message_batch = client.beta.messages.batches.create(
    betas=["output-300k-2026-03-24"],
    requests=[
        Request(
            custom_id="long-form-request",
            params=MessageCreateParamsNonStreaming(
                model="claude-opus-5-5",
                max_tokens=300_000,
                messages=[
                    {
                        "role": "user",
                        "content": "Write a comprehensive technical guide to building distributed systems, covering architecture patterns, consistency models, fault tolerance, and operational best practices.",
                    }
                ],
            ),
        ),
    ],
)

print(message_batch)

Bonnes pratiques pour un traitement par lots efficace

Pour utiliser efficacement l’API Batches :

• Surveillez régulièrement le statut de traitement des lots et implémentez une logique de nouvelle tentative appropriée pour les requêtes ayant échoué.
• Utilisez des valeurs custom_id significatives pour associer facilement les résultats aux requêtes, car l’ordre n’est pas garanti.
• Envisagez de diviser les très grands ensembles de données en plusieurs lots pour une meilleure gestion.
• Effectuez un essai avec une seule structure de requête via l’API Messages pour éviter les erreurs de validation.

Résolution des problèmes courants

En cas de comportement inattendu :

• Vérifiez que la taille totale de la requête par lots ne dépasse pas 256 Mo. Si la taille de la requête est trop importante, vous pourriez obtenir une erreur 413 request_too_large.
• Vérifiez que vous utilisez des modèles pris en charge pour toutes les requêtes du lot.
• Assurez-vous que chaque requête du lot possède un custom_id unique.
• Assurez-vous que moins de 29 jours se sont écoulés depuis l’heure created_at du lot (et non l’heure ended_at du traitement). Si plus de 29 jours se sont écoulés, les résultats ne seront plus consultables.
• Confirmez que le lot n’a pas été annulé.

Notez que l’échec d’une requête dans un lot n’affecte pas le traitement des autres requêtes.

Stockage et confidentialité des lots

• Isolation par espace de travail : les lots sont isolés au sein de l’espace de travail dans lequel ils sont créés. Ils ne sont accessibles que par les requêtes API de ce même espace de travail, ou par les utilisateurs autorisés à consulter les lots de l’espace de travail dans la Console.

• Disponibilité des résultats : les résultats des lots sont disponibles pendant 29 jours après la création du lot, ce qui laisse amplement le temps de les récupérer et de les traiter.

FAQ

Disponibilité

Le traitement par lots stocke les données des requêtes et des réponses jusqu’à 29 jours après la création du lot. Vous pouvez supprimer un lot de messages à tout moment après le traitement en utilisant le point de terminaison DELETE /v1/messages/batches/{batch_id}Aperçu disponible avec des liens vers la référence de l’API, appuyez sur Tab jusqu’à ce que le focus entre dans la carte, et sur Échap pour revenir.. Pour supprimer un lot en cours, annulez-le d’abord. Le traitement asynchrone nécessite le stockage côté serveur des entrées et des sorties jusqu’à l’achèvement du lot et la récupération des résultats.

Étapes suivantes