Outil d'utilisation de l'ordinateur

Claude peut interagir avec des environnements informatiques grâce à l'outil d'utilisation de l'ordinateur, qui fournit des capacités de capture d'écran et un contrôle souris/clavier pour une interaction autonome avec le bureau.



Aperçu

L'utilisation de l'ordinateur est une fonctionnalité bêta qui permet à Claude d'interagir avec des environnements de bureau. Cet outil fournit :

• Capture d'écran : Voir ce qui est actuellement affiché à l'écran
• Contrôle de la souris : Cliquer, glisser et déplacer le curseur
• Saisie au clavier : Taper du texte et utiliser des raccourcis clavier
• Automatisation du bureau : Interagir avec n'importe quelle application ou interface

Bien que l'utilisation de l'ordinateur puisse être augmentée avec d'autres outils tels que bash et l'éditeur de texte pour des flux de travail d'automatisation plus complets, l'utilisation de l'ordinateur fait spécifiquement référence à la capacité de l'outil d'utilisation de l'ordinateur à voir et contrôler les environnements de bureau.

Pour la prise en charge des modèles, consultez la Référence des outils.



Considérations de sécurité

L'utilisation de l'ordinateur est une fonctionnalité bêta avec des risques uniques distincts des fonctionnalités API standard. Ces risques sont accrus lors de l'interaction avec Internet.

Dans certaines circonstances, Claude suivra les commandes trouvées dans le contenu même lorsqu'elles entrent en conflit avec vos instructions. Par exemple, des instructions sur des pages web ou contenues dans des images pourraient remplacer vos instructions ou amener Claude à faire des erreurs. Prenez des précautions pour isoler Claude des données et actions sensibles afin d'éviter les risques liés à l'injection de prompt.

Anthropic a entraîné le modèle à résister à ces injections de prompt et a ajouté une couche de défense supplémentaire. Si vous utilisez les outils d'utilisation de l'ordinateur, des classificateurs s'exécuteront automatiquement sur vos prompts pour signaler les instances potentielles d'injections de prompt. Lorsque ces classificateurs identifient des injections de prompt potentielles dans les captures d'écran, ils orienteront automatiquement le modèle pour qu'il demande une confirmation de l'utilisateur avant de procéder à l'action suivante. Cette protection supplémentaire ne sera pas idéale pour tous les cas d'usage (par exemple, les cas d'usage sans humain dans la boucle), donc si vous souhaitez vous désinscrire et la désactiver, contactez le support.

Ces précautions restent importantes même avec la couche de défense du classificateur en place.

Informez les utilisateurs finaux des risques pertinents et obtenez leur consentement avant d'activer l'utilisation de l'ordinateur dans vos propres produits.



Démarrage rapide

Voici comment commencer avec l'utilisation de l'ordinateur :

client = anthropic.Anthropic()

response = client.beta.messages.create(
    model="claude-opus-4-8",  # or another compatible model
    max_tokens=1024,
    tools=[
        {
            "type": "computer_20251124",
            "name": "computer",
            "display_width_px": 1024,
            "display_height_px": 768,
            "display_number": 1,
        },
        {"type": "text_editor_20250728", "name": "str_replace_based_edit_tool"},
        {"type": "bash_20250124", "name": "bash"},
    ],
    messages=[{"role": "user", "content": "Save a picture of a cat to my desktop."}],
    betas=["computer-use-2025-11-24"],
)
print(response)



Comment fonctionne l'utilisation de l'ordinateur

La répétition des étapes 3 et 4 sans intervention de l'utilisateur est appelée la « boucle d'agent » (c'est-à-dire que Claude répond avec une requête d'utilisation d'outil et votre application répond à Claude avec les résultats de l'évaluation de cette requête).



L'environnement informatique

L'utilisation de l'ordinateur nécessite un environnement informatique en bac à sable où Claude peut interagir en toute sécurité avec les applications et le web. Cet environnement comprend :

1. Affichage virtuel : Un serveur d'affichage X11 virtuel (utilisant Xvfb) qui rend l'interface de bureau que Claude verra via des captures d'écran et contrôlera avec des actions souris/clavier.

2. Environnement de bureau : Une interface utilisateur légère avec un gestionnaire de fenêtres (Mutter) et un panneau (Tint2) fonctionnant sous Linux, qui fournit une interface graphique cohérente avec laquelle Claude peut interagir.

3. Applications : Des applications Linux préinstallées telles que Firefox, LibreOffice, des éditeurs de texte et des gestionnaires de fichiers que Claude peut utiliser pour accomplir des tâches.

4. Implémentations d'outils : Du code d'intégration qui traduit les requêtes d'outils abstraites de Claude (telles que « déplacer la souris » ou « prendre une capture d'écran ») en opérations réelles dans l'environnement virtuel.

5. Boucle d'agent : Un programme qui gère la communication entre Claude et l'environnement, envoyant les actions de Claude à l'environnement et renvoyant les résultats (captures d'écran, sorties de commandes) à Claude.

Lorsque vous utilisez l'utilisation de l'ordinateur, Claude ne se connecte pas directement à cet environnement. À la place, votre application :

1. Reçoit les requêtes d'utilisation d'outils de Claude
2. Les traduit en actions dans votre environnement informatique
3. Capture les résultats (tels que les captures d'écran et les sorties de commandes)
4. Renvoie ces résultats à Claude

Pour la sécurité et l'isolation, l'implémentation de référence exécute tout cela à l'intérieur d'un conteneur Docker avec des mappages de ports appropriés pour visualiser et interagir avec l'environnement.



Comment implémenter l'utilisation de l'ordinateur



Commencez avec l'implémentation de référence

Une implémentation de référence est disponible et comprend tout ce dont vous avez besoin pour commencer avec l'utilisation de l'ordinateur :

• Un environnement conteneurisé adapté à l'utilisation de l'ordinateur avec Claude
• Des implémentations des outils d'utilisation de l'ordinateur
• Une boucle d'agent qui interagit avec l'API Claude et exécute les outils d'utilisation de l'ordinateur
• Une interface web pour interagir avec le conteneur, la boucle d'agent et les outils.



Comprendre la boucle d'agent

Le cœur de l'utilisation de l'ordinateur est la « boucle d'agent » : un cycle où Claude demande des actions d'outils, votre application les exécute et renvoie les résultats à Claude. La boucle utilise le client que vous avez créé dans le Démarrage rapide, une liste d'outils structurée comme le tableau tools du Démarrage rapide, et l'assistant de traitement des appels d'outils défini dans Traiter les appels d'outils de Claude. Voici un exemple simplifié :

def sampling_loop(model, messages, max_iterations=10):
    """
    Run the computer-use agent loop until Claude stops requesting tools
    or the iteration limit is reached.
    """
    for _ in range(max_iterations):
        response = client.beta.messages.create(
            model=model,
            max_tokens=4096,
            messages=messages,
            tools=TOOLS,
            betas=["computer-use-2025-11-24"],
        )

        # Ajouter la réponse de Claude à l'historique de conversation
        messages.append({"role": "assistant", "content": response.content})

        # Exécuter les outils demandés par Claude et collecter les résultats
        tool_results = process_tool_calls(response)
        if not tool_results:
            return messages  # No more tool use; task complete

        # Renvoyer les résultats des outils à Claude pour l'itération suivante
        messages.append({"role": "user", "content": tool_results})

    return messages

La boucle continue jusqu'à ce que Claude réponde sans demander d'outils (achèvement de la tâche) ou que la limite maximale d'itérations soit atteinte. Cette protection empêche les boucles infinies potentielles qui pourraient entraîner des coûts API inattendus.

Essayez l'implémentation de référence avant de lire le reste de cette documentation.



Optimisez les performances du modèle avec le prompting

Voici quelques conseils pour obtenir des sorties de la meilleure qualité :

1. Spécifiez des tâches simples et bien définies et fournissez des instructions explicites pour chaque étape.
2. Claude suppose parfois les résultats de ses actions sans vérifier explicitement leurs résultats. Pour éviter cela, vous pouvez donner à Claude le prompt suivant : After each step, take a screenshot and carefully evaluate if you have achieved the right outcome. Explicitly show your thinking: "I have evaluated step X..." If not correct, try again. Only when you confirm a step was executed correctly should you move on to the next one.
3. Certains éléments d'interface utilisateur (tels que les listes déroulantes et les barres de défilement) peuvent être difficiles à manipuler pour Claude avec des mouvements de souris. Si vous rencontrez ce problème, essayez de demander au modèle d'utiliser des raccourcis clavier.
4. Pour les tâches répétables ou les interactions d'interface utilisateur, incluez des exemples de captures d'écran et d'appels d'outils de résultats réussis dans votre prompt.
5. Si vous avez besoin que le modèle se connecte, fournissez-lui le nom d'utilisateur et le mot de passe dans votre prompt à l'intérieur de balises XML telles que <robot_credentials>. L'utilisation de l'ordinateur dans des applications nécessitant une connexion augmente le risque de mauvais résultats en raison d'une injection de prompt. Consultez Atténuer les jailbreaks et les injections de prompt avant de fournir au modèle des identifiants de connexion.
6. Lors de la construction du tableau content d'un tour utilisateur, placez le texte d'instruction avant l'image de capture d'écran. Fournir la description de la cible avant que l'image ne soit traitée améliore la précision des clics.
7. Lors de l'utilisation de computer_20251124 avec enable_zoom: true défini, Claude zoome sur une région lorsqu'on l'interroge sur du petit texte ou des éléments d'interface utilisateur spécifiques qui ne sont pas lisibles à la résolution par défaut de la capture d'écran, tels que les noms de fichiers dans une barre latérale, les titres d'onglets, le texte de la barre d'état, les numéros de ligne ou les libellés de boutons. Si Claude ne zoome pas quand vous vous y attendez, interrogez-le sur une région ou un élément spécifique plutôt que sur l'écran dans son ensemble.



Invites système

Lorsqu'un des outils au schéma Anthropic est demandé via l'API Claude, une invite système spécifique à l'utilisation de l'ordinateur est générée. Elle est similaire à l'invite système d'utilisation d'outils mais commence par :

You have access to a set of functions you can use to answer the user's question. This includes access to a sandboxed computing environment. You do NOT currently have the ability to inspect files or interact with external resources, except by invoking the below functions.

Comme pour l'utilisation d'outils classique, le paramètre system fourni par l'utilisateur est toujours respecté et utilisé dans la construction de l'invite système combinée.



Actions disponibles

L'outil d'utilisation de l'ordinateur prend en charge ces actions :

Actions de base (toutes les versions)

• screenshot : Capturer l'affichage actuel
• left_click : Cliquer aux coordonnées [x, y]
• type : Taper une chaîne de texte
• key : Appuyer sur une touche ou une combinaison de touches (par exemple, « ctrl+s »)
• mouse_move : Déplacer le curseur vers des coordonnées

Actions améliorées (computer_20250124 et ultérieur) Disponibles dans computer_20250124 et computer_20251124 :

• scroll : Faire défiler dans n'importe quelle direction avec contrôle de la quantité
• left_click_drag : Cliquer et glisser entre des coordonnées
• right_click, middle_click : Boutons de souris supplémentaires
• double_click, triple_click : Clics multiples
• left_mouse_down, left_mouse_up : Contrôle précis des clics
• hold_key : Maintenir une touche enfoncée pendant une durée spécifiée (en secondes)
• wait : Pause entre les actions

Actions améliorées (computer_20251124) Disponibles dans Claude Sonnet 5, Claude Opus 4.8, Claude Opus 4.7, Claude Opus 4.6, Claude Sonnet 4.6 et Claude Opus 4.5 :

• Toutes les actions de computer_20250124
• zoom : Afficher une région spécifique de l'écran en pleine résolution. Nécessite enable_zoom: true dans la définition de l'outil. Prend un paramètre region avec des coordonnées [x1, y1, x2, y2] définissant les coins supérieur gauche et inférieur droit de la zone à inspecter.



Paramètres de l'outil



Combinaison avec la réflexion étendue

Pour combiner l'utilisation de l'ordinateur avec la réflexion étendue, consultez Réflexion étendue.



Augmenter l'utilisation de l'ordinateur avec d'autres outils

Pour ajouter d'autres outils en plus de l'utilisation de l'ordinateur, incluez-les dans le même tableau tools. La section Démarrage rapide montre ce modèle avec l'outil bash et l'outil d'édition de texte. Vous pouvez ajouter vos propres définitions d'outils personnalisés de la même manière.



Construire un environnement d'utilisation de l'ordinateur personnalisé

L'implémentation de référence est destinée à vous aider à démarrer avec l'utilisation de l'ordinateur. Elle comprend tous les composants nécessaires pour que Claude utilise un ordinateur. Cependant, vous pouvez construire votre propre environnement d'utilisation de l'ordinateur adapté à vos besoins. Vous aurez besoin de :

• Un environnement virtualisé ou conteneurisé adapté à l'utilisation de l'ordinateur avec Claude
• Une implémentation d'au moins un des outils d'utilisation de l'ordinateur au schéma Anthropic
• Une boucle d'agent qui interagit avec l'API Claude et exécute les résultats tool_use en utilisant vos implémentations d'outils
• Une API ou une interface utilisateur qui permet à l'utilisateur de saisir des données pour démarrer la boucle d'agent



Implémenter l'outil d'utilisation de l'ordinateur

L'outil d'utilisation de l'ordinateur est implémenté comme un outil sans schéma. Lors de l'utilisation de cet outil, vous n'avez pas besoin de fournir un schéma d'entrée comme avec les autres outils ; le schéma est intégré au modèle de Claude et ne peut pas être modifié.



Gérer les erreurs

Lors de l'implémentation de l'outil d'utilisation de l'ordinateur, diverses erreurs peuvent survenir. Voici comment les gérer :



Dimensionner les captures d'écran pour respecter les limites d'image

Les captures d'écran envoyées à l'outil d'ordinateur doivent respecter les limites de taille d'image de Claude (voir limites de taille d'image). L'API réduit les images surdimensionnées avant que Claude ne les voie, et Claude renvoie des coordonnées pour l'image qu'il voit, donc se fier à la réduction côté serveur vous laisse sans le facteur d'échelle dont vous avez besoin pour reconvertir ces coordonnées vers votre écran. Seules les images dépassant les limites de requête distinctes de l'API (par exemple, plus de 8 000 px sur un côté) sont rejetées avec une erreur de validation plutôt que réduites.

Si votre écran est plus grand que la limite, redimensionnez la capture d'écran avant de l'envoyer, définissez display_width_px/display_height_px sur les dimensions redimensionnées, et remettez à l'échelle les coordonnées renvoyées par Claude vers l'espace d'écran d'origine :

import math


def get_scale_factor(width, height):
    """Calculate scale factor to meet API constraints."""
    long_edge = max(width, height)
    total_pixels = width * height

    long_edge_scale = 1568 / long_edge
    total_pixels_scale = math.sqrt(1_150_000 / total_pixels)

    return min(1.0, long_edge_scale, total_pixels_scale)


# Lors de la capture d'écran
scale = get_scale_factor(screen_width, screen_height)
scaled_width = int(screen_width * scale)
scaled_height = int(screen_height * scale)

# Redimensionner l'image aux dimensions mises à l'échelle avant de l'envoyer à Claude
screenshot = capture_and_resize(scaled_width, scaled_height)


# Lors du traitement des coordonnées de Claude, les remettre à l'échelle supérieure
def execute_click(x, y):
    screen_x = x / scale
    screen_y = y / scale
    perform_click(screen_x, screen_y)



Diagnostiquer les problèmes de clic

Si les clics manquent leurs cibles, la cause est généralement l'une des suivantes :



Suivre les bonnes pratiques d'implémentation



Comprendre les limitations de l'utilisation de l'ordinateur

L'utilisation de l'ordinateur est en version bêta. Gardez à l'esprit les limitations suivantes :

1. Latence : La « latency » (latence) actuelle de l'utilisation de l'ordinateur pour les interactions humain-IA peut être trop lente par rapport aux actions informatiques classiques dirigées par un humain. Concentrez-vous sur les cas d'usage où la vitesse n'est pas critique (par exemple, la collecte d'informations en arrière-plan, les tests logiciels automatisés) dans des environnements de confiance.

2. Précision et fiabilité de la vision par ordinateur : Claude peut faire des erreurs ou halluciner lors de la production de coordonnées spécifiques pendant la génération d'actions. La réflexion étendue peut vous aider à comprendre le raisonnement du modèle et à identifier les problèmes potentiels.

3. Précision et fiabilité de la sélection d'outils : Claude peut faire des erreurs ou halluciner lors de la sélection d'outils pendant la génération d'actions ou entreprendre des actions inattendues pour résoudre des problèmes. De plus, la fiabilité peut être plus faible lors de l'interaction avec des applications de niche ou plusieurs applications à la fois. Rédigez soigneusement vos prompts lorsque vous demandez des tâches complexes.

4. Fiabilité du défilement : L'action de défilement prend en charge le contrôle de la direction (haut, bas, gauche, droite) et une quantité spécifiée. Dans les applications où le défilement ne prend pas effet, des alternatives au clavier telles que Page suivante peuvent aider.

5. Interaction avec les feuilles de calcul : Utilisez les actions de contrôle précis de la souris (left_mouse_down, left_mouse_up) et les combinaisons de touches de modification pour sélectionner des cellules individuelles. Les opérations complexes sur les feuilles de calcul peuvent encore nécessiter plusieurs tentatives.

6. Création de comptes et génération de contenu sur les plateformes sociales et de communication : Bien que Claude visite des sites web, la capacité de Claude à créer des comptes ou à générer et partager du contenu ou à se livrer autrement à l'usurpation d'identité humaine sur les sites web et plateformes de médias sociaux est limitée. Cette capacité pourrait être mise à jour à l'avenir.

7. Vulnérabilités : Des vulnérabilités telles que le jailbreaking ou l'injection de prompt peuvent persister dans les systèmes d'IA de pointe, y compris l'API bêta d'utilisation de l'ordinateur. Dans certaines circonstances, Claude suivra les commandes trouvées dans le contenu, parfois même lorsqu'elles entrent en conflit avec vos instructions. Par exemple, des instructions sur des pages web ou contenues dans des images pourraient remplacer vos instructions ou amener Claude à faire des erreurs. Envisagez ce qui suit :

   • Limiter l'utilisation de l'ordinateur à des environnements de confiance tels que des machines virtuelles ou des conteneurs avec des privilèges minimaux
   • Éviter de donner à l'utilisation de l'ordinateur l'accès à des comptes ou des données sensibles sans surveillance stricte
   • Informer les utilisateurs finaux des risques pertinents et obtenir leur consentement avant d'activer ou de demander les autorisations nécessaires aux fonctionnalités d'utilisation de l'ordinateur dans vos applications

8. Actions inappropriées ou illégales : En vertu des Conditions d'utilisation d'Anthropic, vous ne devez pas employer l'utilisation de l'ordinateur pour violer des lois ou la Politique d'utilisation acceptable.

Examinez et vérifiez toujours attentivement les actions et les journaux d'utilisation de l'ordinateur de Claude. N'utilisez pas Claude pour des tâches nécessitant une précision parfaite ou des informations utilisateur sensibles sans surveillance humaine.



Conservation des données

L'utilisation de l'ordinateur est un outil côté client. Toutes les captures d'écran, actions de souris, saisies au clavier et tous les fichiers impliqués dans une session sont capturés et stockés dans votre environnement, pas par Anthropic. Anthropic traite les images de capture d'écran et les requêtes d'action en temps réel dans le cadre de l'appel API. La conservation de ces requêtes API est régie par API et conservation des données.

Étant donné que votre application contrôle où et comment les données d'utilisation de l'ordinateur sont stockées, l'utilisation de l'ordinateur est éligible au ZDR. Pour l'éligibilité au ZDR pour toutes les fonctionnalités, consultez API et conservation des données.



Tarification

L'utilisation de l'ordinateur suit la tarification standard de l'utilisation d'outils. Lors de l'utilisation de l'outil d'utilisation de l'ordinateur :

Surcharge de l'invite système : la version bêta de l'utilisation de l'ordinateur ajoute 466 à 499 tokens à l'invite système

Consommation de tokens de l'outil d'utilisation de l'ordinateur :

Consommation de tokens supplémentaire :

• Images de captures d'écran (voir la tarification Vision)
• Résultats d'exécution d'outils renvoyés à Claude



Prochaines étapes