Outil d'utilisation de l'ordinateur

Claude peut interagir avec les environnements informatiques grâce à l'outil d'utilisation de l'ordinateur, qui fournit des capacités de capture d'écran et de contrôle de la souris/clavier pour l'interaction autonome du bureau.

Aperçu

L'utilisation de l'ordinateur est une fonctionnalité bêta qui permet à Claude d'interagir avec les environnements de bureau. Cet outil fournit :

• Capture d'écran : Voir ce qui est actuellement affiché à l'écran
• Contrôle de la souris : Cliquer, faire glisser et déplacer le curseur
• Entrée au clavier : Taper du texte et utiliser les raccourcis clavier
• Automatisation du bureau : Interagir avec n'importe quelle application ou interface

Bien que l'utilisation de l'ordinateur puisse être augmentée avec d'autres outils comme bash et l'éditeur de texte pour des flux de travail d'automatisation plus complets, l'utilisation de l'ordinateur fait spécifiquement référence à la capacité de l'outil d'utilisation de l'ordinateur à voir et contrôler les environnements de bureau.

Compatibilité des modèles

L'utilisation de l'ordinateur est disponible pour les modèles Claude suivants :

Considérations de sécurité

Démarrage rapide

Voici comment commencer avec l'utilisation de l'ordinateur :

Comment fonctionne l'utilisation de l'ordinateur

Nous appelons la répétition des étapes 3 et 4 sans entrée utilisateur la « boucle d'agent » - c'est-à-dire Claude répondant avec une demande d'utilisation d'outil et votre application répondant à Claude avec les résultats de l'évaluation de cette demande.

Claude peut interagir avec des environnements informatiques via l'outil de contrôle informatique, qui fournit des capacités de capture d'écran et un contrôle de la souris/clavier pour l'interaction autonome du bureau.

Aperçu

Le contrôle informatique est une fonctionnalité bêta qui permet à Claude d'interagir avec des environnements de bureau. Cet outil fournit :

• Capture d'écran : Voir ce qui s'affiche actuellement à l'écran
• Contrôle de la souris : Cliquer, faire glisser et déplacer le curseur
• Entrée au clavier : Taper du texte et utiliser les raccourcis clavier
• Automatisation du bureau : Interagir avec n'importe quelle application ou interface

Bien que le contrôle informatique puisse être augmenté avec d'autres outils comme bash et l'éditeur de texte pour des flux de travail d'automatisation plus complets, le contrôle informatique fait spécifiquement référence à la capacité de l'outil de contrôle informatique à voir et contrôler les environnements de bureau.

Compatibilité des modèles

Le contrôle informatique est disponible pour les modèles Claude suivants :

Considérations de sécurité

Démarrage rapide

Voici comment commencer avec le contrôle informatique :

Comment fonctionne le contrôle informatique

Nous nous référons à la répétition des étapes 3 et 4 sans entrée utilisateur comme la « boucle d'agent » - c'est-à-dire Claude répondant avec une demande d'utilisation d'outil et votre application répondant à Claude avec les résultats de l'évaluation de cette demande.

L'environnement informatique

Le contrôle informatique nécessite un environnement informatique en bac à sable où Claude peut interagir en toute sécurité avec les applications et le Web. Cet environnement inclut :

1. Affichage virtuel : Un serveur d'affichage X11 virtuel (utilisant Xvfb) qui rend l'interface de bureau que Claude verra via des captures d'écran et contrôlera avec des actions de souris/clavier.

2. Environnement de bureau : Une interface utilisateur légère avec gestionnaire de fenêtres (Mutter) et panneau (Tint2) s'exécutant sur Linux, qui fournit une interface graphique cohérente pour que Claude interagisse.

3. Applications : Applications Linux pré-installées comme Firefox, LibreOffice, éditeurs de texte et gestionnaires de fichiers que Claude peut utiliser pour accomplir des tâches.

4. Implémentations d'outils : Code d'intégration qui traduit les demandes d'outils abstraits de Claude (comme « déplacer la souris » ou « prendre une capture d'écran ») en opérations réelles dans l'environnement virtuel.

5. Boucle d'agent : Un programme qui gère la communication entre Claude et l'environnement, envoyant les actions de Claude à l'environnement et retournant les résultats (captures d'écran, sorties de commande) à Claude.

Lorsque vous utilisez le contrôle informatique, Claude ne se connecte pas directement à cet environnement. Au lieu de cela, votre application :

1. Reçoit les demandes d'utilisation d'outil de Claude
2. Les traduit en actions dans votre environnement informatique
3. Capture les résultats (captures d'écran, sorties de commande, etc.)
4. Retourne ces résultats à Claude

Pour la sécurité et l'isolation, l'implémentation de référence exécute tout cela à l'intérieur d'un conteneur Docker avec des mappages de ports appropriés pour visualiser et interagir avec l'environnement.

Comment implémenter le contrôle informatique

Commencez par notre implémentation de référence

Nous avons construit une implémentation de référence qui inclut tout ce dont vous avez besoin pour commencer rapidement avec le contrôle informatique :

• Un environnement conteneurisé adapté au contrôle informatique avec Claude
• Implémentations des outils de contrôle informatique
• Une boucle d'agent qui interagit avec l'API Claude et exécute les outils de contrôle informatique
• Une interface Web pour interagir avec le conteneur, la boucle d'agent et les outils.

Comprendre la boucle multi-agent

Le cœur du contrôle informatique est la « boucle d'agent » - un cycle où Claude demande des actions d'outil, votre application les exécute et retourne les résultats à Claude. Voici un exemple simplifié :

async def sampling_loop(
    *,
    model: str,
    messages: list[dict],
    api_key: str,
    max_tokens: int = 4096,
    tool_version: str,
    thinking_budget: int | None = None,
    max_iterations: int = 10,  # Add iteration limit to prevent infinite loops
):
    """
    A simple agent loop for Claude computer use interactions.

    This function handles the back-and-forth between:
    1. Sending user messages to Claude
    2. Claude requesting to use tools
    3. Your app executing those tools
    4. Sending tool results back to Claude
    """
    # Set up tools and API parameters
    client = Anthropic(api_key=api_key)
    beta_flag = "computer-use-2025-01-24" if "20250124" in tool_version else "computer-use-2024-10-22"

    # Configure tools - you should already have these initialized elsewhere
    tools = [
        {"type": f"computer_{tool_version}", "name": "computer", "display_width_px": 1024, "display_height_px": 768},
        {"type": f"text_editor_{tool_version}", "name": "str_replace_editor"},
        {"type": f"bash_{tool_version}", "name": "bash"}
    ]

    # Main agent loop (with iteration limit to prevent runaway API costs)
    iterations = 0
    while True and iterations < max_iterations:
        iterations += 1
        # Set up optional thinking parameter (for Claude Sonnet 3.7)
        thinking = None
        if thinking_budget:
            thinking = {"type": "enabled", "budget_tokens": thinking_budget}

        # Call the Claude API
        response = client.beta.messages.create(
            model=model,
            max_tokens=max_tokens,
            messages=messages,
            tools=tools,
            betas=[beta_flag],
            thinking=thinking
        )

        # Add Claude's response to the conversation history
        response_content = response.content
        messages.append({"role": "assistant", "content": response_content})

        # Check if Claude used any tools
        tool_results = []
        for block in response_content:
            if block.type == "tool_use":
                # In a real app, you would execute the tool here
                # For example: result = run_tool(block.name, block.input)
                result = {"result": "Tool executed successfully"}

                # Format the result for Claude
                tool_results.append({
                    "type": "tool_result",
                    "tool_use_id": block.id,
                    "content": result
                })

        # If no tools were used, Claude is done - return the final messages
        if not tool_results:
            return messages

        # Add tool results to messages for the next iteration with Claude
        messages.append({"role": "user", "content": tool_results})

La boucle continue jusqu'à ce que Claude réponde sans demander d'outils (achèvement de la tâche) ou que la limite d'itération maximale soit atteinte. Cette protection empêche les boucles infinies potentielles qui pourraient entraîner des coûts API inattendus.

Nous vous recommandons d'essayer l'implémentation de référence avant de lire le reste de cette documentation.

Optimiser les performances du modèle avec les invites

Voici quelques conseils sur comment obtenir les meilleures sorties de qualité :

1. Spécifiez des tâches simples et bien définies et fournissez des instructions explicites pour chaque étape.
2. Claude suppose parfois les résultats de ses actions sans vérifier explicitement leurs résultats. Pour éviter cela, vous pouvez inviter Claude avec After each step, take a screenshot and carefully evaluate if you have achieved the right outcome. Explicitly show your thinking: "I have evaluated step X..." If not correct, try again. Only when you confirm a step was executed correctly should you move on to the next one.
3. Certains éléments d'interface utilisateur (comme les listes déroulantes et les barres de défilement) pourraient être délicats pour Claude à manipuler à l'aide de mouvements de souris. Si vous rencontrez cela, essayez d'inviter le modèle à utiliser des raccourcis clavier.
4. Pour les tâches répétables ou les interactions d'interface utilisateur, incluez des captures d'écran d'exemple et des appels d'outil de résultats réussis dans votre invite.
5. Si vous avez besoin que le modèle se connecte, fournissez-lui le nom d'utilisateur et le mot de passe dans votre invite à l'intérieur de balises xml comme <robot_credentials>. L'utilisation du contrôle informatique dans les applications qui nécessitent une connexion augmente le risque de mauvais résultats en raison de l'injection de prompt. Veuillez consulter notre guide sur l'atténuation des injections de prompt avant de fournir au modèle les identifiants de connexion.

Invites système

Lorsqu'un des outils définis par Anthropic est demandé via l'API Claude, une invite système spécifique au contrôle informatique est générée. Elle est similaire à l'invite système d'utilisation d'outil mais commence par :

You have access to a set of functions you can use to answer the user's question. This includes access to a sandboxed computing environment. You do NOT currently have the ability to inspect files or interact with external resources, except by invoking the below functions.

Comme pour l'utilisation régulière d'outils, le champ system_prompt fourni par l'utilisateur est toujours respecté et utilisé dans la construction de l'invite système combinée.

Comment implémenter l'utilisation d'ordinateur

Commencez par notre implémentation de référence

Nous avons construit une implémentation de référence qui contient tout ce dont vous avez besoin pour commencer rapidement avec l'utilisation d'ordinateur :

• Un environnement conteneurisé adapté à l'utilisation d'ordinateur avec Claude
• Des implémentations des outils d'utilisation d'ordinateur
• Une boucle d'agent qui interagit avec l'API Claude et exécute les outils d'utilisation d'ordinateur
• Une interface web pour interagir avec le conteneur, la boucle d'agent et les outils.

Comprendre la boucle multi-agent

Le cœur de l'utilisation d'ordinateur est la « boucle d'agent » - un cycle où Claude demande des actions d'outils, votre application les exécute et retourne les résultats à Claude. Voici un exemple simplifié :

async def sampling_loop(
    *,
    model: str,
    messages: list[dict],
    api_key: str,
    max_tokens: int = 4096,
    tool_version: str,
    thinking_budget: int | None = None,
    max_iterations: int = 10,  # Add iteration limit to prevent infinite loops
):
    """
    A simple agent loop for Claude computer use interactions.

    This function handles the back-and-forth between:
    1. Sending user messages to Claude
    2. Claude requesting to use tools
    3. Your app executing those tools
    4. Sending tool results back to Claude
    """
    # Set up tools and API parameters
    client = Anthropic(api_key=api_key)
    beta_flag = "computer-use-2025-01-24" if "20250124" in tool_version else "computer-use-2024-10-22"

    # Configure tools - you should already have these initialized elsewhere
    tools = [
        {"type": f"computer_{tool_version}", "name": "computer", "display_width_px": 1024, "display_height_px": 768},
        {"type": f"text_editor_{tool_version}", "name": "str_replace_editor"},
        {"type": f"bash_{tool_version}", "name": "bash"}
    ]

    # Main agent loop (with iteration limit to prevent runaway API costs)
    iterations = 0
    while True and iterations < max_iterations:
        iterations += 1
        # Set up optional thinking parameter (for Claude Sonnet 3.7)
        thinking = None
        if thinking_budget:
            thinking = {"type": "enabled", "budget_tokens": thinking_budget}

        # Call the Claude API
        response = client.beta.messages.create(
            model=model,
            max_tokens=max_tokens,
            messages=messages,
            tools=tools,
            betas=[beta_flag],
            thinking=thinking
        )

        # Add Claude's response to the conversation history
        response_content = response.content
        messages.append({"role": "assistant", "content": response_content})

        # Check if Claude used any tools
        tool_results = []
        for block in response_content:
            if block.type == "tool_use":
                # In a real app, you would execute the tool here
                # For example: result = run_tool(block.name, block.input)
                result = {"result": "Tool executed successfully"}

                # Format the result for Claude
                tool_results.append({
                    "type": "tool_result",
                    "tool_use_id": block.id,
                    "content": result
                })

        # If no tools were used, Claude is done - return the final messages
        if not tool_results:
            return messages

        # Add tool results to messages for the next iteration with Claude
        messages.append({"role": "user", "content": tool_results})

La boucle continue jusqu'à ce que Claude réponde sans demander d'outils (fin de tâche) ou que la limite d'itération maximale soit atteinte. Cette protection empêche les boucles infinies potentielles qui pourraient entraîner des coûts d'API inattendus.

Nous vous recommandons d'essayer l'implémentation de référence avant de lire le reste de cette documentation.

Optimiser les performances du modèle avec les invites

Voici quelques conseils sur la façon d'obtenir les meilleures sorties de qualité :

1. Spécifiez des tâches simples et bien définies et fournissez des instructions explicites pour chaque étape.
2. Claude suppose parfois les résultats de ses actions sans vérifier explicitement leurs résultats. Pour éviter cela, vous pouvez inviter Claude avec After each step, take a screenshot and carefully evaluate if you have achieved the right outcome. Explicitly show your thinking: "I have evaluated step X..." If not correct, try again. Only when you confirm a step was executed correctly should you move on to the next one.
3. Certains éléments d'interface utilisateur (comme les listes déroulantes et les barres de défilement) pourraient être délicats pour Claude à manipuler à l'aide de mouvements de souris. Si vous rencontrez ce problème, essayez d'inviter le modèle à utiliser des raccourcis clavier.
4. Pour les tâches répétables ou les interactions d'interface utilisateur, incluez des captures d'écran d'exemple et des appels d'outils de résultats réussis dans votre invite.
5. Si vous avez besoin que le modèle se connecte, fournissez-lui le nom d'utilisateur et le mot de passe dans votre invite à l'intérieur de balises xml comme <robot_credentials>. L'utilisation de l'utilisation d'ordinateur dans les applications qui nécessitent une connexion augmente le risque de mauvais résultats en raison de l'injection d'invite. Veuillez consulter notre guide sur l'atténuation des injections d'invite avant de fournir au modèle les identifiants de connexion.

Invites système

Lorsqu'un des outils définis par Anthropic est demandé via l'API Claude, une invite système spécifique à l'utilisation d'ordinateur est générée. Elle est similaire à l'invite système d'utilisation d'outils mais commence par :

You have access to a set of functions you can use to answer the user's question. This includes access to a sandboxed computing environment. You do NOT currently have the ability to inspect files or interact with external resources, except by invoking the below functions.

Comme pour l'utilisation régulière d'outils, le champ system_prompt fourni par l'utilisateur est toujours respecté et utilisé dans la construction de l'invite système combinée.

Actions disponibles

L'outil d'utilisation d'ordinateur prend en charge ces actions :

Actions de base (toutes les versions)

• screenshot - Capturer l'affichage actuel
• left_click - Cliquer aux coordonnées [x, y]
• type - Taper une chaîne de texte
• key - Appuyer sur une touche ou une combinaison de touches (par exemple, « ctrl+s »)
• mouse_move - Déplacer le curseur vers les coordonnées

Actions améliorées (computer_20250124) Disponible dans les modèles Claude 4 et Claude Sonnet 3.7 :

• scroll - Faire défiler dans n'importe quelle direction avec contrôle du montant
• left_click_drag - Cliquer et faire glisser entre les coordonnées
• right_click, middle_click - Boutons de souris supplémentaires
• double_click, triple_click - Clics multiples
• left_mouse_down, left_mouse_up - Contrôle de clic granulaire
• hold_key - Maintenir une touche enfoncée tout en effectuant d'autres actions
• wait - Pause entre les actions

Actions améliorées (computer_20251124) Disponible dans Claude Opus 4.5 :

• Toutes les actions de computer_20250124
• zoom - Afficher une région spécifique de l'écran à pleine résolution. Nécessite enable_zoom: true dans la définition de l'outil. Prend un paramètre region avec les coordonnées [x1, y1, x2, y2] définissant les coins supérieur gauche et inférieur droit de la zone à inspecter.

Paramètres de l'outil

Paramètres de l'outil

Activer la capacité de réflexion dans les modèles Claude 4 et Claude Sonnet 3.7

Claude Sonnet 3.7 a introduit une nouvelle capacité de « réflexion » qui vous permet de voir le processus de raisonnement du modèle alors qu'il travaille sur des tâches complexes. Cette fonctionnalité vous aide à comprendre comment Claude aborde un problème et peut être particulièrement précieuse à des fins de débogage ou éducatives.

Pour activer la réflexion, ajoutez un paramètre thinking à votre demande d'API :

"thinking": {
  "type": "enabled",
  "budget_tokens": 1024
}

Le paramètre budget_tokens spécifie combien de jetons Claude peut utiliser pour la réflexion. Ceci est soustrait de votre budget global max_tokens.

Lorsque la réflexion est activée, Claude retournera son processus de raisonnement dans le cadre de la réponse, ce qui peut vous aider à :

1. Comprendre le processus de prise de décision du modèle
2. Identifier les problèmes ou les idées fausses potentiels
3. Apprendre de l'approche de Claude à la résolution de problèmes
4. Obtenir plus de visibilité sur les opérations complexes multi-étapes

Voici un exemple de ce à quoi la sortie de réflexion pourrait ressembler :

[Thinking]
I need to save a picture of a cat to the desktop. Let me break this down into steps:

1. First, I'll take a screenshot to see what's on the desktop
2. Then I'll look for a web browser to search for cat images
3. After finding a suitable image, I'll need to save it to the desktop

Let me start by taking a screenshot to see what's available...

Paramètres de l'outil

Activer la capacité de réflexion dans les modèles Claude 4 et Claude Sonnet 3.7

Claude Sonnet 3.7 a introduit une nouvelle capacité de « réflexion » qui vous permet de voir le processus de raisonnement du modèle alors qu'il travaille sur des tâches complexes. Cette fonctionnalité vous aide à comprendre comment Claude aborde un problème et peut être particulièrement précieuse à des fins de débogage ou éducatives.

Pour activer la réflexion, ajoutez un paramètre thinking à votre demande d'API :

"thinking": {
  "type": "enabled",
  "budget_tokens": 1024
}

Le paramètre budget_tokens spécifie combien de jetons Claude peut utiliser pour la réflexion. Ceci est soustrait de votre budget global max_tokens.

Lorsque la réflexion est activée, Claude retournera son processus de raisonnement dans le cadre de la réponse, ce qui peut vous aider à :

1. Comprendre le processus de prise de décision du modèle
2. Identifier les problèmes ou les idées fausses potentiels
3. Apprendre de l'approche de Claude à la résolution de problèmes
4. Obtenir plus de visibilité sur les opérations complexes multi-étapes

Voici un exemple de ce à quoi la sortie de réflexion pourrait ressembler :

[Thinking]
I need to save a picture of a cat to the desktop. Let me break this down into steps:

1. First, I'll take a screenshot to see what's on the desktop
2. Then I'll look for a web browser to search for cat images
3. After finding a suitable image, I'll need to save it to the desktop

Let me start by taking a screenshot to see what's available...

Augmenter l'utilisation d'ordinateur avec d'autres outils

L'outil d'utilisation d'ordinateur peut être combiné avec d'autres outils pour créer des flux de travail d'automatisation plus puissants. Ceci est particulièrement utile lorsque vous avez besoin de :

• Exécuter des commandes système (outil bash)
• Éditer des fichiers de configuration ou des scripts (outil d'éditeur de texte)
• Intégrer avec des API personnalisées ou des services (outils personnalisés)

Paramètres de l'outil

Activer la capacité de réflexion dans les modèles Claude 4 et Claude Sonnet 3.7

Claude Sonnet 3.7 a introduit une nouvelle capacité de « réflexion » qui vous permet de voir le processus de raisonnement du modèle au fur et à mesure qu'il travaille sur des tâches complexes. Cette fonctionnalité vous aide à comprendre comment Claude aborde un problème et peut être particulièrement précieuse à des fins de débogage ou éducatives.

Pour activer la réflexion, ajoutez un paramètre thinking à votre demande d'API :

"thinking": {
  "type": "enabled",
  "budget_tokens": 1024
}

Le paramètre budget_tokens spécifie le nombre de jetons que Claude peut utiliser pour la réflexion. Ceci est soustrait de votre budget global max_tokens.

Lorsque la réflexion est activée, Claude retournera son processus de raisonnement dans le cadre de la réponse, ce qui peut vous aider à :

1. Comprendre le processus de prise de décision du modèle
2. Identifier les problèmes potentiels ou les idées fausses
3. Apprendre de l'approche de Claude pour la résolution de problèmes
4. Obtenir plus de visibilité sur les opérations complexes multi-étapes

Voici un exemple de ce à quoi la sortie de réflexion pourrait ressembler :

[Thinking]
Je dois enregistrer une photo d'un chat sur le bureau. Décomposons cela en étapes :

1. D'abord, je vais prendre une capture d'écran pour voir ce qui se trouve sur le bureau
2. Ensuite, je vais chercher un navigateur Web pour rechercher des images de chats
3. Après avoir trouvé une image appropriée, je devrai l'enregistrer sur le bureau

Commençons par prendre une capture d'écran pour voir ce qui est disponible...

Augmenter l'utilisation d'ordinateur avec d'autres outils

L'outil d'utilisation d'ordinateur peut être combiné avec d'autres outils pour créer des flux de travail d'automatisation plus puissants. Ceci est particulièrement utile lorsque vous avez besoin de :

• Exécuter des commandes système (outil bash)
• Modifier des fichiers de configuration ou des scripts (outil éditeur de texte)
• Intégrer avec des API personnalisées ou des services (outils personnalisés)

Construire un environnement d'utilisation d'ordinateur personnalisé

L'implémentation de référence est destinée à vous aider à démarrer avec l'utilisation d'ordinateur. Elle inclut tous les composants nécessaires pour que Claude utilise un ordinateur. Cependant, vous pouvez construire votre propre environnement pour l'utilisation d'ordinateur selon vos besoins. Vous aurez besoin de :

• Un environnement virtualisé ou conteneurisé adapté à l'utilisation d'ordinateur avec Claude
• Une implémentation d'au moins un des outils d'utilisation d'ordinateur définis par Anthropic
• Une boucle d'agent qui interagit avec l'API Claude et exécute les résultats tool_use en utilisant vos implémentations d'outils
• Une API ou une interface utilisateur qui permet l'entrée de l'utilisateur pour démarrer la boucle d'agent

Implémenter l'outil d'utilisation d'ordinateur

L'outil d'utilisation d'ordinateur est implémenté comme un outil sans schéma. Lorsque vous utilisez cet outil, vous n'avez pas besoin de fournir un schéma d'entrée comme avec d'autres outils ; le schéma est intégré au modèle de Claude et ne peut pas être modifié.

Gérer les erreurs

Lors de l'implémentation de l'outil d'utilisation d'ordinateur, diverses erreurs peuvent survenir. Voici comment les gérer :

Suivre les meilleures pratiques de mise en œuvre

Comprendre les limitations de l'utilisation d'ordinateur

La fonctionnalité d'utilisation d'ordinateur est en version bêta. Bien que les capacités de Claude soient à la pointe de la technologie, les développeurs doivent être conscients de ses limitations :

1. Latence : la latence actuelle de l'utilisation d'ordinateur pour les interactions humain-IA peut être trop lente par rapport aux actions informatiques régulières dirigées par l'homme. Nous recommandons de nous concentrer sur les cas d'utilisation où la vitesse n'est pas critique (par exemple, la collecte d'informations en arrière-plan, les tests automatisés de logiciels) dans des environnements de confiance.
2. Précision et fiabilité de la vision par ordinateur : Claude peut faire des erreurs ou halluciner lors de la sortie de coordonnées spécifiques lors de la génération d'actions. Claude Sonnet 3.7 introduit la capacité de réflexion qui peut vous aider à comprendre le raisonnement du modèle et à identifier les problèmes potentiels.
3. Précision et fiabilité de la sélection d'outils : Claude peut faire des erreurs ou halluciner lors de la sélection d'outils lors de la génération d'actions ou prendre des actions inattendues pour résoudre les problèmes. De plus, la fiabilité peut être inférieure lors de l'interaction avec des applications de niche ou plusieurs applications à la fois. Nous recommandons aux utilisateurs de bien inviter le modèle lors de la demande de tâches complexes.
4. Fiabilité du défilement : Claude Sonnet 3.7 a introduit des actions de défilement dédiées avec contrôle directionnel qui améliore la fiabilité. Le modèle peut maintenant faire défiler explicitement dans n'importe quelle direction (haut/bas/gauche/droite) d'une quantité spécifiée.
5. Interaction avec des feuilles de calcul : Les clics de souris pour l'interaction avec des feuilles de calcul se sont améliorés dans Claude Sonnet 3.7 avec l'ajout d'actions de contrôle de souris plus précises comme left_mouse_down, et le nouveau support des touches de modification. La sélection de cellules peut être plus fiable en utilisant ces contrôles granulaires et en combinant les touches de modification avec les clics.

Examinez et vérifiez toujours attentivement les actions et les journaux d'utilisation d'ordinateur de Claude. N'utilisez pas Claude pour les tâches nécessitant une précision parfaite ou des informations utilisateur sensibles sans surveillance humaine.

Comprendre les limitations de l'utilisation d'ordinateur

La fonctionnalité d'utilisation d'ordinateur est en version bêta. Bien que les capacités de Claude soient à la pointe de la technologie, les développeurs doivent être conscients de ses limitations :

1. Latence : la latence actuelle de l'utilisation d'ordinateur pour les interactions humain-IA peut être trop lente par rapport aux actions informatiques régulières dirigées par l'homme. Nous recommandons de nous concentrer sur les cas d'utilisation où la vitesse n'est pas critique (par exemple, la collecte d'informations en arrière-plan, les tests automatisés de logiciels) dans des environnements de confiance.
2. Précision et fiabilité de la vision par ordinateur : Claude peut faire des erreurs ou halluciner lors de la sortie de coordonnées spécifiques lors de la génération d'actions. Claude Sonnet 3.7 introduit la capacité de réflexion qui peut vous aider à comprendre le raisonnement du modèle et à identifier les problèmes potentiels.
3. Précision et fiabilité de la sélection d'outils : Claude peut faire des erreurs ou halluciner lors de la sélection d'outils lors de la génération d'actions ou prendre des actions inattendues pour résoudre les problèmes. De plus, la fiabilité peut être inférieure lors de l'interaction avec des applications de niche ou plusieurs applications à la fois. Nous recommandons aux utilisateurs de bien inviter le modèle lors de la demande de tâches complexes.
4. Fiabilité du défilement : Claude Sonnet 3.7 a introduit des actions de défilement dédiées avec contrôle directionnel qui améliore la fiabilité. Le modèle peut maintenant faire défiler explicitement dans n'importe quelle direction (haut/bas/gauche/droite) d'une quantité spécifiée.
5. Interaction avec des feuilles de calcul : Les clics de souris pour l'interaction avec des feuilles de calcul se sont améliorés dans Claude Sonnet 3.7 avec l'ajout d'actions de contrôle de souris plus précises comme left_mouse_down, et le nouveau support des touches de modification. La sélection de cellules peut être plus fiable en utilisant ces contrôles granulaires et en combinant les touches de modification avec les clics.

Examinez et vérifiez toujours attentivement les actions et les journaux d'utilisation d'ordinateur de Claude. N'utilisez pas Claude pour les tâches nécessitant une précision parfaite ou des informations utilisateur sensibles sans surveillance humaine.

Tarification

Computer use follows the standard tool use pricing. When using the computer use tool:

System prompt overhead: The computer use beta adds 466-499 tokens to the system prompt

Computer use tool token usage:

Additional token consumption:

• Screenshot images (see Vision pricing)
• Tool execution results returned to Claude

Comprendre les limitations de l'utilisation d'ordinateur

La fonctionnalité d'utilisation d'ordinateur est en version bêta. Bien que les capacités de Claude soient à la pointe de la technologie, les développeurs doivent être conscients de ses limitations :

1. Latence : la latence actuelle de l'utilisation d'ordinateur pour les interactions humain-IA peut être trop lente par rapport aux actions informatiques régulières dirigées par l'homme. Nous recommandons de nous concentrer sur les cas d'utilisation où la vitesse n'est pas critique (par exemple, la collecte d'informations en arrière-plan, les tests automatisés de logiciels) dans des environnements de confiance.
2. Précision et fiabilité de la vision par ordinateur : Claude peut faire des erreurs ou halluciner lors de la sortie de coordonnées spécifiques lors de la génération d'actions. Claude Sonnet 3.7 introduit la capacité de réflexion qui peut vous aider à comprendre le raisonnement du modèle et à identifier les problèmes potentiels.
3. Précision et fiabilité de la sélection d'outils : Claude peut faire des erreurs ou halluciner lors de la sélection d'outils lors de la génération d'actions ou prendre des actions inattendues pour résoudre les problèmes. De plus, la fiabilité peut être inférieure lors de l'interaction avec des applications de niche ou plusieurs applications à la fois. Nous recommandons aux utilisateurs de bien inviter le modèle lors de la demande de tâches complexes.
4. Fiabilité du défilement : Claude Sonnet 3.7 a introduit des actions de défilement dédiées avec contrôle directionnel qui améliore la fiabilité. Le modèle peut maintenant faire défiler explicitement dans n'importe quelle direction (haut/bas/gauche/droite) d'une quantité spécifiée.
5. Interaction avec des feuilles de calcul : Les clics de souris pour l'interaction avec des feuilles de calcul se sont améliorés dans Claude Sonnet 3.7 avec l'ajout d'actions de contrôle de souris plus précises comme left_mouse_down, et le nouveau support des touches de modification. La sélection de cellules peut être plus fiable en utilisant ces contrôles granulaires et en combinant les touches de modification avec les clics.

Examinez et vérifiez toujours attentivement les actions et les journaux d'utilisation d'ordinateur de Claude. N'utilisez pas Claude pour les tâches nécessitant une précision parfaite ou des informations utilisateur sensibles sans surveillance humaine.

Tarification

Computer use follows the standard tool use pricing. When using the computer use tool:

System prompt overhead: The computer use beta adds 466-499 tokens to the system prompt

Computer use tool token usage:

Additional token consumption:

• Screenshot images (see Vision pricing)
• Tool execution results returned to Claude

Étapes suivantes

Nous suggérons toujours de prendre des précautions pour isoler Claude des données et actions sensibles afin d'éviter les risques liés à l'injection de prompt.

Enfin, veuillez informer les utilisateurs finaux des risques pertinents et obtenir leur consentement avant d'activer l'utilisation de l'ordinateur dans vos propres produits.

Nous suggérons toujours de prendre des précautions pour isoler Claude des données sensibles et des actions pour éviter les risques liés à l'injection de prompt.

Enfin, veuillez informer les utilisateurs finaux des risques pertinents et obtenir leur consentement avant d'activer le contrôle informatique dans vos propres produits.