Herramienta de uso de computadora

Claude puede interactuar con entornos de computadora a través de la herramienta de uso de computadora, que proporciona capacidades de captura de pantalla y control de ratón/teclado para interacción autónoma de escritorio.

Descripción general

El uso de computadora es una característica beta que permite a Claude interactuar con entornos de escritorio. Esta herramienta proporciona:

• Captura de pantalla: Ver lo que se muestra actualmente en la pantalla
• Control del ratón: Hacer clic, arrastrar y mover el cursor
• Entrada de teclado: Escribir texto y usar atajos de teclado
• Automatización de escritorio: Interactuar con cualquier aplicación o interfaz

Aunque el uso de computadora puede aumentarse con otras herramientas como bash y editor de texto para flujos de trabajo de automatización más completos, el uso de computadora se refiere específicamente a la capacidad de la herramienta de uso de computadora para ver y controlar entornos de escritorio.

Compatibilidad de modelos

El uso de computadora está disponible para los siguientes modelos de Claude:

Consideraciones de seguridad

Inicio rápido

Así es cómo comenzar con el uso de computadora:

Cómo funciona el uso de computadora

Nos referimos a la repetición de los pasos 3 y 4 sin entrada del usuario como el "bucle de agente" - es decir, Claude respondiendo con una solicitud de uso de herramienta y su aplicación respondiendo a Claude con los resultados de evaluar esa solicitud.

Claude puede interactuar con entornos de computadora a través de la herramienta de uso de computadora, que proporciona capacidades de captura de pantalla y control de ratón/teclado para la interacción autónoma del escritorio.

Descripción general

El uso de computadora es una característica beta que permite a Claude interactuar con entornos de escritorio. Esta herramienta proporciona:

• Captura de pantalla: Ver lo que se muestra actualmente en la pantalla
• Control del ratón: Hacer clic, arrastrar y mover el cursor
• Entrada de teclado: Escribir texto y usar atajos de teclado
• Automatización de escritorio: Interactuar con cualquier aplicación o interfaz

Aunque el uso de computadora puede ser aumentado con otras herramientas como bash y editor de texto para flujos de trabajo de automatización más completos, el uso de computadora se refiere específicamente a la capacidad de la herramienta de uso de computadora para ver y controlar entornos de escritorio.

Compatibilidad de modelos

El uso de computadora está disponible para los siguientes modelos de Claude:

Consideraciones de seguridad

Inicio rápido

Aquí se explica cómo comenzar con el uso de computadora:

Cómo funciona el uso de computadora

Nos referimos a la repetición de los pasos 3 y 4 sin entrada del usuario como el "bucle de agente" - es decir, Claude respondiendo con una solicitud de uso de herramienta y su aplicación respondiendo a Claude con los resultados de evaluar esa solicitud.

El entorno informático

El uso de computadora requiere un entorno informático aislado donde Claude pueda interactuar de forma segura con aplicaciones e internet. Este entorno incluye:

1. Pantalla virtual: Un servidor de pantalla virtual X11 (usando Xvfb) que renderiza la interfaz de escritorio que Claude verá a través de capturas de pantalla y controlará con acciones de ratón/teclado.

2. Entorno de escritorio: Una interfaz de usuario ligera con gestor de ventanas (Mutter) y panel (Tint2) ejecutándose en Linux, que proporciona una interfaz gráfica consistente para que Claude interactúe.

3. Aplicaciones: Aplicaciones Linux preinstaladas como Firefox, LibreOffice, editores de texto y gestores de archivos que Claude puede usar para completar tareas.

4. Implementaciones de herramientas: Código de integración que traduce solicitudes de herramientas abstractas de Claude (como "mover ratón" o "tomar captura de pantalla") en operaciones reales en el entorno virtual.

5. Bucle de agente: Un programa que maneja la comunicación entre Claude y el entorno, enviando las acciones de Claude al entorno y devolviendo los resultados (capturas de pantalla, salidas de comandos) a Claude.

Cuando usa el uso de computadora, Claude no se conecta directamente a este entorno. En su lugar, su aplicación:

1. Recibe solicitudes de uso de herramienta de Claude
2. Las traduce en acciones en su entorno informático
3. Captura los resultados (capturas de pantalla, salidas de comandos, etc.)
4. Devuelve estos resultados a Claude

Por seguridad y aislamiento, la implementación de referencia ejecuta todo esto dentro de un contenedor Docker con asignaciones de puerto apropiadas para ver e interactuar con el entorno.

Cómo implementar el uso de computadora

Comience con nuestra implementación de referencia

Hemos construido una implementación de referencia que incluye todo lo que necesita para comenzar rápidamente con el uso de computadora:

• Un entorno containerizado adecuado para el uso de computadora con Claude
• Implementaciones de las herramientas de uso de computadora
• Un bucle de agente que interactúa con la API de Claude y ejecuta las herramientas de uso de computadora
• Una interfaz web para interactuar con el contenedor, bucle de agente y herramientas.

Entender el bucle de múltiples agentes

El núcleo del uso de computadora es el "bucle de agente" - un ciclo donde Claude solicita acciones de herramientas, su aplicación las ejecuta y devuelve resultados a Claude. Aquí hay un ejemplo simplificado:

async def sampling_loop(
    *,
    model: str,
    messages: list[dict],
    api_key: str,
    max_tokens: int = 4096,
    tool_version: str,
    thinking_budget: int | None = None,
    max_iterations: int = 10,  # Agregar límite de iteración para prevenir bucles infinitos
):
    """
    Un bucle de agente simple para interacciones de uso de computadora de Claude.

    Esta función maneja la comunicación bidireccional entre:
    1. Enviar mensajes del usuario a Claude
    2. Claude solicitando usar herramientas
    3. Su aplicación ejecutando esas herramientas
    4. Enviar resultados de herramientas de vuelta a Claude
    """
    # Configurar herramientas y parámetros de API
    client = Anthropic(api_key=api_key)
    beta_flag = "computer-use-2025-01-24" if "20250124" in tool_version else "computer-use-2024-10-22"

    # Configurar herramientas - ya debería tenerlas inicializadas en otro lugar
    tools = [
        {"type": f"computer_{tool_version}", "name": "computer", "display_width_px": 1024, "display_height_px": 768},
        {"type": f"text_editor_{tool_version}", "name": "str_replace_editor"},
        {"type": f"bash_{tool_version}", "name": "bash"}
    ]

    # Bucle de agente principal (con límite de iteración para prevenir costos de API descontrolados)
    iterations = 0
    while True and iterations < max_iterations:
        iterations += 1
        # Configurar parámetro de pensamiento opcional (para Claude Sonnet 3.7)
        thinking = None
        if thinking_budget:
            thinking = {"type": "enabled", "budget_tokens": thinking_budget}

        # Llamar a la API de Claude
        response = client.beta.messages.create(
            model=model,
            max_tokens=max_tokens,
            messages=messages,
            tools=tools,
            betas=[beta_flag],
            thinking=thinking
        )

        # Agregar la respuesta de Claude al historial de conversación
        response_content = response.content
        messages.append({"role": "assistant", "content": response_content})

        # Verificar si Claude usó alguna herramienta
        tool_results = []
        for block in response_content:
            if block.type == "tool_use":
                # En una aplicación real, ejecutaría la herramienta aquí
                # Por ejemplo: result = run_tool(block.name, block.input)
                result = {"result": "Tool executed successfully"}

                # Formatear el resultado para Claude
                tool_results.append({
                    "type": "tool_result",
                    "tool_use_id": block.id,
                    "content": result
                })

        # Si no se usaron herramientas, Claude ha terminado - devolver los mensajes finales
        if not tool_results:
            return messages

        # Agregar resultados de herramientas a mensajes para la siguiente iteración con Claude
        messages.append({"role": "user", "content": tool_results})

El bucle continúa hasta que Claude responda sin solicitar ninguna herramienta (finalización de tarea) o se alcance el límite máximo de iteración. Esta salvaguarda previene posibles bucles infinitos que podrían resultar en costos de API inesperados.

Recomendamos probar la implementación de referencia antes de leer el resto de esta documentación.

Optimizar el rendimiento del modelo con indicaciones

Aquí hay algunos consejos sobre cómo obtener los mejores resultados de calidad:

1. Especifique tareas simples y bien definidas y proporcione instrucciones explícitas para cada paso.
2. Claude a veces asume resultados de sus acciones sin verificar explícitamente sus resultados. Para prevenir esto, puede indicar a Claude con After each step, take a screenshot and carefully evaluate if you have achieved the right outcome. Explicitly show your thinking: "I have evaluated step X..." If not correct, try again. Only when you confirm a step was executed correctly should you move on to the next one.
3. Algunos elementos de interfaz de usuario (como menús desplegables y barras de desplazamiento) podrían ser complicados para que Claude los manipule usando movimientos del ratón. Si experimenta esto, intente indicar al modelo que use atajos de teclado.
4. Para tareas repetibles o interacciones de interfaz de usuario, incluya capturas de pantalla de ejemplo y llamadas de herramientas de resultados exitosos en su indicación.
5. Si necesita que el modelo inicie sesión, proporciónele el nombre de usuario y contraseña en su indicación dentro de etiquetas xml como <robot_credentials>. Usar el uso de computadora dentro de aplicaciones que requieren inicio de sesión aumenta el riesgo de malos resultados como resultado de inyección de indicaciones. Por favor revise nuestra guía sobre mitigación de inyecciones de indicaciones antes de proporcionar al modelo credenciales de inicio de sesión.

Indicaciones del sistema

Cuando se solicita una de las herramientas definidas por Anthropic a través de la API de Claude, se genera una indicación del sistema específica para el uso de computadora. Es similar a la indicación del sistema de uso de herramientas pero comienza con:

You have access to a set of functions you can use to answer the user's question. This includes access to a sandboxed computing environment. You do NOT currently have the ability to inspect files or interact with external resources, except by invoking the below functions.

Como con el uso regular de herramientas, el campo system_prompt proporcionado por el usuario aún se respeta y se usa en la construcción de la indicación del sistema combinada.

Cómo implementar el uso de computadora

Comienza con nuestra implementación de referencia

Hemos construido una implementación de referencia que incluye todo lo que necesitas para comenzar rápidamente con el uso de computadora:

• Un entorno containerizado adecuado para el uso de computadora con Claude
• Implementaciones de las herramientas de uso de computadora
• Un bucle de agente que interactúa con la API de Claude y ejecuta las herramientas de uso de computadora
• Una interfaz web para interactuar con el contenedor, el bucle de agente y las herramientas.

Entendiendo el bucle multiagente

El núcleo del uso de computadora es el "bucle de agente" - un ciclo donde Claude solicita acciones de herramientas, tu aplicación las ejecuta y devuelve resultados a Claude. Aquí hay un ejemplo simplificado:

async def sampling_loop(
    *,
    model: str,
    messages: list[dict],
    api_key: str,
    max_tokens: int = 4096,
    tool_version: str,
    thinking_budget: int | None = None,
    max_iterations: int = 10,  # Add iteration limit to prevent infinite loops
):
    """
    A simple agent loop for Claude computer use interactions.

    This function handles the back-and-forth between:
    1. Sending user messages to Claude
    2. Claude requesting to use tools
    3. Your app executing those tools
    4. Sending tool results back to Claude
    """
    # Set up tools and API parameters
    client = Anthropic(api_key=api_key)
    beta_flag = "computer-use-2025-01-24" if "20250124" in tool_version else "computer-use-2024-10-22"

    # Configure tools - you should already have these initialized elsewhere
    tools = [
        {"type": f"computer_{tool_version}", "name": "computer", "display_width_px": 1024, "display_height_px": 768},
        {"type": f"text_editor_{tool_version}", "name": "str_replace_editor"},
        {"type": f"bash_{tool_version}", "name": "bash"}
    ]

    # Main agent loop (with iteration limit to prevent runaway API costs)
    iterations = 0
    while True and iterations < max_iterations:
        iterations += 1
        # Set up optional thinking parameter (for Claude Sonnet 3.7)
        thinking = None
        if thinking_budget:
            thinking = {"type": "enabled", "budget_tokens": thinking_budget}

        # Call the Claude API
        response = client.beta.messages.create(
            model=model,
            max_tokens=max_tokens,
            messages=messages,
            tools=tools,
            betas=[beta_flag],
            thinking=thinking
        )

        # Add Claude's response to the conversation history
        response_content = response.content
        messages.append({"role": "assistant", "content": response_content})

        # Check if Claude used any tools
        tool_results = []
        for block in response_content:
            if block.type == "tool_use":
                # In a real app, you would execute the tool here
                # For example: result = run_tool(block.name, block.input)
                result = {"result": "Tool executed successfully"}

                # Format the result for Claude
                tool_results.append({
                    "type": "tool_result",
                    "tool_use_id": block.id,
                    "content": result
                })

        # If no tools were used, Claude is done - return the final messages
        if not tool_results:
            return messages

        # Add tool results to messages for the next iteration with Claude
        messages.append({"role": "user", "content": tool_results})

El bucle continúa hasta que Claude responda sin solicitar ninguna herramienta (finalización de la tarea) o se alcance el límite máximo de iteraciones. Esta salvaguarda previene posibles bucles infinitos que podrían resultar en costos de API inesperados.

Recomendamos probar la implementación de referencia antes de leer el resto de esta documentación.

Optimiza el rendimiento del modelo con prompting

Aquí hay algunos consejos sobre cómo obtener los mejores resultados de calidad:

1. Especifica tareas simples y bien definidas y proporciona instrucciones explícitas para cada paso.
2. Claude a veces asume los resultados de sus acciones sin verificar explícitamente sus resultados. Para evitar esto, puedes hacer un prompt a Claude con Después de cada paso, toma una captura de pantalla y evalúa cuidadosamente si has logrado el resultado correcto. Muestra explícitamente tu pensamiento: "He evaluado el paso X..." Si no es correcto, intenta de nuevo. Solo cuando confirmes que un paso se ejecutó correctamente debes pasar al siguiente.
3. Algunos elementos de la interfaz de usuario (como menús desplegables y barras de desplazamiento) podrían ser complicados para que Claude los manipule usando movimientos del ratón. Si experimentas esto, intenta hacer un prompt al modelo para que use atajos de teclado.
4. Para tareas repetibles o interacciones de interfaz de usuario, incluye capturas de pantalla de ejemplo y llamadas de herramientas de resultados exitosos en tu prompt.
5. Si necesitas que el modelo inicie sesión, proporciona el nombre de usuario y la contraseña en tu prompt dentro de etiquetas xml como <robot_credentials>. Usar el uso de computadora dentro de aplicaciones que requieren inicio de sesión aumenta el riesgo de malos resultados como resultado de inyección de prompts. Por favor revisa nuestra guía sobre mitigación de inyecciones de prompts antes de proporcionar al modelo credenciales de inicio de sesión.

Prompts del sistema

Cuando una de las herramientas definidas por Anthropic se solicita a través de la API de Claude, se genera un prompt del sistema específico para el uso de computadora. Es similar al prompt del sistema de uso de herramientas pero comienza con:

You have access to a set of functions you can use to answer the user's question. This includes access to a sandboxed computing environment. You do NOT currently have the ability to inspect files or interact with external resources, except by invoking the below functions.

Como con el uso regular de herramientas, el campo system_prompt proporcionado por el usuario sigue siendo respetado y se usa en la construcción del prompt del sistema combinado.

Acciones disponibles

La herramienta de uso de computadora admite estas acciones:

Acciones básicas (todas las versiones)

• screenshot - Captura la pantalla actual
• left_click - Haz clic en las coordenadas [x, y]
• type - Escribe una cadena de texto
• key - Presiona una tecla o combinación de teclas (por ejemplo, "ctrl+s")
• mouse_move - Mueve el cursor a las coordenadas

Acciones mejoradas (computer_20250124) Disponibles en modelos Claude 4 y Claude Sonnet 3.7:

• scroll - Desplázate en cualquier dirección con control de cantidad
• left_click_drag - Haz clic y arrastra entre coordenadas
• right_click, middle_click - Botones de ratón adicionales
• double_click, triple_click - Múltiples clics
• left_mouse_down, left_mouse_up - Control de clic de grano fino
• hold_key - Mantén una tecla presionada mientras realizas otras acciones
• wait - Pausa entre acciones

Acciones mejoradas (computer_20251124) Disponibles en Claude Opus 4.5:

• Todas las acciones de computer_20250124
• zoom - Ver una región específica de la pantalla a resolución completa. Requiere enable_zoom: true en la definición de la herramienta. Toma un parámetro region con coordenadas [x1, y1, x2, y2] que definen las esquinas superior izquierda e inferior derecha del área a inspeccionar.

Parámetros de la herramienta

Parámetros de la herramienta

Habilita la capacidad de pensamiento en modelos Claude 4 y Claude Sonnet 3.7

Claude Sonnet 3.7 introdujo una nueva capacidad de "pensamiento" que te permite ver el proceso de razonamiento del modelo mientras trabaja en tareas complejas. Esta característica te ayuda a entender cómo Claude está abordando un problema y puede ser particularmente valiosa para depuración o propósitos educativos.

Para habilitar el pensamiento, añade un parámetro thinking a tu solicitud de API:

"thinking": {
  "type": "enabled",
  "budget_tokens": 1024
}

El parámetro budget_tokens especifica cuántos tokens Claude puede usar para pensar. Esto se resta de tu presupuesto general de max_tokens.

Cuando el pensamiento está habilitado, Claude devolverá su proceso de razonamiento como parte de la respuesta, lo que puede ayudarte a:

1. Entender el proceso de toma de decisiones del modelo
2. Identificar posibles problemas o conceptos erróneos
3. Aprender del enfoque de Claude para la resolución de problemas
4. Obtener más visibilidad en operaciones complejas de múltiples pasos

Aquí hay un ejemplo de cómo podría verse la salida de pensamiento:

[Thinking]
I need to save a picture of a cat to the desktop. Let me break this down into steps:

1. First, I'll take a screenshot to see what's on the desktop
2. Then I'll look for a web browser to search for cat images
3. After finding a suitable image, I'll need to save it to the desktop

Let me start by taking a screenshot to see what's available...

Parámetros de la herramienta

Aumenta el uso de computadora con otras herramientas

La herramienta de uso de computadora se puede combinar con otras herramientas para crear flujos de trabajo de automatización más poderosos. Esto es particularmente útil cuando necesitas:

• Ejecutar comandos del sistema (herramienta bash)
• Editar archivos de configuración o scripts (herramienta de editor de texto)
• Integrar con APIs personalizadas o servicios (herramientas personalizadas)

Parámetros de herramientas

Habilitar capacidad de pensamiento en modelos Claude 4 y Claude Sonnet 3.7

Claude Sonnet 3.7 introdujo una nueva capacidad de "pensamiento" que le permite ver el proceso de razonamiento del modelo mientras trabaja en tareas complejas. Esta característica le ayuda a entender cómo Claude está abordando un problema y puede ser particularmente valiosa para depuración o propósitos educativos.

Para habilitar el pensamiento, agregue un parámetro thinking a su solicitud de API:

"thinking": {
  "type": "enabled",
  "budget_tokens": 1024
}

El parámetro budget_tokens especifica cuántos tokens puede usar Claude para pensar. Esto se resta de su presupuesto general de max_tokens.

Cuando el pensamiento está habilitado, Claude devolverá su proceso de razonamiento como parte de la respuesta, lo que puede ayudarle a:

1. Entender el proceso de toma de decisiones del modelo
2. Identificar posibles problemas o conceptos erróneos
3. Aprender del enfoque de Claude para la resolución de problemas
4. Obtener más visibilidad en operaciones complejas de múltiples pasos

Aquí hay un ejemplo de cómo podría verse la salida de pensamiento:

[Thinking]
Necesito guardar una imagen de un gato en el escritorio. Déjame desglosar esto en pasos:

1. Primero, tomaré una captura de pantalla para ver qué hay en el escritorio
2. Luego buscaré un navegador web para buscar imágenes de gatos
3. Después de encontrar una imagen adecuada, necesitaré guardarla en el escritorio

Déjame comenzar tomando una captura de pantalla para ver qué está disponible...

Aumentar el uso de computadora con otras herramientas

La herramienta de uso de computadora se puede combinar con otras herramientas para crear flujos de trabajo de automatización más poderosos. Esto es particularmente útil cuando necesita:

• Ejecutar comandos del sistema (herramienta bash)
• Editar archivos de configuración o scripts (herramienta de editor de texto)
• Integrar con APIs personalizadas o servicios (herramientas personalizadas)

Construir un entorno personalizado de uso de computadora

La implementación de referencia está diseñada para ayudarle a comenzar con el uso de computadora. Incluye todos los componentes necesarios para que Claude use una computadora. Sin embargo, puede construir su propio entorno para el uso de computadora para adaptarse a sus necesidades. Necesitará:

• Un entorno virtualizado o containerizado adecuado para el uso de computadora con Claude
• Una implementación de al menos una de las herramientas de uso de computadora definidas por Anthropic
• Un bucle de agente que interactúe con la API de Claude y ejecute los resultados de tool_use usando sus implementaciones de herramientas
• Una API o interfaz de usuario que permita la entrada del usuario para iniciar el bucle del agente

Implementar la herramienta de uso de computadora

La herramienta de uso de computadora se implementa como una herramienta sin esquema. Al usar esta herramienta, no necesita proporcionar un esquema de entrada como con otras herramientas; el esquema está integrado en el modelo de Claude y no se puede modificar.

Manejar errores

Al implementar la herramienta de uso de computadora, pueden ocurrir varios errores. Aquí se explica cómo manejarlos:

Seguir las mejores prácticas de implementación

Entender las limitaciones del uso de computadora

La funcionalidad de uso de computadora está en beta. Aunque las capacidades de Claude son de vanguardia, los desarrolladores deben ser conscientes de sus limitaciones:

1. Latencia: la latencia actual del uso de computadora para interacciones humano-IA puede ser demasiado lenta en comparación con las acciones de computadora dirigidas por humanos regulares. Recomendamos enfocarse en casos de uso donde la velocidad no es crítica (por ejemplo, recopilación de información de fondo, pruebas automatizadas de software) en entornos confiables.
2. Precisión y confiabilidad de la visión por computadora: Claude puede cometer errores o alucinar al generar coordenadas específicas mientras genera acciones. Claude Sonnet 3.7 introduce la capacidad de pensamiento que puede ayudarle a entender el razonamiento del modelo e identificar posibles problemas.
3. Precisión y confiabilidad de la selección de herramientas: Claude puede cometer errores o alucinar al seleccionar herramientas mientras genera acciones o tomar acciones inesperadas para resolver problemas. Además, la confiabilidad puede ser menor al interactuar con aplicaciones de nicho o múltiples aplicaciones a la vez. Recomendamos que los usuarios soliciten al modelo cuidadosamente cuando soliciten tareas complejas.
4. Confiabilidad del desplazamiento: Claude Sonnet 3.7 introdujo acciones de desplazamiento dedicadas con control de dirección que mejora la confiabilidad. El modelo ahora puede desplazarse explícitamente en cualquier dirección (arriba/abajo/izquierda/derecha) por una cantidad especificada.
5. Interacción con hojas de cálculo: Los clics del ratón para la interacción con hojas de cálculo han mejorado en Claude Sonnet 3.7 con la adición de acciones de control del ratón más precisas como left_mouse_down, left_mouse_up y nuevo soporte de teclas modificadoras. La selección de celdas puede ser más confiable usando estos controles de grano fino y combinando teclas modificadoras con clics.

Siempre revise y verifique cuidadosamente las acciones y registros de uso de computadora de Claude. No use Claude para tareas que requieran precisión perfecta o información de usuario sensible sin supervisión humana.

Entender las limitaciones del uso de computadora

La funcionalidad de uso de computadora está en beta. Aunque las capacidades de Claude son de vanguardia, los desarrolladores deben ser conscientes de sus limitaciones:

1. Latencia: la latencia actual del uso de computadora para interacciones humano-IA puede ser demasiado lenta en comparación con las acciones de computadora dirigidas por humanos regulares. Recomendamos enfocarse en casos de uso donde la velocidad no es crítica (por ejemplo, recopilación de información de fondo, pruebas automatizadas de software) en entornos confiables.
2. Precisión y confiabilidad de la visión por computadora: Claude puede cometer errores o alucinar al generar coordenadas específicas mientras genera acciones. Claude Sonnet 3.7 introduce la capacidad de pensamiento que puede ayudarle a entender el razonamiento del modelo e identificar posibles problemas.
3. Precisión y confiabilidad de la selección de herramientas: Claude puede cometer errores o alucinar al seleccionar herramientas mientras genera acciones o tomar acciones inesperadas para resolver problemas. Además, la confiabilidad puede ser menor al interactuar con aplicaciones de nicho o múltiples aplicaciones a la vez. Recomendamos que los usuarios soliciten al modelo cuidadosamente cuando soliciten tareas complejas.
4. Confiabilidad del desplazamiento: Claude Sonnet 3.7 introdujo acciones de desplazamiento dedicadas con control de dirección que mejora la confiabilidad. El modelo ahora puede desplazarse explícitamente en cualquier dirección (arriba/abajo/izquierda/derecha) por una cantidad especificada.
5. Interacción con hojas de cálculo: Los clics del ratón para la interacción con hojas de cálculo han mejorado en Claude Sonnet 3.7 con la adición de acciones de control del ratón más precisas como left_mouse_down, left_mouse_up y nuevo soporte de teclas modificadoras. La selección de celdas puede ser más confiable usando estos controles de grano fino y combinando teclas modificadoras con clics.

Siempre revise y verifique cuidadosamente las acciones y registros de uso de computadora de Claude. No use Claude para tareas que requieran precisión perfecta o información de usuario sensible sin supervisión humana.

Precios

Computer use follows the standard tool use pricing. When using the computer use tool:

System prompt overhead: The computer use beta adds 466-499 tokens to the system prompt

Computer use tool token usage:

Additional token consumption:

• Screenshot images (see Vision pricing)
• Tool execution results returned to Claude

Entender las limitaciones del uso de computadora

La funcionalidad de uso de computadora está en beta. Aunque las capacidades de Claude son de vanguardia, los desarrolladores deben ser conscientes de sus limitaciones:

1. Latencia: la latencia actual del uso de computadora para interacciones humano-IA puede ser demasiado lenta en comparación con las acciones de computadora dirigidas por humanos regulares. Recomendamos enfocarse en casos de uso donde la velocidad no es crítica (por ejemplo, recopilación de información de fondo, pruebas automatizadas de software) en entornos confiables.
2. Precisión y confiabilidad de la visión por computadora: Claude puede cometer errores o alucinar al generar coordenadas específicas mientras genera acciones. Claude Sonnet 3.7 introduce la capacidad de pensamiento que puede ayudarle a entender el razonamiento del modelo e identificar posibles problemas.
3. Precisión y confiabilidad de la selección de herramientas: Claude puede cometer errores o alucinar al seleccionar herramientas mientras genera acciones o tomar acciones inesperadas para resolver problemas. Además, la confiabilidad puede ser menor al interactuar con aplicaciones de nicho o múltiples aplicaciones a la vez. Recomendamos que los usuarios soliciten al modelo cuidadosamente cuando soliciten tareas complejas.
4. Confiabilidad del desplazamiento: Claude Sonnet 3.7 introdujo acciones de desplazamiento dedicadas con control de dirección que mejora la confiabilidad. El modelo ahora puede desplazarse explícitamente en cualquier dirección (arriba/abajo/izquierda/derecha) por una cantidad especificada.
5. Interacción con hojas de cálculo: Los clics del ratón para la interacción con hojas de cálculo han mejorado en Claude Sonnet 3.7 con la adición de acciones de control del ratón más precisas como left_mouse_down, left_mouse_up y nuevo soporte de teclas modificadoras. La selección de celdas puede ser más confiable usando estos controles de grano fino y combinando teclas modificadoras con clics.

Siempre revise y verifique cuidadosamente las acciones y registros de uso de computadora de Claude. No use Claude para tareas que requieran precisión perfecta o información de usuario sensible sin supervisión humana.

Precios

Computer use follows the standard tool use pricing. When using the computer use tool:

System prompt overhead: The computer use beta adds 466-499 tokens to the system prompt

Computer use tool token usage:

Additional token consumption:

• Screenshot images (see Vision pricing)
• Tool execution results returned to Claude

Próximos pasos

Aún sugerimos tomar precauciones para aislar a Claude de datos sensibles y acciones para evitar riesgos relacionados con inyección de indicaciones.

Finalmente, por favor informe a los usuarios finales de los riesgos relevantes y obtenga su consentimiento antes de habilitar el uso de computadora en sus propios productos.

Aún sugerimos tomar precauciones para aislar a Claude de datos sensibles y acciones para evitar riesgos relacionados con inyección de indicaciones.

Finalmente, por favor informe a los usuarios finales de los riesgos relevantes y obtenga su consentimiento antes de habilitar el uso de computadora en sus propios productos.