Herramienta de uso de computadora

Claude puede interactuar con entornos de computadora a través de la herramienta de uso de computadora, que proporciona capacidades de captura de pantalla y control de mouse/teclado para la interacción autónoma con el escritorio. En WebArena, un benchmark para la navegación web autónoma en sitios web reales, Claude logra resultados de vanguardia entre los sistemas de agente único, demostrando una sólida capacidad para completar tareas de navegador de múltiples pasos de principio a fin.



Descripción general

El uso de computadora es una función beta que permite a Claude interactuar con entornos de escritorio. Esta herramienta proporciona:

• Captura de pantalla: Ver lo que se muestra actualmente en la pantalla
• Control del mouse: Hacer clic, arrastrar y mover el cursor
• Entrada de teclado: Escribir texto y usar atajos de teclado
• Automatización de escritorio: Interactuar con cualquier aplicación o interfaz

Si bien el uso de computadora puede complementarse con otras herramientas como bash y el editor de texto para flujos de trabajo de automatización más completos, el uso de computadora se refiere específicamente a la capacidad de la herramienta de uso de computadora para ver y controlar entornos de escritorio.

Para conocer la compatibilidad con modelos, consulta la Referencia de herramientas.



Consideraciones de seguridad

El uso de computadora es una función beta con riesgos únicos distintos de las funciones estándar de la API. Estos riesgos aumentan al interactuar con internet.

En algunas circunstancias, Claude seguirá comandos encontrados en el contenido incluso si entran en conflicto con las instrucciones del usuario. Por ejemplo, instrucciones para Claude en páginas web o contenidas en imágenes podrían anular las instrucciones o hacer que Claude cometa errores. Toma precauciones para aislar a Claude de datos y acciones sensibles para evitar riesgos relacionados con la inyección de prompts.

Anthropic ha entrenado al modelo para resistir estas inyecciones de prompts y ha añadido una capa adicional de defensa. Si usas las herramientas de uso de computadora, se ejecutarán automáticamente clasificadores en tus prompts para detectar posibles instancias de inyecciones de prompts. Cuando estos clasificadores identifican posibles inyecciones de prompts en capturas de pantalla, dirigirán automáticamente al modelo para que solicite confirmación del usuario antes de proceder con la siguiente acción. Esta protección adicional no será ideal para todos los casos de uso (por ejemplo, casos de uso sin un humano en el bucle), así que si deseas desactivarla, contacta a soporte.

Estas precauciones siguen siendo importantes incluso con la capa de defensa del clasificador activa.

Informa a los usuarios finales sobre los riesgos relevantes y obtén su consentimiento antes de habilitar el uso de computadora en tus propios productos.



Inicio rápido

Aquí te mostramos cómo comenzar con el uso de computadora:

client = anthropic.Anthropic()

response = client.beta.messages.create(
    model="claude-opus-4-8",  # or another compatible model
    max_tokens=1024,
    tools=[
        {
            "type": "computer_20251124",
            "name": "computer",
            "display_width_px": 1024,
            "display_height_px": 768,
            "display_number": 1,
        },
        {"type": "text_editor_20250728", "name": "str_replace_based_edit_tool"},
        {"type": "bash_20250124", "name": "bash"},
    ],
    messages=[{"role": "user", "content": "Save a picture of a cat to my desktop."}],
    betas=["computer-use-2025-11-24"],
)
print(response)



Cómo funciona el uso de computadora

La repetición de los pasos 3 y 4 sin intervención del usuario se conoce como el "agent loop" (bucle de agente), es decir, Claude responde con una solicitud de uso de herramientas y tu aplicación responde a Claude con los resultados de evaluar esa solicitud.



El entorno de computación

El uso de computadora requiere un entorno de computación aislado (sandbox) donde Claude pueda interactuar de forma segura con aplicaciones y la web. Este entorno incluye:

1. Pantalla virtual: Un servidor de pantalla virtual X11 (usando Xvfb) que renderiza la interfaz de escritorio que Claude verá a través de capturas de pantalla y controlará con acciones de mouse/teclado.

2. Entorno de escritorio: Una interfaz de usuario ligera con gestor de ventanas (Mutter) y panel (Tint2) ejecutándose en Linux, que proporciona una interfaz gráfica consistente para que Claude interactúe con ella.

3. Aplicaciones: Aplicaciones de Linux preinstaladas como Firefox, LibreOffice, editores de texto y administradores de archivos que Claude puede usar para completar tareas.

4. Implementaciones de herramientas: Código de integración que traduce las solicitudes abstractas de herramientas de Claude (como "mover el mouse" o "tomar captura de pantalla") en operaciones reales en el entorno virtual.

5. Bucle de agente: Un programa que maneja la comunicación entre Claude y el entorno, enviando las acciones de Claude al entorno y devolviendo los resultados (capturas de pantalla, salidas de comandos) a Claude.

Cuando usas el uso de computadora, Claude no se conecta directamente a este entorno. En su lugar, tu aplicación:

1. Recibe las solicitudes de uso de herramientas de Claude
2. Las traduce en acciones en tu entorno de computación
3. Captura los resultados (como capturas de pantalla y salidas de comandos)
4. Devuelve estos resultados a Claude

Por seguridad y aislamiento, la implementación de referencia ejecuta todo esto dentro de un contenedor Docker con los mapeos de puertos apropiados para ver e interactuar con el entorno.



Cómo implementar el uso de computadora



Comienza con la implementación de referencia

Hay disponible una implementación de referencia que incluye todo lo que necesitas para comenzar con el uso de computadora:

• Un entorno en contenedor adecuado para el uso de computadora con Claude
• Implementaciones de las herramientas de uso de computadora
• Un bucle de agente que interactúa con la API de Claude y ejecuta las herramientas de uso de computadora
• Una interfaz web para interactuar con el contenedor, el bucle de agente y las herramientas.



Comprender el bucle agéntico

El núcleo del uso de computadora es el "bucle de agente": un ciclo en el que Claude solicita acciones de herramientas, tu aplicación las ejecuta y devuelve los resultados a Claude. Aquí tienes un ejemplo simplificado:

El bucle continúa hasta que Claude responde sin solicitar ninguna herramienta (finalización de la tarea) o se alcanza el límite máximo de iteraciones. Esta salvaguarda previene posibles bucles infinitos que podrían resultar en costos inesperados de la API.

Prueba la implementación de referencia antes de leer el resto de esta documentación.



Optimiza el rendimiento del modelo con prompting

Aquí tienes algunos consejos sobre cómo obtener resultados de la mejor calidad:

1. Especifica tareas simples y bien definidas, y proporciona instrucciones explícitas para cada paso.
2. Claude a veces asume los resultados de sus acciones sin verificar explícitamente sus resultados. Para evitar esto, puedes indicarle a Claude: After each step, take a screenshot and carefully evaluate if you have achieved the right outcome. Explicitly show your thinking: "I have evaluated step X..." If not correct, try again. Only when you confirm a step was executed correctly should you move on to the next one.
3. Algunos elementos de la interfaz de usuario (como menús desplegables y barras de desplazamiento) pueden ser difíciles de manipular para Claude usando movimientos del mouse. Si experimentas esto, intenta indicarle al modelo que use atajos de teclado.
4. Para tareas repetibles o interacciones de interfaz de usuario, incluye capturas de pantalla de ejemplo y llamadas a herramientas de resultados exitosos en tu prompt.
5. Si necesitas que el modelo inicie sesión, proporciónale el nombre de usuario y la contraseña en tu prompt dentro de etiquetas XML como <robot_credentials>. Usar el uso de computadora dentro de aplicaciones que requieren inicio de sesión aumenta el riesgo de malos resultados como consecuencia de la inyección de prompts. Revisa Mitigar jailbreaks e inyecciones de prompts antes de proporcionar al modelo credenciales de inicio de sesión.
6. Al construir el arreglo content de un turno de usuario, coloca el texto de instrucción antes de la imagen de captura de pantalla. Proporcionar la descripción del objetivo antes de que se procese la imagen mejora la precisión de los clics.
7. Al usar computer_20251124 con enable_zoom: true configurado, Claude hace zoom en una región cuando se le pregunta sobre texto pequeño o elementos específicos de la interfaz de usuario que no son legibles en la resolución predeterminada de la captura de pantalla, como nombres de archivos en una barra lateral, títulos de pestañas, texto de la barra de estado, números de línea o etiquetas de botones. Si Claude no hace zoom cuando lo esperas, pregunta sobre una región o elemento específico en lugar de la pantalla en su conjunto.



Indicaciones del sistema

Cuando se solicita una de las herramientas con esquema de Anthropic a través de la API de Claude, se genera una indicación del sistema específica para el uso de computadora. Es similar a la indicación del sistema de uso de herramientas, pero comienza con:

You have access to a set of functions you can use to answer the user's question. This includes access to a sandboxed computing environment. You do NOT currently have the ability to inspect files or interact with external resources, except by invoking the below functions.

Al igual que con el uso de herramientas regular, el campo system_prompt proporcionado por el usuario sigue siendo respetado y se usa en la construcción de la indicación del sistema combinada.



Acciones disponibles

La herramienta de uso de computadora admite estas acciones:

Acciones básicas (todas las versiones)

• screenshot: Captura la pantalla actual
• left_click: Hace clic en las coordenadas [x, y]
• type: Escribe una cadena de texto
• key: Presiona una tecla o combinación de teclas (por ejemplo, "ctrl+s")
• mouse_move: Mueve el cursor a las coordenadas

Acciones mejoradas (computer_20250124) Disponibles en todos los modelos que admiten el uso de computadora:

• scroll: Desplaza en cualquier dirección con control de cantidad
• left_click_drag: Hace clic y arrastra entre coordenadas
• right_click, middle_click: Botones adicionales del mouse
• double_click, triple_click: Múltiples clics
• left_mouse_down, left_mouse_up: Control detallado de clics
• hold_key: Mantiene presionada una tecla durante una duración especificada (en segundos)
• wait: Pausa entre acciones

Acciones mejoradas (computer_20251124) Disponibles en Claude Opus 4.8, Claude Opus 4.7, Claude Opus 4.6, Claude Sonnet 4.6 y Claude Opus 4.5:

• Todas las acciones de computer_20250124
• zoom: Ver una región específica de la pantalla a resolución completa. Requiere enable_zoom: true en la definición de la herramienta. Toma un parámetro region con coordenadas [x1, y1, x2, y2] que definen las esquinas superior izquierda e inferior derecha del área a inspeccionar.



Parámetros de la herramienta



Combinación con pensamiento extendido

Para combinar el uso de computadora con pensamiento extendido, consulta Pensamiento extendido.



Complementar el uso de computadora con otras herramientas

Para añadir otras herramientas junto con el uso de computadora, inclúyelas en el mismo arreglo tools. La sección Inicio rápido muestra este patrón con la herramienta bash y la herramienta de editor de texto. Puedes añadir tus propias definiciones de herramientas personalizadas de la misma manera.



Construir un entorno personalizado de uso de computadora

La implementación de referencia está diseñada para ayudarte a comenzar con el uso de computadora. Incluye todos los componentes necesarios para que Claude use una computadora. Sin embargo, puedes construir tu propio entorno para el uso de computadora según tus necesidades. Necesitarás:

• Un entorno virtualizado o en contenedor adecuado para el uso de computadora con Claude
• Una implementación de al menos una de las herramientas de uso de computadora con esquema de Anthropic
• Un bucle de agente que interactúe con la API de Claude y ejecute los resultados de tool_use usando tus implementaciones de herramientas
• Una API o interfaz de usuario que permita la entrada del usuario para iniciar el bucle de agente



Implementar la herramienta de uso de computadora

La herramienta de uso de computadora se implementa como una herramienta sin esquema. Al usar esta herramienta, no necesitas proporcionar un esquema de entrada como con otras herramientas; el esquema está integrado en el modelo de Claude y no se puede modificar.



Manejar errores

Al implementar la herramienta de uso de computadora, pueden ocurrir varios errores. Aquí te mostramos cómo manejarlos:



Manejar el escalado de coordenadas para resoluciones más altas

La API restringe las imágenes a un máximo de 1568 píxeles en el borde más largo y aproximadamente 1.15 megapíxeles en total (consulta redimensionamiento de imágenes para más detalles). Por ejemplo, una pantalla de 1512x982 se reduce a aproximadamente 1330x864. Claude analiza esta imagen más pequeña y devuelve coordenadas en ese espacio, pero tu herramienta realiza clics en el espacio de pantalla original.

Esto puede hacer que las coordenadas de clic de Claude no alcancen sus objetivos a menos que manejes la transformación de coordenadas.

Para solucionar esto, redimensiona las capturas de pantalla tú mismo y escala las coordenadas de Claude de vuelta hacia arriba:



Diagnosticar problemas de clics

Si los clics no alcanzan sus objetivos, la causa suele ser una de las siguientes:



Sigue las mejores prácticas de implementación



Comprende las limitaciones del uso de computadora

La funcionalidad de uso de computadora está en beta. Aunque las capacidades de Claude son de última generación, los desarrolladores deben tener en cuenta sus limitaciones:

1. Latencia: La "latency" (latencia) actual del uso de computadora para interacciones humano-IA podría ser demasiado lenta en comparación con las acciones regulares de computadora dirigidas por humanos. Enfócate en casos de uso donde la velocidad no sea crítica (por ejemplo, recopilación de información en segundo plano, pruebas automatizadas de software) en entornos de confianza.
2. Precisión y confiabilidad de la visión por computadora: Claude podría cometer errores o alucinar al generar coordenadas específicas mientras produce acciones. El pensamiento extendido puede ayudarte a comprender el razonamiento del modelo e identificar posibles problemas.
3. Precisión y confiabilidad en la selección de herramientas: Claude podría cometer errores o alucinar al seleccionar herramientas mientras genera acciones, o realizar acciones inesperadas para resolver problemas. Además, la confiabilidad podría ser menor al interactuar con aplicaciones de nicho o con varias aplicaciones a la vez. Redacta las indicaciones al modelo con cuidado cuando solicites tareas complejas.
4. Confiabilidad del desplazamiento: La acción de desplazamiento admite control de dirección (arriba, abajo, izquierda, derecha) y una cantidad especificada. En aplicaciones donde el desplazamiento no surte efecto, las alternativas de teclado como Page Down pueden ayudar.
5. Interacción con hojas de cálculo: Usa las acciones de control fino del mouse (left_mouse_down, left_mouse_up) y combinaciones de teclas modificadoras para seleccionar celdas individuales. Las operaciones complejas en hojas de cálculo aún podrían requerir varios intentos.
6. Creación de cuentas y generación de contenido en plataformas sociales y de comunicación: Aunque Claude visitará sitios web, la capacidad de Claude para crear cuentas o generar y compartir contenido, o de cualquier otra forma participar en la suplantación de identidad humana en sitios web y plataformas de redes sociales, es limitada. Esta capacidad podría actualizarse en el futuro.
7. Vulnerabilidades: Vulnerabilidades como el "jailbreaking" o la inyección de prompts podrían persistir en los sistemas de IA de frontera, incluida la API beta de uso de computadora. En algunas circunstancias, Claude seguirá comandos encontrados en el contenido, a veces incluso en conflicto con las instrucciones del usuario. Por ejemplo, instrucciones para Claude en páginas web o contenidas en imágenes podrían anular las instrucciones o hacer que Claude cometa errores. Considera lo siguiente: a. Limitar el uso de computadora a entornos de confianza, como máquinas virtuales o contenedores con privilegios mínimos b. Evitar dar acceso de uso de computadora a cuentas o datos sensibles sin una supervisión estricta c. Informar a los usuarios finales sobre los riesgos relevantes y obtener su consentimiento antes de habilitar o solicitar los permisos necesarios para las funciones de uso de computadora en tus aplicaciones
8. Acciones inapropiadas o ilegales: Según los Términos de Servicio de Anthropic, no debes emplear el uso de computadora para violar ninguna ley ni la Política de Uso Aceptable.

Siempre revisa y verifica cuidadosamente las acciones y registros de uso de computadora de Claude. No uses Claude para tareas que requieran precisión perfecta o información sensible del usuario sin supervisión humana.



Retención de datos

El uso de computadora es una herramienta del lado del cliente. Todas las capturas de pantalla, acciones del mouse, entradas de teclado y cualquier archivo involucrado en una sesión se capturan y almacenan en tu entorno, no por Anthropic. Anthropic procesa las imágenes de capturas de pantalla y las solicitudes de acciones en tiempo real como parte de la llamada a la API, pero no las retiene después de que se devuelve la respuesta.

Debido a que tu aplicación controla dónde y cómo se almacenan los datos de uso de computadora, el uso de computadora es elegible para ZDR. Para conocer la elegibilidad de ZDR en todas las funciones, consulta API y retención de datos.



Precios

El uso de computadora sigue el precio estándar del uso de herramientas. Al usar la herramienta de uso de computadora:

Sobrecarga de la indicación del sistema: La beta de uso de computadora agrega de 466 a 499 tokens a la indicación del sistema

Uso de tokens de la herramienta de uso de computadora:

Consumo adicional de tokens:

• Imágenes de capturas de pantalla (consulta Precios de visión)
• Resultados de ejecución de herramientas devueltos a Claude



Próximos pasos