Инструмент использования компьютера

Claude может взаимодействовать с компьютерными средами через инструмент использования компьютера, который предоставляет возможности создания снимков экрана и управления мышью/клавиатурой для автономного взаимодействия с рабочим столом. В WebArena, бенчмарке для автономной веб-навигации по реальным веб-сайтам, Claude достигает передовых результатов среди одноагентных систем, демонстрируя высокую способность выполнять многошаговые браузерные задачи от начала до конца.



Обзор

Использование компьютера — это бета-функция, которая позволяет Claude взаимодействовать со средами рабочего стола. Этот инструмент предоставляет:

• Захват снимков экрана: просмотр того, что в данный момент отображается на экране
• Управление мышью: клики, перетаскивание и перемещение курсора
• Ввод с клавиатуры: набор текста и использование сочетаний клавиш
• Автоматизация рабочего стола: взаимодействие с любым приложением или интерфейсом

Хотя использование компьютера можно дополнить другими инструментами, такими как bash и текстовый редактор, для более комплексных рабочих процессов автоматизации, термин «использование компьютера» относится именно к способности инструмента использования компьютера видеть и управлять средами рабочего стола.

Информацию о поддержке моделей см. в Справочнике по инструментам.



Соображения безопасности

Использование компьютера — это бета-функция с уникальными рисками, отличными от стандартных функций API. Эти риски возрастают при взаимодействии с интернетом.

В некоторых обстоятельствах Claude будет следовать командам, найденным в контенте, даже если они противоречат инструкциям пользователя. Например, инструкции для Claude на веб-страницах или содержащиеся в изображениях могут переопределять инструкции или приводить к ошибкам Claude. Примите меры предосторожности, чтобы изолировать Claude от конфиденциальных данных и действий во избежание рисков, связанных с инъекцией подсказок.

Anthropic обучила модель противостоять таким инъекциям подсказок и добавила дополнительный уровень защиты. Если вы используете инструменты использования компьютера, классификаторы будут автоматически запускаться на ваших подсказках, чтобы помечать потенциальные случаи инъекций подсказок. Когда эти классификаторы выявляют потенциальные инъекции подсказок в снимках экрана, они автоматически направляют модель запросить подтверждение пользователя перед выполнением следующего действия. Эта дополнительная защита подойдёт не для каждого сценария использования (например, для сценариев без участия человека в цикле), поэтому, если вы хотите отказаться от неё и отключить её, обратитесь в службу поддержки.

Эти меры предосторожности остаются важными даже при наличии уровня защиты с классификаторами.

Информируйте конечных пользователей о соответствующих рисках и получайте их согласие перед включением использования компьютера в ваших собственных продуктах.



Быстрый старт

Вот как начать работу с использованием компьютера:

client = anthropic.Anthropic()

response = client.beta.messages.create(
    model="claude-opus-4-8",  # or another compatible model
    max_tokens=1024,
    tools=[
        {
            "type": "computer_20251124",
            "name": "computer",
            "display_width_px": 1024,
            "display_height_px": 768,
            "display_number": 1,
        },
        {"type": "text_editor_20250728", "name": "str_replace_based_edit_tool"},
        {"type": "bash_20250124", "name": "bash"},
    ],
    messages=[{"role": "user", "content": "Save a picture of a cat to my desktop."}],
    betas=["computer-use-2025-11-24"],
)
print(response)



Как работает использование компьютера

Повторение шагов 3 и 4 без участия пользователя называется «агентным циклом» (то есть Claude отвечает запросом на использование инструмента, а ваше приложение отвечает Claude результатами выполнения этого запроса).



Вычислительная среда

Использование компьютера требует изолированной вычислительной среды, в которой Claude может безопасно взаимодействовать с приложениями и интернетом. Эта среда включает:

1. Виртуальный дисплей: виртуальный сервер дисплея X11 (с использованием Xvfb), который отрисовывает интерфейс рабочего стола, который Claude будет видеть через снимки экрана и управлять им с помощью действий мыши/клавиатуры.

2. Среда рабочего стола: лёгкий пользовательский интерфейс с оконным менеджером (Mutter) и панелью (Tint2), работающий на Linux, который предоставляет согласованный графический интерфейс для взаимодействия Claude.

3. Приложения: предустановленные приложения Linux, такие как Firefox, LibreOffice, текстовые редакторы и файловые менеджеры, которые Claude может использовать для выполнения задач.

4. Реализации инструментов: интеграционный код, который преобразует абстрактные запросы инструментов Claude (такие как «переместить мышь» или «сделать снимок экрана») в реальные операции в виртуальной среде.

5. Агентный цикл: программа, которая обрабатывает коммуникацию между Claude и средой, отправляя действия Claude в среду и возвращая результаты (снимки экрана, вывод команд) обратно Claude.

Когда вы используете использование компьютера, Claude не подключается напрямую к этой среде. Вместо этого ваше приложение:

1. Получает запросы Claude на использование инструментов
2. Преобразует их в действия в вашей вычислительной среде
3. Захватывает результаты (такие как снимки экрана и вывод команд)
4. Возвращает эти результаты Claude

Для безопасности и изоляции эталонная реализация запускает всё это внутри контейнера Docker с соответствующими сопоставлениями портов для просмотра и взаимодействия со средой.



Как реализовать использование компьютера



Начните с эталонной реализации

Доступна эталонная реализация, которая включает всё необходимое для начала работы с использованием компьютера:

• Контейнеризированная среда, подходящая для использования компьютера с Claude
• Реализации инструментов использования компьютера
• Агентный цикл, который взаимодействует с Claude API и запускает инструменты использования компьютера
• Веб-интерфейс для взаимодействия с контейнером, агентным циклом и инструментами.



Понимание агентного цикла

Ядром использования компьютера является «агентный цикл»: цикл, в котором Claude запрашивает действия инструментов, ваше приложение выполняет их и возвращает результаты Claude. Вот упрощённый пример:

Цикл продолжается до тех пор, пока Claude не ответит без запроса каких-либо инструментов (завершение задачи) или не будет достигнут максимальный лимит итераций. Эта защитная мера предотвращает потенциальные бесконечные циклы, которые могут привести к неожиданным затратам на API.

Попробуйте эталонную реализацию, прежде чем читать остальную часть этой документации.



Оптимизация производительности модели с помощью подсказок

Вот несколько советов о том, как получить результаты наилучшего качества:

1. Указывайте простые, чётко определённые задачи и предоставляйте явные инструкции для каждого шага.
2. Claude иногда предполагает результаты своих действий, не проверяя их явно. Чтобы предотвратить это, вы можете дать Claude подсказку: After each step, take a screenshot and carefully evaluate if you have achieved the right outcome. Explicitly show your thinking: "I have evaluated step X..." If not correct, try again. Only when you confirm a step was executed correctly should you move on to the next one.
3. Некоторые элементы пользовательского интерфейса (такие как выпадающие списки и полосы прокрутки) могут быть сложными для манипулирования Claude с помощью движений мыши. Если вы столкнулись с этим, попробуйте дать модели подсказку использовать сочетания клавиш.
4. Для повторяющихся задач или взаимодействий с пользовательским интерфейсом включайте в подсказку примеры снимков экрана и вызовов инструментов с успешными результатами.
5. Если вам нужно, чтобы модель выполнила вход в систему, предоставьте ей имя пользователя и пароль в вашей подсказке внутри XML-тегов, таких как <robot_credentials>. Использование компьютера в приложениях, требующих входа в систему, увеличивает риск негативных последствий в результате инъекции подсказок. Ознакомьтесь с разделом Предотвращение джейлбрейков и инъекций подсказок, прежде чем предоставлять модели учётные данные для входа.
6. При формировании массива content пользовательского хода размещайте текст инструкции перед изображением снимка экрана. Предоставление описания цели до обработки изображения повышает точность кликов.
7. При использовании computer_20251124 с установленным enable_zoom: true Claude увеличивает область, когда его спрашивают о мелком тексте или конкретных элементах пользовательского интерфейса, которые не читаются при разрешении снимка экрана по умолчанию, таких как имена файлов в боковой панели, заголовки вкладок, текст строки состояния, номера строк или надписи на кнопках. Если Claude не увеличивает масштаб, когда вы этого ожидаете, спросите о конкретной области или элементе, а не об экране в целом.



Системные подсказки

Когда один из инструментов со схемой Anthropic запрашивается через Claude API, генерируется системная подсказка, специфичная для использования компьютера. Она похожа на системную подсказку использования инструментов, но начинается с:

You have access to a set of functions you can use to answer the user's question. This includes access to a sandboxed computing environment. You do NOT currently have the ability to inspect files or interact with external resources, except by invoking the below functions.

Как и при обычном использовании инструментов, предоставленное пользователем поле system_prompt по-прежнему учитывается и используется при построении объединённой системной подсказки.



Доступные действия

Инструмент использования компьютера поддерживает следующие действия:

Базовые действия (все версии)

• screenshot: захват текущего дисплея
• left_click: клик по координатам [x, y]
• type: ввод текстовой строки
• key: нажатие клавиши или комбинации клавиш (например, "ctrl+s")
• mouse_move: перемещение курсора к координатам

Расширенные действия (computer_20250124) Доступны во всех моделях, поддерживающих использование компьютера:

• scroll: прокрутка в любом направлении с контролем величины
• left_click_drag: клик и перетаскивание между координатами
• right_click, middle_click: дополнительные кнопки мыши
• double_click, triple_click: множественные клики
• left_mouse_down, left_mouse_up: точное управление кликами
• hold_key: удержание клавиши в течение указанной длительности (в секундах)
• wait: пауза между действиями

Расширенные действия (computer_20251124) Доступны в Claude Sonnet 5, Claude Opus 4.8, Claude Opus 4.7, Claude Opus 4.6, Claude Sonnet 4.6 и Claude Opus 4.5:

• Все действия из computer_20250124
• zoom: просмотр определённой области экрана в полном разрешении. Требует enable_zoom: true в определении инструмента. Принимает параметр region с координатами [x1, y1, x2, y2], определяющими верхний левый и нижний правый углы области для просмотра.



Параметры инструмента



Сочетание с расширенным мышлением

О сочетании использования компьютера с расширенным мышлением см. Расширенное мышление.



Дополнение использования компьютера другими инструментами

Чтобы добавить другие инструменты наряду с использованием компьютера, включите их в тот же массив tools. Раздел Быстрый старт показывает этот паттерн с инструментом bash и инструментом текстового редактора. Вы можете добавить свои собственные определения пользовательских инструментов таким же образом.



Создание собственной среды использования компьютера

Эталонная реализация предназначена для того, чтобы помочь вам начать работу с использованием компьютера. Она включает все компоненты, необходимые для того, чтобы Claude использовал компьютер. Однако вы можете создать собственную среду для использования компьютера в соответствии с вашими потребностями. Вам понадобится:

• Виртуализированная или контейнеризированная среда, подходящая для использования компьютера с Claude
• Реализация хотя бы одного из инструментов использования компьютера со схемой Anthropic
• Агентный цикл, который взаимодействует с Claude API и выполняет результаты tool_use с использованием ваших реализаций инструментов
• API или пользовательский интерфейс, позволяющий пользователю вводить данные для запуска агентного цикла



Реализация инструмента использования компьютера

Инструмент использования компьютера реализован как инструмент без схемы. При использовании этого инструмента вам не нужно предоставлять входную схему, как для других инструментов; схема встроена в модель Claude и не может быть изменена.



Обработка ошибок

При реализации инструмента использования компьютера могут возникать различные ошибки. Вот как их обрабатывать:



Подгонка размера снимков экрана под ограничения изображений

Снимки экрана, отправляемые инструменту компьютера, должны уже укладываться в ограничения размера изображений Claude (см. ограничения размера изображений). API не изменяет размер слишком больших изображений; снимок экрана, превышающий лимит, отклоняется с ошибкой валидации HTTP 400.

Если ваш экран больше лимита, измените размер снимка экрана перед отправкой, установите display_width_px/display_height_px в соответствии с изменёнными размерами и масштабируйте возвращаемые Claude координаты обратно в исходное пространство экрана:



Диагностика проблем с кликами

Если клики не попадают в цель, причина обычно одна из следующих:



Следуйте лучшим практикам реализации



Понимание ограничений использования компьютера

Функциональность использования компьютера находится в стадии бета-тестирования. Хотя возможности Claude являются передовыми, разработчикам следует учитывать следующие ограничения:

1. Задержка: Текущая «latency» (задержка) при взаимодействии человека и ИИ в режиме использования компьютера может быть слишком высокой по сравнению с обычными действиями на компьютере, выполняемыми человеком. Сосредоточьтесь на сценариях использования, где скорость не критична (например, фоновый сбор информации, автоматизированное тестирование программного обеспечения) в доверенных средах.
2. Точность и надёжность компьютерного зрения: Claude может допускать ошибки или галлюцинировать при выводе конкретных координат во время генерации действий. Расширенное мышление может помочь вам понять рассуждения модели и выявить потенциальные проблемы.
3. Точность и надёжность выбора инструментов: Claude может допускать ошибки или галлюцинировать при выборе инструментов во время генерации действий либо предпринимать неожиданные действия для решения задач. Кроме того, надёжность может быть ниже при взаимодействии с узкоспециализированными приложениями или несколькими приложениями одновременно. Тщательно формулируйте подсказки для модели при запросе сложных задач.
4. Надёжность прокрутки: Действие прокрутки поддерживает управление направлением (вверх, вниз, влево, вправо) и указание величины прокрутки. В приложениях, где прокрутка не срабатывает, могут помочь клавиатурные альтернативы, такие как Page Down.
5. Взаимодействие с электронными таблицами: Используйте действия точного управления мышью (left_mouse_down, left_mouse_up) и комбинации с клавишами-модификаторами для выбора отдельных ячеек. Сложные операции с электронными таблицами всё ещё могут требовать нескольких попыток.
6. Создание учётных записей и генерация контента на социальных и коммуникационных платформах: Хотя Claude будет посещать веб-сайты, возможности Claude по созданию учётных записей, генерации и публикации контента или иному участию в выдаче себя за человека на веб-сайтах и платформах социальных сетей ограничены. Эта возможность может быть обновлена в будущем.
7. Уязвимости: Уязвимости, такие как «jailbreaking» (обход ограничений) или «prompt injection» (внедрение подсказок), могут сохраняться в передовых системах ИИ, включая бета-версию API использования компьютера. В некоторых обстоятельствах Claude будет следовать командам, найденным в контенте, иногда даже вопреки инструкциям пользователя. Например, инструкции для Claude на веб-страницах или содержащиеся в изображениях могут переопределять инструкции или приводить к ошибкам Claude. Рассмотрите следующее: a. Ограничение использования компьютера доверенными средами, такими как виртуальные машины или контейнеры с минимальными привилегиями b. Избегание предоставления доступа к использованию компьютера для конфиденциальных учётных записей или данных без строгого надзора c. Информирование конечных пользователей о соответствующих рисках и получение их согласия перед включением или запросом разрешений, необходимых для функций использования компьютера в ваших приложениях
8. Неприемлемые или незаконные действия: Согласно Условиям обслуживания Anthropic, вы не должны применять использование компьютера для нарушения каких-либо законов или Политики допустимого использования.

Всегда тщательно проверяйте и верифицируйте действия и журналы использования компьютера Claude. Не используйте Claude для задач, требующих идеальной точности или работы с конфиденциальной информацией пользователей, без человеческого надзора.



Хранение данных

Использование компьютера — это инструмент на стороне клиента. Все снимки экрана, действия мыши, ввод с клавиатуры и любые файлы, задействованные в сеансе, захватываются и хранятся в вашей среде, а не у Anthropic. Anthropic обрабатывает изображения снимков экрана и запросы действий в реальном времени как часть вызова API, но не сохраняет их после возврата ответа.

Поскольку ваше приложение контролирует, где и как хранятся данные использования компьютера, использование компьютера соответствует требованиям ZDR. Информацию о соответствии требованиям ZDR для всех функций см. в разделе API и хранение данных.



Стоимость

Использование компьютера следует стандартному ценообразованию на использование инструментов. При использовании инструмента управления компьютером:

Накладные расходы системной подсказки: бета-версия использования компьютера добавляет 466–499 токенов к системной подсказке

Использование токенов инструментом управления компьютером:

Дополнительное потребление токенов:

• Изображения скриншотов (см. ценообразование Vision)
• Результаты выполнения инструментов, возвращаемые Claude



Дальнейшие шаги