Инструмент компьютерного управления

Claude может взаимодействовать с компьютерными средами через инструмент компьютерного управления, который обеспечивает возможности снятия скриншотов и управление мышью/клавиатурой для автономного взаимодействия с рабочим столом.

Обзор

Компьютерное управление — это бета-функция, которая позволяет Claude взаимодействовать с окружением рабочего стола. Этот инструмент предоставляет:

• Захват скриншотов: Просмотр того, что в настоящее время отображается на экране
• Управление мышью: Клики, перетаскивание и перемещение курсора
• Ввод с клавиатуры: Ввод текста и использование сочетаний клавиш
• Автоматизация рабочего стола: Взаимодействие с любым приложением или интерфейсом

Хотя компьютерное управление может быть дополнено другими инструментами, такими как bash и текстовый редактор для более комплексных рабочих процессов автоматизации, компьютерное управление конкретно относится к возможности инструмента компьютерного управления видеть и управлять окружением рабочего стола.

Совместимость моделей

Компьютерное управление доступно для следующих моделей Claude:

Соображения безопасности

Быстрый старт

Вот как начать работу с компьютерным управлением:

Как работает компьютерное управление

Мы называем повторение шагов 3 и 4 без ввода пользователя "циклом агента" — то есть Claude отвечает запросом использования инструмента, а ваше приложение отвечает Claude результатами оценки этого запроса.

Claude может взаимодействовать с компьютерными средами через инструмент компьютерного использования, который предоставляет возможности снятия скриншотов и управления мышью/клавиатурой для автономного взаимодействия с рабочим столом.

Обзор

Компьютерное использование — это бета-функция, которая позволяет Claude взаимодействовать с окружением рабочего стола. Этот инструмент предоставляет:

• Захват скриншотов: Просмотр того, что в настоящее время отображается на экране
• Управление мышью: Клики, перетаскивание и перемещение курсора
• Ввод с клавиатуры: Ввод текста и использование сочетаний клавиш
• Автоматизация рабочего стола: Взаимодействие с любым приложением или интерфейсом

Хотя компьютерное использование может быть дополнено другими инструментами, такими как bash и текстовый редактор для более комплексных рабочих процессов автоматизации, компьютерное использование конкретно относится к возможности инструмента компьютерного использования видеть и управлять окружением рабочего стола.

Совместимость моделей

Компьютерное использование доступно для следующих моделей Claude:

Соображения безопасности

Быстрый старт

Вот как начать работу с компьютерным использованием:

Как работает компьютерное использование

Мы называем повторение шагов 3 и 4 без ввода пользователя "циклом агента" — то есть Claude отвечает запросом использования инструмента, а ваше приложение отвечает Claude результатами оценки этого запроса.

Вычислительная среда

Компьютерное использование требует изолированной вычислительной среды, где Claude может безопасно взаимодействовать с приложениями и веб-сайтами. Эта среда включает:

1. Виртуальный дисплей: Виртуальный сервер дисплея X11 (использующий Xvfb), который отображает интерфейс рабочего стола, который Claude будет видеть через скриншоты и управлять с помощью действий мыши/клавиатуры.

2. Окружение рабочего стола: Легкий пользовательский интерфейс с менеджером окон (Mutter) и панелью (Tint2), работающий на Linux, который предоставляет согласованный графический интерфейс для взаимодействия Claude.

3. Приложения: Предустановленные приложения Linux, такие как Firefox, LibreOffice, текстовые редакторы и менеджеры файлов, которые Claude может использовать для выполнения задач.

4. Реализации инструментов: Код интеграции, который переводит абстрактные запросы инструментов Claude (например, "переместить мышь" или "сделать скриншот") в фактические операции в виртуальной среде.

5. Цикл агента: Программа, которая обрабатывает связь между Claude и окружением, отправляя действия Claude в окружение и возвращая результаты (скриншоты, выходные данные команд) обратно Claude.

Когда вы используете компьютерное использование, Claude не подключается напрямую к этой среде. Вместо этого ваше приложение:

1. Получает запросы использования инструмента Claude
2. Переводит их в действия в вашей вычислительной среде
3. Захватывает результаты (скриншоты, выходные данные команд и т. д.)
4. Возвращает эти результаты Claude

Для безопасности и изоляции эталонная реализация запускает все это внутри контейнера Docker с соответствующими сопоставлениями портов для просмотра и взаимодействия с окружением.

Как реализовать компьютерное использование

Начните с нашей эталонной реализацией

Мы создали эталонную реализацию, которая включает все необходимое для быстрого начала работы с компьютерным использованием:

• Контейнеризованное окружение подходящее для компьютерного использования с Claude
• Реализации инструментов компьютерного использования
• Цикл агента, который взаимодействует с API Claude и выполняет инструменты компьютерного использования
• Веб-интерфейс для взаимодействия с контейнером, циклом агента и инструментами.

Понимание цикла мультиагента

Ядро компьютерного использования — это "цикл агента" — цикл, в котором Claude запрашивает действия инструмента, ваше приложение их выполняет и возвращает результаты Claude. Вот упрощенный пример:

async def sampling_loop(
    *,
    model: str,
    messages: list[dict],
    api_key: str,
    max_tokens: int = 4096,
    tool_version: str,
    thinking_budget: int | None = None,
    max_iterations: int = 10,  # Добавьте ограничение итераций, чтобы предотвратить бесконечные циклы
):
    """
    Простой цикл агента для взаимодействия Claude с компьютерным использованием.

    Эта функция обрабатывает взаимодействие между:
    1. Отправкой сообщений пользователя Claude
    2. Claude запрашивающим использование инструментов
    3. Вашим приложением, выполняющим эти инструменты
    4. Отправкой результатов инструментов обратно Claude
    """
    # Настройте инструменты и параметры API
    client = Anthropic(api_key=api_key)
    beta_flag = "computer-use-2025-01-24" if "20250124" in tool_version else "computer-use-2024-10-22"

    # Настройте инструменты — вы должны уже иметь их инициализированными где-то еще
    tools = [
        {"type": f"computer_{tool_version}", "name": "computer", "display_width_px": 1024, "display_height_px": 768},
        {"type": f"text_editor_{tool_version}", "name": "str_replace_editor"},
        {"type": f"bash_{tool_version}", "name": "bash"}
    ]

    # Основной цикл агента (с ограничением итераций, чтобы предотвратить неконтролируемые затраты API)
    iterations = 0
    while True and iterations < max_iterations:
        iterations += 1
        # Настройте необязательный параметр мышления (для Claude Sonnet 3.7)
        thinking = None
        if thinking_budget:
            thinking = {"type": "enabled", "budget_tokens": thinking_budget}

        # Вызовите API Claude
        response = client.beta.messages.create(
            model=model,
            max_tokens=max_tokens,
            messages=messages,
            tools=tools,
            betas=[beta_flag],
            thinking=thinking
        )

        # Добавьте ответ Claude в историю разговора
        response_content = response.content
        messages.append({"role": "assistant", "content": response_content})

        # Проверьте, использовал ли Claude какие-либо инструменты
        tool_results = []
        for block in response_content:
            if block.type == "tool_use":
                # В реальном приложении вы бы выполнили инструмент здесь
                # Например: result = run_tool(block.name, block.input)
                result = {"result": "Tool executed successfully"}

                # Отформатируйте результат для Claude
                tool_results.append({
                    "type": "tool_result",
                    "tool_use_id": block.id,
                    "content": result
                })

        # Если инструменты не использовались, Claude готов — верните финальные сообщения
        if not tool_results:
            return messages

        # Добавьте результаты инструментов в сообщения для следующей итерации с Claude
        messages.append({"role": "user", "content": tool_results})

Цикл продолжается до тех пор, пока Claude не ответит без запроса каких-либо инструментов (завершение задачи) или не будет достигнут максимальный предел итераций. Эта защита предотвращает потенциальные бесконечные циклы, которые могут привести к неожиданным затратам на API.

Мы рекомендуем попробовать эталонную реализацию перед чтением остальной части этой документации.

Оптимизируйте производительность модели с помощью подсказок

Вот несколько советов о том, как получить лучшее качество выходных данных:

1. Укажите простые, четко определенные задачи и предоставьте явные инструкции для каждого шага.
2. Claude иногда предполагает результаты своих действий без явной проверки их результатов. Чтобы предотвратить это, вы можете подсказать Claude с помощью After each step, take a screenshot and carefully evaluate if you have achieved the right outcome. Explicitly show your thinking: "I have evaluated step X..." If not correct, try again. Only when you confirm a step was executed correctly should you move on to the next one.
3. Некоторые элементы пользовательского интерфейса (такие как раскрывающиеся списки и полосы прокрутки) могут быть сложными для манипулирования Claude с помощью движений мыши. Если вы столкнулись с этим, попробуйте подсказать модели использовать сочетания клавиш.
4. Для повторяемых задач или взаимодействий пользовательского интерфейса включите примеры скриншотов и вызовов инструментов успешных результатов в вашу подсказку.
5. Если вам нужно, чтобы модель вошла в систему, предоставьте ей имя пользователя и пароль в вашей подсказке внутри тегов xml, таких как <robot_credentials>. Использование компьютерного использования в приложениях, требующих входа, увеличивает риск плохих результатов из-за внедрения подсказок. Пожалуйста, ознакомьтесь с нашим руководством по смягчению внедрений подсказок перед предоставлением модели учетных данных для входа.

Системные подсказки

Когда один из инструментов, определенных Anthropic, запрашивается через API Claude, создается системная подсказка, специфичная для компьютерного использования. Она похожа на системную подсказку использования инструмента, но начинается с:

You have access to a set of functions you can use to answer the user's question. This includes access to a sandboxed computing environment. You do NOT currently have the ability to inspect files or interact with external resources, except by invoking the below functions.

Как и при обычном использовании инструмента, предоставленное пользователем поле system_prompt по-прежнему соблюдается и используется при построении объединенной системной подсказки.

Как реализовать компьютерное использование

Начните с нашей эталонной реализацией

Мы создали эталонную реализацию, которая включает всё необходимое для быстрого начала работы с компьютерным использованием:

• Контейнеризированная среда, подходящая для компьютерного использования с Claude
• Реализации инструментов компьютерного использования
• Цикл агента, который взаимодействует с API Claude и выполняет инструменты компьютерного использования
• Веб-интерфейс для взаимодействия с контейнером, циклом агента и инструментами.

Понимание цикла с несколькими агентами

Основой компьютерного использования является "цикл агента" - цикл, в котором Claude запрашивает действия инструментов, ваше приложение их выполняет и возвращает результаты Claude. Вот упрощённый пример:

async def sampling_loop(
    *,
    model: str,
    messages: list[dict],
    api_key: str,
    max_tokens: int = 4096,
    tool_version: str,
    thinking_budget: int | None = None,
    max_iterations: int = 10,  # Add iteration limit to prevent infinite loops
):
    """
    A simple agent loop for Claude computer use interactions.

    This function handles the back-and-forth between:
    1. Sending user messages to Claude
    2. Claude requesting to use tools
    3. Your app executing those tools
    4. Sending tool results back to Claude
    """
    # Set up tools and API parameters
    client = Anthropic(api_key=api_key)
    beta_flag = "computer-use-2025-01-24" if "20250124" in tool_version else "computer-use-2024-10-22"

    # Configure tools - you should already have these initialized elsewhere
    tools = [
        {"type": f"computer_{tool_version}", "name": "computer", "display_width_px": 1024, "display_height_px": 768},
        {"type": f"text_editor_{tool_version}", "name": "str_replace_editor"},
        {"type": f"bash_{tool_version}", "name": "bash"}
    ]

    # Main agent loop (with iteration limit to prevent runaway API costs)
    iterations = 0
    while True and iterations < max_iterations:
        iterations += 1
        # Set up optional thinking parameter (for Claude Sonnet 3.7)
        thinking = None
        if thinking_budget:
            thinking = {"type": "enabled", "budget_tokens": thinking_budget}

        # Call the Claude API
        response = client.beta.messages.create(
            model=model,
            max_tokens=max_tokens,
            messages=messages,
            tools=tools,
            betas=[beta_flag],
            thinking=thinking
        )

        # Add Claude's response to the conversation history
        response_content = response.content
        messages.append({"role": "assistant", "content": response_content})

        # Check if Claude used any tools
        tool_results = []
        for block in response_content:
            if block.type == "tool_use":
                # In a real app, you would execute the tool here
                # For example: result = run_tool(block.name, block.input)
                result = {"result": "Tool executed successfully"}

                # Format the result for Claude
                tool_results.append({
                    "type": "tool_result",
                    "tool_use_id": block.id,
                    "content": result
                })

        # If no tools were used, Claude is done - return the final messages
        if not tool_results:
            return messages

        # Add tool results to messages for the next iteration with Claude
        messages.append({"role": "user", "content": tool_results})

Цикл продолжается до тех пор, пока Claude не ответит без запроса каких-либо инструментов (завершение задачи) или не будет достигнут максимальный предел итераций. Эта защита предотвращает потенциальные бесконечные циклы, которые могут привести к неожиданным затратам на API.

Мы рекомендуем попробовать эталонную реализацию перед чтением остальной части этой документации.

Оптимизируйте производительность модели с помощью подсказок

Вот несколько советов о том, как получить лучшее качество результатов:

1. Укажите простые, чётко определённые задачи и предоставьте явные инструкции для каждого шага.
2. Claude иногда предполагает результаты своих действий без явной проверки их результатов. Чтобы предотвратить это, вы можете подсказать Claude следующее: After each step, take a screenshot and carefully evaluate if you have achieved the right outcome. Explicitly show your thinking: "I have evaluated step X..." If not correct, try again. Only when you confirm a step was executed correctly should you move on to the next one.
3. Некоторые элементы пользовательского интерфейса (такие как раскрывающиеся списки и полосы прокрутки) могут быть сложными для Claude при манипулировании с помощью движений мыши. Если вы столкнулись с этим, попробуйте подсказать модели использовать сочетания клавиш.
4. Для повторяемых задач или взаимодействий с пользовательским интерфейсом включите примеры снимков экрана и вызовов инструментов успешных результатов в вашу подсказку.
5. Если вам нужно, чтобы модель вошла в систему, предоставьте ей имя пользователя и пароль в вашей подсказке внутри тегов xml, таких как <robot_credentials>. Использование компьютерного использования в приложениях, требующих входа, увеличивает риск плохих результатов из-за внедрения подсказок. Пожалуйста, ознакомьтесь с нашим руководством по смягчению внедрения подсказок перед предоставлением модели учётных данных для входа.

Системные подсказки

Когда один из инструментов, определённых Anthropic, запрашивается через API Claude, генерируется системная подсказка, специфичная для компьютерного использования. Она похожа на системную подсказку использования инструментов, но начинается с:

You have access to a set of functions you can use to answer the user's question. This includes access to a sandboxed computing environment. You do NOT currently have the ability to inspect files or interact with external resources, except by invoking the below functions.

Как и при обычном использовании инструментов, предоставленное пользователем поле system_prompt по-прежнему соблюдается и используется при построении объединённой системной подсказки.

Доступные действия

Инструмент компьютерного использования поддерживает эти действия:

Основные действия (все версии)

• screenshot - Захватить текущий дисплей
• left_click - Щёлкнуть в координатах [x, y]
• type - Введите текстовую строку
• key - Нажмите клавишу или комбинацию клавиш (например, "ctrl+s")
• mouse_move - Переместить курсор в координаты

Расширенные действия (computer_20250124) Доступны в моделях Claude 4 и Claude Sonnet 3.7:

• scroll - Прокрутка в любом направлении с контролем количества
• left_click_drag - Щёлкните и перетащите между координатами
• right_click, middle_click - Дополнительные кнопки мыши
• double_click, triple_click - Несколько щелчков
• left_mouse_down, left_mouse_up - Точный контроль щелчка
• hold_key - Удерживайте клавишу при выполнении других действий
• wait - Пауза между действиями

Расширенные действия (computer_20251124) Доступны в Claude Opus 4.5:

• Все действия из computer_20250124
• zoom - Просмотрите определённый регион экрана с полным разрешением. Требует enable_zoom: true в определении инструмента. Принимает параметр region с координатами [x1, y1, x2, y2], определяющими верхний левый и нижний правый углы области для проверки.

Параметры инструмента

Параметры инструмента

Включите возможность мышления в моделях Claude 4 и Claude Sonnet 3.7

Claude Sonnet 3.7 представила новую возможность "мышления", которая позволяет вам увидеть процесс рассуждения модели при работе со сложными задачами. Эта функция помогает вам понять, как Claude подходит к проблеме, и может быть особенно ценна для отладки или образовательных целей.

Чтобы включить мышление, добавьте параметр thinking в ваш запрос API:

"thinking": {
  "type": "enabled",
  "budget_tokens": 1024
}

Параметр budget_tokens указывает, сколько токенов Claude может использовать для мышления. Это вычитается из вашего общего бюджета max_tokens.

Когда мышление включено, Claude вернёт свой процесс рассуждения как часть ответа, что может помочь вам:

1. Понять процесс принятия решений модели
2. Выявить потенциальные проблемы или неправильные представления
3. Учиться на подходе Claude к решению проблем
4. Получить больше видимости в сложные многошаговые операции

Вот пример того, как может выглядеть вывод мышления:

[Thinking]
I need to save a picture of a cat to the desktop. Let me break this down into steps:

1. First, I'll take a screenshot to see what's on the desktop
2. Then I'll look for a web browser to search for cat images
3. After finding a suitable image, I'll need to save it to the desktop

Let me start by taking a screenshot to see what's available...

Параметры инструмента

Дополнение компьютерного использования другими инструментами

Инструмент компьютерного использования можно комбинировать с другими инструментами для создания более мощных рабочих процессов автоматизации. Это особенно полезно, когда вам нужно:

• Выполнять системные команды (инструмент bash)
• Редактировать файлы конфигурации или скрипты (инструмент текстового редактора)
• Интегрироваться с пользовательскими API или сервисами (пользовательские инструменты)

Параметры инструмента

Включение возможности мышления в моделях Claude 4 и Claude Sonnet 3.7

Claude Sonnet 3.7 представил новую возможность "мышления", которая позволяет вам увидеть процесс рассуждения модели при работе над сложными задачами. Эта функция помогает вам понять, как Claude подходит к решению проблемы, и может быть особенно ценна для отладки или образовательных целей.

Чтобы включить мышление, добавьте параметр thinking в ваш запрос API:

"thinking": {
  "type": "enabled",
  "budget_tokens": 1024
}

Параметр budget_tokens указывает, сколько токенов Claude может использовать для мышления. Это вычитается из вашего общего бюджета max_tokens.

Когда мышление включено, Claude вернёт свой процесс рассуждения как часть ответа, что может помочь вам:

1. Понять процесс принятия решений моделью
2. Выявить потенциальные проблемы или неправильные представления
3. Учиться на подходе Claude к решению проблем
4. Получить больше видимости в сложные многошаговые операции

Вот пример того, как может выглядеть вывод мышления:

[Thinking]
Мне нужно сохранить картинку кота на рабочий стол. Давайте разберём это на этапы:

1. Сначала я сделаю скриншот, чтобы увидеть, что находится на рабочем столе
2. Затем я буду искать веб-браузер для поиска изображений кошек
3. После нахождения подходящего изображения мне нужно будет сохранить его на рабочий стол

Давайте начнём со скриншота, чтобы увидеть, что доступно...

Дополнение компьютерного использования другими инструментами

Инструмент компьютерного использования можно комбинировать с другими инструментами для создания более мощных рабочих процессов автоматизации. Это особенно полезно, когда вам нужно:

• Выполнять системные команды (инструмент bash)
• Редактировать файлы конфигурации или скрипты (инструмент текстового редактора)
• Интегрироваться с пользовательскими API или сервисами (пользовательские инструменты)

Создание пользовательского окружения компьютерного использования

Эталонная реализация предназначена для помощи вам в начале работы с компьютерным использованием. Она включает все компоненты, необходимые для того, чтобы Claude использовал компьютер. Однако вы можете создать своё собственное окружение для компьютерного использования в соответствии с вашими потребностями. Вам потребуется:

• Виртуализированное или контейнеризированное окружение, подходящее для компьютерного использования с Claude
• Реализация по крайней мере одного из определённых Anthropic инструментов компьютерного использования
• Цикл агента, который взаимодействует с API Claude и выполняет результаты tool_use с использованием ваших реализаций инструментов
• API или пользовательский интерфейс, который позволяет вводить данные пользователем для запуска цикла агента

Реализация инструмента компьютерного использования

Инструмент компьютерного использования реализован как инструмент без схемы. При использовании этого инструмента вам не нужно предоставлять схему ввода, как с другими инструментами; схема встроена в модель Claude и не может быть изменена.

Обработка ошибок

При реализации инструмента компьютерного использования могут возникнуть различные ошибки. Вот как их обработать:

Следуйте лучшим практикам реализации

Понимание ограничений компьютерного использования

Функциональность компьютерного использования находится в бета-версии. Хотя возможности Claude передовые, разработчики должны знать об её ограничениях:

1. Задержка: текущая задержка компьютерного использования для взаимодействия человека и ИИ может быть слишком медленной по сравнению с обычными действиями на компьютере, направляемыми человеком. Мы рекомендуем сосредоточиться на вариантах использования, где скорость не критична (например, сбор справочной информации, автоматизированное тестирование программного обеспечения) в доверенных окружениях.
2. Точность и надёжность компьютерного зрения: Claude может допустить ошибки или галлюцинировать при выводе определённых координат при создании действий. Claude Sonnet 3.7 представляет возможность мышления, которая может помочь вам понять рассуждение модели и выявить потенциальные проблемы.
3. Точность и надёжность выбора инструмента: Claude может допустить ошибки или галлюцинировать при выборе инструментов при создании действий или предпринять неожиданные действия для решения проблем. Кроме того, надёжность может быть ниже при взаимодействии с нишевыми приложениями или несколькими приложениями одновременно. Мы рекомендуем пользователям тщательно подсказывать модель при запросе сложных задач.
4. Надёжность прокрутки: Claude Sonnet 3.7 представил специальные действия прокрутки с управлением направлением, которые улучшают надёжность. Модель теперь может явно прокручивать в любом направлении (вверх/вниз/влево/вправо) на указанное количество.
5. Взаимодействие с электронными таблицами: Щелчки мышью для взаимодействия с электронными таблицами улучшены в Claude Sonnet 3.7 с добавлением более точных действий управления мышью, таких как left_mouse_down, left_mouse_up и новая поддержка клавиш-модификаторов. Выбор ячейки может быть более надёжным при использовании этих детальных элементов управления и комбинировании клавиш-модификаторов с щелчками.

Всегда тщательно проверяйте и верифицируйте действия компьютерного использования Claude и журналы. Не используйте Claude для задач, требующих идеальной точности или конфиденциальной информации пользователя без надзора человека.

Понимание ограничений компьютерного использования

Функциональность компьютерного использования находится в бета-версии. Хотя возможности Claude передовые, разработчики должны знать об её ограничениях:

1. Задержка: текущая задержка компьютерного использования для взаимодействия человека и ИИ может быть слишком медленной по сравнению с обычными действиями на компьютере, направляемыми человеком. Мы рекомендуем сосредоточиться на вариантах использования, где скорость не критична (например, сбор справочной информации, автоматизированное тестирование программного обеспечения) в доверенных окружениях.
2. Точность и надёжность компьютерного зрения: Claude может допустить ошибки или галлюцинировать при выводе определённых координат при создании действий. Claude Sonnet 3.7 представляет возможность мышления, которая может помочь вам понять рассуждение модели и выявить потенциальные проблемы.
3. Точность и надёжность выбора инструмента: Claude может допустить ошибки или галлюцинировать при выборе инструментов при создании действий или предпринять неожиданные действия для решения проблем. Кроме того, надёжность может быть ниже при взаимодействии с нишевыми приложениями или несколькими приложениями одновременно. Мы рекомендуем пользователям тщательно подсказывать модель при запросе сложных задач.
4. Надёжность прокрутки: Claude Sonnet 3.7 представил специальные действия прокрутки с управлением направлением, которые улучшают надёжность. Модель теперь может явно прокручивать в любом направлении (вверх/вниз/влево/вправо) на указанное количество.
5. Взаимодействие с электронными таблицами: Щелчки мышью для взаимодействия с электронными таблицами улучшены в Claude Sonnet 3.7 с добавлением более точных действий управления мышью, таких как left_mouse_down, left_mouse_up и новая поддержка клавиш-модификаторов. Выбор ячейки может быть более надёжным при использовании этих детальных элементов управления и комбинировании клавиш-модификаторов с щелчками.

Всегда тщательно проверяйте и верифицируйте действия компьютерного использования Claude и журналы. Не используйте Claude для задач, требующих идеальной точности или конфиденциальной информации пользователя без надзора человека.

Ценообразование

Computer use follows the standard tool use pricing. When using the computer use tool:

System prompt overhead: The computer use beta adds 466-499 tokens to the system prompt

Computer use tool token usage:

Additional token consumption:

• Screenshot images (see Vision pricing)
• Tool execution results returned to Claude

Понимание ограничений компьютерного использования

Функциональность компьютерного использования находится в бета-версии. Хотя возможности Claude передовые, разработчики должны знать об её ограничениях:

1. Задержка: текущая задержка компьютерного использования для взаимодействия человека и ИИ может быть слишком медленной по сравнению с обычными действиями на компьютере, направляемыми человеком. Мы рекомендуем сосредоточиться на вариантах использования, где скорость не критична (например, сбор справочной информации, автоматизированное тестирование программного обеспечения) в доверенных окружениях.
2. Точность и надёжность компьютерного зрения: Claude может допустить ошибки или галлюцинировать при выводе определённых координат при создании действий. Claude Sonnet 3.7 представляет возможность мышления, которая может помочь вам понять рассуждение модели и выявить потенциальные проблемы.
3. Точность и надёжность выбора инструмента: Claude может допустить ошибки или галлюцинировать при выборе инструментов при создании действий или предпринять неожиданные действия для решения проблем. Кроме того, надёжность может быть ниже при взаимодействии с нишевыми приложениями или несколькими приложениями одновременно. Мы рекомендуем пользователям тщательно подсказывать модель при запросе сложных задач.
4. Надёжность прокрутки: Claude Sonnet 3.7 представил специальные действия прокрутки с управлением направлением, которые улучшают надёжность. Модель теперь может явно прокручивать в любом направлении (вверх/вниз/влево/вправо) на указанное количество.
5. Взаимодействие с электронными таблицами: Щелчки мышью для взаимодействия с электронными таблицами улучшены в Claude Sonnet 3.7 с добавлением более точных действий управления мышью, таких как left_mouse_down, left_mouse_up и новая поддержка клавиш-модификаторов. Выбор ячейки может быть более надёжным при использовании этих детальных элементов управления и комбинировании клавиш-модификаторов с щелчками.

Всегда тщательно проверяйте и верифицируйте действия компьютерного использования Claude и журналы. Не используйте Claude для задач, требующих идеальной точности или конфиденциальной информации пользователя без надзора человека.

Ценообразование

Computer use follows the standard tool use pricing. When using the computer use tool:

System prompt overhead: The computer use beta adds 466-499 tokens to the system prompt

Computer use tool token usage:

Additional token consumption:

• Screenshot images (see Vision pricing)
• Tool execution results returned to Claude

Следующие шаги