コンピュータ使用ツール

Claudeはコンピュータ使用ツールを通じてコンピュータ環境と対話できます。このツールはスクリーンショット機能とマウス/キーボード制御を提供し、自律的なデスクトップ操作を可能にします。実際のウェブサイト全体での自律的なウェブナビゲーションのベンチマークであるWebArenaでは、Claudeは単一エージェントシステムの中で最先端の結果を達成し、マルチステップのブラウザタスクをエンドツーエンドで完了する強力な能力を実証しています。

概要

コンピュータ使用はClaudeがデスクトップ環境と対話できるようにするベータ版機能です。このツールは以下を提供します：

• スクリーンショットキャプチャ：現在画面に表示されているものを確認
• マウス制御：クリック、ドラッグ、カーソル移動
• キーボード入力：テキスト入力とキーボードショートカット
• デスクトップオートメーション：任意のアプリケーションまたはインターフェースと対話

コンピュータ使用はbashやテキストエディタなどの他のツールで拡張でき、より包括的なオートメーションワークフローを実現できますが、コンピュータ使用は特にコンピュータ使用ツールのデスクトップ環境を見て制御する機能を指します。

モデルサポートについては、ツールリファレンスを参照してください。

セキュリティに関する考慮事項

コンピュータ使用はベータ版機能であり、標準的なAPI機能とは異なるユニークなリスクを持っています。これらのリスクはインターネットと対話する場合に高まります。

状況によっては、Claudeはユーザーの指示と矛盾していても、コンテンツ内で見つかったコマンドに従う可能性があります。例えば、ウェブページまたは画像に含まれるClaudeの指示がClaudeの指示をオーバーライドしたり、Claudeが間違いを犯す原因となる可能性があります。Claudeを機密データとアクションから隔離するための予防措置を講じて、プロンプトインジェクションに関連するリスクを回避してください。

モデルはこれらのプロンプトインジェクションに抵抗するように訓練されており、追加の防御層が追加されています。コンピュータ使用ツールを使用する場合、プロンプトインジェクションの可能性のあるインスタンスをフラグするために、分類器がプロンプトに対して自動的に実行されます。これらの分類器がスクリーンショット内でプロンプトインジェクションの可能性を特定すると、次のアクションに進む前にユーザーの確認を求めるようにモデルを自動的に操舵します。この追加の保護はすべてのユースケースに理想的ではありません（例えば、人間がループに含まれないユースケース）。オプトアウトしてオフにしたい場合は、サポートに連絡してください。

これらの予防措置は、分類器防御層がある場合でも重要なままです。

エンドユーザーに関連するリスクを通知し、独自の製品でコンピュータ使用を有効にする前に同意を得てください。

クイックスタート

コンピュータ使用を始める方法は以下の通りです：

client = anthropic.Anthropic()

response = client.beta.messages.create(
    model="claude-opus-4-7",  # or another compatible model
    max_tokens=1024,
    tools=[
        {
            "type": "computer_20251124",
            "name": "computer",
            "display_width_px": 1024,
            "display_height_px": 768,
            "display_number": 1,
        },
        {"type": "text_editor_20250728", "name": "str_replace_based_edit_tool"},
        {"type": "bash_20250124", "name": "bash"},
    ],
    messages=[{"role": "user", "content": "Save a picture of a cat to my desktop."}],
    betas=["computer-use-2025-11-24"],
)
print(response)

コンピュータ使用の仕組み

ステップ3と4の繰り返しをユーザー入力なしで行うことを「エージェントループ」と呼びます（つまり、Claudeがツール使用リクエストで応答し、アプリケーションがそのリクエストを評価した結果でClaudeに応答します）。

コンピューティング環境

コンピュータ使用には、Claudeがアプリケーションとウェブと安全に対話できるサンドボックス化されたコンピューティング環境が必要です。この環境には以下が含まれます：

1. 仮想ディスプレイ：仮想X11ディスプレイサーバー（Xvfbを使用）で、Claudeがスクリーンショットを通じて見るデスクトップインターフェースをレンダリングし、マウス/キーボードアクションで制御します。

2. デスクトップ環境：Linuxで実行される軽量UI（ウィンドウマネージャーMutter、パネルTint2）で、Claudeが対話するための一貫したグラフィカルインターフェースを提供します。

3. アプリケーション：Firefox、LibreOffice、テキストエディタ、ファイルマネージャなど、Claudeがタスクを完了するために使用できるプリインストールされたLinuxアプリケーション。

4. ツール実装：Claudeの抽象的なツールリクエスト（「マウスを移動」や「スクリーンショットを撮る」など）を仮想環境での実際の操作に変換する統合コード。

5. エージェントループ：Claude と環境間の通信を処理し、Claudeのアクションを環境に送信し、結果（スクリーンショット、コマンド出力）をClaudeに返すプログラム。

コンピュータ使用を使用する場合、Claudeはこの環境に直接接続しません。代わりに、アプリケーションは：

1. Claudeのツール使用リクエストを受け取ります
2. それらをコンピューティング環境でのアクションに変換します
3. 結果（スクリーンショット、コマンド出力など）をキャプチャします
4. これらの結果をClaudeに返します

セキュリティと隔離のため、リファレンス実装はすべてをDockerコンテナ内で実行し、環境を表示および対話するための適切なポートマッピングを備えています。

コンピュータ使用の実装方法

リファレンス実装から始める

リファレンス実装が利用可能で、コンピュータ使用を素早く始めるために必要なすべてが含まれています：

• Claudeでのコンピュータ使用に適したコンテナ化された環境
• コンピュータ使用ツールの実装
• Claude APIと対話し、コンピュータ使用ツールを実行するエージェントループ
• コンテナ、エージェントループ、ツールと対話するためのウェブインターフェース。

エージェントループの理解

コンピュータ使用の中核は「エージェントループ」です。これはClaudeがツールアクションをリクエストし、アプリケーションがそれらを実行し、結果をClaudeに返すサイクルです。簡略化された例を以下に示します：

async def sampling_loop(
    *,
    model: str,
    messages: list[dict],
    api_key: str,
    max_tokens: int = 4096,
    tool_version: str,
    thinking_budget: int | None = None,
    max_iterations: int = 10,  # Add iteration limit to prevent infinite loops
):
    """
    A simple agent loop for Claude computer use interactions.

    This function handles the back-and-forth between:
    1. Sending user messages to Claude
    2. Claude requesting to use tools
    3. Your app executing those tools
    4. Sending tool results back to Claude
    """
    # Set up tools and API parameters
    client = Anthropic(api_key=api_key)
    beta_flag = (
        "computer-use-2025-11-24"
        if "20251124" in tool_version
        else "computer-use-2025-01-24"
    )
    text_editor_type = (
        "text_editor_20250728"
        if "20251124" in tool_version
        else f"text_editor_{tool_version}"
    )

    # Configure tools - you should already have these initialized elsewhere
    tools = [
        {
            "type": f"computer_{tool_version}",
            "name": "computer",
            "display_width_px": 1024,
            "display_height_px": 768,
        },
        {"type": text_editor_type, "name": "str_replace_based_edit_tool"},
        {"type": "bash_20250124", "name": "bash"},
    ]

    # Main agent loop (with iteration limit to prevent runaway API costs)
    iterations = 0
    while True and iterations < max_iterations:
        iterations += 1
        # Set up optional thinking parameter (for Claude Sonnet 3.7)
        thinking = None
        if thinking_budget:
            thinking = {"type": "enabled", "budget_tokens": thinking_budget}

        # Call the Claude API
        response = client.beta.messages.create(
            model=model,
            max_tokens=max_tokens,
            messages=messages,
            tools=tools,
            betas=[beta_flag],
            thinking=thinking,
        )

        # Add Claude's response to the conversation history
        response_content = response.content
        messages.append({"role": "assistant", "content": response_content})

        # Check if Claude used any tools
        tool_results = []
        for block in response_content:
            if block.type == "tool_use":
                # In a real app, you would execute the tool here
                # For example: result = run_tool(block.name, block.input)
                result = {"result": "Tool executed successfully"}

                # Format the result for Claude
                tool_results.append(
                    {"type": "tool_result", "tool_use_id": block.id, "content": result}
                )

        # If no tools were used, Claude is done - return the final messages
        if not tool_results:
            return messages

        # Add tool results to messages for the next iteration with Claude
        messages.append({"role": "user", "content": tool_results})

ループはClaudeがツールをリクエストせずに応答するか（タスク完了）、最大反復制限に達するまで続きます。このセーフガードは、予期しないAPI費用をもたらす可能性のある無限ループを防ぎます。

このドキュメントの残りを読む前に、リファレンス実装を試してみてください。

プロンプティングでモデルパフォーマンスを最適化する

最高品質の出力を得るためのいくつかのヒントを以下に示します：

1. シンプルで明確に定義されたタスクを指定し、各ステップに対して明示的な指示を提供します。
2. Claudeは明示的に結果をチェックせずにアクションの結果を想定することがあります。これを防ぐために、Claudeに各ステップの後、スクリーンショットを撮り、正しい結果を達成したかどうかを慎重に評価してください。明示的に思考を示してください：「ステップXを評価しました...」正しくない場合は、もう一度試してください。ステップが正しく実行されたことを確認した場合のみ、次のステップに進んでください。とプロンプトすることができます。
3. 一部のUI要素（ドロップダウンやスクロールバーなど）は、Claudeがマウス移動を使用して操作するのが難しい場合があります。これが発生した場合は、モデルにキーボードショートカットを使用するようにプロンプトしてみてください。
4. 繰り返し可能なタスクまたはUI操作の場合、成功した結果のスクリーンショットとツール呼び出しの例をプロンプトに含めます。
5. モデルがログインする必要がある場合、プロンプト内で<robot_credentials>などのxmlタグ内にユーザー名とパスワードを提供します。ログインが必要なアプリケーション内でコンピュータ使用を使用すると、プロンプトインジェクションの結果として悪い結果のリスクが増加します。モデルにログイン認証情報を提供する前に、プロンプトインジェクションを軽減するためのガイドを確認してください。

システムプロンプト

Anthropicスキーマツールの1つがClaude APIを通じてリクエストされると、コンピュータ使用固有のシステムプロンプトが生成されます。これはツール使用システムプロンプトに似ていますが、以下で始まります：

You have access to a set of functions you can use to answer the user's question. This includes access to a sandboxed computing environment. You do NOT currently have the ability to inspect files or interact with external resources, except by invoking the below functions.

通常のツール使用と同様に、ユーザー提供のsystem_promptフィールドは依然として尊重され、結合されたシステムプロンプトの構築に使用されます。

利用可能なアクション

コンピュータ使用ツールは以下のアクションをサポートしています：

基本的なアクション（すべてのバージョン）

• screenshot - 現在のディスプレイをキャプチャ
• left_click - 座標[x, y]でクリック
• type - テキスト文字列を入力
• key - キーまたはキーの組み合わせを押す（例：「ctrl+s」）
• mouse_move - カーソルを座標に移動

拡張アクション（computer_20250124） Claude 4モデルとClaude Sonnet 3.7で利用可能：

• scroll - 任意の方向にスクロール（量制御付き）
• left_click_drag - 座標間でクリックしてドラッグ
• right_click、middle_click - 追加のマウスボタン
• double_click、triple_click - 複数クリック
• left_mouse_down、left_mouse_up - 細かいクリック制御
• hold_key - 指定された期間（秒単位）キーを押し続ける
• wait - アクション間で一時停止

拡張アクション（computer_20251124） Claude Opus 4.7、Claude Opus 4.6、Claude Sonnet 4.6、Claude Opus 4.5で利用可能：

• computer_20250124のすべてのアクション
• zoom - 画面の特定の領域を全解像度で表示。ツール定義でenable_zoom: trueが必要。検査する領域の左上隅と右下隅を定義する座標[x1, y1, x2, y2]を持つregionパラメータを取ります。

ツールパラメータ

拡張思考との組み合わせ

コンピュータ使用と拡張思考の組み合わせについては、拡張思考を参照してください。

コンピュータ使用を他のツールで拡張する

コンピュータ使用と一緒に他のツールを追加するには、同じtools配列に含めます。上記のクイックスタートは、bashツールとテキストエディタツールでこのパターンを示しています。同じ方法で独自のカスタムツール定義を追加できます。

カスタムコンピュータ使用環境を構築する

リファレンス実装は、コンピュータ使用を開始するのに役立つように設計されています。Claudeがコンピュータを使用するために必要なすべてのコンポーネントが含まれています。ただし、ニーズに合わせてコンピュータ使用用の独自の環境を構築することができます。以下が必要です：

• Claudeでのコンピュータ使用に適した仮想化またはコンテナ化された環境
• Anthropicスキーマコンピュータ使用ツールの少なくとも1つの実装
• Claude APIと相互作用し、ツール実装を使用してtool_use結果を実行するエージェントループ
• エージェントループを開始するためのユーザー入力を許可するAPIまたはUI

コンピュータ使用ツールを実装する

コンピュータ使用ツールはスキーマレスツールとして実装されます。このツールを使用する場合、他のツールのような入力スキーマを提供する必要はありません。スキーマはClaudeのモデルに組み込まれており、変更することはできません。

エラーを処理する

コンピュータ使用ツールを実装する場合、さまざまなエラーが発生する可能性があります。以下はそれらの処理方法です：

より高い解像度の座標スケーリングを処理する

APIは画像を最長辺で最大1568ピクセル、合計約1.15メガピクセルに制限します（詳細は画像のサイズ変更を参照してください）。たとえば、1512x982スクリーンは約1330x864にダウンサンプリングされます。Claudeはこのより小さい画像を分析し、そのスペースで座標を返しますが、ツールは元のスクリーンスペースでクリックを実行します。

これにより、座標変換を処理しない限り、Claudeのクリック座標がターゲットを逃す可能性があります。

これを修正するには、スクリーンショットを自分でサイズ変更し、Claudeの座標をスケールアップします：

import math


def get_scale_factor(width, height):
    """Calculate scale factor to meet API constraints."""
    long_edge = max(width, height)
    total_pixels = width * height

    long_edge_scale = 1568 / long_edge
    total_pixels_scale = math.sqrt(1_150_000 / total_pixels)

    return min(1.0, long_edge_scale, total_pixels_scale)


# When capturing screenshot
scale = get_scale_factor(screen_width, screen_height)
scaled_width = int(screen_width * scale)
scaled_height = int(screen_height * scale)

# Resize image to scaled dimensions before sending to Claude
screenshot = capture_and_resize(scaled_width, scaled_height)


# When handling Claude's coordinates, scale them back up
def execute_click(x, y):
    screen_x = x / scale
    screen_y = y / scale
    perform_click(screen_x, screen_y)

実装のベストプラクティスに従う

コンピュータ使用の制限を理解する

コンピュータ使用機能はベータ版です。Claudeの機能は最先端ですが、開発者はその制限を認識する必要があります：

1. レイテンシ：現在のコンピュータ使用レイテンシは、通常の人間が指示するコンピュータアクションと比較して、人間とAIの相互作用では遅すぎる可能性があります。速度が重要でないユースケース（たとえば、背景情報の収集、自動化されたソフトウェアテスト）に信頼できる環境で焦点を当てます。
2. コンピュータビジョンの精度と信頼性：Claudeはアクションを生成する際に特定の座標を出力するときに間違いを犯したり、幻覚を見たりする可能性があります。Claude Sonnet 3.7はシンキング機能を導入しており、モデルの推論を理解し、潜在的な問題を特定するのに役立ちます。
3. ツール選択の精度と信頼性：Claudeはアクションを生成する際にツールを選択するときに間違いを犯したり、幻覚を見たりする可能性があり、問題を解決するために予期しないアクションを取る可能性があります。さらに、ニッチなアプリケーションまたは複数のアプリケーションと同時に相互作用する場合、信頼性が低くなる可能性があります。複雑なタスクをリクエストする場合、モデルに慎重にプロンプトを出します。
4. スクロール信頼性：Claude Sonnet 3.7は方向制御を備えた専用スクロールアクションを導入し、信頼性を向上させました。モデルは指定された量で任意の方向（上/下/左/右）に明示的にスクロールできるようになりました。
5. スプレッドシート相互作用：Claude Sonnet 3.7でのスプレッドシート相互作用のマウスクリックは、left_mouse_down、left_mouse_upなどのより正確なマウス制御アクションと新しい修飾キーサポートの追加により改善されました。セル選択は、これらの細粒度制御を使用し、修飾キーとクリックを組み合わせることでより信頼性が高くなります。
6. ソーシャルおよび通信プラットフォームでのアカウント作成とコンテンツ生成：Claudeはウェブサイトにアクセスしますが、ソーシャルメディアウェブサイトおよびプラットフォーム全体でアカウントを作成したり、コンテンツを生成して共有したり、人間になりすましたりするClaudeの能力は限定的です。この機能は将来更新される可能性があります。
7. 脆弱性：ジェイルブレイクやプロンプトインジェクションなどの脆弱性は、ベータコンピュータ使用APIを含む最先端のAIシステム全体で存続する可能性があります。状況によっては、Claudeはコンテンツ内で見つかったコマンドに従い、ユーザーの指示と矛盾することもあります。たとえば、Webページまたは画像に含まれるClaudeの指示は、指示をオーバーライドしたり、Claudeが間違いを犯したりする可能性があります。以下を検討してください： a. コンピュータ使用を最小限の権限を持つ仮想マシンやコンテナなどの信頼できる環境に制限する b. 厳密な監視なしに、コンピュータ使用アクセスを機密アカウントまたはデータに与えないようにする c. エンドユーザーに関連するリスクを通知し、アプリケーションでコンピュータ使用機能を有効にするか、必要な権限をリクエストする前に同意を得る
8. 不適切または違法なアクション：Anthropicの利用規約に従い、コンピュータ使用を使用して法律またはAcceptable Use Policyに違反してはいけません。

常にClaudeのコンピュータ使用アクションとログを慎重に確認および検証してください。完全な精度が必要なタスクまたは人間の監視なしに機密ユーザー情報を必要とするタスクにClaudeを使用しないでください。

データ保持

コンピュータ使用はクライアント側のツールです。スクリーンショット、マウスアクション、キーボード入力、およびセッションに関連するファイルはすべて、Anthropicではなく、お客様の環境でキャプチャおよび保存されます。Anthropicはスクリーンショット画像とアクションリクエストをAPIコールの一部としてリアルタイムで処理しますが、応答が返された後は保持しません。

アプリケーションがコンピュータ使用データの保存場所と方法を制御するため、コンピュータ使用はZDR対象です。すべての機能にわたるZDR適格性については、API とデータ保持を参照してください。

価格

Computer use follows the standard tool use pricing. When using the computer use tool:

System prompt overhead: The computer use beta adds 466-499 tokens to the system prompt

Computer use tool token usage:

Additional token consumption:

• Screenshot images (see Vision pricing)
• Tool execution results returned to Claude

次のステップ