メッセージツール

コンピュータ使用ツール

コンピュータ使用ツールを使用して、Claudeにデスクトップ環境のスクリーンショット、マウス、キーボードの制御を与えます。

Claudeはコンピュータ使用ツールを通じてコンピュータ環境と対話できます。このツールは、自律的なデスクトップ操作のためのスクリーンショット機能とマウス/キーボード制御を提供します。

概要

コンピュータ使用は、Claudeがデスクトップ環境と対話できるようにするベータ機能です。このツールは以下を提供します：

スクリーンショットのキャプチャ： 現在画面に表示されている内容を確認
マウス制御： クリック、ドラッグ、カーソルの移動
キーボード入力： テキストの入力とキーボードショートカットの使用
デスクトップ自動化： あらゆるアプリケーションやインターフェースとの対話

コンピュータ使用は、より包括的な自動化ワークフローのためにbashやテキストエディタなどの他のツールで拡張できますが、コンピュータ使用とは具体的には、デスクトップ環境を見て制御するコンピュータ使用ツールの機能を指します。

モデルのサポートについては、ツールリファレンスを参照してください。

セキュリティに関する考慮事項

コンピュータ使用は、標準的なAPI機能とは異なる固有のリスクを持つベータ機能です。これらのリスクは、インターネットと対話する際に高まります。

リスクを最小限に抑えるために、以下のような予防策を検討してください：

直接的なシステム攻撃や事故を防ぐために、最小限の権限を持つ専用の仮想マシンまたはコンテナを使用する。
情報の盗難を防ぐために、アカウントのログイン情報などの機密データへのアクセスをモデルに与えない。
悪意のあるコンテンツへの露出を減らすために、インターネットアクセスをドメインの許可リストに制限する。
現実世界に重大な影響を及ぼす可能性のある決定や、Cookieの受け入れ、金融取引の完了、利用規約への同意など、明示的な同意を必要とするタスクについては、人間に確認を求める。

状況によっては、Claudeはあなたの指示と矛盾する場合でも、コンテンツ内に見つかったコマンドに従うことがあります。たとえば、Webページ上の指示や画像に含まれる指示が、あなたの指示を上書きしたり、Claudeにミスをさせたりする可能性があります。プロンプトインジェクションに関連するリスクを回避するために、Claudeを機密データやアクションから隔離する予防策を講じてください。

Anthropicは、これらのプロンプトインジェクションに抵抗するようにモデルを訓練し、追加の防御層を加えています。コンピュータ使用ツールを使用すると、分類器が自動的にプロンプトに対して実行され、プロンプトインジェクションの可能性のあるインスタンスにフラグを立てます。これらの分類器がスクリーンショット内でプロンプトインジェクションの可能性を特定すると、次のアクションに進む前にユーザーの確認を求めるようにモデルを自動的に誘導します。この追加の保護は、すべてのユースケース（たとえば、人間が介在しないユースケース）に理想的とは限らないため、オプトアウトして無効にしたい場合は、サポートにお問い合わせください。

分類器による防御層が設置されていても、これらの予防策は引き続き重要です。

自社製品でコンピュータ使用を有効にする前に、エンドユーザーに関連するリスクを知らせ、同意を得てください。

コンピュータ使用リファレンス実装

Webインターフェース、Dockerコンテナ、ツール実装の例、エージェントループを含むコンピュータ使用リファレンス実装で始めましょう。

クイックスタート

コンピュータ使用を始める方法は次のとおりです：

client = anthropic.Anthropic()

response = client.beta.messages.create(
    model="claude-opus-5",  # or another compatible model
    max_tokens=1024,
    tools=[
        {
            "type": "computer_20251124",
            "name": "computer",
            "display_width_px": 1024,
            "display_height_px": 768,
            "display_number": 1,
        },
        {"type": "text_editor_20250728", "name": "str_replace_based_edit_tool"},
        {"type": "bash_20250124", "name": "bash"},
    ],
    messages=[{"role": "user", "content": "Save a picture of a cat to my desktop."}],
    betas=["computer-use-2025-11-24"],
)
print(response)

コンピュータ使用の仕組み

Claudeにコンピュータ使用ツールとユーザープロンプトを提供する
- コンピュータ使用ツール（および必要に応じて他のツール）をAPIリクエストに追加します。
- デスクトップ操作を必要とするユーザープロンプトを含めます。たとえば、「猫の画像をデスクトップに保存して」などです。
Claudeがコンピュータ使用ツールを選択する
- Claudeは、コンピュータ使用ツールがユーザーのクエリに役立つかどうかを評価します。
- 役立つ場合、Claudeは適切にフォーマットされたツール使用リクエストを構築します。
- APIレスポンスのstop_reasonがtool_useとなり、ツール使用リクエストであることを示します。
ツール入力を抽出し、コンピュータ上でツールを評価し、結果を返す
- あなたの側で、Claudeのリクエストからツール名と入力を抽出します。
- コンテナまたは仮想マシン上でツールを使用します。
- tool_resultコンテンツブロックを含む新しいuserメッセージで会話を続けます。
Claudeはタスクが完了するまでコンピュータ使用ツールを呼び出し続ける
- Claudeはツールの結果を分析して、さらにツール使用が必要か、タスクが完了したかを判断します。
- Claudeが別のツールが必要と判断した場合、再びtool_useのstop_reasonで応答するので、ステップ3に戻る必要があります。
- そうでない場合は、ユーザーへのテキスト応答を作成します。

ユーザー入力なしでステップ3と4を繰り返すことを「エージェントループ」と呼びます（つまり、Claudeがツール使用リクエストで応答し、アプリケーションがそのリクエストを評価した結果をClaudeに返すことです）。

コンピューティング環境

コンピュータ使用には、Claudeがアプリケーションやウェブと安全に対話できるサンドボックス化されたコンピューティング環境が必要です。この環境には以下が含まれます：

仮想ディスプレイ： Claudeがスクリーンショットを通じて見て、マウス/キーボードアクションで制御するデスクトップインターフェースをレンダリングする仮想X11ディスプレイサーバー（Xvfbを使用）。
デスクトップ環境： Linux上で動作するウィンドウマネージャー（Mutter）とパネル（Tint2）を備えた軽量UI。Claudeが対話するための一貫したグラフィカルインターフェースを提供します。
アプリケーション： Firefox、LibreOffice、テキストエディタ、ファイルマネージャーなど、Claudeがタスクを完了するために使用できるプリインストールされたLinuxアプリケーション。
ツール実装： Claudeの抽象的なツールリクエスト（「マウスを移動」や「スクリーンショットを撮る」など）を仮想環境での実際の操作に変換する統合コード。
エージェントループ： Claudeと環境の間の通信を処理し、Claudeのアクションを環境に送信し、結果（スクリーンショット、コマンド出力）をClaudeに返すプログラム。

コンピュータ使用を使用する場合、Claudeはこの環境に直接接続しません。代わりに、あなたのアプリケーションが：

Claudeのツール使用リクエストを受信する
それらをコンピューティング環境でのアクションに変換する
結果（スクリーンショットやコマンド出力など）をキャプチャする
これらの結果をClaudeに返す

セキュリティと分離のために、リファレンス実装はこれらすべてを、環境の表示と対話のための適切なポートマッピングを備えたDockerコンテナ内で実行します。

コンピュータ使用の実装方法

リファレンス実装から始める

コンピュータ使用を始めるために必要なすべてを含むリファレンス実装が利用可能です：

Claudeとのコンピュータ使用に適したコンテナ化された環境
コンピュータ使用ツールの実装
Claude APIと対話し、コンピュータ使用ツールを実行するエージェントループ
コンテナ、エージェントループ、ツールと対話するためのWebインターフェース

エージェントループを理解する

コンピュータ使用の中核は「エージェントループ」です。これは、Claudeがツールアクションをリクエストし、アプリケーションがそれらを実行し、結果をClaudeに返すサイクルです。このループは、クイックスタートで作成したクライアント、クイックスタートのtools配列と同じ形式のツールリスト、およびClaudeのツール呼び出しを処理するで定義されたツール呼び出し処理ヘルパーを使用します。以下は簡略化された例です：

def sampling_loop(model, messages, max_iterations=10):
    """
    Run the computer-use agent loop until Claude stops requesting tools
    or the iteration limit is reached.
    """
    for _ in range(max_iterations):
        response = client.beta.messages.create(
            model=model,
            max_tokens=4096,
            messages=messages,
            tools=TOOLS,
            betas=["computer-use-2025-11-24"],
        )

        # Claudeの応答を会話履歴に追加
        messages.append({"role": "assistant", "content": response.content})

        # Claudeが要求したツールを実行し、結果を収集
        tool_results = process_tool_calls(response)
        if not tool_results:
            return messages  # No more tool use; task complete

        # 次のイテレーションのためにツール結果をClaudeに返送
        messages.append({"role": "user", "content": tool_results})

    return messages

ループは、Claudeがツールをリクエストせずに応答する（タスク完了）か、最大反復回数の制限に達するまで続きます。この安全策により、予期しないAPIコストにつながる可能性のある無限ループを防ぎます。

このドキュメントの残りを読む前に、リファレンス実装を試してみてください。

プロンプトでモデルのパフォーマンスを最適化する

最高品質の出力を得るためのヒントをいくつか紹介します：

シンプルで明確に定義されたタスクを指定し、各ステップに対して明示的な指示を提供します。
Claudeは、結果を明示的に確認せずにアクションの結果を想定することがあります。これを防ぐには、次のようにClaudeにプロンプトを与えることができます：After each step, take a screenshot and carefully evaluate if you have achieved the right outcome. Explicitly show your thinking: "I have evaluated step X..." If not correct, try again. Only when you confirm a step was executed correctly should you move on to the next one.
一部のUI要素（ドロップダウンやスクロールバーなど）は、Claudeがマウス操作で扱うのが難しい場合があります。これが発生した場合は、キーボードショートカットを使用するようにモデルにプロンプトを与えてみてください。
繰り返し可能なタスクやUI操作については、成功した結果のスクリーンショットとツール呼び出しの例をプロンプトに含めます。
モデルにログインさせる必要がある場合は、<robot_credentials>などのXMLタグ内にユーザー名とパスワードをプロンプトで提供します。ログインを必要とするアプリケーション内でコンピュータ使用を使用すると、プロンプトインジェクションの結果として悪い結果が生じるリスクが高まります。モデルにログイン認証情報を提供する前に、ジェイルブレイクとプロンプトインジェクションの軽減を確認してください。
ユーザーターンのcontent配列を構築する際は、指示テキストをスクリーンショット画像の前に配置します。画像が処理される前にターゲットの説明を提供することで、クリックの精度が向上します。
enable_zoom: trueを設定したcomputer_20251124を使用する場合、サイドバー内のファイル名、タブのタイトル、ステータスバーのテキスト、行番号、ボタンのラベルなど、スクリーンショットのデフォルト解像度では判読できない小さなテキストや特定のUI要素について尋ねられると、Claudeは領域をズームインします。期待どおりにClaudeがズームしない場合は、画面全体ではなく特定の領域や要素について尋ねてください。

システムプロンプト

Anthropicスキーマのツールの1つがClaude APIを通じてリクエストされると、コンピュータ使用固有のシステムプロンプトが生成されます。これはツール使用システムプロンプトに似ていますが、次のように始まります：

You have access to a set of functions you can use to answer the user's question. This includes access to a sandboxed computing environment. You do NOT currently have the ability to inspect files or interact with external resources, except by invoking the below functions.

通常のツール使用と同様に、ユーザーが提供するsystemパラメータは引き続き尊重され、結合されたシステムプロンプトの構築に使用されます。

利用可能なアクション

コンピュータ使用ツールは以下のアクションをサポートしています：

基本アクション（すべてのバージョン）

screenshot: 現在のディスプレイをキャプチャ
left_click: 座標[x, y]でクリック
type: テキスト文字列を入力
key: キーまたはキーの組み合わせを押す（たとえば、"ctrl+s"）
mouse_move: カーソルを座標に移動

拡張アクション（computer_20250124以降） computer_20250124とcomputer_20251124で利用可能：

scroll: 量を制御して任意の方向にスクロール
left_click_drag: 座標間でクリックしてドラッグ
right_click、middle_click: 追加のマウスボタン
double_click、triple_click: 複数回クリック
left_mouse_down、left_mouse_up: きめ細かいクリック制御
hold_key: 指定された時間（秒単位）キーを押し続ける
wait: アクション間の一時停止

拡張アクション（computer_20251124） Claude Opus 5、Claude Sonnet 5、Claude Opus 4.8、Claude Opus 4.7、Claude Opus 4.6、Claude Sonnet 4.6、Claude Opus 4.5で利用可能：

computer_20250124のすべてのアクション
zoom: 画面の特定の領域をフル解像度で表示します。ツール定義でenable_zoom: trueが必要です。検査する領域の左上と右下の角を定義する座標[x1, y1, x2, y2]を持つregionパラメータを取ります。

ツールパラメータ

パラメータ	必須	説明
`type`	はい	ツールバージョン（`computer_20251124`または`computer_20250124`）
`name`	はい	"computer"である必要があります
`display_width_px`	はい	ディスプレイの幅（ピクセル単位）
`display_height_px`	はい	ディスプレイの高さ（ピクセル単位）
`display_number`	いいえ	X11環境のディスプレイ番号
`enable_zoom`	いいえ	ズームアクションを有効にする（`computer_20251124`のみ）。`true`に設定すると、Claudeが特定の画面領域にズームできるようになります。デフォルト：`false`

思考との組み合わせ

コンピュータ使用と思考を組み合わせる方法については、思考を参照してください。

コンピュータ使用に特化して、内部ベンチマークでは以下のeffort設定が推奨されています：

Claude Opus 4.7： デフォルトとしてhighを使用します。高スループットまたはコスト重視のワークロードにはlowを使用します。
Claude Sonnet 4.6とClaude Opus 4.6： デフォルトとしてmediumを使用します（精度対コスト比が最良）。maxは、UIタスクの精度を向上させずにトークンコストを増やすため、避けてください。これらのモデルでは、lowは思考を完全に無効にするよりも少ない出力トークンを使用します（ミスが少ないほど再試行が少なくなります）。そのため、コスト重視のループには強力な選択肢となります。

他のツールでコンピュータ使用を拡張する

コンピュータ使用と一緒に他のツールを追加するには、同じtools配列に含めます。クイックスタートセクションでは、bashツールとテキストエディタツールを使用したこのパターンを示しています。同じ方法で独自のカスタムツール定義を追加できます。

カスタムコンピュータ使用環境を構築する

リファレンス実装は、コンピュータ使用を始めるのに役立つことを目的としています。Claudeにコンピュータを使用させるために必要なすべてのコンポーネントが含まれています。ただし、ニーズに合わせて独自のコンピュータ使用環境を構築することもできます。必要なものは以下のとおりです：

Claudeとのコンピュータ使用に適した仮想化またはコンテナ化された環境
Anthropicスキーマのコンピュータ使用ツールの少なくとも1つの実装
Claude APIと対話し、ツール実装を使用してtool_useの結果を実行するエージェントループ
エージェントループを開始するためのユーザー入力を可能にするAPIまたはUI

コンピュータ使用ツールを実装する

コンピュータ使用ツールはスキーマレスツールとして実装されています。このツールを使用する場合、他のツールのように入力スキーマを提供する必要はありません。スキーマはClaudeのモデルに組み込まれており、変更できません。

コンピューティング環境をセットアップする
Claudeが対話する仮想ディスプレイを作成するか、既存のディスプレイに接続します。これには通常、Xvfb（X Virtual Framebuffer）または同様の技術のセットアップが含まれます。

アクションハンドラーを実装する

Claudeがリクエストする可能性のある各アクションタイプを処理する関数を作成します：

def capture_screenshot():
    return "<screenshot data>"


def click_at(x, y):
    return f"clicked at ({x}, {y})"


def type_text(text):
    return f"typed: {text}"


def handle_computer_action(action_type, params):
    if action_type == "screenshot":
        return capture_screenshot()
    elif action_type == "left_click":
        x, y = params["coordinate"]
        return click_at(x, y)
    elif action_type == "type":
        return type_text(params["text"])
    # 必要に応じて他のアクションを処理
    return f"unhandled action: {action_type}"

Claudeのツール呼び出しを処理する

Claudeの応答からツール呼び出しを抽出して実行します：

def process_tool_calls(response):
    tool_results = []
    for block in response.content:
        if block.type == "tool_use":
            action = block.input["action"]
            result = handle_computer_action(action, block.input)
            tool_results.append(
                {
                    "type": "tool_result",
                    "tool_use_id": block.id,
                    "content": result,
                }
            )
    return tool_results

エージェントループを実装する

Claudeがタスクを完了するまで続くループを作成します：

def sampling_loop(model, messages, max_iterations=10):
    """
    Run the computer-use agent loop until Claude stops requesting tools
    or the iteration limit is reached.
    """
    for _ in range(max_iterations):
        response = client.beta.messages.create(
            model=model,
            max_tokens=4096,
            messages=messages,
            tools=TOOLS,
            betas=["computer-use-2025-11-24"],
        )

        # Claudeの応答を会話履歴に追加
        messages.append({"role": "assistant", "content": response.content})

        # Claudeが要求したツールを実行し、結果を収集
        tool_results = process_tool_calls(response)
        if not tool_results:
            return messages  # No more tool use; task complete

        # 次のイテレーションのためにツール結果をClaudeに返送
        messages.append({"role": "user", "content": tool_results})

    return messages

エラーを処理する

コンピュータ使用ツールを実装する際、さまざまなエラーが発生する可能性があります。以下はその処理方法です：

画像制限に合わせてスクリーンショットのサイズを調整する

コンピュータツールに送信されるスクリーンショットは、Claudeの画像サイズ制限内に収まる必要があります（画像サイズ制限を参照）。APIはClaudeが見る前に大きすぎる画像をダウンスケールし、Claudeは見た画像に対する座標を返すため、サーバー側のダウンスケールに依存すると、それらの座標を画面にマッピングし直すために必要なスケール係数が得られません。APIの別のリクエスト制限（たとえば、一辺が8,000ピクセルを超える）を超える画像のみが、ダウンスケールされるのではなく検証エラーで拒否されます。

画面が制限より大きい場合は、送信前にスクリーンショットのサイズを変更し、display_width_px/display_height_pxをサイズ変更後の寸法に設定し、Claudeが返す座標を元の画面空間にスケールし直します：

import math


def get_scale_factor(width, height):
    """Calculate scale factor to meet API constraints."""
    long_edge = max(width, height)
    total_pixels = width * height

    long_edge_scale = 1568 / long_edge
    total_pixels_scale = math.sqrt(1_150_000 / total_pixels)

    return min(1.0, long_edge_scale, total_pixels_scale)


# スクリーンショットをキャプチャする際
scale = get_scale_factor(screen_width, screen_height)
scaled_width = int(screen_width * scale)
scaled_height = int(screen_height * scale)

# Claudeに送信する前に画像をスケーリング後の寸法にリサイズする
screenshot = capture_and_resize(scaled_width, scaled_height)


# Claudeの座標を処理する際は、元のスケールに戻す
def execute_click(x, y):
    screen_x = x / scale
    screen_y = y / scale
    perform_click(screen_x, screen_y)

クリックの問題を診断する

クリックがターゲットを外す場合、原因は通常以下のいずれかです：

症状	考えられる原因	試すこと
クリックが一貫して一方向にずれる	`display_width_px`/`display_height_px`が実際に送信された画像の寸法と一致していない	ディスプレイの寸法が送信するスクリーンショットと正確に一致していることを確認する
クリックは正しい領域に着地するがターゲットを外す	ターゲットが非常に小さい、4K以上のソースのダウンスケールで詳細が失われた、またはアスペクト比が歪んでいる	`enable_zoom: true`を設定する。低いDPIでキャプチャするか、関連する領域にクロップする。サイズ変更時にアスペクト比を維持する
Claudeが完全に間違った要素をクリックする	曖昧な指示、または近くに視覚的に類似した要素がある	位置を示すプロンプトを使用する（「右下の青い送信ボタン」）。操作をより小さなステップに分割する
精度が一貫して低い	解像度が低すぎる	ベースラインとして1280x720を試す

実装のベストプラクティスに従う

コンピュータ使用の制限を理解する

コンピュータ使用はベータ版です。以下の制限に留意してください：

レイテンシ： 人間とAIの対話における現在のコンピュータ使用のレイテンシは、通常の人間が指示するコンピュータ操作と比較して遅すぎる場合があります。信頼できる環境で、速度が重要でないユースケース（たとえば、バックグラウンドでの情報収集、自動化されたソフトウェアテスト）に焦点を当ててください。
コンピュータビジョンの精度と信頼性： Claudeはアクションを生成する際に特定の座標を出力するときに、ミスをしたり幻覚を起こしたりする可能性があります。拡張思考は、モデルの推論を理解し、潜在的な問題を特定するのに役立ちます。
ツール選択の精度と信頼性： Claudeはアクションを生成する際にツールを選択するときにミスをしたり幻覚を起こしたり、問題を解決するために予期しないアクションを取ったりする可能性があります。さらに、ニッチなアプリケーションや複数のアプリケーションと同時に対話する場合、信頼性が低下する可能性があります。複雑なタスクをリクエストする際は、モデルに慎重にプロンプトを与えてください。
スクロールの信頼性： スクロールアクションは方向制御（上、下、左、右）と指定された量をサポートしています。スクロールが効果を発揮しないアプリケーションでは、Page Downなどのキーボードの代替手段が役立ちます。
スプレッドシートの操作： 個々のセルを選択するには、きめ細かいマウス制御アクション（left_mouse_down、left_mouse_up）と修飾キーの組み合わせを使用します。複雑なスプレッドシート操作には、依然として複数回の試行が必要な場合があります。
ソーシャルおよびコミュニケーションプラットフォームでのアカウント作成とコンテンツ生成： ClaudeはWebサイトを訪問しますが、ソーシャルメディアのWebサイトやプラットフォーム全体でアカウントを作成したり、コンテンツを生成・共有したり、その他の方法で人間になりすましたりするClaudeの能力は制限されています。この機能は将来更新される可能性があります。
脆弱性： ジェイルブレイクやプロンプトインジェクションなどの脆弱性は、ベータ版のコンピュータ使用APIを含むフロンティアAIシステム全体で存続する可能性があります。状況によっては、Claudeはコンテンツ内に見つかったコマンドに従うことがあり、それがあなたの指示と矛盾する場合もあります。たとえば、Webページ上の指示や画像に含まれる指示が、あなたの指示を上書きしたり、Claudeにミスをさせたりする可能性があります。以下を検討してください：
- コンピュータ使用を、最小限の権限を持つ仮想マシンやコンテナなどの信頼できる環境に制限する
- 厳格な監視なしに、コンピュータ使用に機密アカウントやデータへのアクセスを与えない
- アプリケーションでコンピュータ使用機能に必要な権限を有効にしたりリクエストしたりする前に、エンドユーザーに関連するリスクを知らせ、同意を得る
不適切または違法な行為： Anthropicの利用規約に基づき、法律や利用規定（Acceptable Use Policy）に違反するためにコンピュータ使用を使用してはなりません。

Claudeのコンピュータ使用のアクションとログを常に慎重に確認・検証してください。完璧な精度や機密性の高いユーザー情報を必要とするタスクには、人間の監視なしにClaudeを使用しないでください。

データ保持

コンピュータ使用はクライアントサイドのツールです。セッションに関わるすべてのスクリーンショット、マウスアクション、キーボード入力、ファイルは、Anthropicではなく、あなたの環境でキャプチャされ保存されます。Anthropicは、API呼び出しの一部としてスクリーンショット画像とアクションリクエストをリアルタイムで処理します。これらのAPIリクエストの保持は、APIとデータ保持によって管理されます。

コンピュータ使用データの保存場所と方法はアプリケーションが制御するため、コンピュータ使用はZDRの対象となります。すべての機能にわたるZDRの適格性については、APIとデータ保持を参照してください。

料金

コンピュータ使用は標準のツール使用の価格に従います。コンピュータ使用ツールを使用する場合：

システムプロンプトのオーバーヘッド: コンピュータ使用ベータは、システムプロンプトに466〜499トークンを追加します

コンピュータ使用ツールのトークン使用量:

モデル	ツール定義あたりの入力トークン
Claude 4.x モデル	735トークン

追加のトークン消費:

スクリーンショット画像（Visionの価格を参照）
Claudeに返されるツール実行結果

次のステップ

ツール使用のトラブルシューティング

症状から修正方法への診断テーブルで、最も一般的なツール使用のエラーを修正します。

リファレンス実装

完全なDockerベースの実装で始めましょう

Claudeでのツール使用

Claudeを外部ツールやAPIに接続します。ツールがどこで実行されるか、Claudeがいつ呼び出すか、どのツールがタスクに適しているかを確認してください。

ベストプラクティスの詳細

解像度、思考の労力、コンテキスト管理に関するベンチマークに基づく推奨事項

Was this page helpful?

メッセージツール

コンピュータ使用ツール

コンピュータ使用ツールを使用して、Claudeにデスクトップ環境のスクリーンショット、マウス、キーボードの制御を与えます。

概要

コンピュータ使用は、Claudeがデスクトップ環境と対話できるようにするベータ機能です。このツールは以下を提供します：

スクリーンショットのキャプチャ： 現在画面に表示されている内容を確認
マウス制御： クリック、ドラッグ、カーソルの移動
キーボード入力： テキストの入力とキーボードショートカットの使用
デスクトップ自動化： あらゆるアプリケーションやインターフェースとの対話

モデルのサポートについては、ツールリファレンスを参照してください。

セキュリティに関する考慮事項

リスクを最小限に抑えるために、以下のような予防策を検討してください：

直接的なシステム攻撃や事故を防ぐために、最小限の権限を持つ専用の仮想マシンまたはコンテナを使用する。
情報の盗難を防ぐために、アカウントのログイン情報などの機密データへのアクセスをモデルに与えない。
悪意のあるコンテンツへの露出を減らすために、インターネットアクセスをドメインの許可リストに制限する。
現実世界に重大な影響を及ぼす可能性のある決定や、Cookieの受け入れ、金融取引の完了、利用規約への同意など、明示的な同意を必要とするタスクについては、人間に確認を求める。

分類器による防御層が設置されていても、これらの予防策は引き続き重要です。

自社製品でコンピュータ使用を有効にする前に、エンドユーザーに関連するリスクを知らせ、同意を得てください。

コンピュータ使用リファレンス実装

Webインターフェース、Dockerコンテナ、ツール実装の例、エージェントループを含むコンピュータ使用リファレンス実装で始めましょう。

クイックスタート

コンピュータ使用を始める方法は次のとおりです：

client = anthropic.Anthropic()

response = client.beta.messages.create(
    model="claude-opus-5",  # or another compatible model
    max_tokens=1024,
    tools=[
        {
            "type": "computer_20251124",
            "name": "computer",
            "display_width_px": 1024,
            "display_height_px": 768,
            "display_number": 1,
        },
        {"type": "text_editor_20250728", "name": "str_replace_based_edit_tool"},
        {"type": "bash_20250124", "name": "bash"},
    ],
    messages=[{"role": "user", "content": "Save a picture of a cat to my desktop."}],
    betas=["computer-use-2025-11-24"],
)
print(response)

コンピュータ使用の仕組み

Claudeにコンピュータ使用ツールとユーザープロンプトを提供する
- コンピュータ使用ツール（および必要に応じて他のツール）をAPIリクエストに追加します。
- デスクトップ操作を必要とするユーザープロンプトを含めます。たとえば、「猫の画像をデスクトップに保存して」などです。
Claudeがコンピュータ使用ツールを選択する
- Claudeは、コンピュータ使用ツールがユーザーのクエリに役立つかどうかを評価します。
- 役立つ場合、Claudeは適切にフォーマットされたツール使用リクエストを構築します。
- APIレスポンスのstop_reasonがtool_useとなり、ツール使用リクエストであることを示します。
ツール入力を抽出し、コンピュータ上でツールを評価し、結果を返す
- あなたの側で、Claudeのリクエストからツール名と入力を抽出します。
- コンテナまたは仮想マシン上でツールを使用します。
- tool_resultコンテンツブロックを含む新しいuserメッセージで会話を続けます。
Claudeはタスクが完了するまでコンピュータ使用ツールを呼び出し続ける
- Claudeはツールの結果を分析して、さらにツール使用が必要か、タスクが完了したかを判断します。
- Claudeが別のツールが必要と判断した場合、再びtool_useのstop_reasonで応答するので、ステップ3に戻る必要があります。
- そうでない場合は、ユーザーへのテキスト応答を作成します。

コンピューティング環境

仮想ディスプレイ： Claudeがスクリーンショットを通じて見て、マウス/キーボードアクションで制御するデスクトップインターフェースをレンダリングする仮想X11ディスプレイサーバー（Xvfbを使用）。
デスクトップ環境： Linux上で動作するウィンドウマネージャー（Mutter）とパネル（Tint2）を備えた軽量UI。Claudeが対話するための一貫したグラフィカルインターフェースを提供します。
アプリケーション： Firefox、LibreOffice、テキストエディタ、ファイルマネージャーなど、Claudeがタスクを完了するために使用できるプリインストールされたLinuxアプリケーション。
ツール実装： Claudeの抽象的なツールリクエスト（「マウスを移動」や「スクリーンショットを撮る」など）を仮想環境での実際の操作に変換する統合コード。
エージェントループ： Claudeと環境の間の通信を処理し、Claudeのアクションを環境に送信し、結果（スクリーンショット、コマンド出力）をClaudeに返すプログラム。

コンピュータ使用を使用する場合、Claudeはこの環境に直接接続しません。代わりに、あなたのアプリケーションが：

Claudeのツール使用リクエストを受信する
それらをコンピューティング環境でのアクションに変換する
結果（スクリーンショットやコマンド出力など）をキャプチャする
これらの結果をClaudeに返す

コンピュータ使用の実装方法

リファレンス実装から始める

コンピュータ使用を始めるために必要なすべてを含むリファレンス実装が利用可能です：

Claudeとのコンピュータ使用に適したコンテナ化された環境
コンピュータ使用ツールの実装
Claude APIと対話し、コンピュータ使用ツールを実行するエージェントループ
コンテナ、エージェントループ、ツールと対話するためのWebインターフェース

エージェントループを理解する

def sampling_loop(model, messages, max_iterations=10):
    """
    Run the computer-use agent loop until Claude stops requesting tools
    or the iteration limit is reached.
    """
    for _ in range(max_iterations):
        response = client.beta.messages.create(
            model=model,
            max_tokens=4096,
            messages=messages,
            tools=TOOLS,
            betas=["computer-use-2025-11-24"],
        )

        # Claudeの応答を会話履歴に追加
        messages.append({"role": "assistant", "content": response.content})

        # Claudeが要求したツールを実行し、結果を収集
        tool_results = process_tool_calls(response)
        if not tool_results:
            return messages  # No more tool use; task complete

        # 次のイテレーションのためにツール結果をClaudeに返送
        messages.append({"role": "user", "content": tool_results})

    return messages

このドキュメントの残りを読む前に、リファレンス実装を試してみてください。

プロンプトでモデルのパフォーマンスを最適化する

最高品質の出力を得るためのヒントをいくつか紹介します：

シンプルで明確に定義されたタスクを指定し、各ステップに対して明示的な指示を提供します。
Claudeは、結果を明示的に確認せずにアクションの結果を想定することがあります。これを防ぐには、次のようにClaudeにプロンプトを与えることができます：After each step, take a screenshot and carefully evaluate if you have achieved the right outcome. Explicitly show your thinking: "I have evaluated step X..." If not correct, try again. Only when you confirm a step was executed correctly should you move on to the next one.
一部のUI要素（ドロップダウンやスクロールバーなど）は、Claudeがマウス操作で扱うのが難しい場合があります。これが発生した場合は、キーボードショートカットを使用するようにモデルにプロンプトを与えてみてください。
繰り返し可能なタスクやUI操作については、成功した結果のスクリーンショットとツール呼び出しの例をプロンプトに含めます。
モデルにログインさせる必要がある場合は、<robot_credentials>などのXMLタグ内にユーザー名とパスワードをプロンプトで提供します。ログインを必要とするアプリケーション内でコンピュータ使用を使用すると、プロンプトインジェクションの結果として悪い結果が生じるリスクが高まります。モデルにログイン認証情報を提供する前に、ジェイルブレイクとプロンプトインジェクションの軽減を確認してください。
ユーザーターンのcontent配列を構築する際は、指示テキストをスクリーンショット画像の前に配置します。画像が処理される前にターゲットの説明を提供することで、クリックの精度が向上します。
enable_zoom: trueを設定したcomputer_20251124を使用する場合、サイドバー内のファイル名、タブのタイトル、ステータスバーのテキスト、行番号、ボタンのラベルなど、スクリーンショットのデフォルト解像度では判読できない小さなテキストや特定のUI要素について尋ねられると、Claudeは領域をズームインします。期待どおりにClaudeがズームしない場合は、画面全体ではなく特定の領域や要素について尋ねてください。

システムプロンプト

You have access to a set of functions you can use to answer the user's question. This includes access to a sandboxed computing environment. You do NOT currently have the ability to inspect files or interact with external resources, except by invoking the below functions.

通常のツール使用と同様に、ユーザーが提供するsystemパラメータは引き続き尊重され、結合されたシステムプロンプトの構築に使用されます。

利用可能なアクション

コンピュータ使用ツールは以下のアクションをサポートしています：

基本アクション（すべてのバージョン）

screenshot: 現在のディスプレイをキャプチャ
left_click: 座標[x, y]でクリック
type: テキスト文字列を入力
key: キーまたはキーの組み合わせを押す（たとえば、"ctrl+s"）
mouse_move: カーソルを座標に移動

拡張アクション（computer_20250124以降） computer_20250124とcomputer_20251124で利用可能：

scroll: 量を制御して任意の方向にスクロール
left_click_drag: 座標間でクリックしてドラッグ
right_click、middle_click: 追加のマウスボタン
double_click、triple_click: 複数回クリック
left_mouse_down、left_mouse_up: きめ細かいクリック制御
hold_key: 指定された時間（秒単位）キーを押し続ける
wait: アクション間の一時停止

拡張アクション（computer_20251124） Claude Opus 5、Claude Sonnet 5、Claude Opus 4.8、Claude Opus 4.7、Claude Opus 4.6、Claude Sonnet 4.6、Claude Opus 4.5で利用可能：

computer_20250124のすべてのアクション
zoom: 画面の特定の領域をフル解像度で表示します。ツール定義でenable_zoom: trueが必要です。検査する領域の左上と右下の角を定義する座標[x1, y1, x2, y2]を持つregionパラメータを取ります。

ツールパラメータ

パラメータ	必須	説明
`type`	はい	ツールバージョン（`computer_20251124`または`computer_20250124`）
`name`	はい	"computer"である必要があります
`display_width_px`	はい	ディスプレイの幅（ピクセル単位）
`display_height_px`	はい	ディスプレイの高さ（ピクセル単位）
`display_number`	いいえ	X11環境のディスプレイ番号
`enable_zoom`	いいえ	ズームアクションを有効にする（`computer_20251124`のみ）。`true`に設定すると、Claudeが特定の画面領域にズームできるようになります。デフォルト：`false`

思考との組み合わせ

コンピュータ使用と思考を組み合わせる方法については、思考を参照してください。

コンピュータ使用に特化して、内部ベンチマークでは以下のeffort設定が推奨されています：

Claude Opus 4.7： デフォルトとしてhighを使用します。高スループットまたはコスト重視のワークロードにはlowを使用します。
Claude Sonnet 4.6とClaude Opus 4.6： デフォルトとしてmediumを使用します（精度対コスト比が最良）。maxは、UIタスクの精度を向上させずにトークンコストを増やすため、避けてください。これらのモデルでは、lowは思考を完全に無効にするよりも少ない出力トークンを使用します（ミスが少ないほど再試行が少なくなります）。そのため、コスト重視のループには強力な選択肢となります。

他のツールでコンピュータ使用を拡張する

カスタムコンピュータ使用環境を構築する

Claudeとのコンピュータ使用に適した仮想化またはコンテナ化された環境
Anthropicスキーマのコンピュータ使用ツールの少なくとも1つの実装
Claude APIと対話し、ツール実装を使用してtool_useの結果を実行するエージェントループ
エージェントループを開始するためのユーザー入力を可能にするAPIまたはUI

コンピュータ使用ツールを実装する

コンピューティング環境をセットアップする
Claudeが対話する仮想ディスプレイを作成するか、既存のディスプレイに接続します。これには通常、Xvfb（X Virtual Framebuffer）または同様の技術のセットアップが含まれます。

アクションハンドラーを実装する

Claudeがリクエストする可能性のある各アクションタイプを処理する関数を作成します：

def capture_screenshot():
    return "<screenshot data>"


def click_at(x, y):
    return f"clicked at ({x}, {y})"


def type_text(text):
    return f"typed: {text}"


def handle_computer_action(action_type, params):
    if action_type == "screenshot":
        return capture_screenshot()
    elif action_type == "left_click":
        x, y = params["coordinate"]
        return click_at(x, y)
    elif action_type == "type":
        return type_text(params["text"])
    # 必要に応じて他のアクションを処理
    return f"unhandled action: {action_type}"

Claudeのツール呼び出しを処理する

Claudeの応答からツール呼び出しを抽出して実行します：

def process_tool_calls(response):
    tool_results = []
    for block in response.content:
        if block.type == "tool_use":
            action = block.input["action"]
            result = handle_computer_action(action, block.input)
            tool_results.append(
                {
                    "type": "tool_result",
                    "tool_use_id": block.id,
                    "content": result,
                }
            )
    return tool_results

エージェントループを実装する

Claudeがタスクを完了するまで続くループを作成します：

def sampling_loop(model, messages, max_iterations=10):
    """
    Run the computer-use agent loop until Claude stops requesting tools
    or the iteration limit is reached.
    """
    for _ in range(max_iterations):
        response = client.beta.messages.create(
            model=model,
            max_tokens=4096,
            messages=messages,
            tools=TOOLS,
            betas=["computer-use-2025-11-24"],
        )

        # Claudeの応答を会話履歴に追加
        messages.append({"role": "assistant", "content": response.content})

        # Claudeが要求したツールを実行し、結果を収集
        tool_results = process_tool_calls(response)
        if not tool_results:
            return messages  # No more tool use; task complete

        # 次のイテレーションのためにツール結果をClaudeに返送
        messages.append({"role": "user", "content": tool_results})

    return messages

エラーを処理する

コンピュータ使用ツールを実装する際、さまざまなエラーが発生する可能性があります。以下はその処理方法です：

画像制限に合わせてスクリーンショットのサイズを調整する

import math


def get_scale_factor(width, height):
    """Calculate scale factor to meet API constraints."""
    long_edge = max(width, height)
    total_pixels = width * height

    long_edge_scale = 1568 / long_edge
    total_pixels_scale = math.sqrt(1_150_000 / total_pixels)

    return min(1.0, long_edge_scale, total_pixels_scale)


# スクリーンショットをキャプチャする際
scale = get_scale_factor(screen_width, screen_height)
scaled_width = int(screen_width * scale)
scaled_height = int(screen_height * scale)

# Claudeに送信する前に画像をスケーリング後の寸法にリサイズする
screenshot = capture_and_resize(scaled_width, scaled_height)


# Claudeの座標を処理する際は、元のスケールに戻す
def execute_click(x, y):
    screen_x = x / scale
    screen_y = y / scale
    perform_click(screen_x, screen_y)

クリックの問題を診断する

クリックがターゲットを外す場合、原因は通常以下のいずれかです：

症状	考えられる原因	試すこと
クリックが一貫して一方向にずれる	`display_width_px`/`display_height_px`が実際に送信された画像の寸法と一致していない	ディスプレイの寸法が送信するスクリーンショットと正確に一致していることを確認する
クリックは正しい領域に着地するがターゲットを外す	ターゲットが非常に小さい、4K以上のソースのダウンスケールで詳細が失われた、またはアスペクト比が歪んでいる	`enable_zoom: true`を設定する。低いDPIでキャプチャするか、関連する領域にクロップする。サイズ変更時にアスペクト比を維持する
Claudeが完全に間違った要素をクリックする	曖昧な指示、または近くに視覚的に類似した要素がある	位置を示すプロンプトを使用する（「右下の青い送信ボタン」）。操作をより小さなステップに分割する
精度が一貫して低い	解像度が低すぎる	ベースラインとして1280x720を試す

実装のベストプラクティスに従う

コンピュータ使用の制限を理解する

コンピュータ使用はベータ版です。以下の制限に留意してください：

レイテンシ： 人間とAIの対話における現在のコンピュータ使用のレイテンシは、通常の人間が指示するコンピュータ操作と比較して遅すぎる場合があります。信頼できる環境で、速度が重要でないユースケース（たとえば、バックグラウンドでの情報収集、自動化されたソフトウェアテスト）に焦点を当ててください。
コンピュータビジョンの精度と信頼性： Claudeはアクションを生成する際に特定の座標を出力するときに、ミスをしたり幻覚を起こしたりする可能性があります。拡張思考は、モデルの推論を理解し、潜在的な問題を特定するのに役立ちます。
ツール選択の精度と信頼性： Claudeはアクションを生成する際にツールを選択するときにミスをしたり幻覚を起こしたり、問題を解決するために予期しないアクションを取ったりする可能性があります。さらに、ニッチなアプリケーションや複数のアプリケーションと同時に対話する場合、信頼性が低下する可能性があります。複雑なタスクをリクエストする際は、モデルに慎重にプロンプトを与えてください。
スクロールの信頼性： スクロールアクションは方向制御（上、下、左、右）と指定された量をサポートしています。スクロールが効果を発揮しないアプリケーションでは、Page Downなどのキーボードの代替手段が役立ちます。
スプレッドシートの操作： 個々のセルを選択するには、きめ細かいマウス制御アクション（left_mouse_down、left_mouse_up）と修飾キーの組み合わせを使用します。複雑なスプレッドシート操作には、依然として複数回の試行が必要な場合があります。
ソーシャルおよびコミュニケーションプラットフォームでのアカウント作成とコンテンツ生成： ClaudeはWebサイトを訪問しますが、ソーシャルメディアのWebサイトやプラットフォーム全体でアカウントを作成したり、コンテンツを生成・共有したり、その他の方法で人間になりすましたりするClaudeの能力は制限されています。この機能は将来更新される可能性があります。
脆弱性： ジェイルブレイクやプロンプトインジェクションなどの脆弱性は、ベータ版のコンピュータ使用APIを含むフロンティアAIシステム全体で存続する可能性があります。状況によっては、Claudeはコンテンツ内に見つかったコマンドに従うことがあり、それがあなたの指示と矛盾する場合もあります。たとえば、Webページ上の指示や画像に含まれる指示が、あなたの指示を上書きしたり、Claudeにミスをさせたりする可能性があります。以下を検討してください：
- コンピュータ使用を、最小限の権限を持つ仮想マシンやコンテナなどの信頼できる環境に制限する
- 厳格な監視なしに、コンピュータ使用に機密アカウントやデータへのアクセスを与えない
- アプリケーションでコンピュータ使用機能に必要な権限を有効にしたりリクエストしたりする前に、エンドユーザーに関連するリスクを知らせ、同意を得る
不適切または違法な行為： Anthropicの利用規約に基づき、法律や利用規定（Acceptable Use Policy）に違反するためにコンピュータ使用を使用してはなりません。

データ保持

料金

コンピュータ使用は標準のツール使用の価格に従います。コンピュータ使用ツールを使用する場合：

システムプロンプトのオーバーヘッド: コンピュータ使用ベータは、システムプロンプトに466〜499トークンを追加します

コンピュータ使用ツールのトークン使用量:

モデル	ツール定義あたりの入力トークン
Claude 4.x モデル	735トークン

追加のトークン消費:

スクリーンショット画像（Visionの価格を参照）
Claudeに返されるツール実行結果

次のステップ

ツール使用のトラブルシューティング

症状から修正方法への診断テーブルで、最も一般的なツール使用のエラーを修正します。

リファレンス実装

完全なDockerベースの実装で始めましょう

Claudeでのツール使用

ベストプラクティスの詳細

解像度、思考の労力、コンテキスト管理に関するベンチマークに基づく推奨事項

Was this page helpful?

概要

セキュリティに関する考慮事項

クイックスタート

コンピュータ使用の仕組み

コンピューティング環境

コンピュータ使用の実装方法

リファレンス実装から始める

エージェントループを理解する

プロンプトでモデルのパフォーマンスを最適化する

システムプロンプト

利用可能なアクション

アクションの例

クリックおよびスクロールアクションでの修飾キー

ツールパラメータ

思考との組み合わせ

他のツールでコンピュータ使用を拡張する

カスタムコンピュータ使用環境を構築する

コンピュータ使用ツールを実装する

エラーを処理する

スクリーンショットキャプチャの失敗

無効な座標

アクション実行の失敗

画像制限に合わせてスクリーンショットのサイズを調整する

クリックの問題を診断する

実装のベストプラクティスに従う

適切なディスプレイ解像度を使用する

適切なスクリーンショット処理を実装する

プロンプトキャッシングのためにスクリーンショット履歴を管理する

アクションの遅延を追加する

実行前にアクションを検証する

デバッグのためにアクションをログに記録する

コンピュータ使用の制限を理解する

データ保持

料金

次のステップ

概要

セキュリティに関する考慮事項

クイックスタート

コンピュータ使用の仕組み

コンピューティング環境

コンピュータ使用の実装方法

リファレンス実装から始める

エージェントループを理解する

プロンプトでモデルのパフォーマンスを最適化する

システムプロンプト

利用可能なアクション

アクションの例

クリックおよびスクロールアクションでの修飾キー

ツールパラメータ

思考との組み合わせ

他のツールでコンピュータ使用を拡張する

カスタムコンピュータ使用環境を構築する

コンピュータ使用ツールを実装する

エラーを処理する

スクリーンショットキャプチャの失敗

無効な座標

アクション実行の失敗

画像制限に合わせてスクリーンショットのサイズを調整する

クリックの問題を診断する

実装のベストプラクティスに従う

適切なディスプレイ解像度を使用する

適切なスクリーンショット処理を実装する

プロンプトキャッシングのためにスクリーンショット履歴を管理する

アクションの遅延を追加する

実行前にアクションを検証する

デバッグのためにアクションをログに記録する

コンピュータ使用の制限を理解する

データ保持

料金

次のステップ

概要

セキュリティに関する考慮事項

クイックスタート

コンピュータ使用の仕組み

コンピューティング環境

コンピュータ使用の実装方法

リファレンス実装から始める

エージェントループを理解する

プロンプトでモデルのパフォーマンスを最適化する

システムプロンプト

利用可能なアクション

ツールパラメータ

思考との組み合わせ

他のツールでコンピュータ使用を拡張する

カスタムコンピュータ使用環境を構築する

コンピュータ使用ツールを実装する

エラーを処理する

画像制限に合わせてスクリーンショットのサイズを調整する

クリックの問題を診断する

実装のベストプラクティスに従う

コンピュータ使用の制限を理解する

データ保持

料金

次のステップ

概要

セキュリティに関する考慮事項

クイックスタート

コンピュータ使用の仕組み

コンピューティング環境

コンピュータ使用の実装方法

リファレンス実装から始める

エージェントループを理解する

プロンプトでモデルのパフォーマンスを最適化する

システムプロンプト

利用可能なアクション

ツールパラメータ

思考との組み合わせ

他のツールでコンピュータ使用を拡張する

カスタムコンピュータ使用環境を構築する

コンピュータ使用ツールを実装する

エラーを処理する

画像制限に合わせてスクリーンショットのサイズを調整する

クリックの問題を診断する

実装のベストプラクティスに従う

コンピュータ使用の制限を理解する

データ保持

料金

次のステップ