コンピュータ使用ツール

Claudeは、コンピュータ使用ツールを通じてコンピュータ環境と対話できます。このツールは、自律的なデスクトップ操作のためのスクリーンショット機能とマウス/キーボード制御を提供します。実際のウェブサイトにおける自律的なウェブナビゲーションのベンチマークであるWebArenaにおいて、Claudeはシングルエージェントシステムの中で最先端の結果を達成しており、複数ステップのブラウザタスクをエンドツーエンドで完了する強力な能力を示しています。



概要

コンピュータ使用は、Claudeがデスクトップ環境と対話できるようにするベータ機能です。このツールは以下を提供します：

• スクリーンショットキャプチャ： 現在画面に表示されている内容を確認
• マウス制御： クリック、ドラッグ、カーソル移動
• キーボード入力： テキスト入力とキーボードショートカットの使用
• デスクトップ自動化： あらゆるアプリケーションやインターフェースとの対話

コンピュータ使用は、より包括的な自動化ワークフローのためにbashやテキストエディタなどの他のツールと組み合わせて拡張できますが、コンピュータ使用とは具体的には、デスクトップ環境を見て制御するコンピュータ使用ツールの機能を指します。

モデルのサポートについては、ツールリファレンスを参照してください。



セキュリティに関する考慮事項

コンピュータ使用は、標準的なAPI機能とは異なる固有のリスクを伴うベータ機能です。これらのリスクは、インターネットと対話する際に高まります。

状況によっては、Claudeはユーザーの指示と矛盾する場合でも、コンテンツ内に見つかったコマンドに従うことがあります。たとえば、ウェブページ上や画像に含まれるClaudeへの指示が、本来の指示を上書きしたり、Claudeにミスをさせたりする可能性があります。プロンプトインジェクションに関連するリスクを回避するために、Claudeを機密データやアクションから隔離する予防措置を講じてください。

Anthropicは、これらのプロンプトインジェクションに抵抗するようにモデルを訓練し、追加の防御層を追加しました。コンピュータ使用ツールを使用すると、分類器がプロンプトに対して自動的に実行され、プロンプトインジェクションの可能性のあるインスタンスにフラグを立てます。これらの分類器がスクリーンショット内で潜在的なプロンプトインジェクションを特定すると、次のアクションに進む前にユーザーの確認を求めるようにモデルを自動的に誘導します。この追加の保護は、すべてのユースケース（たとえば、人間が介在しないユースケース）に理想的とは限らないため、オプトアウトして無効にしたい場合は、サポートにお問い合わせください。

分類器による防御層が設置されていても、これらの予防措置は引き続き重要です。

自社製品でコンピュータ使用を有効にする前に、エンドユーザーに関連するリスクを通知し、同意を得てください。



コンピュータ使用リファレンス実装



ウェブインターフェース、Dockerコンテナ、ツール実装例、エージェントループを含むコンピュータ使用リファレンス実装から始めましょう。



クイックスタート

コンピュータ使用を始める方法は次のとおりです：

---



コンピュータ使用の仕組み

ユーザー入力なしでステップ3と4を繰り返すことを「エージェントループ」と呼びます（つまり、Claudeがツール使用リクエストで応答し、アプリケーションがそのリクエストを評価した結果をClaudeに返すことです）。



コンピューティング環境

コンピュータ使用には、Claudeがアプリケーションやウェブと安全に対話できるサンドボックス化されたコンピューティング環境が必要です。この環境には以下が含まれます：

1. 仮想ディスプレイ： Claudeがスクリーンショットを通じて見て、マウス/キーボードアクションで制御するデスクトップインターフェースをレンダリングする仮想X11ディスプレイサーバー（Xvfbを使用）。

2. デスクトップ環境： Linux上で動作するウィンドウマネージャー（Mutter）とパネル（Tint2）を備えた軽量UI。Claudeが対話するための一貫したグラフィカルインターフェースを提供します。

3. アプリケーション： Firefox、LibreOffice、テキストエディタ、ファイルマネージャーなど、Claudeがタスクを完了するために使用できるプリインストールされたLinuxアプリケーション。

4. ツール実装： Claudeの抽象的なツールリクエスト（「マウスを移動」や「スクリーンショットを撮る」など）を仮想環境での実際の操作に変換する統合コード。

5. エージェントループ： Claudeと環境間の通信を処理し、Claudeのアクションを環境に送信し、結果（スクリーンショット、コマンド出力）をClaudeに返すプログラム。

コンピュータ使用を利用する際、Claudeはこの環境に直接接続しません。代わりに、アプリケーションが以下を行います：

1. Claudeのツール使用リクエストを受信する
2. それらをコンピューティング環境でのアクションに変換する
3. 結果（スクリーンショットやコマンド出力など）をキャプチャする
4. これらの結果をClaudeに返す

セキュリティと分離のために、リファレンス実装はこれらすべてを、環境の表示と対話のための適切なポートマッピングを備えたDockerコンテナ内で実行します。

---



コンピュータ使用の実装方法



リファレンス実装から始める

コンピュータ使用を始めるために必要なすべてを含むリファレンス実装が利用可能です：

• Claudeでのコンピュータ使用に適したコンテナ化された環境
• コンピュータ使用ツールの実装
• Claude APIと対話し、コンピュータ使用ツールを実行するエージェントループ
• コンテナ、エージェントループ、ツールと対話するためのウェブインターフェース



エージェントループの理解

コンピュータ使用の中核は「エージェントループ」です。これは、Claudeがツールアクションをリクエストし、アプリケーションがそれらを実行し、結果をClaudeに返すサイクルです。以下は簡略化された例です：

ループは、Claudeがツールをリクエストせずに応答する（タスク完了）か、最大反復回数に達するまで続きます。この安全策により、予期しないAPIコストにつながる可能性のある無限ループを防ぎます。

このドキュメントの残りを読む前に、リファレンス実装を試してみてください。



プロンプトによるモデルパフォーマンスの最適化

最高品質の出力を得るためのヒントをいくつか紹介します：

1. シンプルで明確に定義されたタスクを指定し、各ステップに明示的な指示を提供します。
2. Claudeは、結果を明示的に確認せずにアクションの結果を仮定することがあります。これを防ぐには、After each step, take a screenshot and carefully evaluate if you have achieved the right outcome. Explicitly show your thinking: "I have evaluated step X..." If not correct, try again. Only when you confirm a step was executed correctly should you move on to the next one.のようにClaudeにプロンプトを与えることができます。
3. 一部のUI要素（ドロップダウンやスクロールバーなど）は、Claudeがマウス操作で扱うのが難しい場合があります。このような場合は、モデルにキーボードショートカットを使用するようプロンプトを与えてみてください。
4. 繰り返し可能なタスクやUI操作については、成功した結果のスクリーンショット例とツール呼び出しをプロンプトに含めます。
5. モデルにログインさせる必要がある場合は、<robot_credentials>などのXMLタグ内にユーザー名とパスワードをプロンプトで提供します。ログインを必要とするアプリケーション内でコンピュータ使用を利用すると、プロンプトインジェクションの結果として悪い結果が生じるリスクが高まります。モデルにログイン認証情報を提供する前に、ジェイルブレイクとプロンプトインジェクションの軽減を確認してください。
6. ユーザーターンのcontent配列を構築する際は、指示テキストをスクリーンショット画像の前に配置します。画像が処理される前にターゲットの説明を提供することで、クリックの精度が向上します。
7. enable_zoom: trueを設定してcomputer_20251124を使用する場合、Claudeは、サイドバーのファイル名、タブタイトル、ステータスバーのテキスト、行番号、ボタンラベルなど、スクリーンショットのデフォルト解像度では判読できない小さなテキストや特定のUI要素について尋ねられたときに、その領域にズームインします。期待どおりにClaudeがズームしない場合は、画面全体ではなく特定の領域や要素について尋ねてください。



システムプロンプト

Anthropicスキーマツールのいずれかが Claude API を通じてリクエストされると、コンピュータ使用専用のシステムプロンプトが生成されます。これはツール使用システムプロンプトに似ていますが、次のように始まります：

You have access to a set of functions you can use to answer the user's question. This includes access to a sandboxed computing environment. You do NOT currently have the ability to inspect files or interact with external resources, except by invoking the below functions.

通常のツール使用と同様に、ユーザーが提供するsystem_promptフィールドは引き続き尊重され、結合されたシステムプロンプトの構築に使用されます。



利用可能なアクション

コンピュータ使用ツールは以下のアクションをサポートしています：

基本アクション（すべてのバージョン）

• screenshot： 現在のディスプレイをキャプチャ
• left_click： 座標[x, y]でクリック
• type： テキスト文字列を入力
• key： キーまたはキーの組み合わせを押す（例：「ctrl+s」）
• mouse_move： カーソルを座標に移動

拡張アクション（computer_20250124） コンピュータ使用をサポートするすべてのモデルで利用可能：

• scroll： 任意の方向に量を制御してスクロール
• left_click_drag： 座標間でクリックしてドラッグ
• right_click、middle_click： 追加のマウスボタン
• double_click、triple_click： 複数回クリック
• left_mouse_down、left_mouse_up： きめ細かいクリック制御
• hold_key： 指定された時間（秒単位）キーを押し続ける
• wait： アクション間で一時停止

拡張アクション（computer_20251124） Claude Opus 4.8、Claude Opus 4.7、Claude Opus 4.6、Claude Sonnet 4.6、Claude Opus 4.5で利用可能：

• computer_20250124のすべてのアクション
• zoom： 画面の特定の領域をフル解像度で表示。ツール定義でenable_zoom: trueが必要です。検査する領域の左上と右下の角を定義する座標[x1, y1, x2, y2]を持つregionパラメータを受け取ります。



ツールパラメータ



拡張思考との組み合わせ

コンピュータ使用と拡張思考の組み合わせについては、拡張思考を参照してください。



他のツールによるコンピュータ使用の拡張

コンピュータ使用と並行して他のツールを追加するには、同じtools配列にそれらを含めます。クイックスタートセクションでは、bashツールとテキストエディタツールを使用したこのパターンを示しています。同じ方法で独自のカスタムツール定義を追加できます。



カスタムコンピュータ使用環境の構築

リファレンス実装は、コンピュータ使用を始めるのに役立つことを目的としています。Claudeにコンピュータを使用させるために必要なすべてのコンポーネントが含まれています。ただし、ニーズに合わせて独自のコンピュータ使用環境を構築することもできます。以下が必要です：

• Claudeでのコンピュータ使用に適した仮想化またはコンテナ化された環境
• Anthropicスキーマのコンピュータ使用ツールの少なくとも1つの実装
• Claude APIと対話し、ツール実装を使用してtool_useの結果を実行するエージェントループ
• エージェントループを開始するためのユーザー入力を可能にするAPIまたはUI



コンピュータ使用ツールの実装

コンピュータ使用ツールは、スキーマレスツールとして実装されています。このツールを使用する場合、他のツールのように入力スキーマを提供する必要はありません。スキーマはClaudeのモデルに組み込まれており、変更できません。



エラーの処理

コンピュータ使用ツールを実装する際、さまざまなエラーが発生する可能性があります。以下はそれらの処理方法です：



高解像度での座標スケーリングの処理

APIは画像を最長辺で最大1568ピクセル、合計約1.15メガピクセルに制限します（詳細は画像のリサイズを参照）。たとえば、1512x982の画面は約1330x864にダウンサンプリングされます。Claudeはこの小さい画像を分析し、その空間での座標を返しますが、ツールは元の画面空間でクリックを実行します。

座標変換を処理しない限り、これによりClaudeのクリック座標がターゲットを外す可能性があります。

これを修正するには、スクリーンショットを自分でリサイズし、Claudeの座標を元のスケールに戻します：



クリックの問題の診断

クリックがターゲットを外す場合、原因は通常以下のいずれかです：



実装のベストプラクティスに従う

---



コンピュータ使用の制限事項を理解する

コンピュータ使用機能はベータ版です。Claudeの能力は最先端ですが、開発者は以下の制限事項を認識しておく必要があります。

1. レイテンシ： 人間とAIのインタラクションにおける現在のコンピュータ使用の「latency」（レイテンシ）は、通常の人間が指示するコンピュータ操作と比較して遅すぎる場合があります。信頼できる環境において、速度が重要でないユースケース（例：バックグラウンドでの情報収集、自動化されたソフトウェアテスト）に焦点を当ててください。
2. コンピュータビジョンの精度と信頼性： Claudeはアクションを生成する際に特定の座標を出力するときに、間違いを犯したりハルシネーションを起こしたりする可能性があります。拡張思考は、モデルの推論を理解し、潜在的な問題を特定するのに役立ちます。
3. ツール選択の精度と信頼性： Claudeはアクションを生成する際にツールを選択するときに間違いを犯したりハルシネーションを起こしたり、問題を解決するために予期しないアクションを取ったりする可能性があります。さらに、ニッチなアプリケーションや複数のアプリケーションを同時に操作する場合、信頼性が低下する可能性があります。複雑なタスクを要求する際は、モデルに慎重にプロンプトを与えてください。
4. スクロールの信頼性： スクロールアクションは方向制御（上、下、左、右）と指定された量をサポートしています。スクロールが効果を発揮しないアプリケーションでは、Page Downなどのキーボードによる代替手段が役立つ場合があります。
5. スプレッドシートの操作： 個々のセルを選択するには、細かいマウス制御アクション（left_mouse_down、left_mouse_up）と修飾キーの組み合わせを使用してください。複雑なスプレッドシート操作には、依然として複数回の試行が必要な場合があります。
6. ソーシャルおよびコミュニケーションプラットフォームでのアカウント作成とコンテンツ生成： ClaudeはWebサイトを訪問しますが、ソーシャルメディアのWebサイトやプラットフォーム全体でアカウントを作成したり、コンテンツを生成・共有したり、その他の方法で人間になりすましたりするClaudeの能力は制限されています。この機能は将来更新される可能性があります。
7. 脆弱性： ジェイルブレイクやプロンプトインジェクションなどの脆弱性は、ベータ版のコンピュータ使用APIを含む最先端のAIシステム全体で存続する可能性があります。状況によっては、Claudeはコンテンツ内にあるコマンドに従うことがあり、場合によってはユーザーの指示と矛盾することもあります。例えば、Webページ上や画像に含まれるClaudeへの指示が、本来の指示を上書きしたり、Claudeに間違いを犯させたりする可能性があります。以下を検討してください。 a. コンピュータ使用を、最小限の権限を持つ仮想マシンやコンテナなどの信頼できる環境に限定する b. 厳格な監視なしに、機密性の高いアカウントやデータへのコンピュータ使用アクセスを与えることを避ける c. アプリケーションでコンピュータ使用機能に必要な権限を有効化または要求する前に、エンドユーザーに関連するリスクを通知し、同意を得る

Claudeのコンピュータ使用アクションとログは常に慎重に確認および検証してください。人間による監視なしに、完璧な精度や機密性の高いユーザー情報を必要とするタスクにClaudeを使用しないでください。



データ保持

コンピュータ使用はクライアント側のツールです。セッションに関わるすべてのスクリーンショット、マウスアクション、キーボード入力、およびファイルは、Anthropicではなく、お客様の環境でキャプチャおよび保存されます。AnthropicはAPI呼び出しの一部としてスクリーンショット画像とアクションリクエストをリアルタイムで処理しますが、レスポンスが返された後はそれらを保持しません。

コンピュータ使用データがどこにどのように保存されるかはお客様のアプリケーションが制御するため、コンピュータ使用はZDR（ゼロデータ保持）の対象となります。すべての機能におけるZDRの対象については、APIとデータ保持を参照してください。



料金

コンピュータ使用は、標準のツール使用の料金体系に従います。コンピュータ使用ツールを使用する場合：

システムプロンプトのオーバーヘッド：コンピュータ使用ベータ版は、システムプロンプトに466〜499トークンを追加します

コンピュータ使用ツールのトークン使用量：

追加のトークン消費：

• スクリーンショット画像（Visionの料金を参照）
• Claudeに返されるツール実行結果



次のステップ

client = anthropic.Anthropic()

response = client.beta.messages.create(
    model="claude-opus-4-8",  # or another compatible model
    max_tokens=1024,
    tools=[
        {
            "type": "computer_20251124",
            "name": "computer",
            "display_width_px": 1024,
            "display_height_px": 768,
            "display_number": 1,
        },
        {"type": "text_editor_20250728", "name": "str_replace_based_edit_tool"},
        {"type": "bash_20250124", "name": "bash"},
    ],
    messages=[{"role": "user", "content": "Save a picture of a cat to my desktop."}],
    betas=["computer-use-2025-11-24"],
)
print(response)