コンピュータ使用ツール

Claudeはコンピュータ使用ツールを通じてコンピュータ環境と対話でき、スクリーンショット機能とマウス/キーボード制御による自律的なデスクトップ操作が可能です。

概要

コンピュータ使用はベータ版の機能で、Claudeがデスクトップ環境と対話することを可能にします。このツールは以下を提供します:

• スクリーンショット取得: 現在画面に表示されているものを確認
• マウス制御: クリック、ドラッグ、カーソル移動
• キーボード入力: テキスト入力とキーボードショートカット
• デスクトップ自動化: あらゆるアプリケーションまたはインターフェースと対話

コンピュータ使用はbashやテキストエディタなどの他のツールで拡張でき、より包括的な自動化ワークフローが可能ですが、コンピュータ使用は特にコンピュータ使用ツールのデスクトップ環境を見て制御する機能を指します。

モデル互換性

コンピュータ使用は以下のClaudeモデルで利用可能です:

セキュリティに関する考慮事項

クイックスタート

コンピュータ使用を始める方法は以下の通りです:

コンピュータ使用の仕組み

ユーザー入力なしでステップ3と4の繰り返しを「エージェントループ」と呼びます。つまり、Claudeがツール使用リクエストで応答し、アプリケーションがそのリクエストの評価結果でClaudeに応答します。

Claudeはコンピュータ使用ツールを通じてコンピュータ環境と相互作用できます。このツールはスクリーンショット機能とマウス/キーボード制御を提供し、自律的なデスクトップ相互作用を実現します。

概要

コンピュータ使用はベータ機能で、Claudeがデスクトップ環境と相互作用することを可能にします。このツールは以下を提供します：

• スクリーンショットキャプチャ：現在画面に表示されているものを確認
• マウス制御：クリック、ドラッグ、カーソル移動
• キーボード入力：テキスト入力とキーボードショートカット
• デスクトップオートメーション：任意のアプリケーションまたはインターフェースと相互作用

コンピュータ使用はbashやテキストエディタなどの他のツールで拡張でき、より包括的なオートメーションワークフローが可能ですが、コンピュータ使用は特にコンピュータ使用ツールのデスクトップ環境を見て制御する機能を指します。

モデル互換性

コンピュータ使用は以下のClaudeモデルで利用可能です：

セキュリティに関する考慮事項

クイックスタート

コンピュータ使用を開始する方法は以下の通りです：

コンピュータ使用の仕組み

ユーザー入力なしでステップ3と4の繰り返しを「エージェントループ」と呼びます。つまり、Claudeがツール使用リクエストで応答し、アプリケーションがそのリクエストの評価結果でClaudeに応答します。

コンピューティング環境

コンピュータ使用には、Claudeがアプリケーションとウェブと安全に相互作用できるサンドボックス化されたコンピューティング環境が必要です。この環境には以下が含まれます：

1. 仮想ディスプレイ：仮想X11ディスプレイサーバー（Xvfbを使用）で、Claudeがスクリーンショットを通じて見て、マウス/キーボードアクションで制御するデスクトップインターフェースをレンダリングします。

2. デスクトップ環境：Linuxで実行されるウィンドウマネージャー（Mutter）とパネル（Tint2）を備えた軽量UI。Claudeが相互作用するための一貫したグラフィカルインターフェースを提供します。

3. アプリケーション：Firefox、LibreOffice、テキストエディタ、ファイルマネージャーなど、Claudeがタスクを完了するために使用できるプリインストールされたLinuxアプリケーション。

4. ツール実装：Claudeの抽象的なツールリクエスト（「マウスを移動する」や「スクリーンショットを撮る」など）を仮想環境での実際の操作に変換する統合コード。

5. エージェントループ：Claude と環境間の通信を処理し、Claudeのアクションを環境に送信し、結果（スクリーンショット、コマンド出力）をClaudeに返すプログラム。

コンピュータ使用を使用する場合、Claudeはこの環境に直接接続しません。代わりに、アプリケーションは：

1. Claudeのツール使用リクエストを受け取ります
2. それらをコンピューティング環境のアクションに変換します
3. 結果（スクリーンショット、コマンド出力など）をキャプチャします
4. これらの結果をClaudeに返します

セキュリティと隔離のため、リファレンス実装はすべてをDockerコンテナ内で実行し、環境を表示および相互作用するための適切なポートマッピングを備えています。

コンピュータ使用の実装方法

リファレンス実装から始める

コンピュータ使用を素早く開始するために必要なすべてを含むリファレンス実装を構築しました：

• Claudeでのコンピュータ使用に適したコンテナ化環境
• コンピュータ使用ツールの実装
• Claude APIと相互作用し、コンピュータ使用ツールを実行するエージェントループ
• コンテナ、エージェントループ、ツールと相互作用するウェブインターフェース。

マルチエージェントループを理解する

コンピュータ使用の中核は「エージェントループ」です。これはClaudeがツールアクションをリクエストし、アプリケーションがそれらを実行し、結果をClaudeに返すサイクルです。簡略化された例を以下に示します：

async def sampling_loop(
    *,
    model: str,
    messages: list[dict],
    api_key: str,
    max_tokens: int = 4096,
    tool_version: str,
    thinking_budget: int | None = None,
    max_iterations: int = 10,  # 無限ループを防ぐため反復制限を追加
):
    """
    Claudeコンピュータ使用相互作用のための簡単なエージェントループ。

    この関数は以下の間のやり取りを処理します：
    1. ユーザーメッセージをClaudeに送信
    2. Claudeがツール使用をリクエスト
    3. アプリケーションがそれらのツールを実行
    4. ツール結果をClaudeに送信
    """
    # ツールとAPIパラメータを設定
    client = Anthropic(api_key=api_key)
    beta_flag = "computer-use-2025-01-24" if "20250124" in tool_version else "computer-use-2024-10-22"

    # ツールを設定 - これらは他の場所で既に初期化されているはずです
    tools = [
        {"type": f"computer_{tool_version}", "name": "computer", "display_width_px": 1024, "display_height_px": 768},
        {"type": f"text_editor_{tool_version}", "name": "str_replace_editor"},
        {"type": f"bash_{tool_version}", "name": "bash"}
    ]

    # メインエージェントループ（実行不可能なAPIコストを防ぐため反復制限付き）
    iterations = 0
    while True and iterations < max_iterations:
        iterations += 1
        # オプションのシンキングパラメータを設定（Claude Sonnet 3.7用）
        thinking = None
        if thinking_budget:
            thinking = {"type": "enabled", "budget_tokens": thinking_budget}

        # Claude APIを呼び出す
        response = client.beta.messages.create(
            model=model,
            max_tokens=max_tokens,
            messages=messages,
            tools=tools,
            betas=[beta_flag],
            thinking=thinking
        )

        # Claudeの応答を会話履歴に追加
        response_content = response.content
        messages.append({"role": "assistant", "content": response_content})

        # Claudeがツールを使用したかどうかを確認
        tool_results = []
        for block in response_content:
            if block.type == "tool_use":
                # 実際のアプリケーションでは、ここでツールを実行します
                # 例えば：result = run_tool(block.name, block.input)
                result = {"result": "Tool executed successfully"}

                # Claudeの結果をフォーマット
                tool_results.append({
                    "type": "tool_result",
                    "tool_use_id": block.id,
                    "content": result
                })

        # ツールが使用されなかった場合、Claudeは完了 - 最終メッセージを返す
        if not tool_results:
            return messages

        # 次のClaudeイテレーション用にツール結果をメッセージに追加
        messages.append({"role": "user", "content": tool_results})

ループはClaudeがツールをリクエストせずに応答するか（タスク完了）、最大反復制限に達するまで続きます。このセーフガードは、予期しないAPIコストをもたらす可能性のある無限ループを防ぎます。

ドキュメントの残りを読む前に、リファレンス実装を試してみることをお勧めします。

プロンプティングでモデルパフォーマンスを最適化する

最高品質の出力を得るためのいくつかのヒントを以下に示します：

1. シンプルで明確に定義されたタスクを指定し、各ステップに対して明示的な指示を提供します。
2. Claudeは時々アクションの結果を明示的にチェックせずに結果を想定します。これを防ぐために、Claudeに各ステップの後、スクリーンショットを撮り、正しい結果を達成したかどうかを慎重に評価してください。明示的に思考を示してください：「ステップXを評価しました...」。正しくない場合は、もう一度試してください。ステップが正しく実行されたことを確認した場合にのみ、次のステップに進んでください。とプロンプトすることができます。
3. ドロップダウンやスクロールバーなどの一部のUI要素は、Claudeがマウス移動を使用して操作するのが難しい場合があります。これが発生した場合は、モデルにキーボードショートカットを使用するようにプロンプトしてみてください。
4. 繰り返し可能なタスクまたはUI相互作用の場合、成功した結果のスクリーンショットとツール呼び出しの例をプロンプトに含めます。
5. モデルがログインする必要がある場合、ユーザー名とパスワードを<robot_credentials>などのxmlタグ内のプロンプトで提供します。ログインが必要なアプリケーション内でコンピュータ使用を使用すると、プロンプトインジェクションの結果として悪い結果のリスクが増加します。モデルにログイン認証情報を提供する前に、プロンプトインジェクション軽減ガイドを確認してください。

システムプロンプト

Anthropic定義のツールの1つがClaude APIを通じてリクエストされた場合、コンピュータ使用固有のシステムプロンプトが生成されます。これはツール使用システムプロンプトに似ていますが、以下で始まります：

あなたは、ユーザーの質問に答えるために使用できる一連の関数にアクセスできます。これにはサンドボックス化されたコンピューティング環境へのアクセスが含まれます。現在、以下の関数を呼び出す以外に、ファイルを検査したり、外部リソースと相互作用したりする能力はありません。

通常のツール使用と同様に、ユーザー提供のsystem_promptフィールドは依然として尊重され、結合されたシステムプロンプトの構築で使用されます。

コンピュータ使用の実装方法

リファレンス実装から始める

コンピュータ使用をすぐに始めるために必要なすべてを含むリファレンス実装を構築しました：

• Claude でコンピュータ使用に適したコンテナ化環境
• コンピュータ使用ツールの実装
• Claude API と相互作用し、コンピュータ使用ツールを実行するエージェントループ
• コンテナ、エージェントループ、ツールと相互作用するための Web インターフェース

マルチエージェントループの理解

コンピュータ使用の中核は「エージェントループ」です。これは Claude がツールアクションをリクエストし、アプリケーションがそれを実行し、結果を Claude に返すサイクルです。簡略化された例を以下に示します：

async def sampling_loop(
    *,
    model: str,
    messages: list[dict],
    api_key: str,
    max_tokens: int = 4096,
    tool_version: str,
    thinking_budget: int | None = None,
    max_iterations: int = 10,  # Add iteration limit to prevent infinite loops
):
    """
    A simple agent loop for Claude computer use interactions.

    This function handles the back-and-forth between:
    1. Sending user messages to Claude
    2. Claude requesting to use tools
    3. Your app executing those tools
    4. Sending tool results back to Claude
    """
    # Set up tools and API parameters
    client = Anthropic(api_key=api_key)
    beta_flag = "computer-use-2025-01-24" if "20250124" in tool_version else "computer-use-2024-10-22"

    # Configure tools - you should already have these initialized elsewhere
    tools = [
        {"type": f"computer_{tool_version}", "name": "computer", "display_width_px": 1024, "display_height_px": 768},
        {"type": f"text_editor_{tool_version}", "name": "str_replace_editor"},
        {"type": f"bash_{tool_version}", "name": "bash"}
    ]

    # Main agent loop (with iteration limit to prevent runaway API costs)
    iterations = 0
    while True and iterations < max_iterations:
        iterations += 1
        # Set up optional thinking parameter (for Claude Sonnet 3.7)
        thinking = None
        if thinking_budget:
            thinking = {"type": "enabled", "budget_tokens": thinking_budget}

        # Call the Claude API
        response = client.beta.messages.create(
            model=model,
            max_tokens=max_tokens,
            messages=messages,
            tools=tools,
            betas=[beta_flag],
            thinking=thinking
        )

        # Add Claude's response to the conversation history
        response_content = response.content
        messages.append({"role": "assistant", "content": response_content})

        # Check if Claude used any tools
        tool_results = []
        for block in response_content:
            if block.type == "tool_use":
                # In a real app, you would execute the tool here
                # For example: result = run_tool(block.name, block.input)
                result = {"result": "Tool executed successfully"}

                # Format the result for Claude
                tool_results.append({
                    "type": "tool_result",
                    "tool_use_id": block.id,
                    "content": result
                })

        # If no tools were used, Claude is done - return the final messages
        if not tool_results:
            return messages

        # Add tool results to messages for the next iteration with Claude
        messages.append({"role": "user", "content": tool_results})

ループは Claude がツールをリクエストせずに応答するか（タスク完了）、最大反復制限に達するまで続きます。このセーフガードは、予期しない API コストをもたらす可能性のある無限ループを防ぎます。

このドキュメントの残りを読む前に、リファレンス実装を試してみることをお勧めします。

プロンプティングでモデルパフォーマンスを最適化する

最高品質の出力を得る方法に関するいくつかのヒントを以下に示します：

1. シンプルで明確に定義されたタスクを指定し、各ステップに対して明示的な指示を提供します。
2. Claude は、結果を明示的に確認せずにアクションの結果を想定することがあります。これを防ぐために、Claude に 各ステップの後、スクリーンショットを撮り、正しい結果を達成したかどうかを慎重に評価します。明示的に思考を示します：「ステップ X を評価しました...」正しくない場合は、もう一度試してください。ステップが正しく実行されたことを確認した場合にのみ、次のステップに進みます。 とプロンプトを入力できます。
3. 一部の UI 要素（ドロップダウンやスクロールバーなど）は、Claude がマウス移動を使用して操作するのが難しい場合があります。これが発生した場合は、モデルにキーボード ショートカットを使用するようにプロンプトを入力してみてください。
4. 繰り返し可能なタスクまたは UI インタラクションの場合、プロンプトに成功した結果のスクリーンショットとツール呼び出しの例を含めます。
5. モデルがログインする必要がある場合は、プロンプト内で <robot_credentials> のような XML タグ内にユーザー名とパスワードを提供します。ログインが必要なアプリケーション内でコンピュータ使用を使用すると、プロンプト インジェクションの結果として悪い結果のリスクが増加します。モデルにログイン認証情報を提供する前に、プロンプト インジェクション軽減ガイドを確認してください。

システムプロンプト

Anthropic 定義のツールの 1 つが Claude API 経由でリクエストされると、コンピュータ使用固有のシステム プロンプトが生成されます。これはツール使用システム プロンプトに似ていますが、以下で始まります：

You have access to a set of functions you can use to answer the user's question. This includes access to a sandboxed computing environment. You do NOT currently have the ability to inspect files or interact with external resources, except by invoking the below functions.

通常のツール使用と同様に、ユーザー提供の system_prompt フィールドは依然として尊重され、結合されたシステム プロンプトの構築に使用されます。

利用可能なアクション

コンピュータ使用ツールは、これらのアクションをサポートしています：

基本的なアクション（すべてのバージョン）

• screenshot - 現在のディスプレイをキャプチャします
• left_click - 座標 [x, y] でクリックします
• type - テキスト文字列を入力します
• key - キーまたはキーの組み合わせを押します（例：「ctrl+s」）
• mouse_move - カーソルを座標に移動します

拡張アクション（computer_20250124） Claude 4 モデルと Claude Sonnet 3.7 で利用可能：

• scroll - 任意の方向にスクロールし、量を制御します
• left_click_drag - 座標間をクリックしてドラッグします
• right_click、middle_click - 追加のマウスボタン
• double_click、triple_click - 複数クリック
• left_mouse_down、left_mouse_up - 細かいクリック制御
• hold_key - 他のアクションを実行しながらキーを押し続けます
• wait - アクション間で一時停止します

拡張アクション（computer_20251124） Claude Opus 4.5 で利用可能：

• computer_20250124 のすべてのアクション
• zoom - スクリーンの特定の領域を全解像度で表示します。ツール定義で enable_zoom: true が必要です。検査する領域の左上隅と右下隅を定義する座標 [x1, y1, x2, y2] を持つ region パラメータを取ります。

ツールパラメータ

ツールパラメータ

Claude 4 モデルと Claude Sonnet 3.7 でシンキング機能を有効にする

Claude Sonnet 3.7 は、複雑なタスクに取り組む際にモデルの推論プロセスを確認できる新しい「シンキング」機能を導入しました。この機能は、Claude が問題にどのようにアプローチしているかを理解するのに役立ち、デバッグや教育目的に特に価値があります。

シンキングを有効にするには、API リクエストに thinking パラメータを追加します：

"thinking": {
  "type": "enabled",
  "budget_tokens": 1024
}

budget_tokens パラメータは、Claude がシンキングに使用できるトークン数を指定します。これは全体的な max_tokens 予算から差し引かれます。

シンキングが有効になると、Claude は応答の一部として推論プロセスを返します。これは以下に役立ちます：

1. モデルの意思決定プロセスを理解する
2. 潜在的な問題または誤解を特定する
3. Claude の問題解決へのアプローチから学ぶ
4. 複雑なマルチステップ操作への可視性を向上させる

シンキング出力がどのように見えるかの例を以下に示します：

[Thinking]
I need to save a picture of a cat to the desktop. Let me break this down into steps:

1. First, I'll take a screenshot to see what's on the desktop
2. Then I'll look for a web browser to search for cat images
3. After finding a suitable image, I'll need to save it to the desktop

Let me start by taking a screenshot to see what's available...

ツールパラメータ

コンピュータ使用を他のツールで拡張する

コンピュータ使用ツールは、他のツールと組み合わせて、より強力な自動化ワークフローを作成できます。これは特に以下が必要な場合に役立ちます：

• システムコマンドを実行する（bash ツール）
• 設定ファイルまたはスクリプトを編集する（テキストエディタツール）
• カスタム API またはサービスと統合する（カスタムツール）

ツールパラメータ

Claude 4 モデルと Claude Sonnet 3.7 で思考機能を有効にする

Claude Sonnet 3.7 は、複雑なタスクに取り組む際にモデルの推論プロセスを確認できる新しい「思考」機能を導入しました。この機能は、Claude が問題にどのようにアプローチしているかを理解するのに役立ち、デバッグや教育目的に特に価値があります。

思考を有効にするには、API リクエストに thinking パラメータを追加します:

"thinking": {
  "type": "enabled",
  "budget_tokens": 1024
}

budget_tokens パラメータは、Claude が思考に使用できるトークン数を指定します。これは全体的な max_tokens 予算から差し引かれます。

思考が有効になると、Claude は推論プロセスをレスポンスの一部として返します。これにより、以下のことが可能になります:

1. モデルの意思決定プロセスを理解する
2. 潜在的な問題や誤解を特定する
3. Claude の問題解決へのアプローチから学ぶ
4. 複雑なマルチステップ操作をより詳しく把握する

思考出力がどのようなものかの例を以下に示します:

[Thinking]
I need to save a picture of a cat to the desktop. Let me break this down into steps:

1. First, I'll take a screenshot to see what's on the desktop
2. Then I'll look for a web browser to search for cat images
3. After finding a suitable image, I'll need to save it to the desktop

Let me start by taking a screenshot to see what's available...

コンピュータ使用を他のツールで拡張する

コンピュータ使用ツールは他のツールと組み合わせて、より強力な自動化ワークフローを作成できます。これは以下が必要な場合に特に便利です:

• システムコマンドを実行する (bash ツール)
• 設定ファイルまたはスクリプトを編集する (テキストエディタツール)
• カスタム API またはサービスと統合する (カスタムツール)

カスタムコンピュータ使用環境を構築する

リファレンス実装は、コンピュータ使用を開始するのに役立つことを目的としています。Claude がコンピュータを使用するために必要なすべてのコンポーネントが含まれています。ただし、ニーズに合わせてコンピュータ使用用の独自の環境を構築できます。以下が必要です:

• Claude でコンピュータ使用に適した仮想化またはコンテナ化環境
• Anthropic で定義されたコンピュータ使用ツールの少なくとも 1 つの実装
• Claude API と対話し、ツール実装を使用して tool_use 結果を実行するエージェントループ
• エージェントループを開始するためのユーザー入力を許可する API または UI

コンピュータ使用ツールを実装する

コンピュータ使用ツールはスキーマレスツールとして実装されます。このツールを使用する場合、他のツールのような入力スキーマを提供する必要はありません。スキーマは Claude のモデルに組み込まれており、変更することはできません。

エラーを処理する

コンピュータ使用ツールを実装する場合、さまざまなエラーが発生する可能性があります。以下はそれらを処理する方法です:

実装のベストプラクティスに従う

コンピュータ使用の制限を理解する

コンピュータ使用機能はベータ版です。Claude の機能は最先端ですが、開発者はその制限を認識する必要があります:

1. レイテンシ: 現在のコンピュータ使用レイテンシは、通常の人間が指示するコンピュータアクションと比較して、人間-AI インタラクションでは遅すぎる可能性があります。信頼できる環境で、速度が重要でないユースケース (例: 背景情報の収集、自動化されたソフトウェアテスト) に焦点を当てることをお勧めします。
2. コンピュータビジョンの精度と信頼性: Claude は、アクションを生成する際に特定の座標を出力する際に間違いを犯したり、幻覚を見たりする可能性があります。Claude Sonnet 3.7 は、モデルの推論を理解し、潜在的な問題を特定するのに役立つ思考機能を導入しています。
3. ツール選択の精度と信頼性: Claude は、アクションを生成する際にツールを選択する際に間違いを犯したり、幻覚を見たり、問題を解決するための予期しないアクションを取ったりする可能性があります。さらに、ニッチなアプリケーションや複数のアプリケーションと同時に対話する場合、信頼性が低くなる可能性があります。複雑なタスクをリクエストする場合、ユーザーはモデルに慎重にプロンプトを与えることをお勧めします。
4. スクロール信頼性: Claude Sonnet 3.7 は、方向制御を備えた専用スクロールアクションを導入し、信頼性を向上させました。モデルは、指定された量だけ任意の方向 (上/下/左/右) に明示的にスクロールできるようになりました。
5. スプレッドシート操作: Claude Sonnet 3.7 では、left_mouse_down、left_mouse_up などのより正確なマウス制御アクションと新しい修飾キーサポートの追加により、スプレッドシート操作のマウスクリックが改善されました。これらの細粒度制御を使用し、修飾キーとクリックを組み合わせることで、セル選択がより信頼性が高くなります。
6. ソーシャルおよび通信プラットフォームでのアカウント作成とコンテンツ生成: Claude は Web サイトにアクセスしますが、ソーシャルメディア Web サイトおよびプラットフォーム全体でアカウントを作成したり、コンテンツを生成および共有したり、人間になりすましたりする能力を制限しています。この機能は将来更新される可能性があります。
7. 脆弱性: ジェイルブレイクやプロンプトインジェクションなどの脆弱性は、ベータコンピュータ使用 API を含む最先端の AI システム全体に存在する可能性があります。状況によっては、Claude はコンテンツ内で見つかったコマンドに従うことがあり、ユーザーの指示と矛盾することもあります。たとえば、Web ページ内または画像に含まれる Claude の指示は、指示をオーバーライドしたり、Claude に間違いを犯させたりする可能性があります。以下をお勧めします: a. コンピュータ使用を、最小限の権限を持つ仮想マシンまたはコンテナなどの信頼できる環境に制限する b. 厳密な監視なしに、コンピュータ使用アクセスを機密アカウントまたはデータに与えることを避ける c. エンドユーザーに関連するリスクを通知し、アプリケーションでコンピュータ使用機能を有効にしたり、必要な権限をリクエストしたりする前に同意を得る

常に Claude のコンピュータ使用アクションとログを慎重に確認および検証してください。完全な精度が必要なタスクや、人間の監視なしに機密ユーザー情報を必要とするタスクに Claude を使用しないでください。

コンピュータ使用の制限を理解する

コンピュータ使用機能はベータ版です。Claude の機能は最先端ですが、開発者はその制限を認識する必要があります:

1. レイテンシ: 現在のコンピュータ使用レイテンシは、通常の人間が指示するコンピュータアクションと比較して、人間-AI インタラクションでは遅すぎる可能性があります。信頼できる環境で、速度が重要でないユースケース (例: 背景情報の収集、自動化されたソフトウェアテスト) に焦点を当てることをお勧めします。
2. コンピュータビジョンの精度と信頼性: Claude は、アクションを生成する際に特定の座標を出力する際に間違いを犯したり、幻覚を見たりする可能性があります。Claude Sonnet 3.7 は、モデルの推論を理解し、潜在的な問題を特定するのに役立つ思考機能を導入しています。
3. ツール選択の精度と信頼性: Claude は、アクションを生成する際にツールを選択する際に間違いを犯したり、幻覚を見たり、問題を解決するための予期しないアクションを取ったりする可能性があります。さらに、ニッチなアプリケーションや複数のアプリケーションと同時に対話する場合、信頼性が低くなる可能性があります。複雑なタスクをリクエストする場合、ユーザーはモデルに慎重にプロンプトを与えることをお勧めします。
4. スクロール信頼性: Claude Sonnet 3.7 は、方向制御を備えた専用スクロールアクションを導入し、信頼性を向上させました。モデルは、指定された量だけ任意の方向 (上/下/左/右) に明示的にスクロールできるようになりました。
5. スプレッドシート操作: Claude Sonnet 3.7 では、left_mouse_down、left_mouse_up などのより正確なマウス制御アクションと新しい修飾キーサポートの追加により、スプレッドシート操作のマウスクリックが改善されました。これらの細粒度制御を使用し、修飾キーとクリックを組み合わせることで、セル選択がより信頼性が高くなります。
6. ソーシャルおよび通信プラットフォームでのアカウント作成とコンテンツ生成: Claude は Web サイトにアクセスしますが、ソーシャルメディア Web サイトおよびプラットフォーム全体でアカウントを作成したり、コンテンツを生成および共有したり、人間になりすましたりする能力を制限しています。この機能は将来更新される可能性があります。
7. 脆弱性: ジェイルブレイクやプロンプトインジェクションなどの脆弱性は、ベータコンピュータ使用 API を含む最先端の AI システム全体に存在する可能性があります。状況によっては、Claude はコンテンツ内で見つかったコマンドに従うことがあり、ユーザーの指示と矛盾することもあります。たとえば、Web ページ内または画像に含まれる Claude の指示は、指示をオーバーライドしたり、Claude に間違いを犯させたりする可能性があります。以下をお勧めします: a. コンピュータ使用を、最小限の権限を持つ仮想マシンまたはコンテナなどの信頼できる環境に制限する b. 厳密な監視なしに、コンピュータ使用アクセスを機密アカウントまたはデータに与えることを避ける c. エンドユーザーに関連するリスクを通知し、アプリケーションでコンピュータ使用機能を有効にしたり、必要な権限をリクエストしたりする前に同意を得る

常に Claude のコンピュータ使用アクションとログを慎重に確認および検証してください。完全な精度が必要なタスクや、人間の監視なしに機密ユーザー情報を必要とするタスクに Claude を使用しないでください。

価格

Computer use follows the standard tool use pricing. When using the computer use tool:

System prompt overhead: The computer use beta adds 466-499 tokens to the system prompt

Computer use tool token usage:

Additional token consumption:

• Screenshot images (see Vision pricing)
• Tool execution results returned to Claude

コンピュータ使用の制限を理解する

コンピュータ使用機能はベータ版です。Claude の機能は最先端ですが、開発者はその制限を認識する必要があります:

1. レイテンシ: 現在のコンピュータ使用レイテンシは、通常の人間が指示するコンピュータアクションと比較して、人間-AI インタラクションでは遅すぎる可能性があります。信頼できる環境で、速度が重要でないユースケース (例: 背景情報の収集、自動化されたソフトウェアテスト) に焦点を当てることをお勧めします。
2. コンピュータビジョンの精度と信頼性: Claude は、アクションを生成する際に特定の座標を出力する際に間違いを犯したり、幻覚を見たりする可能性があります。Claude Sonnet 3.7 は、モデルの推論を理解し、潜在的な問題を特定するのに役立つ思考機能を導入しています。
3. ツール選択の精度と信頼性: Claude は、アクションを生成する際にツールを選択する際に間違いを犯したり、幻覚を見たり、問題を解決するための予期しないアクションを取ったりする可能性があります。さらに、ニッチなアプリケーションや複数のアプリケーションと同時に対話する場合、信頼性が低くなる可能性があります。複雑なタスクをリクエストする場合、ユーザーはモデルに慎重にプロンプトを与えることをお勧めします。
4. スクロール信頼性: Claude Sonnet 3.7 は、方向制御を備えた専用スクロールアクションを導入し、信頼性を向上させました。モデルは、指定された量だけ任意の方向 (上/下/左/右) に明示的にスクロールできるようになりました。
5. スプレッドシート操作: Claude Sonnet 3.7 では、left_mouse_down、left_mouse_up などのより正確なマウス制御アクションと新しい修飾キーサポートの追加により、スプレッドシート操作のマウスクリックが改善されました。これらの細粒度制御を使用し、修飾キーとクリックを組み合わせることで、セル選択がより信頼性が高くなります。
6. ソーシャルおよび通信プラットフォームでのアカウント作成とコンテンツ生成: Claude は Web サイトにアクセスしますが、ソーシャルメディア Web サイトおよびプラットフォーム全体でアカウントを作成したり、コンテンツを生成および共有したり、人間になりすましたりする能力を制限しています。この機能は将来更新される可能性があります。
7. 脆弱性: ジェイルブレイクやプロンプトインジェクションなどの脆弱性は、ベータコンピュータ使用 API を含む最先端の AI システム全体に存在する可能性があります。状況によっては、Claude はコンテンツ内で見つかったコマンドに従うことがあり、ユーザーの指示と矛盾することもあります。たとえば、Web ページ内または画像に含まれる Claude の指示は、指示をオーバーライドしたり、Claude に間違いを犯させたりする可能性があります。以下をお勧めします: a. コンピュータ使用を、最小限の権限を持つ仮想マシンまたはコンテナなどの信頼できる環境に制限する b. 厳密な監視なしに、コンピュータ使用アクセスを機密アカウントまたはデータに与えることを避ける c. エンドユーザーに関連するリスクを通知し、アプリケーションでコンピュータ使用機能を有効にしたり、必要な権限をリクエストしたりする前に同意を得る

常に Claude のコンピュータ使用アクションとログを慎重に確認および検証してください。完全な精度が必要なタスクや、人間の監視なしに機密ユーザー情報を必要とするタスクに Claude を使用しないでください。

価格

Computer use follows the standard tool use pricing. When using the computer use tool:

System prompt overhead: The computer use beta adds 466-499 tokens to the system prompt

Computer use tool token usage:

Additional token consumption:

• Screenshot images (see Vision pricing)
• Tool execution results returned to Claude

次のステップ