Computer-Use-Tool

Claude kann mit Computerumgebungen über das Computer-Use-Tool interagieren, das Screenshot-Funktionen und Maus-/Tastatursteuerung für autonome Desktop-Interaktion bietet.

Claude kann mit Computerumgebungen über das Computer-Use-Tool interagieren, das Screenshot-Funktionen und Maus-/Tastatursteuerung für autonome Desktop-Interaktion bietet.

Übersicht

Computer use ist eine Beta-Funktion, die Claude ermöglicht, mit Desktop-Umgebungen zu interagieren. Dieses Tool bietet:

• Screenshot-Erfassung: Sehen Sie, was derzeit auf dem Bildschirm angezeigt wird
• Maussteuerung: Klicken, ziehen und bewegen Sie den Cursor
• Tastatureingabe: Geben Sie Text ein und verwenden Sie Tastaturkürzel
• Desktop-Automatisierung: Interagieren Sie mit jeder Anwendung oder Benutzeroberfläche

Während Computer use mit anderen Tools wie Bash und Text-Editor für umfassendere Automatisierungs-Workflows erweitert werden kann, bezieht sich Computer use speziell auf die Fähigkeit des Computer-Use-Tools, Desktop-Umgebungen zu sehen und zu steuern.

Claude kann mit Computerumgebungen über das Computer-Use-Tool interagieren, das Screenshot-Funktionen und Maus-/Tastatursteuerung für autonome Desktop-Interaktion bietet.

Übersicht

Computer use ist eine Beta-Funktion, die Claude ermöglicht, mit Desktop-Umgebungen zu interagieren. Dieses Tool bietet:

• Screenshot-Erfassung: Sehen Sie, was derzeit auf dem Bildschirm angezeigt wird
• Maussteuerung: Klicken, ziehen und bewegen Sie den Cursor
• Tastatureingabe: Geben Sie Text ein und verwenden Sie Tastaturkürzel
• Desktop-Automatisierung: Interagieren Sie mit jeder Anwendung oder Benutzeroberfläche

Während Computer use mit anderen Tools wie Bash und Text-Editor für umfassendere Automatisierungs-Workflows erweitert werden kann, bezieht sich Computer use speziell auf die Fähigkeit des Computer-Use-Tools, Desktop-Umgebungen zu sehen und zu steuern.

Modellkompatibilität

Computer use ist für die folgenden Claude-Modelle verfügbar:

Claude kann mit Computerumgebungen über das Computer-Use-Tool interagieren, das Screenshot-Funktionen und Maus-/Tastatursteuerung für autonome Desktop-Interaktion bietet.

Übersicht

Computer use ist eine Beta-Funktion, die Claude ermöglicht, mit Desktop-Umgebungen zu interagieren. Dieses Tool bietet:

• Screenshot-Erfassung: Sehen Sie, was derzeit auf dem Bildschirm angezeigt wird
• Maussteuerung: Klicken, ziehen und bewegen Sie den Cursor
• Tastatureingabe: Geben Sie Text ein und verwenden Sie Tastaturkürzel
• Desktop-Automatisierung: Interagieren Sie mit jeder Anwendung oder Benutzeroberfläche

Während Computer use mit anderen Tools wie Bash und Text-Editor für umfassendere Automatisierungs-Workflows erweitert werden kann, bezieht sich Computer use speziell auf die Fähigkeit des Computer-Use-Tools, Desktop-Umgebungen zu sehen und zu steuern.

Modellkompatibilität

Computer use ist für die folgenden Claude-Modelle verfügbar:

Sicherheitsaspekte

Claude kann mit Computerumgebungen über das Computer-Use-Tool interagieren, das Screenshot-Funktionen und Maus-/Tastatursteuerung für autonome Desktop-Interaktion bietet.

Übersicht

Computer use ist eine Beta-Funktion, die Claude ermöglicht, mit Desktop-Umgebungen zu interagieren. Dieses Tool bietet:

• Screenshot-Erfassung: Sehen Sie, was derzeit auf dem Bildschirm angezeigt wird
• Maussteuerung: Klicken, ziehen und bewegen Sie den Cursor
• Tastatureingabe: Geben Sie Text ein und verwenden Sie Tastaturkürzel
• Desktop-Automatisierung: Interagieren Sie mit jeder Anwendung oder Benutzeroberfläche

Während Computer use mit anderen Tools wie Bash und Text-Editor für umfassendere Automatisierungs-Workflows erweitert werden kann, bezieht sich Computer use speziell auf die Fähigkeit des Computer-Use-Tools, Desktop-Umgebungen zu sehen und zu steuern.

Modellkompatibilität

Computer use ist für die folgenden Claude-Modelle verfügbar:

Sicherheitsaspekte

Schnellstart

So beginnen Sie mit Computer use:

import anthropic

client = anthropic.Anthropic()

response = client.beta.messages.create(
    model="claude-sonnet-4-5",  # oder ein anderes kompatibles Modell
    max_tokens=1024,
    tools=[
        {
          "type": "computer_20250124",
          "name": "computer",
          "display_width_px": 1024,
          "display_height_px": 768,
          "display_number": 1,
        },
        {
          "type": "text_editor_20250728",
          "name": "str_replace_based_edit_tool"
        },
        {
          "type": "bash_20250124",
          "name": "bash"
        }
    ],
    messages=[{"role": "user", "content": "Speichern Sie ein Bild einer Katze auf meinem Desktop."}],
    betas=["computer-use-2025-01-24"]
)
print(response)

Claude kann mit Computerumgebungen über das Computer-Use-Tool interagieren, das Screenshot-Funktionen und Maus-/Tastatursteuerung für autonome Desktop-Interaktion bietet.

Übersicht

Computer use ist eine Beta-Funktion, die Claude ermöglicht, mit Desktop-Umgebungen zu interagieren. Dieses Tool bietet:

• Screenshot-Erfassung: Sehen Sie, was derzeit auf dem Bildschirm angezeigt wird
• Maussteuerung: Klicken, ziehen und bewegen Sie den Cursor
• Tastatureingabe: Geben Sie Text ein und verwenden Sie Tastaturkürzel
• Desktop-Automatisierung: Interagieren Sie mit jeder Anwendung oder Benutzeroberfläche

Während Computer use mit anderen Tools wie Bash und Text-Editor für umfassendere Automatisierungs-Workflows erweitert werden kann, bezieht sich Computer use speziell auf die Fähigkeit des Computer-Use-Tools, Desktop-Umgebungen zu sehen und zu steuern.

Modellkompatibilität

Computer use ist für die folgenden Claude-Modelle verfügbar:

Sicherheitsaspekte

Wie Computer use funktioniert

Wir bezeichnen die Wiederholung der Schritte 3 und 4 ohne Benutzereingabe als die „Agent-Schleife" - d. h. Claude antwortet mit einer Tool-Use-Anfrage und Ihre Anwendung antwortet Claude mit den Ergebnissen der Auswertung dieser Anfrage.

Claude kann mit Computerumgebungen über das Computer-Use-Tool interagieren, das Screenshot-Funktionen und Maus-/Tastatursteuerung für autonome Desktop-Interaktion bietet.

Übersicht

Computer use ist eine Beta-Funktion, die Claude die Interaktion mit Desktop-Umgebungen ermöglicht. Dieses Tool bietet:

• Screenshot-Erfassung: Sehen Sie, was derzeit auf dem Bildschirm angezeigt wird
• Maussteuerung: Klicken, Ziehen und Bewegen des Cursors
• Tastatureingabe: Text eingeben und Tastaturkürzel verwenden
• Desktop-Automatisierung: Interaktion mit jeder Anwendung oder Benutzeroberfläche

Während Computer use durch andere Tools wie Bash und Text-Editor für umfassendere Automatisierungs-Workflows erweitert werden kann, bezieht sich Computer use speziell auf die Fähigkeit des Computer-Use-Tools, Desktop-Umgebungen zu sehen und zu steuern.

Modellkompatibilität

Computer use ist für die folgenden Claude-Modelle verfügbar:

Sicherheitsüberlegungen

Schnellstart

So beginnen Sie mit Computer use:

import anthropic

client = anthropic.Anthropic()

response = client.beta.messages.create(
    model="claude-sonnet-4-5",  # or another compatible model
    max_tokens=1024,
    tools=[
        {
          "type": "computer_20250124",
          "name": "computer",
          "display_width_px": 1024,
          "display_height_px": 768,
          "display_number": 1,
        },
        {
          "type": "text_editor_20250728",
          "name": "str_replace_based_edit_tool"
        },
        {
          "type": "bash_20250124",
          "name": "bash"
        }
    ],
    messages=[{"role": "user", "content": "Save a picture of a cat to my desktop."}],
    betas=["computer-use-2025-01-24"]
)
print(response)

Wie Computer use funktioniert

Wir bezeichnen die Wiederholung der Schritte 3 und 4 ohne Benutzereingabe als die „Agent-Schleife" - d. h. Claude antwortet mit einer Tool-Use-Anfrage und Ihre Anwendung antwortet Claude mit den Ergebnissen der Auswertung dieser Anfrage.

Die Rechenumgebung

Computer use erfordert eine sandboxed Rechenumgebung, in der Claude sicher mit Anwendungen und dem Web interagieren kann. Diese Umgebung umfasst:

1. Virtueller Display: Ein virtueller X11-Display-Server (mit Xvfb), der die Desktop-Benutzeroberfläche rendert, die Claude durch Screenshots sehen wird und mit Maus-/Tastaturaktionen steuern wird.

2. Desktop-Umgebung: Eine leichte Benutzeroberfläche mit Window Manager (Mutter) und Panel (Tint2), die auf Linux läuft und eine konsistente grafische Benutzeroberfläche für Claude bietet, mit der interagiert werden kann.

3. Anwendungen: Vorinstallierte Linux-Anwendungen wie Firefox, LibreOffice, Text-Editoren und Dateimanager, die Claude verwenden kann, um Aufgaben zu erledigen.

4. Tool-Implementierungen: Integrationscode, der Claudes abstrakte Tool-Anfragen (wie „Maus bewegen" oder „Screenshot machen") in tatsächliche Operationen in der virtuellen Umgebung übersetzt.

5. Agent-Schleife: Ein Programm, das die Kommunikation zwischen Claude und der Umgebung handhabt, Claudes Aktionen an die Umgebung sendet und die Ergebnisse (Screenshots, Befehlsausgaben) an Claude zurückgibt.

Wenn Sie Computer use verwenden, verbindet sich Claude nicht direkt mit dieser Umgebung. Stattdessen:

1. Empfängt Ihre Anwendung Claudes Tool-Use-Anfragen
2. Übersetzt sie in Aktionen in Ihrer Rechenumgebung
3. Erfasst die Ergebnisse (Screenshots, Befehlsausgaben usw.)
4. Gibt diese Ergebnisse an Claude zurück

Aus Sicherheits- und Isolierungsgründen wird die Referenzimplementierung in einem Docker-Container mit entsprechenden Port-Zuordnungen zum Anzeigen und Interagieren mit der Umgebung ausgeführt.

Wie man Computer use implementiert

Beginnen Sie mit unserer Referenzimplementierung

Wir haben eine Referenzimplementierung erstellt, die alles enthält, was Sie benötigen, um schnell mit Computer use zu beginnen:

• Eine containerisierte Umgebung, die für Computer use mit Claude geeignet ist
• Implementierungen der Computer-Use-Tools
• Eine Agent-Schleife, die mit der Claude API interagiert und die Computer-Use-Tools ausführt
• Eine Web-Benutzeroberfläche zur Interaktion mit dem Container, der Agent-Schleife und den Tools.

Die Multi-Agent-Schleife verstehen

Der Kern von Computer use ist die „Agent-Schleife" - ein Zyklus, in dem Claude Tool-Aktionen anfordert, Ihre Anwendung diese ausführt und die Ergebnisse an Claude zurückgibt. Hier ist ein vereinfachtes Beispiel:

async def sampling_loop(
    *,
    model: str,
    messages: list[dict],
    api_key: str,
    max_tokens: int = 4096,
    tool_version: str,
    thinking_budget: int | None = None,
    max_iterations: int = 10,  # Add iteration limit to prevent infinite loops
):
    """
    A simple agent loop for Claude computer use interactions.

    This function handles the back-and-forth between:
    1. Sending user messages to Claude
    2. Claude requesting to use tools
    3. Your app executing those tools
    4. Sending tool results back to Claude
    """
    # Set up tools and API parameters
    client = Anthropic(api_key=api_key)
    beta_flag = "computer-use-2025-01-24" if "20250124" in tool_version else "computer-use-2024-10-22"

    # Configure tools - you should already have these initialized elsewhere
    tools = [
        {"type": f"computer_{tool_version}", "name": "computer", "display_width_px": 1024, "display_height_px": 768},
        {"type": f"text_editor_{tool_version}", "name": "str_replace_editor"},
        {"type": f"bash_{tool_version}", "name": "bash"}
    ]

    # Main agent loop (with iteration limit to prevent runaway API costs)
    iterations = 0
    while True and iterations < max_iterations:
        iterations += 1
        # Set up optional thinking parameter (for Claude Sonnet 3.7)
        thinking = None
        if thinking_budget:
            thinking = {"type": "enabled", "budget_tokens": thinking_budget}

        # Call the Claude API
        response = client.beta.messages.create(
            model=model,
            max_tokens=max_tokens,
            messages=messages,
            tools=tools,
            betas=[beta_flag],
            thinking=thinking
        )

        # Add Claude's response to the conversation history
        response_content = response.content
        messages.append({"role": "assistant", "content": response_content})

        # Check if Claude used any tools
        tool_results = []
        for block in response_content:
            if block.type == "tool_use":
                # In a real app, you would execute the tool here
                # For example: result = run_tool(block.name, block.input)
                result = {"result": "Tool executed successfully"}

                # Format the result for Claude
                tool_results.append({
                    "type": "tool_result",
                    "tool_use_id": block.id,
                    "content": result
                })

        # If no tools were used, Claude is done - return the final messages
        if not tool_results:
            return messages

        # Add tool results to messages for the next iteration with Claude
        messages.append({"role": "user", "content": tool_results})

Die Schleife wird fortgesetzt, bis Claude entweder ohne Anforderung von Tools antwortet (Aufgabenvollendung) oder das maximale Iterationslimit erreicht wird. Diese Schutzvorrichtung verhindert potenzielle Endlosschleifen, die zu unerwarteten API-Kosten führen könnten.

Wir empfehlen, die Referenzimplementierung auszuprobieren, bevor Sie den Rest dieser Dokumentation lesen.

Optimieren Sie die Modellleistung mit Prompting

Hier sind einige Tipps, wie Sie die beste Qualität der Ausgaben erhalten:

1. Geben Sie einfache, gut definierte Aufgaben an und geben Sie explizite Anweisungen für jeden Schritt.
2. Claude nimmt manchmal die Ergebnisse seiner Aktionen an, ohne sie explizit zu überprüfen. Um dies zu verhindern, können Sie Claude mit After each step, take a screenshot and carefully evaluate if you have achieved the right outcome. Explicitly show your thinking: "I have evaluated step X..." If not correct, try again. Only when you confirm a step was executed correctly should you move on to the next one. auffordern.
3. Einige UI-Elemente (wie Dropdown-Menüs und Scrollbalken) könnten für Claude schwierig zu manipulieren sein, wenn Mausbewegungen verwendet werden. Wenn Sie dies erleben, versuchen Sie, das Modell aufzufordern, Tastaturkürzel zu verwenden.
4. Für wiederholbare Aufgaben oder UI-Interaktionen fügen Sie Beispiel-Screenshots und Tool-Aufrufe erfolgreicher Ergebnisse in Ihren Prompt ein.
5. Wenn Sie das Modell anmelden müssen, geben Sie ihm den Benutzernamen und das Passwort in Ihrem Prompt in XML-Tags wie <robot_credentials> an. Die Verwendung von Computer use in Anwendungen, die eine Anmeldung erfordern, erhöht das Risiko schlechter Ergebnisse aufgrund von Prompt-Injection. Bitte lesen Sie unseren Leitfaden zur Minderung von Prompt-Injektionen, bevor Sie dem Modell Anmeldeinformationen geben.

System-Prompts

Wenn eines der von Anthropic definierten Tools über die Claude API angefordert wird, wird ein Computer-Use-spezifischer System-Prompt generiert. Er ähnelt dem Tool-Use-System-Prompt, beginnt aber mit:

You have access to a set of functions you can use to answer the user's question. This includes access to a sandboxed computing environment. You do NOT currently have the ability to inspect files or interact with external resources, except by invoking the below functions.

Wie bei regulärer Tool-Nutzung wird das vom Benutzer bereitgestellte system_prompt-Feld immer noch respektiert und bei der Konstruktion des kombinierten System-Prompts verwendet.

So implementieren Sie Computer Use

Beginnen Sie mit unserer Referenzimplementierung

Wir haben eine Referenzimplementierung erstellt, die alles enthält, was Sie benötigen, um schnell mit Computer Use zu beginnen:

• Eine containerisierte Umgebung, die für Computer Use mit Claude geeignet ist
• Implementierungen der Computer-Use-Tools
• Eine Agent-Schleife, die mit der Claude API interagiert und die Computer-Use-Tools ausführt
• Eine Weboberfläche zur Interaktion mit dem Container, der Agent-Schleife und den Tools.

Verstehen der Multi-Agent-Schleife

Der Kern von Computer Use ist die „Agent-Schleife" – ein Zyklus, in dem Claude Tool-Aktionen anfordert, Ihre Anwendung diese ausführt und die Ergebnisse an Claude zurückgibt. Hier ist ein vereinfachtes Beispiel:

async def sampling_loop(
    *,
    model: str,
    messages: list[dict],
    api_key: str,
    max_tokens: int = 4096,
    tool_version: str,
    thinking_budget: int | None = None,
    max_iterations: int = 10,  # Add iteration limit to prevent infinite loops
):
    """
    A simple agent loop for Claude computer use interactions.

    This function handles the back-and-forth between:
    1. Sending user messages to Claude
    2. Claude requesting to use tools
    3. Your app executing those tools
    4. Sending tool results back to Claude
    """
    # Set up tools and API parameters
    client = Anthropic(api_key=api_key)
    beta_flag = "computer-use-2025-01-24" if "20250124" in tool_version else "computer-use-2024-10-22"

    # Configure tools - you should already have these initialized elsewhere
    tools = [
        {"type": f"computer_{tool_version}", "name": "computer", "display_width_px": 1024, "display_height_px": 768},
        {"type": f"text_editor_{tool_version}", "name": "str_replace_editor"},
        {"type": f"bash_{tool_version}", "name": "bash"}
    ]

    # Main agent loop (with iteration limit to prevent runaway API costs)
    iterations = 0
    while True and iterations < max_iterations:
        iterations += 1
        # Set up optional thinking parameter (for Claude Sonnet 3.7)
        thinking = None
        if thinking_budget:
            thinking = {"type": "enabled", "budget_tokens": thinking_budget}

        # Call the Claude API
        response = client.beta.messages.create(
            model=model,
            max_tokens=max_tokens,
            messages=messages,
            tools=tools,
            betas=[beta_flag],
            thinking=thinking
        )

        # Add Claude's response to the conversation history
        response_content = response.content
        messages.append({"role": "assistant", "content": response_content})

        # Check if Claude used any tools
        tool_results = []
        for block in response_content:
            if block.type == "tool_use":
                # In a real app, you would execute the tool here
                # For example: result = run_tool(block.name, block.input)
                result = {"result": "Tool executed successfully"}

                # Format the result for Claude
                tool_results.append({
                    "type": "tool_result",
                    "tool_use_id": block.id,
                    "content": result
                })

        # If no tools were used, Claude is done - return the final messages
        if not tool_results:
            return messages

        # Add tool results to messages for the next iteration with Claude
        messages.append({"role": "user", "content": tool_results})

Die Schleife wird fortgesetzt, bis entweder Claude antwortet, ohne Tools anzufordern (Aufgabenabschluss), oder das maximale Iterationslimit erreicht wird. Diese Sicherheitsmaßnahme verhindert potenzielle Endlosschleifen, die zu unerwarteten API-Kosten führen könnten.

Wir empfehlen, die Referenzimplementierung auszuprobieren, bevor Sie den Rest dieser Dokumentation lesen.

Optimieren Sie die Modellleistung mit Prompting

Hier sind einige Tipps, wie Sie die beste Qualität der Ausgaben erreichen:

1. Geben Sie einfache, gut definierte Aufgaben an und stellen Sie explizite Anweisungen für jeden Schritt bereit.
2. Claude nimmt manchmal die Ergebnisse seiner Aktionen an, ohne sie explizit zu überprüfen. Um dies zu verhindern, können Sie Claude mit folgendem Prompt auffordern: After each step, take a screenshot and carefully evaluate if you have achieved the right outcome. Explicitly show your thinking: "I have evaluated step X..." If not correct, try again. Only when you confirm a step was executed correctly should you move on to the next one.
3. Einige UI-Elemente (wie Dropdowns und Scrollbalken) könnten für Claude schwierig zu manipulieren sein, wenn Mausbewegungen verwendet werden. Wenn Sie dies erleben, versuchen Sie, das Modell zu veranlassen, Tastenkombinationen zu verwenden.
4. Für wiederholbare Aufgaben oder UI-Interaktionen schließen Sie Beispiel-Screenshots und Tool-Aufrufe erfolgreicher Ergebnisse in Ihren Prompt ein.
5. Wenn Sie das Modell anmelden müssen, stellen Sie ihm den Benutzernamen und das Passwort in Ihrem Prompt in XML-Tags wie <robot_credentials> bereit. Die Verwendung von Computer Use in Anwendungen, die eine Anmeldung erfordern, erhöht das Risiko schlechter Ergebnisse aufgrund von Prompt-Injection. Bitte lesen Sie unseren Leitfaden zur Minderung von Prompt-Injektionen, bevor Sie dem Modell Anmeldedaten bereitstellen.

System-Prompts

Wenn eines der von Anthropic definierten Tools über die Claude API angefordert wird, wird ein Computer-Use-spezifischer System-Prompt generiert. Er ähnelt dem Tool-Use-System-Prompt, beginnt aber mit:

You have access to a set of functions you can use to answer the user's question. This includes access to a sandboxed computing environment. You do NOT currently have the ability to inspect files or interact with external resources, except by invoking the below functions.

Wie bei der regulären Tool-Nutzung wird das vom Benutzer bereitgestellte Feld system_prompt weiterhin respektiert und bei der Konstruktion des kombinierten System-Prompts verwendet.

Verfügbare Aktionen

Das Computer-Use-Tool unterstützt diese Aktionen:

Grundlegende Aktionen (alle Versionen)

• screenshot – Erfassen Sie die aktuelle Anzeige
• left_click – Klicken Sie auf Koordinaten [x, y]
• type – Geben Sie eine Textzeichenfolge ein
• key – Drücken Sie eine Taste oder Tastenkombination (z. B. „ctrl+s")
• mouse_move – Bewegen Sie den Cursor zu Koordinaten

Erweiterte Aktionen (computer_20250124) Verfügbar in Claude 4 Modellen und Claude Sonnet 3.7:

• scroll – Scrollen Sie in jede Richtung mit Mengenkontrolle
• left_click_drag – Klicken und ziehen Sie zwischen Koordinaten
• right_click, middle_click – Zusätzliche Maustasten
• double_click, triple_click – Mehrfachklicks
• left_mouse_down, left_mouse_up – Feinkörnige Klicksteuerung
• hold_key – Halten Sie eine Taste gedrückt, während Sie andere Aktionen ausführen
• wait – Machen Sie eine Pause zwischen Aktionen

Erweiterte Aktionen (computer_20251124) Verfügbar in Claude Opus 4.5:

• Alle Aktionen von computer_20250124
• zoom – Zeigen Sie einen bestimmten Bereich des Bildschirms in voller Auflösung an. Erfordert enable_zoom: true in der Tool-Definition. Nimmt einen region-Parameter mit Koordinaten [x1, y1, x2, y2] an, die die obere linke und untere rechte Ecke des zu inspizierenden Bereichs definieren.

Tool-Parameter

Tool-Parameter

Aktivieren Sie die Thinking-Funktion in Claude 4 Modellen und Claude Sonnet 3.7

Claude Sonnet 3.7 führte eine neue „Thinking"-Funktion ein, mit der Sie den Denkprozess des Modells sehen können, während es komplexe Aufgaben bearbeitet. Diese Funktion hilft Ihnen zu verstehen, wie Claude ein Problem angeht, und kann besonders wertvoll zum Debuggen oder für Bildungszwecke sein.

Um Thinking zu aktivieren, fügen Sie einen thinking-Parameter zu Ihrer API-Anfrage hinzu:

"thinking": {
  "type": "enabled",
  "budget_tokens": 1024
}

Der budget_tokens-Parameter gibt an, wie viele Token Claude zum Denken verwenden kann. Dies wird von Ihrem Gesamtbudget max_tokens abgezogen.

Wenn Thinking aktiviert ist, gibt Claude seinen Denkprozess als Teil der Antwort zurück, was Ihnen helfen kann:

1. Den Entscheidungsprozess des Modells zu verstehen
2. Potenzielle Probleme oder Missverständnisse zu identifizieren
3. Vom Ansatz des Modells zur Problemlösung zu lernen
4. Mehr Sichtbarkeit in komplexe mehrstufige Operationen zu erhalten

Hier ist ein Beispiel, wie die Thinking-Ausgabe aussehen könnte:

[Thinking]
I need to save a picture of a cat to the desktop. Let me break this down into steps:

1. First, I'll take a screenshot to see what's on the desktop
2. Then I'll look for a web browser to search for cat images
3. After finding a suitable image, I'll need to save it to the desktop

Let me start by taking a screenshot to see what's available...

Tool-Parameter

Aktivieren Sie die Thinking-Funktion in Claude 4 Modellen und Claude Sonnet 3.7

Claude Sonnet 3.7 führte eine neue „Thinking"-Funktion ein, mit der Sie den Denkprozess des Modells sehen können, während es komplexe Aufgaben bearbeitet. Diese Funktion hilft Ihnen zu verstehen, wie Claude ein Problem angeht, und kann besonders wertvoll zum Debuggen oder für Bildungszwecke sein.

Um Thinking zu aktivieren, fügen Sie einen thinking-Parameter zu Ihrer API-Anfrage hinzu:

"thinking": {
  "type": "enabled",
  "budget_tokens": 1024
}

Der budget_tokens-Parameter gibt an, wie viele Token Claude zum Denken verwenden kann. Dies wird von Ihrem Gesamtbudget max_tokens abgezogen.

Wenn Thinking aktiviert ist, gibt Claude seinen Denkprozess als Teil der Antwort zurück, was Ihnen helfen kann:

1. Den Entscheidungsprozess des Modells zu verstehen
2. Potenzielle Probleme oder Missverständnisse zu identifizieren
3. Vom Ansatz des Modells zur Problemlösung zu lernen
4. Mehr Sichtbarkeit in komplexe mehrstufige Operationen zu erhalten

Hier ist ein Beispiel, wie die Thinking-Ausgabe aussehen könnte:

[Thinking]
I need to save a picture of a cat to the desktop. Let me break this down into steps:

1. First, I'll take a screenshot to see what's on the desktop
2. Then I'll look for a web browser to search for cat images
3. After finding a suitable image, I'll need to save it to the desktop

Let me start by taking a screenshot to see what's available...

Computer Use mit anderen Tools erweitern

Das Computer-Use-Tool kann mit anderen Tools kombiniert werden, um leistungsstärkere Automatisierungs-Workflows zu erstellen. Dies ist besonders nützlich, wenn Sie:

• Systembefehle ausführen müssen (Bash-Tool)
• Konfigurationsdateien oder Skripte bearbeiten müssen (Text-Editor-Tool)
• Mit benutzerdefinierten APIs oder Diensten integrieren müssen (benutzerdefinierte Tools)

curl https://api.anthropic.com/v1/messages \
  -H "content-type: application/json" \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "anthropic-beta: computer-use-2025-01-24" \
  -d '{
    "model": "claude-sonnet-4-5",
    "max_tokens": 2000,
    "tools": [
      {
        "type": "computer_20250124",
        "name": "computer",
        "display_width_px": 1024,
        "display_height_px": 768,
        "display_number": 1
      },
      {
        "type": "text_editor_20250728",
        "name": "str_replace_based_edit_tool"
      },
      {
        "type": "bash_20250124",
        "name": "bash"
      },
      {
        "name": "get_weather",
        "description": "Get the current weather in a given location",
        "input_schema": {
          "type": "object",
          "properties": {
            "location": {
              "type": "string",
              "description": "The city and state, e.g. San Francisco, CA"
            },
            "unit": {
              "type": "string",
              "enum": ["celsius", "fahrenheit"],
              "description": "The unit of temperature, either 'celsius' or 'fahrenheit'"
            }
          },
          "required": ["location"]
        }
      }
    ],
    "messages": [
      {
        "role": "user",
        "content": "Find flights from San Francisco to a place with warmer weather."
      }
    ],
    "thinking": {
      "type": "enabled",
      "budget_tokens": 1024
    }
  }'

Werkzeugparameter

Thinking-Funktion in Claude 4-Modellen und Claude Sonnet 3.7 aktivieren

Claude Sonnet 3.7 führte eine neue "Thinking"-Funktion ein, die es Ihnen ermöglicht, den Denkprozess des Modells zu sehen, während es komplexe Aufgaben bearbeitet. Diese Funktion hilft Ihnen zu verstehen, wie Claude ein Problem angeht, und kann besonders wertvoll zum Debuggen oder für Bildungszwecke sein.

Um Thinking zu aktivieren, fügen Sie einen thinking-Parameter zu Ihrer API-Anfrage hinzu:

"thinking": {
  "type": "enabled",
  "budget_tokens": 1024
}

Der budget_tokens-Parameter gibt an, wie viele Token Claude zum Denken verwenden kann. Dies wird von Ihrem Gesamtbudget max_tokens abgezogen.

Wenn Thinking aktiviert ist, gibt Claude seinen Denkprozess als Teil der Antwort zurück, was Ihnen helfen kann:

1. Den Entscheidungsprozess des Modells zu verstehen
2. Mögliche Probleme oder Missverständnisse zu identifizieren
3. Von Claudes Ansatz zur Problemlösung zu lernen
4. Mehr Transparenz bei komplexen mehrstufigen Operationen zu erhalten

Hier ist ein Beispiel, wie die Thinking-Ausgabe aussehen könnte:

[Thinking]
Ich muss ein Bild einer Katze auf dem Desktop speichern. Lassen Sie mich das in Schritte aufteilen:

1. Zuerst mache ich einen Screenshot, um zu sehen, was auf dem Desktop ist
2. Dann suche ich nach einem Webbrowser, um nach Katzenbildern zu suchen
3. Nach dem Finden eines geeigneten Bildes muss ich es auf dem Desktop speichern

Lassen Sie mich mit einem Screenshot beginnen, um zu sehen, was verfügbar ist...

Computernutzung mit anderen Werkzeugen erweitern

Das Computernutzungswerkzeug kann mit anderen Werkzeugen kombiniert werden, um leistungsstärkere Automatisierungs-Workflows zu erstellen. Dies ist besonders nützlich, wenn Sie:

• Systembefehle ausführen müssen (Bash-Werkzeug)
• Konfigurationsdateien oder Skripte bearbeiten müssen (Text-Editor-Werkzeug)
• Mit benutzerdefinierten APIs oder Diensten integrieren müssen (benutzerdefinierte Werkzeuge)

curl https://api.anthropic.com/v1/messages \
  -H "content-type: application/json" \
  -H "x-api-key: $ANTHROPIC_API_KEY" \
  -H "anthropic-version: 2023-06-01" \
  -H "anthropic-beta: computer-use-2025-01-24" \
  -d '{
    "model": "claude-sonnet-4-5",
    "max_tokens": 2000,
    "tools": [
      {
        "type": "computer_20250124",
        "name": "computer",
        "display_width_px": 1024,
        "display_height_px": 768,
        "display_number": 1
      },
      {
        "type": "text_editor_20250728",
        "name": "str_replace_based_edit_tool"
      },
      {
        "type": "bash_20250124",
        "name": "bash"
      },
      {
        "name": "get_weather",
        "description": "Get the current weather in a given location",
        "input_schema": {
          "type": "object",
          "properties": {
            "location": {
              "type": "string",
              "description": "The city and state, e.g. San Francisco, CA"
            },
            "unit": {
              "type": "string",
              "enum": ["celsius", "fahrenheit"],
              "description": "The unit of temperature, either 'celsius' or 'fahrenheit'"
            }
          },
          "required": ["location"]
        }
      }
    ],
    "messages": [
      {
        "role": "user",
        "content": "Find flights from San Francisco to a place with warmer weather."
      }
    ],
    "thinking": {
      "type": "enabled",
      "budget_tokens": 1024
    }
  }'

Erstellen Sie eine benutzerdefinierte Computernutzungsumgebung

Die Referenzimplementierung soll Ihnen den Einstieg in die Computernutzung erleichtern. Sie enthält alle Komponenten, die Claude benötigt, um einen Computer zu nutzen. Sie können jedoch Ihre eigene Umgebung für die Computernutzung erstellen, um Ihre Anforderungen zu erfüllen. Sie benötigen:

• Eine virtualisierte oder containerisierte Umgebung, die für die Computernutzung mit Claude geeignet ist
• Eine Implementierung von mindestens einem der von Anthropic definierten Computernutzungswerkzeuge
• Eine Agent-Schleife, die mit der Claude-API interagiert und die tool_use-Ergebnisse mit Ihren Werkzeugimplementierungen ausführt
• Eine API oder Benutzeroberfläche, die Benutzereingaben ermöglicht, um die Agent-Schleife zu starten

Implementieren Sie das Computernutzungswerkzeug

Das Computernutzungswerkzeug wird als schemalose Werkzeug implementiert. Bei der Verwendung dieses Werkzeugs müssen Sie kein Eingabeschema wie bei anderen Werkzeugen bereitstellen; das Schema ist in das Modell von Claude integriert und kann nicht geändert werden.

Fehler behandeln

Bei der Implementierung des Computernutzungswerkzeugs können verschiedene Fehler auftreten. So behandeln Sie diese:

Befolgen Sie Best Practices bei der Implementierung

Verstehen Sie die Einschränkungen der Computernutzung

Die Computernutzungsfunktion befindet sich in der Beta-Phase. Obwohl Claudes Fähigkeiten hochmodern sind, sollten Entwickler sich ihrer Einschränkungen bewusst sein:

1. Latenz: Die aktuelle Computernutzungslatenz für Mensch-KI-Interaktionen kann im Vergleich zu regulären von Menschen geleiteten Computeraktionen zu langsam sein. Wir empfehlen, sich auf Anwendungsfälle zu konzentrieren, bei denen Geschwindigkeit nicht kritisch ist (z. B. Hintergrund-Informationsbeschaffung, automatisierte Softwaretests) in vertrauenswürdigen Umgebungen.
2. Genauigkeit und Zuverlässigkeit der Computervision: Claude kann Fehler machen oder halluzinieren, wenn er bestimmte Koordinaten ausgibt, während er Aktionen generiert. Claude Sonnet 3.7 führt die Thinking-Funktion ein, die Ihnen helfen kann, den Denkprozess des Modells zu verstehen und mögliche Probleme zu identifizieren.
3. Genauigkeit und Zuverlässigkeit der Werkzeugauswahl: Claude kann Fehler machen oder halluzinieren, wenn er Werkzeuge auswählt, während er Aktionen generiert, oder unerwartete Aktionen durchführen, um Probleme zu lösen. Darüber hinaus kann die Zuverlässigkeit niedriger sein, wenn Sie mit Nischen-Anwendungen oder mehreren Anwendungen gleichzeitig interagieren. Wir empfehlen, dass Benutzer das Modell sorgfältig auffordern, wenn sie komplexe Aufgaben anfordern.
4. Scroll-Zuverlässigkeit: Claude Sonnet 3.7 führte dedizierte Scroll-Aktionen mit Richtungssteuerung ein, die die Zuverlässigkeit verbessern. Das Modell kann jetzt explizit in jede Richtung (oben/unten/links/rechts) um einen bestimmten Betrag scrollen.
5. Tabellenkalkulationsinteraktion: Mausklicks für die Tabellenkalkulationsinteraktion haben sich in Claude Sonnet 3.7 mit der Hinzufügung von präziseren Maussteuerungsaktionen wie left_mouse_down, left_mouse_up und neuer Modifiziertastaturunterstützung verbessert. Die Zellenauswahl kann zuverlässiger sein, wenn Sie diese feinen Steuerelemente verwenden und Modifiziertasten mit Klicks kombinieren.
6. Kontoerstellung und Inhaltsgenerierung auf sozialen Medien und Kommunikationsplattformen: Obwohl Claude Websites besucht, begrenzen wir seine Fähigkeit, Konten zu erstellen oder Inhalte zu generieren und zu teilen oder sich anderweitig als Mensch auszugeben, auf sozialen Medien und Plattformen. Wir können diese Fähigkeit in Zukunft aktualisieren.
7. Sicherheitslücken: Sicherheitslücken wie Jailbreaking oder Prompt-Injection können in Frontier-KI-Systemen, einschließlich der Beta-Computernutzungs-API, bestehen bleiben. In einigen Fällen folgt Claude Befehlen, die in Inhalten gefunden werden, manchmal sogar im Konflikt mit den Anweisungen des Benutzers. Zum Beispiel können Claude-Anweisungen auf Webseiten oder in Bildern Anweisungen überschreiben oder Claude dazu veranlassen, Fehler zu machen. Wir empfehlen: a. Begrenzen Sie die Computernutzung auf vertrauenswürdige Umgebungen wie virtuelle Maschinen oder Container mit minimalen Berechtigungen b. Vermeiden Sie es, der Computernutzung Zugriff auf sensible Konten oder Daten ohne strenge Überwachung zu geben c. Informieren Sie Endbenutzer über relevante Risiken und erhalten Sie ihre Zustimmung, bevor Sie Computernutzungsfunktionen in Ihren Anwendungen aktivieren oder Berechtigungen anfordern
8. Unangemessene oder illegale Aktionen: Gemäß den Nutzungsbedingungen von Anthropic dürfen Sie die Computernutzung nicht verwenden, um Gesetze zu verletzen oder gegen unsere Acceptable Use Policy zu verstoßen.

Überprüfen und verifizieren Sie immer sorgfältig Claudes Computernutzungsaktionen und Protokolle. Verwenden Sie Claude nicht für Aufgaben, die perfekte Präzision oder sensible Benutzerinformationen ohne menschliche Überwachung erfordern.

Verstehen Sie die Einschränkungen der Computernutzung

Die Computernutzungsfunktion befindet sich in der Beta-Phase. Obwohl Claudes Fähigkeiten hochmodern sind, sollten Entwickler sich ihrer Einschränkungen bewusst sein:

1. Latenz: Die aktuelle Computernutzungslatenz für Mensch-KI-Interaktionen kann im Vergleich zu regulären von Menschen geleiteten Computeraktionen zu langsam sein. Wir empfehlen, sich auf Anwendungsfälle zu konzentrieren, bei denen Geschwindigkeit nicht kritisch ist (z. B. Hintergrund-Informationsbeschaffung, automatisierte Softwaretests) in vertrauenswürdigen Umgebungen.
2. Genauigkeit und Zuverlässigkeit der Computervision: Claude kann Fehler machen oder halluzinieren, wenn er bestimmte Koordinaten ausgibt, während er Aktionen generiert. Claude Sonnet 3.7 führt die Thinking-Funktion ein, die Ihnen helfen kann, den Denkprozess des Modells zu verstehen und mögliche Probleme zu identifizieren.
3. Genauigkeit und Zuverlässigkeit der Werkzeugauswahl: Claude kann Fehler machen oder halluzinieren, wenn er Werkzeuge auswählt, während er Aktionen generiert, oder unerwartete Aktionen durchführen, um Probleme zu lösen. Darüber hinaus kann die Zuverlässigkeit niedriger sein, wenn Sie mit Nischen-Anwendungen oder mehreren Anwendungen gleichzeitig interagieren. Wir empfehlen, dass Benutzer das Modell sorgfältig auffordern, wenn sie komplexe Aufgaben anfordern.
4. Scroll-Zuverlässigkeit: Claude Sonnet 3.7 führte dedizierte Scroll-Aktionen mit Richtungssteuerung ein, die die Zuverlässigkeit verbessern. Das Modell kann jetzt explizit in jede Richtung (oben/unten/links/rechts) um einen bestimmten Betrag scrollen.
5. Tabellenkalkulationsinteraktion: Mausklicks für die Tabellenkalkulationsinteraktion haben sich in Claude Sonnet 3.7 mit der Hinzufügung von präziseren Maussteuerungsaktionen wie left_mouse_down, left_mouse_up und neuer Modifiziertastaturunterstützung verbessert. Die Zellenauswahl kann zuverlässiger sein, wenn Sie diese feinen Steuerelemente verwenden und Modifiziertasten mit Klicks kombinieren.
6. Kontoerstellung und Inhaltsgenerierung auf sozialen Medien und Kommunikationsplattformen: Obwohl Claude Websites besucht, begrenzen wir seine Fähigkeit, Konten zu erstellen oder Inhalte zu generieren und zu teilen oder sich anderweitig als Mensch auszugeben, auf sozialen Medien und Plattformen. Wir können diese Fähigkeit in Zukunft aktualisieren.
7. Sicherheitslücken: Sicherheitslücken wie Jailbreaking oder Prompt-Injection können in Frontier-KI-Systemen, einschließlich der Beta-Computernutzungs-API, bestehen bleiben. In einigen Fällen folgt Claude Befehlen, die in Inhalten gefunden werden, manchmal sogar im Konflikt mit den Anweisungen des Benutzers. Zum Beispiel können Claude-Anweisungen auf Webseiten oder in Bildern Anweisungen überschreiben oder Claude dazu veranlassen, Fehler zu machen. Wir empfehlen: a. Begrenzen Sie die Computernutzung auf vertrauenswürdige Umgebungen wie virtuelle Maschinen oder Container mit minimalen Berechtigungen b. Vermeiden Sie es, der Computernutzung Zugriff auf sensible Konten oder Daten ohne strenge Überwachung zu geben c. Informieren Sie Endbenutzer über relevante Risiken und erhalten Sie ihre Zustimmung, bevor Sie Computernutzungsfunktionen in Ihren Anwendungen aktivieren oder Berechtigungen anfordern
8. Unangemessene oder illegale Aktionen: Gemäß den Nutzungsbedingungen von Anthropic dürfen Sie die Computernutzung nicht verwenden, um Gesetze zu verletzen oder gegen unsere Acceptable Use Policy zu verstoßen.

Überprüfen und verifizieren Sie immer sorgfältig Claudes Computernutzungsaktionen und Protokolle. Verwenden Sie Claude nicht für Aufgaben, die perfekte Präzision oder sensible Benutzerinformationen ohne menschliche Überwachung erfordern.

Preisgestaltung

Computer use follows the standard tool use pricing. When using the computer use tool:

System prompt overhead: The computer use beta adds 466-499 tokens to the system prompt

Computer use tool token usage:

Additional token consumption:

• Screenshot images (see Vision pricing)
• Tool execution results returned to Claude

Verstehen Sie die Einschränkungen der Computernutzung

Die Computernutzungsfunktion befindet sich in der Beta-Phase. Obwohl Claudes Fähigkeiten hochmodern sind, sollten Entwickler sich ihrer Einschränkungen bewusst sein:

1. Latenz: Die aktuelle Computernutzungslatenz für Mensch-KI-Interaktionen kann im Vergleich zu regulären von Menschen geleiteten Computeraktionen zu langsam sein. Wir empfehlen, sich auf Anwendungsfälle zu konzentrieren, bei denen Geschwindigkeit nicht kritisch ist (z. B. Hintergrund-Informationsbeschaffung, automatisierte Softwaretests) in vertrauenswürdigen Umgebungen.
2. Genauigkeit und Zuverlässigkeit der Computervision: Claude kann Fehler machen oder halluzinieren, wenn er bestimmte Koordinaten ausgibt, während er Aktionen generiert. Claude Sonnet 3.7 führt die Thinking-Funktion ein, die Ihnen helfen kann, den Denkprozess des Modells zu verstehen und mögliche Probleme zu identifizieren.
3. Genauigkeit und Zuverlässigkeit der Werkzeugauswahl: Claude kann Fehler machen oder halluzinieren, wenn er Werkzeuge auswählt, während er Aktionen generiert, oder unerwartete Aktionen durchführen, um Probleme zu lösen. Darüber hinaus kann die Zuverlässigkeit niedriger sein, wenn Sie mit Nischen-Anwendungen oder mehreren Anwendungen gleichzeitig interagieren. Wir empfehlen, dass Benutzer das Modell sorgfältig auffordern, wenn sie komplexe Aufgaben anfordern.
4. Scroll-Zuverlässigkeit: Claude Sonnet 3.7 führte dedizierte Scroll-Aktionen mit Richtungssteuerung ein, die die Zuverlässigkeit verbessern. Das Modell kann jetzt explizit in jede Richtung (oben/unten/links/rechts) um einen bestimmten Betrag scrollen.
5. Tabellenkalkulationsinteraktion: Mausklicks für die Tabellenkalkulationsinteraktion haben sich in Claude Sonnet 3.7 mit der Hinzufügung von präziseren Maussteuerungsaktionen wie left_mouse_down, left_mouse_up und neuer Modifiziertastaturunterstützung verbessert. Die Zellenauswahl kann zuverlässiger sein, wenn Sie diese feinen Steuerelemente verwenden und Modifiziertasten mit Klicks kombinieren.
6. Kontoerstellung und Inhaltsgenerierung auf sozialen Medien und Kommunikationsplattformen: Obwohl Claude Websites besucht, begrenzen wir seine Fähigkeit, Konten zu erstellen oder Inhalte zu generieren und zu teilen oder sich anderweitig als Mensch auszugeben, auf sozialen Medien und Plattformen. Wir können diese Fähigkeit in Zukunft aktualisieren.
7. Sicherheitslücken: Sicherheitslücken wie Jailbreaking oder Prompt-Injection können in Frontier-KI-Systemen, einschließlich der Beta-Computernutzungs-API, bestehen bleiben. In einigen Fällen folgt Claude Befehlen, die in Inhalten gefunden werden, manchmal sogar im Konflikt mit den Anweisungen des Benutzers. Zum Beispiel können Claude-Anweisungen auf Webseiten oder in Bildern Anweisungen überschreiben oder Claude dazu veranlassen, Fehler zu machen. Wir empfehlen: a. Begrenzen Sie die Computernutzung auf vertrauenswürdige Umgebungen wie virtuelle Maschinen oder Container mit minimalen Berechtigungen b. Vermeiden Sie es, der Computernutzung Zugriff auf sensible Konten oder Daten ohne strenge Überwachung zu geben c. Informieren Sie Endbenutzer über relevante Risiken und erhalten Sie ihre Zustimmung, bevor Sie Computernutzungsfunktionen in Ihren Anwendungen aktivieren oder Berechtigungen anfordern
8. Unangemessene oder illegale Aktionen: Gemäß den Nutzungsbedingungen von Anthropic dürfen Sie die Computernutzung nicht verwenden, um Gesetze zu verletzen oder gegen unsere Acceptable Use Policy zu verstoßen.

Überprüfen und verifizieren Sie immer sorgfältig Claudes Computernutzungsaktionen und Protokolle. Verwenden Sie Claude nicht für Aufgaben, die perfekte Präzision oder sensible Benutzerinformationen ohne menschliche Überwachung erfordern.

Preisgestaltung

Computer use follows the standard tool use pricing. When using the computer use tool:

System prompt overhead: The computer use beta adds 466-499 tokens to the system prompt

Computer use tool token usage:

Additional token consumption:

• Screenshot images (see Vision pricing)
• Tool execution results returned to Claude

Nächste Schritte