MessagesTools

Computer-Use-Tool

Gib Claude mit dem Computer-Use-Tool Screenshot-, Maus- und Tastatursteuerung über eine Desktop-Umgebung.

Claude kann über das Computer-Use-Tool mit Computerumgebungen interagieren. Es bietet Screenshot-Funktionen sowie Maus-/Tastatursteuerung für autonome Desktop-Interaktion.

Computer Use befindet sich in der Beta-Phase und erfordert einen Beta-Header:

"computer-use-2025-11-24" für Claude Sonnet 5, Claude Opus 4.8, Claude Opus 4.7, Claude Opus 4.6, Claude Sonnet 4.6 und Claude Opus 4.5
"computer-use-2025-01-24" für Claude Sonnet 4.5, Claude Haiku 4.5, Claude Opus 4.1 (veraltet), Claude Sonnet 4 (eingestellt, außer auf Bedrock und Google Cloud) und Claude Opus 4 (eingestellt, außer auf Google Cloud)

Nutze das Feedback-Formular, um uns dein Feedback zu diesem Feature mitzuteilen.

Diese Funktion ist für Zero Data Retention (ZDR) qualifiziert. Wenn deine Organisation eine ZDR-Vereinbarung hat, werden Daten, die über diese Funktion gesendet werden, nicht gespeichert, nachdem die API-Antwort zurückgegeben wurde.

Überblick

Computer Use ist ein Beta-Feature, das es Claude ermöglicht, mit Desktop-Umgebungen zu interagieren. Dieses Tool bietet:

Screenshot-Erfassung: Sehen, was aktuell auf dem Bildschirm angezeigt wird
Maussteuerung: Klicken, Ziehen und Bewegen des Cursors
Tastatureingabe: Text eingeben und Tastenkombinationen verwenden
Desktop-Automatisierung: Mit jeder Anwendung oder Oberfläche interagieren

Während Computer Use mit anderen Tools wie Bash und Texteditor für umfassendere Automatisierungs-Workflows erweitert werden kann, bezieht sich Computer Use speziell auf die Fähigkeit des Computer-Use-Tools, Desktop-Umgebungen zu sehen und zu steuern.

Informationen zur Modellunterstützung findest du in der Tool-Referenz.

Sicherheitsüberlegungen

Computer Use ist ein Beta-Feature mit besonderen Risiken, die sich von denen der Standard-API-Features unterscheiden. Diese Risiken sind bei der Interaktion mit dem Internet erhöht.

Um Risiken zu minimieren, solltest du Vorsichtsmaßnahmen wie die folgenden in Betracht ziehen:

Verwende eine dedizierte virtuelle Maschine oder einen Container mit minimalen Berechtigungen, um direkte Systemangriffe oder Unfälle zu verhindern.
Vermeide es, dem Modell Zugriff auf sensible Daten wie Konto-Anmeldeinformationen zu geben, um Informationsdiebstahl zu verhindern.
Beschränke den Internetzugang auf eine Allowlist von Domains, um die Exposition gegenüber bösartigen Inhalten zu reduzieren.
Lass einen Menschen Entscheidungen bestätigen, die zu bedeutsamen realen Konsequenzen führen könnten, sowie alle Aufgaben, die eine ausdrückliche Zustimmung erfordern, wie das Akzeptieren von Cookies, das Abschließen von Finanztransaktionen oder das Zustimmen zu Nutzungsbedingungen.

Unter bestimmten Umständen folgt Claude Befehlen, die in Inhalten gefunden werden, selbst wenn sie im Widerspruch zu deinen Anweisungen stehen. Beispielsweise könnten Anweisungen auf Webseiten oder in Bildern deine Anweisungen außer Kraft setzen oder dazu führen, dass Claude Fehler macht. Triff Vorsichtsmaßnahmen, um Claude von sensiblen Daten und Aktionen zu isolieren und Risiken im Zusammenhang mit Prompt Injection zu vermeiden.

Anthropic hat das Modell darauf trainiert, diesen Prompt Injections zu widerstehen, und eine zusätzliche Verteidigungsebene hinzugefügt. Wenn du die Computer-Use-Tools verwendest, werden automatisch Klassifikatoren auf deine Prompts angewendet, um potenzielle Fälle von Prompt Injections zu erkennen. Wenn diese Klassifikatoren potenzielle Prompt Injections in Screenshots identifizieren, steuern sie das Modell automatisch so, dass es vor der nächsten Aktion um Bestätigung durch den Benutzer bittet. Dieser zusätzliche Schutz ist nicht für jeden Anwendungsfall ideal (zum Beispiel Anwendungsfälle ohne einen Menschen in der Schleife). Wenn du dich abmelden und ihn deaktivieren möchtest, kontaktiere den Support.

Diese Vorsichtsmaßnahmen bleiben auch mit der Klassifikator-Verteidigungsebene wichtig.

Informiere Endbenutzer über relevante Risiken und hole ihre Zustimmung ein, bevor du Computer Use in deinen eigenen Produkten aktivierst.

Computer-Use-Referenzimplementierung

Starte mit der Computer-Use-Referenzimplementierung, die eine Weboberfläche, einen Docker-Container, Beispiel-Tool-Implementierungen und eine Agentenschleife enthält.

Schnellstart

So startest du mit Computer Use:

client = anthropic.Anthropic()

response = client.beta.messages.create(
    model="claude-opus-4-8",  # or another compatible model
    max_tokens=1024,
    tools=[
        {
            "type": "computer_20251124",
            "name": "computer",
            "display_width_px": 1024,
            "display_height_px": 768,
            "display_number": 1,
        },
        {"type": "text_editor_20250728", "name": "str_replace_based_edit_tool"},
        {"type": "bash_20250124", "name": "bash"},
    ],
    messages=[{"role": "user", "content": "Save a picture of a cat to my desktop."}],
    betas=["computer-use-2025-11-24"],
)
print(response)

Ein Beta-Header ist nur für das Computer-Use-Tool erforderlich.

Das vorangehende Beispiel zeigt alle drei Tools in gemeinsamer Verwendung, was den Beta-Header erfordert, weil es das Computer-Use-Tool enthält.

Wie Computer Use funktioniert

Stelle Claude das Computer-Use-Tool und einen Benutzer-Prompt bereit
- Füge das Computer-Use-Tool (und optional weitere Tools) zu deiner API-Anfrage hinzu.
- Füge einen Benutzer-Prompt hinzu, der Desktop-Interaktion erfordert, zum Beispiel: „Speichere ein Bild einer Katze auf meinem Desktop."
Claude wählt das Computer-Use-Tool aus
- Claude bewertet, ob das Computer-Use-Tool bei der Anfrage des Benutzers helfen kann.
- Wenn ja, konstruiert Claude eine korrekt formatierte Tool-Nutzungsanfrage.
- Die API-Antwort hat einen stop_reason von tool_use, was eine Tool-Nutzungsanfrage signalisiert.
Extrahiere die Tool-Eingabe, führe das Tool auf einem Computer aus und gib die Ergebnisse zurück
- Extrahiere auf deiner Seite den Tool-Namen und die Eingabe aus Claudes Anfrage.
- Verwende das Tool in einem Container oder einer virtuellen Maschine.
- Setze die Konversation mit einer neuen user-Nachricht fort, die einen tool_result-Inhaltsblock enthält.
Claude ruft weiterhin Computer-Use-Tools auf, bis die Aufgabe abgeschlossen ist
- Claude analysiert die Tool-Ergebnisse, um festzustellen, ob weitere Tool-Nutzung erforderlich ist oder die Aufgabe abgeschlossen wurde.
- Wenn Claude feststellt, dass ein weiteres Tool benötigt wird, antwortet es mit einem weiteren tool_use stop_reason und du solltest zu Schritt 3 zurückkehren.
- Andernfalls erstellt es eine Textantwort für den Benutzer.

Die Wiederholung der Schritte 3 und 4 ohne Benutzereingabe wird als „agent loop" (Agentenschleife) bezeichnet (das heißt, Claude antwortet mit einer Tool-Nutzungsanfrage und deine Anwendung antwortet Claude mit den Ergebnissen der Auswertung dieser Anfrage).

Die Computerumgebung

Computer Use erfordert eine Sandbox-Computerumgebung, in der Claude sicher mit Anwendungen und dem Web interagieren kann. Diese Umgebung umfasst:

Virtuelles Display: Ein virtueller X11-Display-Server (mit Xvfb), der die Desktop-Oberfläche rendert, die Claude über Screenshots sehen und mit Maus-/Tastaturaktionen steuern wird.
Desktop-Umgebung: Eine leichtgewichtige Benutzeroberfläche mit Fenstermanager (Mutter) und Panel (Tint2) unter Linux, die eine konsistente grafische Oberfläche für Claudes Interaktion bereitstellt.
Anwendungen: Vorinstallierte Linux-Anwendungen wie Firefox, LibreOffice, Texteditoren und Dateimanager, die Claude zur Erledigung von Aufgaben verwenden kann.
Tool-Implementierungen: Integrationscode, der Claudes abstrakte Tool-Anfragen (wie „Maus bewegen" oder „Screenshot aufnehmen") in tatsächliche Operationen in der virtuellen Umgebung übersetzt.
Agentenschleife: Ein Programm, das die Kommunikation zwischen Claude und der Umgebung handhabt, Claudes Aktionen an die Umgebung sendet und die Ergebnisse (Screenshots, Befehlsausgaben) an Claude zurückgibt.

Wenn du Computer Use verwendest, verbindet sich Claude nicht direkt mit dieser Umgebung. Stattdessen macht deine Anwendung Folgendes:

Sie empfängt Claudes Tool-Nutzungsanfragen
Sie übersetzt sie in Aktionen in deiner Computerumgebung
Sie erfasst die Ergebnisse (wie Screenshots und Befehlsausgaben)
Sie gibt diese Ergebnisse an Claude zurück

Aus Sicherheits- und Isolationsgründen läuft in der Referenzimplementierung all dies in einem Docker-Container mit entsprechenden Port-Zuordnungen zum Anzeigen und Interagieren mit der Umgebung.

So implementierst du Computer Use

Beginne mit der Referenzimplementierung

Eine Referenzimplementierung ist verfügbar, die alles enthält, was du für den Einstieg in Computer Use benötigst:

Eine containerisierte Umgebung, die für Computer Use mit Claude geeignet ist
Implementierungen der Computer-Use-Tools
Eine Agentenschleife, die mit der Claude API interagiert und die Computer-Use-Tools ausführt
Eine Weboberfläche zur Interaktion mit dem Container, der Agentenschleife und den Tools.

Verstehe die Agentenschleife

Der Kern von Computer Use ist die „agent loop" (Agentenschleife): ein Zyklus, in dem Claude Tool-Aktionen anfordert, deine Anwendung sie ausführt und die Ergebnisse an Claude zurückgibt. Die Schleife verwendet den Client, den du im Schnellstart erstellt hast, eine Tool-Liste, die wie das tools-Array des Schnellstarts aufgebaut ist, und den Helfer zur Verarbeitung von Tool-Aufrufen, der in Verarbeite Claudes Tool-Aufrufe definiert ist. Hier ist ein vereinfachtes Beispiel:

def sampling_loop(model, messages, max_iterations=10):
    """
    Run the computer-use agent loop until Claude stops requesting tools
    or the iteration limit is reached.
    """
    for _ in range(max_iterations):
        response = client.beta.messages.create(
            model=model,
            max_tokens=4096,
            messages=messages,
            tools=TOOLS,
            betas=["computer-use-2025-11-24"],
        )

        # Füge Claudes Antwort zum Konversationsverlauf hinzu
        messages.append({"role": "assistant", "content": response.content})

        # Führe alle von Claude angeforderten Tools aus und sammle die Ergebnisse
        tool_results = process_tool_calls(response)
        if not tool_results:
            return messages  # No more tool use; task complete

        # Sende die Tool-Ergebnisse für die nächste Iteration an Claude zurück
        messages.append({"role": "user", "content": tool_results})

    return messages

Die Schleife läuft weiter, bis entweder Claude antwortet, ohne Tools anzufordern (Aufgabenabschluss), oder das maximale Iterationslimit erreicht ist. Diese Schutzmaßnahme verhindert potenzielle Endlosschleifen, die zu unerwarteten API-Kosten führen könnten.

Probiere die Referenzimplementierung aus, bevor du den Rest dieser Dokumentation liest.

Optimiere die Modellleistung mit Prompting

Hier sind einige Tipps, wie du die besten Ergebnisse erzielst:

Gib einfache, klar definierte Aufgaben an und stelle explizite Anweisungen für jeden Schritt bereit.
Claude nimmt manchmal Ergebnisse seiner Aktionen an, ohne deren Resultate explizit zu überprüfen. Um dies zu verhindern, kannst du Claude mit folgendem Prompt anweisen: After each step, take a screenshot and carefully evaluate if you have achieved the right outcome. Explicitly show your thinking: "I have evaluated step X..." If not correct, try again. Only when you confirm a step was executed correctly should you move on to the next one.
Einige UI-Elemente (wie Dropdowns und Scrollbalken) könnten für Claude schwierig mit Mausbewegungen zu bedienen sein. Wenn du dies feststellst, versuche, das Modell zur Verwendung von Tastenkombinationen aufzufordern.
Für wiederholbare Aufgaben oder UI-Interaktionen füge Beispiel-Screenshots und Tool-Aufrufe erfolgreicher Ergebnisse in deinen Prompt ein.
Wenn das Modell sich anmelden muss, gib ihm den Benutzernamen und das Passwort in deinem Prompt innerhalb von XML-Tags wie <robot_credentials> an. Die Verwendung von Computer Use in Anwendungen, die eine Anmeldung erfordern, erhöht das Risiko schlechter Ergebnisse infolge von Prompt Injection. Lies Jailbreaks und Prompt Injections abschwächen, bevor du dem Modell Anmeldedaten gibst.
Wenn du das content-Array eines Benutzer-Turns konstruierst, platziere den Anweisungstext vor dem Screenshot-Bild. Die Bereitstellung der Zielbeschreibung, bevor das Bild verarbeitet wird, verbessert die Klickgenauigkeit.
Bei Verwendung von computer_20251124 mit gesetztem enable_zoom: true zoomt Claude in eine Region hinein, wenn nach kleinem Text oder bestimmten UI-Elementen gefragt wird, die bei der Standardauflösung des Screenshots nicht lesbar sind, wie Dateinamen in einer Seitenleiste, Tab-Titel, Statusleistentext, Zeilennummern oder Schaltflächenbeschriftungen. Wenn Claude nicht zoomt, obwohl du es erwartest, frage nach einer bestimmten Region oder einem bestimmten Element statt nach dem gesamten Bildschirm.

Wenn du wiederholt auf eine klare Reihe von Problemen stößt oder im Voraus weißt, welche Aufgaben Claude erledigen muss, verwende den System-Prompt, um Claude explizite Tipps oder Anweisungen zu geben, wie die Aufgaben erfolgreich zu erledigen sind.

Für Agenten, die sich über mehrere Sitzungen erstrecken, führe eine End-to-End-Verifizierung zu Beginn jeder Sitzung durch, nicht nur nach der Implementierung. Browserbasierte Prüfungen erkennen Regressionen aus früheren Sitzungen, die eine reine Code-Überprüfung übersieht. Siehe Effective harnesses for long-running agents für Details.

System-Prompts

Wenn eines der Anthropic-Schema-Tools über die Claude API angefordert wird, wird ein Computer-Use-spezifischer System-Prompt generiert. Er ähnelt dem Tool-Nutzungs-System-Prompt, beginnt aber mit:

You have access to a set of functions you can use to answer the user's question. This includes access to a sandboxed computing environment. You do NOT currently have the ability to inspect files or interact with external resources, except by invoking the below functions.

Wie bei der regulären Tool-Nutzung wird der vom Benutzer bereitgestellte system-Parameter weiterhin respektiert und bei der Konstruktion des kombinierten System-Prompts verwendet.

Verfügbare Aktionen

Das Computer-Use-Tool unterstützt diese Aktionen:

Grundlegende Aktionen (alle Versionen)

screenshot: Erfasse die aktuelle Anzeige
left_click: Klicke an den Koordinaten [x, y]
type: Gib eine Textzeichenfolge ein
key: Drücke eine Taste oder Tastenkombination (zum Beispiel „ctrl+s")
mouse_move: Bewege den Cursor zu Koordinaten

Erweiterte Aktionen (computer_20250124 und später) Verfügbar in computer_20250124 und computer_20251124:

scroll: Scrolle in jede Richtung mit Mengensteuerung
left_click_drag: Klicke und ziehe zwischen Koordinaten
right_click, middle_click: Zusätzliche Maustasten
double_click, triple_click: Mehrfachklicks
left_mouse_down, left_mouse_up: Feingranulare Klicksteuerung
hold_key: Halte eine Taste für eine bestimmte Dauer (in Sekunden) gedrückt
wait: Pausiere zwischen Aktionen

Erweiterte Aktionen (computer_20251124) Verfügbar in Claude Sonnet 5, Claude Opus 4.8, Claude Opus 4.7, Claude Opus 4.6, Claude Sonnet 4.6 und Claude Opus 4.5:

Alle Aktionen aus computer_20250124
zoom: Zeige eine bestimmte Region des Bildschirms in voller Auflösung an. Erfordert enable_zoom: true in der Tool-Definition. Nimmt einen region-Parameter mit Koordinaten [x1, y1, x2, y2] entgegen, die die obere linke und untere rechte Ecke des zu untersuchenden Bereichs definieren.

Tool-Parameter

Parameter	Erforderlich	Beschreibung
`type`	Ja	Tool-Version (`computer_20251124` oder `computer_20250124`)
`name`	Ja	Muss „computer" sein
`display_width_px`	Ja	Anzeigebreite in Pixeln
`display_height_px`	Ja	Anzeigehöhe in Pixeln
`display_number`	Nein	Anzeigenummer für X11-Umgebungen
`enable_zoom`	Nein	Aktiviert die Zoom-Aktion (nur `computer_20251124`). Setze auf `true`, damit Claude in bestimmte Bildschirmregionen hineinzoomen kann. Standard: `false`

Wichtig: Deine Anwendung muss das Computer-Use-Tool explizit ausführen; Claude kann es nicht direkt ausführen. Du bist dafür verantwortlich, die Screenshot-Erfassung, Mausbewegungen, Tastatureingaben und andere Aktionen basierend auf Claudes Anfragen zu implementieren.

Kombination mit erweitertem Denken

Informationen zur Kombination von Computer Use mit erweitertem Denken findest du unter Erweitertes Denken.

Speziell für Computer Use legen interne Benchmarks diese effort-Einstellungen nahe:

Claude Opus 4.7: Verwende high als Standard; verwende low für Workloads mit hohem Durchsatz oder Kostensensitivität.
Claude Sonnet 4.6 und Claude Opus 4.6: Verwende medium als Standard (bestes Verhältnis von Genauigkeit zu Kosten). Vermeide max, das Token-Kosten hinzufügt, ohne die Genauigkeit bei UI-Aufgaben zu verbessern. Bei diesen Modellen verwendet low weniger Output-Token als das vollständige Deaktivieren des Denkens (weniger Fehler bedeuten weniger Wiederholungsversuche), was es zu einer starken Option für kostensensitive Schleifen macht.

Computer Use mit anderen Tools erweitern

Um andere Tools neben Computer Use hinzuzufügen, nimm sie in dasselbe tools-Array auf. Der Abschnitt Schnellstart zeigt dieses Muster mit dem Bash-Tool und dem Texteditor-Tool. Du kannst deine eigenen benutzerdefinierten Tool-Definitionen auf die gleiche Weise hinzufügen.

Erstelle eine benutzerdefinierte Computer-Use-Umgebung

Die Referenzimplementierung soll dir den Einstieg in Computer Use erleichtern. Sie enthält alle Komponenten, die benötigt werden, damit Claude einen Computer verwenden kann. Du kannst jedoch deine eigene Umgebung für Computer Use erstellen, die deinen Anforderungen entspricht. Du benötigst:

Eine virtualisierte oder containerisierte Umgebung, die für Computer Use mit Claude geeignet ist
Eine Implementierung von mindestens einem der Anthropic-Schema-Computer-Use-Tools
Eine Agentenschleife, die mit der Claude API interagiert und die tool_use-Ergebnisse mit deinen Tool-Implementierungen ausführt
Eine API oder Benutzeroberfläche, die Benutzereingaben zum Starten der Agentenschleife ermöglicht

Implementiere das Computer-Use-Tool

Das Computer-Use-Tool ist als schemaloses Tool implementiert. Bei der Verwendung dieses Tools musst du kein Eingabeschema wie bei anderen Tools bereitstellen; das Schema ist in Claudes Modell integriert und kann nicht geändert werden.

Richte deine Computerumgebung ein
Erstelle ein virtuelles Display oder verbinde dich mit einem vorhandenen Display, mit dem Claude interagieren wird. Dies beinhaltet typischerweise die Einrichtung von Xvfb (X Virtual Framebuffer) oder einer ähnlichen Technologie.

Implementiere Aktions-Handler

Erstelle Funktionen zur Verarbeitung jedes Aktionstyps, den Claude anfordern könnte:

def capture_screenshot():
    return "<screenshot data>"


def click_at(x, y):
    return f"clicked at ({x}, {y})"


def type_text(text):
    return f"typed: {text}"


def handle_computer_action(action_type, params):
    if action_type == "screenshot":
        return capture_screenshot()
    elif action_type == "left_click":
        x, y = params["coordinate"]
        return click_at(x, y)
    elif action_type == "type":
        return type_text(params["text"])
    # Behandle weitere Aktionen nach Bedarf
    return f"unhandled action: {action_type}"

Verarbeite Claudes Tool-Aufrufe

Extrahiere und führe Tool-Aufrufe aus Claudes Antworten aus:

def process_tool_calls(response):
    tool_results = []
    for block in response.content:
        if block.type == "tool_use":
            action = block.input["action"]
            result = handle_computer_action(action, block.input)
            tool_results.append(
                {
                    "type": "tool_result",
                    "tool_use_id": block.id,
                    "content": result,
                }
            )
    return tool_results

Implementiere die Agentenschleife

Erstelle eine Schleife, die weiterläuft, bis Claude die Aufgabe abgeschlossen hat:

def sampling_loop(model, messages, max_iterations=10):
    """
    Run the computer-use agent loop until Claude stops requesting tools
    or the iteration limit is reached.
    """
    for _ in range(max_iterations):
        response = client.beta.messages.create(
            model=model,
            max_tokens=4096,
            messages=messages,
            tools=TOOLS,
            betas=["computer-use-2025-11-24"],
        )

        # Füge Claudes Antwort zum Konversationsverlauf hinzu
        messages.append({"role": "assistant", "content": response.content})

        # Führe alle von Claude angeforderten Tools aus und sammle die Ergebnisse
        tool_results = process_tool_calls(response)
        if not tool_results:
            return messages  # No more tool use; task complete

        # Sende die Tool-Ergebnisse für die nächste Iteration an Claude zurück
        messages.append({"role": "user", "content": tool_results})

    return messages

Behandle Fehler

Bei der Implementierung des Computer-Use-Tools können verschiedene Fehler auftreten. So behandelst du sie:

Passe Screenshots an die Bildgrößenlimits an

Screenshots, die an das Computer-Tool gesendet werden, sollten innerhalb von Claudes Bildgrößenlimits liegen (siehe Bildgrößenlimits). Die API verkleinert übergroße Bilder, bevor Claude sie sieht, und Claude gibt Koordinaten für das Bild zurück, das es sieht. Wenn du dich also auf die serverseitige Verkleinerung verlässt, fehlt dir der Skalierungsfaktor, den du benötigst, um diese Koordinaten auf deinen Bildschirm zurückzurechnen. Nur Bilder, die die separaten Anfragelimits der API überschreiten (zum Beispiel mehr als 8.000 px an einer Seite), werden mit einem Validierungsfehler abgelehnt, anstatt verkleinert zu werden.

Die Limits variieren je nach Modell. Claude Sonnet 5, Claude Opus 4.8 und Claude Opus 4.7 akzeptieren bis zu 2576 Pixel an der langen Kante; frühere Modelle akzeptieren bis zu 1568 Pixel an der langen Kante und insgesamt etwa 1,15 Megapixel. Das folgende Beispiel verwendet die Limits der früheren Modelle von 1568 px / 1,15 MP; ersetze sie durch das Limit deines Modells.

Wenn dein Bildschirm größer als das Limit ist, verkleinere den Screenshot vor dem Senden, setze display_width_px/display_height_px auf die verkleinerten Abmessungen und skaliere die von Claude zurückgegebenen Koordinaten zurück in den ursprünglichen Bildschirmraum:

import math


def get_scale_factor(width, height):
    """Calculate scale factor to meet API constraints."""
    long_edge = max(width, height)
    total_pixels = width * height

    long_edge_scale = 1568 / long_edge
    total_pixels_scale = math.sqrt(1_150_000 / total_pixels)

    return min(1.0, long_edge_scale, total_pixels_scale)


# Beim Erfassen des Screenshots
scale = get_scale_factor(screen_width, screen_height)
scaled_width = int(screen_width * scale)
scaled_height = int(screen_height * scale)

# Skaliere das Bild auf die verkleinerten Abmessungen, bevor du es an Claude sendest
screenshot = capture_and_resize(scaled_width, scaled_height)


# Beim Verarbeiten von Claudes Koordinaten skaliere sie wieder hoch
def execute_click(x, y):
    screen_x = x / scale
    screen_y = y / scale
    perform_click(screen_x, screen_y)

macOS-Retina-Displays erfassen Screenshots mit einem Device-Pixel-Ratio von 2, sodass das Bild die doppelte Auflösung der logischen Bildschirmkoordinaten hat. Verkleinere entweder den Screenshot um den Faktor 2, bevor du ihn sendest, oder halbiere die von Claude zurückgegebenen Koordinaten, bevor du den Klick ausführst.

Diagnostiziere Klickprobleme

Wenn Klicks ihre Ziele verfehlen, ist die Ursache normalerweise eine der folgenden:

Symptom	Wahrscheinliche Ursache	Versuche
Klicks sind konsistent in eine Richtung versetzt	`display_width_px`/`display_height_px` stimmen nicht mit den tatsächlich gesendeten Bildabmessungen überein	Stelle sicher, dass die Anzeigeabmessungen exakt mit dem gesendeten Screenshot übereinstimmen
Klicks landen im richtigen Bereich, verfehlen aber das Ziel	Das Ziel ist sehr klein, Details gingen beim Verkleinern einer 4K+-Quelle verloren oder das Seitenverhältnis wurde verzerrt	Setze `enable_zoom: true`; erfasse mit niedrigerer DPI oder schneide auf die relevante Region zu; bewahre das Seitenverhältnis beim Skalieren
Claude klickt auf ein völlig falsches Element	Mehrdeutige Anweisung oder visuell ähnliche Elemente in der Nähe	Verwende positionsbezogene Prompts („die blaue Absenden-Schaltfläche unten rechts"); teile die Interaktion in kleinere Schritte auf
Die Genauigkeit ist durchgehend schlecht	Auflösung zu niedrig	Versuche 1280x720 als Ausgangsbasis

Die Modellwahl beeinflusst die Klickpräzision. Claude Sonnet 4.6 ist beim Klicken mechanisch präziser als Claude Opus 4.6 und robuster, wenn Screenshots stark verkleinert werden müssen. Claude Opus 4.7 verringert diesen Abstand: Seine Klickpräzision ist ungefähr vergleichbar mit Sonnet 4.6, und sein höheres Auflösungslimit bedeutet, dass weniger Verkleinerung erforderlich ist.

Befolge Best Practices für die Implementierung

Verstehe die Einschränkungen von Computer Use

Computer Use befindet sich in der Beta-Phase. Beachte die folgenden Einschränkungen:

Latenz: Die aktuelle „latency" (Latenz) von Computer Use bei Mensch-KI-Interaktionen könnte im Vergleich zu regulären, von Menschen gesteuerten Computeraktionen zu langsam sein. Konzentriere dich auf Anwendungsfälle, bei denen Geschwindigkeit nicht kritisch ist (zum Beispiel Informationsbeschaffung im Hintergrund, automatisiertes Softwaretesten) in vertrauenswürdigen Umgebungen.
Genauigkeit und Zuverlässigkeit der Computer Vision: Claude könnte Fehler machen oder halluzinieren, wenn es bei der Generierung von Aktionen bestimmte Koordinaten ausgibt. Erweitertes Denken kann dir helfen, die Argumentation des Modells zu verstehen und potenzielle Probleme zu identifizieren.
Genauigkeit und Zuverlässigkeit der Tool-Auswahl: Claude könnte Fehler machen oder halluzinieren, wenn es bei der Generierung von Aktionen Tools auswählt, oder unerwartete Aktionen zur Problemlösung ausführen. Außerdem könnte die Zuverlässigkeit geringer sein, wenn mit Nischenanwendungen oder mehreren Anwendungen gleichzeitig interagiert wird. Formuliere deine Prompts sorgfältig, wenn du komplexe Aufgaben anforderst.
Zuverlässigkeit beim Scrollen: Die Scroll-Aktion unterstützt Richtungssteuerung (oben, unten, links, rechts) und eine angegebene Menge. In Anwendungen, in denen das Scrollen nicht wirkt, können Tastaturalternativen wie Bild-ab helfen.
Tabellenkalkulations-Interaktion: Verwende die feingranularen Maussteuerungsaktionen (left_mouse_down, left_mouse_up) und Modifikatortasten-Kombinationen, um einzelne Zellen auszuwählen. Komplexe Tabellenkalkulationsoperationen könnten dennoch mehrere Versuche erfordern.
Kontoerstellung und Inhaltsgenerierung auf sozialen und Kommunikationsplattformen: Während Claude Websites besucht, ist Claudes Fähigkeit, Konten zu erstellen oder Inhalte zu generieren und zu teilen oder sich anderweitig an der Nachahmung von Menschen auf Social-Media-Websites und -Plattformen zu beteiligen, eingeschränkt. Diese Fähigkeit könnte in Zukunft aktualisiert werden.
Schwachstellen: Schwachstellen wie Jailbreaking oder Prompt Injection könnten über alle Frontier-KI-Systeme hinweg bestehen bleiben, einschließlich der Beta-Computer-Use-API. Unter bestimmten Umständen folgt Claude Befehlen, die in Inhalten gefunden werden, manchmal sogar dann, wenn sie im Widerspruch zu deinen Anweisungen stehen. Beispielsweise könnten Anweisungen auf Webseiten oder in Bildern deine Anweisungen außer Kraft setzen oder dazu führen, dass Claude Fehler macht. Berücksichtige Folgendes:
- Beschränke Computer Use auf vertrauenswürdige Umgebungen wie virtuelle Maschinen oder Container mit minimalen Berechtigungen
- Vermeide es, Computer Use ohne strenge Aufsicht Zugriff auf sensible Konten oder Daten zu geben
- Informiere Endbenutzer über relevante Risiken und hole ihre Zustimmung ein, bevor du Berechtigungen aktivierst oder anforderst, die für Computer-Use-Features in deinen Anwendungen erforderlich sind
Unangemessene oder illegale Aktionen: Gemäß den Nutzungsbedingungen von Anthropic darfst du Computer Use nicht verwenden, um gegen Gesetze oder die Acceptable Use Policy zu verstoßen.

Überprüfe und verifiziere Claudes Computer-Use-Aktionen und -Protokolle stets sorgfältig. Verwende Claude nicht für Aufgaben, die perfekte Präzision oder sensible Benutzerinformationen erfordern, ohne menschliche Aufsicht.

Datenspeicherung

Computer Use ist ein clientseitiges Tool. Alle Screenshots, Mausaktionen, Tastatureingaben und alle an einer Sitzung beteiligten Dateien werden in deiner Umgebung erfasst und gespeichert, nicht von Anthropic. Anthropic verarbeitet die Screenshot-Bilder und Aktionsanfragen in Echtzeit als Teil des API-Aufrufs. Die Aufbewahrung dieser API-Anfragen unterliegt API und Datenspeicherung.

Da deine Anwendung steuert, wo und wie Computer-Use-Daten gespeichert werden, ist Computer Use ZDR-berechtigt. Informationen zur ZDR-Berechtigung für alle Features findest du unter API und Datenspeicherung.

Preise

Computer use folgt der standardmäßigen Preisgestaltung für Tool-Nutzung. Bei der Verwendung des Computer-Use-Tools:

System-Prompt-Overhead: Die Computer-Use-Beta fügt dem System-Prompt 466–499 Token hinzu

Token-Verbrauch des Computer-Use-Tools:

Modell	Input-Token pro Tool-Definition
Claude 4.x-Modelle	735 Token

Zusätzlicher Token-Verbrauch:

Screenshot-Bilder (siehe Vision-Preisgestaltung)
Ergebnisse der Tool-Ausführung, die an Claude zurückgegeben werden

Wenn du neben Computer Use auch Bash- oder Text-Editor-Tools verwendest, haben diese Tools ihre eigenen Token-Kosten, wie auf ihren jeweiligen Seiten dokumentiert.

Nächste Schritte

Fehlerbehebung bei der Tool-Nutzung

Behebe die häufigsten Tool-Nutzungsfehler mit Diagnosetabellen von Symptom zu Lösung.

Referenzimplementierung

Starte mit der vollständigen Docker-basierten Implementierung

Tool-Nutzung mit Claude

Verbinde Claude mit externen Tools und APIs. Erfahre, wo Tools ausgeführt werden, wann Claude sie aufruft und welches Tool zu deiner Aufgabe passt.

Best Practices im Detail

Benchmark-basierte Empfehlungen für Auflösung, Denkaufwand und Kontextverwaltung

Was this page helpful?

MessagesTools

Computer-Use-Tool

Gib Claude mit dem Computer-Use-Tool Screenshot-, Maus- und Tastatursteuerung über eine Desktop-Umgebung.

Claude kann über das Computer-Use-Tool mit Computerumgebungen interagieren. Es bietet Screenshot-Funktionen sowie Maus-/Tastatursteuerung für autonome Desktop-Interaktion.

Computer Use befindet sich in der Beta-Phase und erfordert einen Beta-Header:

"computer-use-2025-11-24" für Claude Sonnet 5, Claude Opus 4.8, Claude Opus 4.7, Claude Opus 4.6, Claude Sonnet 4.6 und Claude Opus 4.5
"computer-use-2025-01-24" für Claude Sonnet 4.5, Claude Haiku 4.5, Claude Opus 4.1 (veraltet), Claude Sonnet 4 (eingestellt, außer auf Bedrock und Google Cloud) und Claude Opus 4 (eingestellt, außer auf Google Cloud)

Nutze das Feedback-Formular, um uns dein Feedback zu diesem Feature mitzuteilen.

Überblick

Computer Use ist ein Beta-Feature, das es Claude ermöglicht, mit Desktop-Umgebungen zu interagieren. Dieses Tool bietet:

Screenshot-Erfassung: Sehen, was aktuell auf dem Bildschirm angezeigt wird
Maussteuerung: Klicken, Ziehen und Bewegen des Cursors
Tastatureingabe: Text eingeben und Tastenkombinationen verwenden
Desktop-Automatisierung: Mit jeder Anwendung oder Oberfläche interagieren

Informationen zur Modellunterstützung findest du in der Tool-Referenz.

Sicherheitsüberlegungen

Computer Use ist ein Beta-Feature mit besonderen Risiken, die sich von denen der Standard-API-Features unterscheiden. Diese Risiken sind bei der Interaktion mit dem Internet erhöht.

Um Risiken zu minimieren, solltest du Vorsichtsmaßnahmen wie die folgenden in Betracht ziehen:

Verwende eine dedizierte virtuelle Maschine oder einen Container mit minimalen Berechtigungen, um direkte Systemangriffe oder Unfälle zu verhindern.
Vermeide es, dem Modell Zugriff auf sensible Daten wie Konto-Anmeldeinformationen zu geben, um Informationsdiebstahl zu verhindern.
Beschränke den Internetzugang auf eine Allowlist von Domains, um die Exposition gegenüber bösartigen Inhalten zu reduzieren.
Lass einen Menschen Entscheidungen bestätigen, die zu bedeutsamen realen Konsequenzen führen könnten, sowie alle Aufgaben, die eine ausdrückliche Zustimmung erfordern, wie das Akzeptieren von Cookies, das Abschließen von Finanztransaktionen oder das Zustimmen zu Nutzungsbedingungen.

Diese Vorsichtsmaßnahmen bleiben auch mit der Klassifikator-Verteidigungsebene wichtig.

Informiere Endbenutzer über relevante Risiken und hole ihre Zustimmung ein, bevor du Computer Use in deinen eigenen Produkten aktivierst.

Computer-Use-Referenzimplementierung

Starte mit der Computer-Use-Referenzimplementierung, die eine Weboberfläche, einen Docker-Container, Beispiel-Tool-Implementierungen und eine Agentenschleife enthält.

Schnellstart

So startest du mit Computer Use:

client = anthropic.Anthropic()

response = client.beta.messages.create(
    model="claude-opus-4-8",  # or another compatible model
    max_tokens=1024,
    tools=[
        {
            "type": "computer_20251124",
            "name": "computer",
            "display_width_px": 1024,
            "display_height_px": 768,
            "display_number": 1,
        },
        {"type": "text_editor_20250728", "name": "str_replace_based_edit_tool"},
        {"type": "bash_20250124", "name": "bash"},
    ],
    messages=[{"role": "user", "content": "Save a picture of a cat to my desktop."}],
    betas=["computer-use-2025-11-24"],
)
print(response)

Ein Beta-Header ist nur für das Computer-Use-Tool erforderlich.

Das vorangehende Beispiel zeigt alle drei Tools in gemeinsamer Verwendung, was den Beta-Header erfordert, weil es das Computer-Use-Tool enthält.

Wie Computer Use funktioniert

Stelle Claude das Computer-Use-Tool und einen Benutzer-Prompt bereit
- Füge das Computer-Use-Tool (und optional weitere Tools) zu deiner API-Anfrage hinzu.
- Füge einen Benutzer-Prompt hinzu, der Desktop-Interaktion erfordert, zum Beispiel: „Speichere ein Bild einer Katze auf meinem Desktop."
Claude wählt das Computer-Use-Tool aus
- Claude bewertet, ob das Computer-Use-Tool bei der Anfrage des Benutzers helfen kann.
- Wenn ja, konstruiert Claude eine korrekt formatierte Tool-Nutzungsanfrage.
- Die API-Antwort hat einen stop_reason von tool_use, was eine Tool-Nutzungsanfrage signalisiert.
Extrahiere die Tool-Eingabe, führe das Tool auf einem Computer aus und gib die Ergebnisse zurück
- Extrahiere auf deiner Seite den Tool-Namen und die Eingabe aus Claudes Anfrage.
- Verwende das Tool in einem Container oder einer virtuellen Maschine.
- Setze die Konversation mit einer neuen user-Nachricht fort, die einen tool_result-Inhaltsblock enthält.
Claude ruft weiterhin Computer-Use-Tools auf, bis die Aufgabe abgeschlossen ist
- Claude analysiert die Tool-Ergebnisse, um festzustellen, ob weitere Tool-Nutzung erforderlich ist oder die Aufgabe abgeschlossen wurde.
- Wenn Claude feststellt, dass ein weiteres Tool benötigt wird, antwortet es mit einem weiteren tool_use stop_reason und du solltest zu Schritt 3 zurückkehren.
- Andernfalls erstellt es eine Textantwort für den Benutzer.

Die Computerumgebung

Computer Use erfordert eine Sandbox-Computerumgebung, in der Claude sicher mit Anwendungen und dem Web interagieren kann. Diese Umgebung umfasst:

Virtuelles Display: Ein virtueller X11-Display-Server (mit Xvfb), der die Desktop-Oberfläche rendert, die Claude über Screenshots sehen und mit Maus-/Tastaturaktionen steuern wird.
Desktop-Umgebung: Eine leichtgewichtige Benutzeroberfläche mit Fenstermanager (Mutter) und Panel (Tint2) unter Linux, die eine konsistente grafische Oberfläche für Claudes Interaktion bereitstellt.
Anwendungen: Vorinstallierte Linux-Anwendungen wie Firefox, LibreOffice, Texteditoren und Dateimanager, die Claude zur Erledigung von Aufgaben verwenden kann.
Tool-Implementierungen: Integrationscode, der Claudes abstrakte Tool-Anfragen (wie „Maus bewegen" oder „Screenshot aufnehmen") in tatsächliche Operationen in der virtuellen Umgebung übersetzt.
Agentenschleife: Ein Programm, das die Kommunikation zwischen Claude und der Umgebung handhabt, Claudes Aktionen an die Umgebung sendet und die Ergebnisse (Screenshots, Befehlsausgaben) an Claude zurückgibt.

Wenn du Computer Use verwendest, verbindet sich Claude nicht direkt mit dieser Umgebung. Stattdessen macht deine Anwendung Folgendes:

Sie empfängt Claudes Tool-Nutzungsanfragen
Sie übersetzt sie in Aktionen in deiner Computerumgebung
Sie erfasst die Ergebnisse (wie Screenshots und Befehlsausgaben)
Sie gibt diese Ergebnisse an Claude zurück

Aus Sicherheits- und Isolationsgründen läuft in der Referenzimplementierung all dies in einem Docker-Container mit entsprechenden Port-Zuordnungen zum Anzeigen und Interagieren mit der Umgebung.

So implementierst du Computer Use

Beginne mit der Referenzimplementierung

Eine Referenzimplementierung ist verfügbar, die alles enthält, was du für den Einstieg in Computer Use benötigst:

Eine containerisierte Umgebung, die für Computer Use mit Claude geeignet ist
Implementierungen der Computer-Use-Tools
Eine Agentenschleife, die mit der Claude API interagiert und die Computer-Use-Tools ausführt
Eine Weboberfläche zur Interaktion mit dem Container, der Agentenschleife und den Tools.

Verstehe die Agentenschleife

def sampling_loop(model, messages, max_iterations=10):
    """
    Run the computer-use agent loop until Claude stops requesting tools
    or the iteration limit is reached.
    """
    for _ in range(max_iterations):
        response = client.beta.messages.create(
            model=model,
            max_tokens=4096,
            messages=messages,
            tools=TOOLS,
            betas=["computer-use-2025-11-24"],
        )

        # Füge Claudes Antwort zum Konversationsverlauf hinzu
        messages.append({"role": "assistant", "content": response.content})

        # Führe alle von Claude angeforderten Tools aus und sammle die Ergebnisse
        tool_results = process_tool_calls(response)
        if not tool_results:
            return messages  # No more tool use; task complete

        # Sende die Tool-Ergebnisse für die nächste Iteration an Claude zurück
        messages.append({"role": "user", "content": tool_results})

    return messages

Probiere die Referenzimplementierung aus, bevor du den Rest dieser Dokumentation liest.

Optimiere die Modellleistung mit Prompting

Hier sind einige Tipps, wie du die besten Ergebnisse erzielst:

Gib einfache, klar definierte Aufgaben an und stelle explizite Anweisungen für jeden Schritt bereit.
Claude nimmt manchmal Ergebnisse seiner Aktionen an, ohne deren Resultate explizit zu überprüfen. Um dies zu verhindern, kannst du Claude mit folgendem Prompt anweisen: After each step, take a screenshot and carefully evaluate if you have achieved the right outcome. Explicitly show your thinking: "I have evaluated step X..." If not correct, try again. Only when you confirm a step was executed correctly should you move on to the next one.
Einige UI-Elemente (wie Dropdowns und Scrollbalken) könnten für Claude schwierig mit Mausbewegungen zu bedienen sein. Wenn du dies feststellst, versuche, das Modell zur Verwendung von Tastenkombinationen aufzufordern.
Für wiederholbare Aufgaben oder UI-Interaktionen füge Beispiel-Screenshots und Tool-Aufrufe erfolgreicher Ergebnisse in deinen Prompt ein.
Wenn das Modell sich anmelden muss, gib ihm den Benutzernamen und das Passwort in deinem Prompt innerhalb von XML-Tags wie <robot_credentials> an. Die Verwendung von Computer Use in Anwendungen, die eine Anmeldung erfordern, erhöht das Risiko schlechter Ergebnisse infolge von Prompt Injection. Lies Jailbreaks und Prompt Injections abschwächen, bevor du dem Modell Anmeldedaten gibst.
Wenn du das content-Array eines Benutzer-Turns konstruierst, platziere den Anweisungstext vor dem Screenshot-Bild. Die Bereitstellung der Zielbeschreibung, bevor das Bild verarbeitet wird, verbessert die Klickgenauigkeit.
Bei Verwendung von computer_20251124 mit gesetztem enable_zoom: true zoomt Claude in eine Region hinein, wenn nach kleinem Text oder bestimmten UI-Elementen gefragt wird, die bei der Standardauflösung des Screenshots nicht lesbar sind, wie Dateinamen in einer Seitenleiste, Tab-Titel, Statusleistentext, Zeilennummern oder Schaltflächenbeschriftungen. Wenn Claude nicht zoomt, obwohl du es erwartest, frage nach einer bestimmten Region oder einem bestimmten Element statt nach dem gesamten Bildschirm.

System-Prompts

Wenn eines der Anthropic-Schema-Tools über die Claude API angefordert wird, wird ein Computer-Use-spezifischer System-Prompt generiert. Er ähnelt dem Tool-Nutzungs-System-Prompt, beginnt aber mit:

You have access to a set of functions you can use to answer the user's question. This includes access to a sandboxed computing environment. You do NOT currently have the ability to inspect files or interact with external resources, except by invoking the below functions.

Wie bei der regulären Tool-Nutzung wird der vom Benutzer bereitgestellte system-Parameter weiterhin respektiert und bei der Konstruktion des kombinierten System-Prompts verwendet.

Verfügbare Aktionen

Das Computer-Use-Tool unterstützt diese Aktionen:

Grundlegende Aktionen (alle Versionen)

screenshot: Erfasse die aktuelle Anzeige
left_click: Klicke an den Koordinaten [x, y]
type: Gib eine Textzeichenfolge ein
key: Drücke eine Taste oder Tastenkombination (zum Beispiel „ctrl+s")
mouse_move: Bewege den Cursor zu Koordinaten

Erweiterte Aktionen (computer_20250124 und später) Verfügbar in computer_20250124 und computer_20251124:

scroll: Scrolle in jede Richtung mit Mengensteuerung
left_click_drag: Klicke und ziehe zwischen Koordinaten
right_click, middle_click: Zusätzliche Maustasten
double_click, triple_click: Mehrfachklicks
left_mouse_down, left_mouse_up: Feingranulare Klicksteuerung
hold_key: Halte eine Taste für eine bestimmte Dauer (in Sekunden) gedrückt
wait: Pausiere zwischen Aktionen

Erweiterte Aktionen (computer_20251124) Verfügbar in Claude Sonnet 5, Claude Opus 4.8, Claude Opus 4.7, Claude Opus 4.6, Claude Sonnet 4.6 und Claude Opus 4.5:

Alle Aktionen aus computer_20250124
zoom: Zeige eine bestimmte Region des Bildschirms in voller Auflösung an. Erfordert enable_zoom: true in der Tool-Definition. Nimmt einen region-Parameter mit Koordinaten [x1, y1, x2, y2] entgegen, die die obere linke und untere rechte Ecke des zu untersuchenden Bereichs definieren.

Tool-Parameter

Parameter	Erforderlich	Beschreibung
`type`	Ja	Tool-Version (`computer_20251124` oder `computer_20250124`)
`name`	Ja	Muss „computer" sein
`display_width_px`	Ja	Anzeigebreite in Pixeln
`display_height_px`	Ja	Anzeigehöhe in Pixeln
`display_number`	Nein	Anzeigenummer für X11-Umgebungen
`enable_zoom`	Nein	Aktiviert die Zoom-Aktion (nur `computer_20251124`). Setze auf `true`, damit Claude in bestimmte Bildschirmregionen hineinzoomen kann. Standard: `false`

Kombination mit erweitertem Denken

Informationen zur Kombination von Computer Use mit erweitertem Denken findest du unter Erweitertes Denken.

Speziell für Computer Use legen interne Benchmarks diese effort-Einstellungen nahe:

Claude Opus 4.7: Verwende high als Standard; verwende low für Workloads mit hohem Durchsatz oder Kostensensitivität.
Claude Sonnet 4.6 und Claude Opus 4.6: Verwende medium als Standard (bestes Verhältnis von Genauigkeit zu Kosten). Vermeide max, das Token-Kosten hinzufügt, ohne die Genauigkeit bei UI-Aufgaben zu verbessern. Bei diesen Modellen verwendet low weniger Output-Token als das vollständige Deaktivieren des Denkens (weniger Fehler bedeuten weniger Wiederholungsversuche), was es zu einer starken Option für kostensensitive Schleifen macht.

Computer Use mit anderen Tools erweitern

Erstelle eine benutzerdefinierte Computer-Use-Umgebung

Eine virtualisierte oder containerisierte Umgebung, die für Computer Use mit Claude geeignet ist
Eine Implementierung von mindestens einem der Anthropic-Schema-Computer-Use-Tools
Eine Agentenschleife, die mit der Claude API interagiert und die tool_use-Ergebnisse mit deinen Tool-Implementierungen ausführt
Eine API oder Benutzeroberfläche, die Benutzereingaben zum Starten der Agentenschleife ermöglicht

Implementiere das Computer-Use-Tool

Richte deine Computerumgebung ein
Erstelle ein virtuelles Display oder verbinde dich mit einem vorhandenen Display, mit dem Claude interagieren wird. Dies beinhaltet typischerweise die Einrichtung von Xvfb (X Virtual Framebuffer) oder einer ähnlichen Technologie.

Implementiere Aktions-Handler

Erstelle Funktionen zur Verarbeitung jedes Aktionstyps, den Claude anfordern könnte:

def capture_screenshot():
    return "<screenshot data>"


def click_at(x, y):
    return f"clicked at ({x}, {y})"


def type_text(text):
    return f"typed: {text}"


def handle_computer_action(action_type, params):
    if action_type == "screenshot":
        return capture_screenshot()
    elif action_type == "left_click":
        x, y = params["coordinate"]
        return click_at(x, y)
    elif action_type == "type":
        return type_text(params["text"])
    # Behandle weitere Aktionen nach Bedarf
    return f"unhandled action: {action_type}"

Verarbeite Claudes Tool-Aufrufe

Extrahiere und führe Tool-Aufrufe aus Claudes Antworten aus:

def process_tool_calls(response):
    tool_results = []
    for block in response.content:
        if block.type == "tool_use":
            action = block.input["action"]
            result = handle_computer_action(action, block.input)
            tool_results.append(
                {
                    "type": "tool_result",
                    "tool_use_id": block.id,
                    "content": result,
                }
            )
    return tool_results

Implementiere die Agentenschleife

Erstelle eine Schleife, die weiterläuft, bis Claude die Aufgabe abgeschlossen hat:

def sampling_loop(model, messages, max_iterations=10):
    """
    Run the computer-use agent loop until Claude stops requesting tools
    or the iteration limit is reached.
    """
    for _ in range(max_iterations):
        response = client.beta.messages.create(
            model=model,
            max_tokens=4096,
            messages=messages,
            tools=TOOLS,
            betas=["computer-use-2025-11-24"],
        )

        # Füge Claudes Antwort zum Konversationsverlauf hinzu
        messages.append({"role": "assistant", "content": response.content})

        # Führe alle von Claude angeforderten Tools aus und sammle die Ergebnisse
        tool_results = process_tool_calls(response)
        if not tool_results:
            return messages  # No more tool use; task complete

        # Sende die Tool-Ergebnisse für die nächste Iteration an Claude zurück
        messages.append({"role": "user", "content": tool_results})

    return messages

Behandle Fehler

Bei der Implementierung des Computer-Use-Tools können verschiedene Fehler auftreten. So behandelst du sie:

Passe Screenshots an die Bildgrößenlimits an

import math


def get_scale_factor(width, height):
    """Calculate scale factor to meet API constraints."""
    long_edge = max(width, height)
    total_pixels = width * height

    long_edge_scale = 1568 / long_edge
    total_pixels_scale = math.sqrt(1_150_000 / total_pixels)

    return min(1.0, long_edge_scale, total_pixels_scale)


# Beim Erfassen des Screenshots
scale = get_scale_factor(screen_width, screen_height)
scaled_width = int(screen_width * scale)
scaled_height = int(screen_height * scale)

# Skaliere das Bild auf die verkleinerten Abmessungen, bevor du es an Claude sendest
screenshot = capture_and_resize(scaled_width, scaled_height)


# Beim Verarbeiten von Claudes Koordinaten skaliere sie wieder hoch
def execute_click(x, y):
    screen_x = x / scale
    screen_y = y / scale
    perform_click(screen_x, screen_y)

Diagnostiziere Klickprobleme

Wenn Klicks ihre Ziele verfehlen, ist die Ursache normalerweise eine der folgenden:

Symptom	Wahrscheinliche Ursache	Versuche
Klicks sind konsistent in eine Richtung versetzt	`display_width_px`/`display_height_px` stimmen nicht mit den tatsächlich gesendeten Bildabmessungen überein	Stelle sicher, dass die Anzeigeabmessungen exakt mit dem gesendeten Screenshot übereinstimmen
Klicks landen im richtigen Bereich, verfehlen aber das Ziel	Das Ziel ist sehr klein, Details gingen beim Verkleinern einer 4K+-Quelle verloren oder das Seitenverhältnis wurde verzerrt	Setze `enable_zoom: true`; erfasse mit niedrigerer DPI oder schneide auf die relevante Region zu; bewahre das Seitenverhältnis beim Skalieren
Claude klickt auf ein völlig falsches Element	Mehrdeutige Anweisung oder visuell ähnliche Elemente in der Nähe	Verwende positionsbezogene Prompts („die blaue Absenden-Schaltfläche unten rechts"); teile die Interaktion in kleinere Schritte auf
Die Genauigkeit ist durchgehend schlecht	Auflösung zu niedrig	Versuche 1280x720 als Ausgangsbasis

Befolge Best Practices für die Implementierung

Verstehe die Einschränkungen von Computer Use

Computer Use befindet sich in der Beta-Phase. Beachte die folgenden Einschränkungen:

Latenz: Die aktuelle „latency" (Latenz) von Computer Use bei Mensch-KI-Interaktionen könnte im Vergleich zu regulären, von Menschen gesteuerten Computeraktionen zu langsam sein. Konzentriere dich auf Anwendungsfälle, bei denen Geschwindigkeit nicht kritisch ist (zum Beispiel Informationsbeschaffung im Hintergrund, automatisiertes Softwaretesten) in vertrauenswürdigen Umgebungen.
Genauigkeit und Zuverlässigkeit der Computer Vision: Claude könnte Fehler machen oder halluzinieren, wenn es bei der Generierung von Aktionen bestimmte Koordinaten ausgibt. Erweitertes Denken kann dir helfen, die Argumentation des Modells zu verstehen und potenzielle Probleme zu identifizieren.
Genauigkeit und Zuverlässigkeit der Tool-Auswahl: Claude könnte Fehler machen oder halluzinieren, wenn es bei der Generierung von Aktionen Tools auswählt, oder unerwartete Aktionen zur Problemlösung ausführen. Außerdem könnte die Zuverlässigkeit geringer sein, wenn mit Nischenanwendungen oder mehreren Anwendungen gleichzeitig interagiert wird. Formuliere deine Prompts sorgfältig, wenn du komplexe Aufgaben anforderst.
Zuverlässigkeit beim Scrollen: Die Scroll-Aktion unterstützt Richtungssteuerung (oben, unten, links, rechts) und eine angegebene Menge. In Anwendungen, in denen das Scrollen nicht wirkt, können Tastaturalternativen wie Bild-ab helfen.
Tabellenkalkulations-Interaktion: Verwende die feingranularen Maussteuerungsaktionen (left_mouse_down, left_mouse_up) und Modifikatortasten-Kombinationen, um einzelne Zellen auszuwählen. Komplexe Tabellenkalkulationsoperationen könnten dennoch mehrere Versuche erfordern.
Kontoerstellung und Inhaltsgenerierung auf sozialen und Kommunikationsplattformen: Während Claude Websites besucht, ist Claudes Fähigkeit, Konten zu erstellen oder Inhalte zu generieren und zu teilen oder sich anderweitig an der Nachahmung von Menschen auf Social-Media-Websites und -Plattformen zu beteiligen, eingeschränkt. Diese Fähigkeit könnte in Zukunft aktualisiert werden.
Schwachstellen: Schwachstellen wie Jailbreaking oder Prompt Injection könnten über alle Frontier-KI-Systeme hinweg bestehen bleiben, einschließlich der Beta-Computer-Use-API. Unter bestimmten Umständen folgt Claude Befehlen, die in Inhalten gefunden werden, manchmal sogar dann, wenn sie im Widerspruch zu deinen Anweisungen stehen. Beispielsweise könnten Anweisungen auf Webseiten oder in Bildern deine Anweisungen außer Kraft setzen oder dazu führen, dass Claude Fehler macht. Berücksichtige Folgendes:
- Beschränke Computer Use auf vertrauenswürdige Umgebungen wie virtuelle Maschinen oder Container mit minimalen Berechtigungen
- Vermeide es, Computer Use ohne strenge Aufsicht Zugriff auf sensible Konten oder Daten zu geben
- Informiere Endbenutzer über relevante Risiken und hole ihre Zustimmung ein, bevor du Berechtigungen aktivierst oder anforderst, die für Computer-Use-Features in deinen Anwendungen erforderlich sind
Unangemessene oder illegale Aktionen: Gemäß den Nutzungsbedingungen von Anthropic darfst du Computer Use nicht verwenden, um gegen Gesetze oder die Acceptable Use Policy zu verstoßen.

Datenspeicherung

Preise

Computer use folgt der standardmäßigen Preisgestaltung für Tool-Nutzung. Bei der Verwendung des Computer-Use-Tools:

System-Prompt-Overhead: Die Computer-Use-Beta fügt dem System-Prompt 466–499 Token hinzu

Token-Verbrauch des Computer-Use-Tools:

Modell	Input-Token pro Tool-Definition
Claude 4.x-Modelle	735 Token

Zusätzlicher Token-Verbrauch:

Screenshot-Bilder (siehe Vision-Preisgestaltung)
Ergebnisse der Tool-Ausführung, die an Claude zurückgegeben werden

Wenn du neben Computer Use auch Bash- oder Text-Editor-Tools verwendest, haben diese Tools ihre eigenen Token-Kosten, wie auf ihren jeweiligen Seiten dokumentiert.

Nächste Schritte

Fehlerbehebung bei der Tool-Nutzung

Behebe die häufigsten Tool-Nutzungsfehler mit Diagnosetabellen von Symptom zu Lösung.

Referenzimplementierung

Starte mit der vollständigen Docker-basierten Implementierung

Tool-Nutzung mit Claude

Verbinde Claude mit externen Tools und APIs. Erfahre, wo Tools ausgeführt werden, wann Claude sie aufruft und welches Tool zu deiner Aufgabe passt.

Best Practices im Detail

Benchmark-basierte Empfehlungen für Auflösung, Denkaufwand und Kontextverwaltung

Was this page helpful?

Überblick

Sicherheitsüberlegungen

Schnellstart

Wie Computer Use funktioniert

Die Computerumgebung

So implementierst du Computer Use

Beginne mit der Referenzimplementierung

Verstehe die Agentenschleife

Optimiere die Modellleistung mit Prompting

System-Prompts

Verfügbare Aktionen

Beispielaktionen

Modifikatortasten mit Klick- und Scroll-Aktionen

Tool-Parameter

Kombination mit erweitertem Denken

Computer Use mit anderen Tools erweitern

Erstelle eine benutzerdefinierte Computer-Use-Umgebung

Implementiere das Computer-Use-Tool

Behandle Fehler

Fehler bei der Screenshot-Erfassung

Ungültige Koordinaten

Fehler bei der Aktionsausführung

Passe Screenshots an die Bildgrößenlimits an

Diagnostiziere Klickprobleme

Befolge Best Practices für die Implementierung

Verwende eine angemessene Anzeigeauflösung

Implementiere eine ordnungsgemäße Screenshot-Verarbeitung

Verwalte den Screenshot-Verlauf für Prompt-Caching

Füge Aktionsverzögerungen hinzu

Validiere Aktionen vor der Ausführung

Protokolliere Aktionen zum Debugging

Verstehe die Einschränkungen von Computer Use

Datenspeicherung

Preise

Nächste Schritte

Überblick

Sicherheitsüberlegungen

Schnellstart

Wie Computer Use funktioniert

Die Computerumgebung

So implementierst du Computer Use

Beginne mit der Referenzimplementierung

Verstehe die Agentenschleife

Optimiere die Modellleistung mit Prompting

System-Prompts

Verfügbare Aktionen

Beispielaktionen

Modifikatortasten mit Klick- und Scroll-Aktionen

Tool-Parameter

Kombination mit erweitertem Denken

Computer Use mit anderen Tools erweitern

Erstelle eine benutzerdefinierte Computer-Use-Umgebung

Implementiere das Computer-Use-Tool

Behandle Fehler

Fehler bei der Screenshot-Erfassung

Ungültige Koordinaten

Fehler bei der Aktionsausführung

Passe Screenshots an die Bildgrößenlimits an

Diagnostiziere Klickprobleme

Befolge Best Practices für die Implementierung

Verwende eine angemessene Anzeigeauflösung

Implementiere eine ordnungsgemäße Screenshot-Verarbeitung

Verwalte den Screenshot-Verlauf für Prompt-Caching

Füge Aktionsverzögerungen hinzu

Validiere Aktionen vor der Ausführung

Protokolliere Aktionen zum Debugging

Verstehe die Einschränkungen von Computer Use

Datenspeicherung

Preise

Nächste Schritte

Überblick

Sicherheitsüberlegungen

Schnellstart

Wie Computer Use funktioniert

Die Computerumgebung

So implementierst du Computer Use

Beginne mit der Referenzimplementierung

Verstehe die Agentenschleife

Optimiere die Modellleistung mit Prompting

System-Prompts

Verfügbare Aktionen

Tool-Parameter

Kombination mit erweitertem Denken

Computer Use mit anderen Tools erweitern

Erstelle eine benutzerdefinierte Computer-Use-Umgebung

Implementiere das Computer-Use-Tool

Behandle Fehler

Passe Screenshots an die Bildgrößenlimits an

Diagnostiziere Klickprobleme

Befolge Best Practices für die Implementierung

Verstehe die Einschränkungen von Computer Use

Datenspeicherung

Preise

Nächste Schritte

Überblick

Sicherheitsüberlegungen

Schnellstart

Wie Computer Use funktioniert

Die Computerumgebung

So implementierst du Computer Use

Beginne mit der Referenzimplementierung

Verstehe die Agentenschleife

Optimiere die Modellleistung mit Prompting

System-Prompts

Verfügbare Aktionen

Tool-Parameter

Kombination mit erweitertem Denken

Computer Use mit anderen Tools erweitern

Erstelle eine benutzerdefinierte Computer-Use-Umgebung

Implementiere das Computer-Use-Tool

Behandle Fehler

Passe Screenshots an die Bildgrößenlimits an

Diagnostiziere Klickprobleme

Befolge Best Practices für die Implementierung

Verstehe die Einschränkungen von Computer Use

Datenspeicherung

Preise

Nächste Schritte