Computer-Use-Tool

Claude kann über das Computer-Use-Tool mit Computerumgebungen interagieren. Dieses Tool bietet Screenshot-Funktionen sowie Maus- und Tastatursteuerung für autonome Desktop-Interaktion. Auf WebArena, einem Benchmark für autonome Webnavigation auf echten Websites, erzielt Claude State-of-the-Art-Ergebnisse unter Single-Agent-Systemen und demonstriert damit eine starke Fähigkeit, mehrstufige Browser-Aufgaben von Anfang bis Ende zu erledigen.



Überblick

Computer Use ist ein Beta-Feature, das Claude die Interaktion mit Desktop-Umgebungen ermöglicht. Dieses Tool bietet:

• Screenshot-Erfassung: Sehen, was aktuell auf dem Bildschirm angezeigt wird
• Maussteuerung: Klicken, Ziehen und Bewegen des Cursors
• Tastatureingabe: Text eingeben und Tastenkombinationen verwenden
• Desktop-Automatisierung: Mit beliebigen Anwendungen oder Oberflächen interagieren

Computer Use kann zwar mit anderen Tools wie Bash und Text-Editor für umfassendere Automatisierungs-Workflows ergänzt werden, bezieht sich aber speziell auf die Fähigkeit des Computer-Use-Tools, Desktop-Umgebungen zu sehen und zu steuern.

Informationen zur Modellunterstützung findest du in der Tool-Referenz.



Sicherheitsüberlegungen

Computer Use ist ein Beta-Feature mit einzigartigen Risiken, die sich von Standard-API-Features unterscheiden. Diese Risiken sind bei der Interaktion mit dem Internet erhöht.

Unter bestimmten Umständen folgt Claude Befehlen, die in Inhalten gefunden werden, selbst wenn diese den Anweisungen des Nutzers widersprechen. Beispielsweise könnten Claude-Anweisungen auf Webseiten oder in Bildern die eigentlichen Anweisungen überschreiben oder dazu führen, dass Claude Fehler macht. Triff Vorsichtsmaßnahmen, um Claude von sensiblen Daten und Aktionen zu isolieren und so Risiken im Zusammenhang mit Prompt-Injection zu vermeiden.

Anthropic hat das Modell darauf trainiert, diesen Prompt-Injections zu widerstehen, und hat eine zusätzliche Verteidigungsebene hinzugefügt. Wenn du die Computer-Use-Tools verwendest, werden automatisch Klassifikatoren auf deine Prompts angewendet, um potenzielle Fälle von Prompt-Injections zu erkennen. Wenn diese Klassifikatoren potenzielle Prompt-Injections in Screenshots identifizieren, steuern sie das Modell automatisch so, dass es vor der nächsten Aktion eine Nutzerbestätigung anfordert. Dieser zusätzliche Schutz ist nicht für jeden Anwendungsfall ideal (zum Beispiel für Anwendungsfälle ohne Human-in-the-Loop). Wenn du dich also abmelden und ihn deaktivieren möchtest, kontaktiere den Support.

Diese Vorsichtsmaßnahmen bleiben auch mit der Klassifikator-Verteidigungsebene wichtig.

Informiere Endnutzer über relevante Risiken und hole ihre Zustimmung ein, bevor du Computer Use in deinen eigenen Produkten aktivierst.



Schnellstart

So startest du mit Computer Use:

client = anthropic.Anthropic()

response = client.beta.messages.create(
    model="claude-opus-4-8",  # or another compatible model
    max_tokens=1024,
    tools=[
        {
            "type": "computer_20251124",
            "name": "computer",
            "display_width_px": 1024,
            "display_height_px": 768,
            "display_number": 1,
        },
        {"type": "text_editor_20250728", "name": "str_replace_based_edit_tool"},
        {"type": "bash_20250124", "name": "bash"},
    ],
    messages=[{"role": "user", "content": "Save a picture of a cat to my desktop."}],
    betas=["computer-use-2025-11-24"],
)
print(response)



Wie Computer Use funktioniert

Die Wiederholung der Schritte 3 und 4 ohne Nutzereingabe wird als „Agent-Loop" bezeichnet (das heißt, Claude antwortet mit einer Tool-Use-Anfrage und deine Anwendung antwortet Claude mit den Ergebnissen der Auswertung dieser Anfrage).



Die Computerumgebung

Computer Use erfordert eine Sandbox-Computerumgebung, in der Claude sicher mit Anwendungen und dem Web interagieren kann. Diese Umgebung umfasst:

1. Virtuelles Display: Ein virtueller X11-Display-Server (mit Xvfb), der die Desktop-Oberfläche rendert, die Claude über Screenshots sieht und mit Maus-/Tastaturaktionen steuert.

2. Desktop-Umgebung: Eine leichtgewichtige UI mit Window-Manager (Mutter) und Panel (Tint2) unter Linux, die eine konsistente grafische Oberfläche für Claudes Interaktion bereitstellt.

3. Anwendungen: Vorinstallierte Linux-Anwendungen wie Firefox, LibreOffice, Texteditoren und Dateimanager, die Claude zur Erledigung von Aufgaben verwenden kann.

4. Tool-Implementierungen: Integrationscode, der Claudes abstrakte Tool-Anfragen (wie „Maus bewegen" oder „Screenshot erstellen") in tatsächliche Operationen in der virtuellen Umgebung übersetzt.

5. Agent-Loop: Ein Programm, das die Kommunikation zwischen Claude und der Umgebung abwickelt, Claudes Aktionen an die Umgebung sendet und die Ergebnisse (Screenshots, Befehlsausgaben) an Claude zurückgibt.

Wenn du Computer Use verwendest, verbindet sich Claude nicht direkt mit dieser Umgebung. Stattdessen macht deine Anwendung Folgendes:

1. Empfängt Claudes Tool-Use-Anfragen
2. Übersetzt sie in Aktionen in deiner Computerumgebung
3. Erfasst die Ergebnisse (wie Screenshots und Befehlsausgaben)
4. Gibt diese Ergebnisse an Claude zurück

Aus Sicherheits- und Isolationsgründen führt die Referenzimplementierung all dies innerhalb eines Docker-Containers mit entsprechenden Port-Mappings zum Anzeigen und Interagieren mit der Umgebung aus.



Wie du Computer Use implementierst



Starte mit der Referenzimplementierung

Es steht eine Referenzimplementierung zur Verfügung, die alles enthält, was du für den Einstieg in Computer Use benötigst:

• Eine containerisierte Umgebung, die für Computer Use mit Claude geeignet ist
• Implementierungen der Computer-Use-Tools
• Eine Agent-Loop, die mit der Claude API interagiert und die Computer-Use-Tools ausführt
• Eine Weboberfläche zur Interaktion mit dem Container, der Agent-Loop und den Tools.



Die Agent-Loop verstehen

Der Kern von Computer Use ist die „Agent-Loop": ein Zyklus, in dem Claude Tool-Aktionen anfordert, deine Anwendung sie ausführt und die Ergebnisse an Claude zurückgibt. Hier ist ein vereinfachtes Beispiel:

Die Schleife läuft weiter, bis entweder Claude antwortet, ohne Tools anzufordern (Aufgabenabschluss), oder das maximale Iterationslimit erreicht ist. Diese Schutzmaßnahme verhindert potenzielle Endlosschleifen, die zu unerwarteten API-Kosten führen könnten.

Probiere die Referenzimplementierung aus, bevor du den Rest dieser Dokumentation liest.



Modellleistung durch Prompting optimieren

Hier sind einige Tipps, wie du die besten Ergebnisse erzielst:

1. Gib einfache, klar definierte Aufgaben an und liefere explizite Anweisungen für jeden Schritt.
2. Claude nimmt manchmal Ergebnisse seiner Aktionen an, ohne deren Resultate explizit zu überprüfen. Um dies zu verhindern, kannst du Claude mit folgendem Prompt anweisen: After each step, take a screenshot and carefully evaluate if you have achieved the right outcome. Explicitly show your thinking: "I have evaluated step X..." If not correct, try again. Only when you confirm a step was executed correctly should you move on to the next one.
3. Einige UI-Elemente (wie Dropdowns und Scrollbars) können für Claude schwierig mit Mausbewegungen zu bedienen sein. Wenn du dies feststellst, versuche, das Modell anzuweisen, Tastenkombinationen zu verwenden.
4. Für wiederholbare Aufgaben oder UI-Interaktionen füge Beispiel-Screenshots und Tool-Aufrufe erfolgreicher Ergebnisse in deinen Prompt ein.
5. Wenn das Modell sich anmelden muss, gib ihm den Benutzernamen und das Passwort in deinem Prompt innerhalb von XML-Tags wie <robot_credentials> an. Die Verwendung von Computer Use in Anwendungen, die eine Anmeldung erfordern, erhöht das Risiko negativer Ergebnisse durch Prompt-Injection. Lies Jailbreaks und Prompt-Injections abschwächen, bevor du dem Modell Anmeldedaten bereitstellst.
6. Wenn du das content-Array eines User-Turns erstellst, platziere den Anweisungstext vor dem Screenshot-Bild. Die Angabe der Zielbeschreibung vor der Bildverarbeitung verbessert die Klickgenauigkeit.
7. Wenn du computer_20251124 mit enable_zoom: true verwendest, zoomt Claude in einen Bereich hinein, wenn nach kleinem Text oder bestimmten UI-Elementen gefragt wird, die bei der Standardauflösung des Screenshots nicht lesbar sind, wie Dateinamen in einer Seitenleiste, Tab-Titel, Statusleistentext, Zeilennummern oder Button-Beschriftungen. Wenn Claude nicht zoomt, obwohl du es erwartest, frage nach einem bestimmten Bereich oder Element statt nach dem Bildschirm als Ganzes.



System-Prompts

Wenn eines der Anthropic-Schema-Tools über die Claude API angefordert wird, wird ein Computer-Use-spezifischer System-Prompt generiert. Er ähnelt dem System-Prompt für Tool-Nutzung, beginnt aber mit:

You have access to a set of functions you can use to answer the user's question. This includes access to a sandboxed computing environment. You do NOT currently have the ability to inspect files or interact with external resources, except by invoking the below functions.

Wie bei der regulären Tool-Nutzung wird das vom Nutzer bereitgestellte system_prompt-Feld weiterhin berücksichtigt und bei der Erstellung des kombinierten System-Prompts verwendet.



Verfügbare Aktionen

Das Computer-Use-Tool unterstützt diese Aktionen:

Basisaktionen (alle Versionen)

• screenshot: Aktuelle Anzeige erfassen
• left_click: Klick an Koordinaten [x, y]
• type: Textstring eingeben
• key: Taste oder Tastenkombination drücken (zum Beispiel „ctrl+s")
• mouse_move: Cursor zu Koordinaten bewegen

Erweiterte Aktionen (computer_20250124) Verfügbar auf allen Modellen, die Computer Use unterstützen:

• scroll: In beliebige Richtung mit Mengensteuerung scrollen
• left_click_drag: Zwischen Koordinaten klicken und ziehen
• right_click, middle_click: Zusätzliche Maustasten
• double_click, triple_click: Mehrfachklicks
• left_mouse_down, left_mouse_up: Feingranulare Klicksteuerung
• hold_key: Eine Taste für eine bestimmte Dauer (in Sekunden) gedrückt halten
• wait: Pause zwischen Aktionen

Erweiterte Aktionen (computer_20251124) Verfügbar in Claude Sonnet 5, Claude Opus 4.8, Claude Opus 4.7, Claude Opus 4.6, Claude Sonnet 4.6 und Claude Opus 4.5:

• Alle Aktionen von computer_20250124
• zoom: Einen bestimmten Bildschirmbereich in voller Auflösung anzeigen. Erfordert enable_zoom: true in der Tool-Definition. Nimmt einen region-Parameter mit Koordinaten [x1, y1, x2, y2] entgegen, die die obere linke und untere rechte Ecke des zu untersuchenden Bereichs definieren.



Tool-Parameter



Kombination mit erweitertem Denken

Zur Kombination von Computer Use mit erweitertem Denken siehe Erweitertes Denken.



Computer Use mit anderen Tools ergänzen

Um weitere Tools neben Computer Use hinzuzufügen, füge sie in dasselbe tools-Array ein. Der Abschnitt Schnellstart zeigt dieses Muster mit dem Bash-Tool und dem Text-Editor-Tool. Du kannst deine eigenen benutzerdefinierten Tool-Definitionen auf die gleiche Weise hinzufügen.



Eine benutzerdefinierte Computer-Use-Umgebung erstellen

Die Referenzimplementierung soll dir den Einstieg in Computer Use erleichtern. Sie enthält alle Komponenten, die benötigt werden, damit Claude einen Computer verwenden kann. Du kannst jedoch deine eigene Umgebung für Computer Use erstellen, die deinen Anforderungen entspricht. Du benötigst:

• Eine virtualisierte oder containerisierte Umgebung, die für Computer Use mit Claude geeignet ist
• Eine Implementierung von mindestens einem der Anthropic-Schema-Computer-Use-Tools
• Eine Agent-Loop, die mit der Claude API interagiert und die tool_use-Ergebnisse mit deinen Tool-Implementierungen ausführt
• Eine API oder UI, die Nutzereingaben zum Starten der Agent-Loop ermöglicht



Das Computer-Use-Tool implementieren

Das Computer-Use-Tool ist als schemaloses Tool implementiert. Bei der Verwendung dieses Tools musst du kein Input-Schema wie bei anderen Tools bereitstellen; das Schema ist in Claudes Modell integriert und kann nicht geändert werden.



Fehler behandeln

Bei der Implementierung des Computer-Use-Tools können verschiedene Fehler auftreten. So behandelst du sie:



Screenshots an Bildgrößenlimits anpassen

Screenshots, die an das Computer-Tool gesendet werden, müssen bereits innerhalb von Claudes Bildgrößenlimits liegen (siehe Bildgrößenlimits). Die API skaliert übergroße Bilder nicht; ein Screenshot, der das Limit überschreitet, wird mit einem HTTP-400-Validierungsfehler abgelehnt.

Wenn dein Bildschirm größer als das Limit ist, skaliere den Screenshot vor dem Senden, setze display_width_px/display_height_px auf die skalierten Abmessungen und skaliere Claudes zurückgegebene Koordinaten zurück in den ursprünglichen Bildschirmbereich:



Klickprobleme diagnostizieren

Wenn Klicks ihre Ziele verfehlen, liegt die Ursache meist in einem der folgenden Punkte:



Best Practices für die Implementierung befolgen



Einschränkungen der Computernutzung verstehen

Die Computernutzungsfunktionalität befindet sich in der Beta-Phase. Obwohl Claudes Fähigkeiten dem neuesten Stand der Technik entsprechen, sollten Entwickler sich ihrer Einschränkungen bewusst sein:

1. Latency (Latenz): Die aktuelle Latenz bei der Computernutzung für Mensch-KI-Interaktionen könnte im Vergleich zu regulären, von Menschen gesteuerten Computeraktionen zu langsam sein. Konzentriere dich auf Anwendungsfälle, bei denen Geschwindigkeit nicht entscheidend ist (zum Beispiel Informationssammlung im Hintergrund, automatisierte Softwaretests) in vertrauenswürdigen Umgebungen.
2. Genauigkeit und Zuverlässigkeit der Computer Vision: Claude könnte Fehler machen oder halluzinieren, wenn es beim Generieren von Aktionen spezifische Koordinaten ausgibt. Erweitertes Denken kann dir helfen, die Argumentation des Modells zu verstehen und potenzielle Probleme zu identifizieren.
3. Genauigkeit und Zuverlässigkeit der Tool-Auswahl: Claude könnte Fehler machen oder halluzinieren, wenn es beim Generieren von Aktionen Tools auswählt, oder unerwartete Aktionen ausführen, um Probleme zu lösen. Zusätzlich könnte die Zuverlässigkeit geringer sein, wenn mit Nischenanwendungen oder mehreren Anwendungen gleichzeitig interagiert wird. Formuliere deine Prompts sorgfältig, wenn du komplexe Aufgaben anforderst.
4. Zuverlässigkeit beim Scrollen: Die Scroll-Aktion unterstützt Richtungssteuerung (hoch, runter, links, rechts) und einen festgelegten Betrag. In Anwendungen, in denen das Scrollen keine Wirkung zeigt, können Tastaturalternativen wie Bild-ab helfen.
5. Interaktion mit Tabellenkalkulationen: Verwende die feingranularen Maussteuerungsaktionen (left_mouse_down, left_mouse_up) und Modifikatortasten-Kombinationen, um einzelne Zellen auszuwählen. Komplexe Tabellenkalkulationsoperationen könnten dennoch mehrere Versuche erfordern.
6. Kontoerstellung und Inhaltserstellung auf sozialen und Kommunikationsplattformen: Obwohl Claude Websites besucht, ist Claudes Fähigkeit eingeschränkt, Konten zu erstellen oder Inhalte zu generieren und zu teilen oder sich anderweitig als Mensch auszugeben – über Social-Media-Websites und -Plattformen hinweg. Diese Fähigkeit könnte in Zukunft aktualisiert werden.
7. Schwachstellen: Schwachstellen wie Jailbreaking oder Prompt Injection könnten in führenden KI-Systemen bestehen bleiben, einschließlich der Beta-Computernutzungs-API. Unter bestimmten Umständen wird Claude Befehlen folgen, die in Inhalten gefunden werden, manchmal sogar im Widerspruch zu den Anweisungen des Nutzers. Zum Beispiel könnten Claude-Anweisungen auf Webseiten oder in Bildern enthaltene Anweisungen überschreiben oder dazu führen, dass Claude Fehler macht. Berücksichtige Folgendes: a. Beschränke die Computernutzung auf vertrauenswürdige Umgebungen wie virtuelle Maschinen oder Container mit minimalen Berechtigungen b. Vermeide es, der Computernutzung Zugriff auf sensible Konten oder Daten ohne strenge Aufsicht zu gewähren c. Informiere Endnutzer über relevante Risiken und hole ihre Zustimmung ein, bevor du Computernutzungsfunktionen in deinen Anwendungen aktivierst oder die dafür erforderlichen Berechtigungen anforderst
8. Unangemessene oder illegale Aktionen: Gemäß den Nutzungsbedingungen von Anthropic darfst du die Computernutzung nicht einsetzen, um gegen Gesetze oder die Acceptable Use Policy zu verstoßen.

Überprüfe und verifiziere Claudes Computernutzungsaktionen und -protokolle immer sorgfältig. Verwende Claude nicht für Aufgaben, die perfekte Präzision oder sensible Nutzerinformationen erfordern, ohne menschliche Aufsicht.



Datenspeicherung

Die Computernutzung ist ein clientseitiges Tool. Alle Screenshots, Mausaktionen, Tastatureingaben und alle an einer Sitzung beteiligten Dateien werden in deiner Umgebung erfasst und gespeichert, nicht von Anthropic. Anthropic verarbeitet die Screenshot-Bilder und Aktionsanfragen in Echtzeit als Teil des API-Aufrufs, speichert sie aber nicht, nachdem die Antwort zurückgegeben wurde.

Da deine Anwendung steuert, wo und wie Computernutzungsdaten gespeichert werden, ist die Computernutzung ZDR-fähig. Für die ZDR-Fähigkeit über alle Funktionen hinweg siehe API und Datenspeicherung.



Preise

Computer use folgt der standardmäßigen Preisgestaltung für Tool-Nutzung. Bei der Verwendung des Computer-Use-Tools:

System-Prompt-Overhead: Die Computer-Use-Beta fügt dem System-Prompt 466–499 Token hinzu

Token-Verbrauch des Computer-Use-Tools:

Zusätzlicher Token-Verbrauch:

• Screenshot-Bilder (siehe Vision-Preisgestaltung)
• Ergebnisse der Tool-Ausführung, die an Claude zurückgegeben werden



Nächste Schritte