Alat computer use

Claude dapat berinteraksi dengan lingkungan komputer melalui alat "computer use" (penggunaan komputer), yang menyediakan kemampuan tangkapan layar serta kontrol mouse/keyboard untuk interaksi desktop secara otonom. Pada WebArena, sebuah benchmark untuk navigasi web otonom di berbagai situs web nyata, Claude mencapai hasil terbaik di kelasnya di antara sistem agen tunggal, menunjukkan kemampuan yang kuat untuk menyelesaikan tugas browser multi-langkah dari awal hingga akhir.



Ikhtisar

Computer use adalah fitur beta yang memungkinkan Claude berinteraksi dengan lingkungan desktop. Alat ini menyediakan:

• Tangkapan layar: Melihat apa yang saat ini ditampilkan di layar
• Kontrol mouse: Mengklik, menyeret, dan menggerakkan kursor
• Input keyboard: Mengetik teks dan menggunakan pintasan keyboard
• Otomatisasi desktop: Berinteraksi dengan aplikasi atau antarmuka apa pun

Meskipun computer use dapat dilengkapi dengan alat lain seperti bash dan text editor untuk alur kerja otomatisasi yang lebih komprehensif, computer use secara spesifik mengacu pada kemampuan alat computer use untuk melihat dan mengontrol lingkungan desktop.

Untuk dukungan model, lihat Referensi alat.



Pertimbangan keamanan

Computer use adalah fitur beta dengan risiko unik yang berbeda dari fitur API standar. Risiko ini meningkat saat berinteraksi dengan internet.

Dalam beberapa keadaan, Claude akan mengikuti perintah yang ditemukan dalam konten meskipun bertentangan dengan instruksi pengguna. Misalnya, instruksi untuk Claude pada halaman web atau yang terkandung dalam gambar mungkin mengesampingkan instruksi atau menyebabkan Claude membuat kesalahan. Ambil tindakan pencegahan untuk mengisolasi Claude dari data dan tindakan sensitif guna menghindari risiko terkait prompt injection.

Anthropic telah melatih model untuk menolak prompt injection ini dan telah menambahkan lapisan pertahanan tambahan. Jika Anda menggunakan alat computer use, classifier akan secara otomatis berjalan pada prompt Anda untuk menandai potensi kasus prompt injection. Ketika classifier ini mengidentifikasi potensi prompt injection dalam tangkapan layar, mereka akan secara otomatis mengarahkan model untuk meminta konfirmasi pengguna sebelum melanjutkan ke tindakan berikutnya. Perlindungan tambahan ini tidak akan ideal untuk setiap kasus penggunaan (misalnya, kasus penggunaan tanpa manusia dalam loop), jadi jika Anda ingin menonaktifkannya, hubungi dukungan.

Tindakan pencegahan ini tetap penting bahkan dengan adanya lapisan pertahanan classifier.

Informasikan kepada pengguna akhir tentang risiko yang relevan dan dapatkan persetujuan mereka sebelum mengaktifkan computer use dalam produk Anda sendiri.



Mulai cepat

Berikut cara memulai dengan computer use:

client = anthropic.Anthropic()

response = client.beta.messages.create(
    model="claude-opus-4-8",  # or another compatible model
    max_tokens=1024,
    tools=[
        {
            "type": "computer_20251124",
            "name": "computer",
            "display_width_px": 1024,
            "display_height_px": 768,
            "display_number": 1,
        },
        {"type": "text_editor_20250728", "name": "str_replace_based_edit_tool"},
        {"type": "bash_20250124", "name": "bash"},
    ],
    messages=[{"role": "user", "content": "Save a picture of a cat to my desktop."}],
    betas=["computer-use-2025-11-24"],
)
print(response)



Cara kerja computer use

Pengulangan langkah 3 dan 4 tanpa input pengguna disebut sebagai "agent loop" (yaitu, Claude merespons dengan permintaan penggunaan alat dan aplikasi Anda merespons Claude dengan hasil evaluasi permintaan tersebut).



Lingkungan komputasi

Computer use memerlukan lingkungan komputasi sandbox tempat Claude dapat berinteraksi dengan aman dengan aplikasi dan web. Lingkungan ini mencakup:

1. Tampilan virtual: Server tampilan X11 virtual (menggunakan Xvfb) yang merender antarmuka desktop yang akan dilihat Claude melalui tangkapan layar dan dikontrol dengan tindakan mouse/keyboard.

2. Lingkungan desktop: UI ringan dengan window manager (Mutter) dan panel (Tint2) yang berjalan di Linux, yang menyediakan antarmuka grafis yang konsisten untuk berinteraksi dengan Claude.

3. Aplikasi: Aplikasi Linux yang sudah terinstal seperti Firefox, LibreOffice, editor teks, dan pengelola file yang dapat digunakan Claude untuk menyelesaikan tugas.

4. Implementasi alat: Kode integrasi yang menerjemahkan permintaan alat abstrak Claude (seperti "gerakkan mouse" atau "ambil tangkapan layar") menjadi operasi aktual di lingkungan virtual.

5. Agent loop: Program yang menangani komunikasi antara Claude dan lingkungan, mengirimkan tindakan Claude ke lingkungan dan mengembalikan hasilnya (tangkapan layar, output perintah) kembali ke Claude.

Saat Anda menggunakan computer use, Claude tidak terhubung langsung ke lingkungan ini. Sebaliknya, aplikasi Anda:

1. Menerima permintaan penggunaan alat dari Claude
2. Menerjemahkannya menjadi tindakan di lingkungan komputasi Anda
3. Menangkap hasilnya (seperti tangkapan layar dan output perintah)
4. Mengembalikan hasil ini ke Claude

Untuk keamanan dan isolasi, implementasi referensi menjalankan semua ini di dalam kontainer Docker dengan pemetaan port yang sesuai untuk melihat dan berinteraksi dengan lingkungan.



Cara mengimplementasikan computer use



Mulai dengan implementasi referensi

Tersedia implementasi referensi yang mencakup semua yang Anda butuhkan untuk memulai dengan computer use:

• Lingkungan terkontainerisasi yang cocok untuk computer use dengan Claude
• Implementasi alat computer use
• Agent loop yang berinteraksi dengan Claude API dan menjalankan alat computer use
• Antarmuka web untuk berinteraksi dengan kontainer, agent loop, dan alat.



Memahami agentic loop

Inti dari computer use adalah "agent loop": siklus di mana Claude meminta tindakan alat, aplikasi Anda menjalankannya, dan mengembalikan hasilnya ke Claude. Berikut contoh yang disederhanakan:

Loop berlanjut hingga Claude merespons tanpa meminta alat apa pun (tugas selesai) atau batas iterasi maksimum tercapai. Pengaman ini mencegah potensi loop tak terbatas yang dapat mengakibatkan biaya API yang tidak terduga.

Coba implementasi referensi terlebih dahulu sebelum membaca sisa dokumentasi ini.



Optimalkan performa model dengan prompting

Berikut beberapa tips untuk mendapatkan output berkualitas terbaik:

1. Tentukan tugas yang sederhana dan terdefinisi dengan baik serta berikan instruksi eksplisit untuk setiap langkah.
2. Claude terkadang mengasumsikan hasil dari tindakannya tanpa secara eksplisit memeriksa hasilnya. Untuk mencegah hal ini, Anda dapat memberikan prompt kepada Claude dengan After each step, take a screenshot and carefully evaluate if you have achieved the right outcome. Explicitly show your thinking: "I have evaluated step X..." If not correct, try again. Only when you confirm a step was executed correctly should you move on to the next one.
3. Beberapa elemen UI (seperti dropdown dan scrollbar) mungkin sulit dimanipulasi oleh Claude menggunakan gerakan mouse. Jika Anda mengalami hal ini, coba berikan prompt kepada model untuk menggunakan pintasan keyboard.
4. Untuk tugas atau interaksi UI yang dapat diulang, sertakan contoh tangkapan layar dan pemanggilan alat dari hasil yang berhasil dalam prompt Anda.
5. Jika Anda memerlukan model untuk login, berikan nama pengguna dan kata sandi dalam prompt Anda di dalam tag XML seperti <robot_credentials>. Menggunakan computer use dalam aplikasi yang memerlukan login meningkatkan risiko hasil buruk akibat prompt injection. Tinjau Mitigasi jailbreak dan prompt injection sebelum memberikan kredensial login kepada model.
6. Saat menyusun array content pada giliran pengguna, tempatkan teks instruksi sebelum gambar tangkapan layar. Memberikan deskripsi target sebelum gambar diproses akan meningkatkan akurasi klik.
7. Saat menggunakan computer_20251124 dengan enable_zoom: true diatur, Claude akan memperbesar suatu area ketika ditanya tentang teks kecil atau elemen UI tertentu yang tidak terbaca pada resolusi default tangkapan layar, seperti nama file di sidebar, judul tab, teks status bar, nomor baris, atau label tombol. Jika Claude tidak memperbesar saat Anda mengharapkannya, tanyakan tentang area atau elemen tertentu alih-alih layar secara keseluruhan.



Prompt sistem

Ketika salah satu alat dengan skema Anthropic diminta melalui Claude API, prompt sistem khusus computer use akan dihasilkan. Ini mirip dengan prompt sistem penggunaan alat tetapi dimulai dengan:

You have access to a set of functions you can use to answer the user's question. This includes access to a sandboxed computing environment. You do NOT currently have the ability to inspect files or interact with external resources, except by invoking the below functions.

Seperti halnya penggunaan alat biasa, field system_prompt yang disediakan pengguna tetap dihormati dan digunakan dalam penyusunan prompt sistem gabungan.



Tindakan yang tersedia

Alat computer use mendukung tindakan berikut:

Tindakan dasar (semua versi)

• screenshot: Menangkap tampilan saat ini
• left_click: Klik pada koordinat [x, y]
• type: Mengetik string teks
• key: Menekan tombol atau kombinasi tombol (misalnya, "ctrl+s")
• mouse_move: Memindahkan kursor ke koordinat

Tindakan yang ditingkatkan (computer_20250124) Tersedia di semua model yang mendukung computer use:

• scroll: Menggulir ke arah mana pun dengan kontrol jumlah
• left_click_drag: Klik dan seret antar koordinat
• right_click, middle_click: Tombol mouse tambahan
• double_click, triple_click: Klik ganda dan tiga kali
• left_mouse_down, left_mouse_up: Kontrol klik yang lebih detail
• hold_key: Menahan tombol selama durasi tertentu (dalam detik)
• wait: Jeda antar tindakan

Tindakan yang ditingkatkan (computer_20251124) Tersedia di Claude Sonnet 5, Claude Opus 4.8, Claude Opus 4.7, Claude Opus 4.6, Claude Sonnet 4.6, dan Claude Opus 4.5:

• Semua tindakan dari computer_20250124
• zoom: Melihat area tertentu dari layar pada resolusi penuh. Memerlukan enable_zoom: true dalam definisi alat. Menerima parameter region dengan koordinat [x1, y1, x2, y2] yang mendefinisikan sudut kiri atas dan kanan bawah dari area yang akan diperiksa.



Parameter alat



Menggabungkan dengan pemikiran diperpanjang

Untuk menggabungkan computer use dengan pemikiran diperpanjang, lihat Pemikiran diperpanjang.



Melengkapi computer use dengan alat lain

Untuk menambahkan alat lain bersama computer use, sertakan alat tersebut dalam array tools yang sama. Bagian Mulai cepat menunjukkan pola ini dengan alat bash dan alat text editor. Anda dapat menambahkan definisi alat kustom Anda sendiri dengan cara yang sama.



Membangun lingkungan computer use kustom

Implementasi referensi dimaksudkan untuk membantu Anda memulai dengan computer use. Implementasi ini mencakup semua komponen yang diperlukan agar Claude dapat menggunakan komputer. Namun, Anda dapat membangun lingkungan Anda sendiri untuk computer use sesuai kebutuhan Anda. Anda akan memerlukan:

• Lingkungan tervirtualisasi atau terkontainerisasi yang cocok untuk computer use dengan Claude
• Implementasi dari setidaknya satu alat computer use dengan skema Anthropic
• Agent loop yang berinteraksi dengan Claude API dan menjalankan hasil tool_use menggunakan implementasi alat Anda
• API atau UI yang memungkinkan input pengguna untuk memulai agent loop



Mengimplementasikan alat computer use

Alat computer use diimplementasikan sebagai alat tanpa skema. Saat menggunakan alat ini, Anda tidak perlu menyediakan skema input seperti pada alat lainnya; skema sudah terintegrasi ke dalam model Claude dan tidak dapat dimodifikasi.



Menangani error

Saat mengimplementasikan alat computer use, berbagai error mungkin terjadi. Berikut cara menanganinya:



Sesuaikan ukuran tangkapan layar agar sesuai dengan batas gambar

Tangkapan layar yang dikirim ke alat computer harus sudah sesuai dengan batas ukuran gambar Claude (lihat batas ukuran gambar). API tidak mengubah ukuran gambar yang terlalu besar; tangkapan layar yang melebihi batas akan ditolak dengan error validasi HTTP 400.

Jika layar Anda lebih besar dari batas tersebut, ubah ukuran tangkapan layar sebelum mengirimnya, atur display_width_px/display_height_px ke dimensi yang telah diubah ukurannya, dan skalakan kembali koordinat yang dikembalikan Claude ke ruang layar asli:



Mendiagnosis masalah klik

Jika klik meleset dari targetnya, penyebabnya biasanya salah satu dari berikut:



Ikuti praktik terbaik implementasi



Memahami batasan computer use

Fungsionalitas "computer use" (penggunaan komputer) masih dalam tahap beta. Meskipun kemampuan Claude sudah mutakhir, pengembang harus menyadari batasan-batasannya:

1. Latency: "Latency" (latensi) computer use saat ini untuk interaksi manusia-AI mungkin terlalu lambat dibandingkan dengan tindakan komputer biasa yang diarahkan manusia. Fokuslah pada kasus penggunaan di mana kecepatan tidak kritis (misalnya, pengumpulan informasi di latar belakang, pengujian perangkat lunak otomatis) dalam lingkungan tepercaya.
2. Akurasi dan keandalan computer vision: Claude mungkin membuat kesalahan atau berhalusinasi saat menghasilkan koordinat spesifik ketika membuat tindakan. Pemikiran diperpanjang dapat membantu Anda memahami penalaran model dan mengidentifikasi potensi masalah.
3. Akurasi dan keandalan pemilihan alat: Claude mungkin membuat kesalahan atau berhalusinasi saat memilih alat ketika membuat tindakan, atau mengambil tindakan yang tidak terduga untuk menyelesaikan masalah. Selain itu, keandalan mungkin lebih rendah saat berinteraksi dengan aplikasi khusus atau beberapa aplikasi sekaligus. Berikan prompt kepada model dengan hati-hati saat meminta tugas yang kompleks.
4. Keandalan scrolling: Tindakan scroll mendukung kontrol arah (atas, bawah, kiri, kanan) dan jumlah yang ditentukan. Dalam aplikasi di mana scrolling tidak berfungsi, alternatif keyboard seperti Page Down dapat membantu.
5. Interaksi spreadsheet: Gunakan tindakan kontrol mouse yang lebih presisi (left_mouse_down, left_mouse_up) dan kombinasi tombol modifier untuk memilih sel individual. Operasi spreadsheet yang kompleks mungkin masih memerlukan beberapa kali percobaan.
6. Pembuatan akun dan pembuatan konten di platform sosial dan komunikasi: Meskipun Claude akan mengunjungi situs web, kemampuan Claude untuk membuat akun atau membuat dan membagikan konten atau terlibat dalam peniruan identitas manusia di situs web dan platform media sosial dibatasi. Kemampuan ini mungkin diperbarui di masa mendatang.
7. Kerentanan: Kerentanan seperti jailbreaking atau prompt injection mungkin tetap ada di seluruh sistem AI terdepan, termasuk API computer use beta. Dalam beberapa keadaan, Claude akan mengikuti perintah yang ditemukan dalam konten, terkadang bahkan bertentangan dengan instruksi pengguna. Misalnya, instruksi untuk Claude di halaman web atau yang terdapat dalam gambar mungkin menimpa instruksi atau menyebabkan Claude membuat kesalahan. Pertimbangkan hal-hal berikut: a. Membatasi computer use pada lingkungan tepercaya seperti mesin virtual atau container dengan hak akses minimal b. Menghindari memberikan akses computer use ke akun atau data sensitif tanpa pengawasan ketat c. Menginformasikan pengguna akhir tentang risiko yang relevan dan mendapatkan persetujuan mereka sebelum mengaktifkan atau meminta izin yang diperlukan untuk fitur computer use dalam aplikasi Anda
8. Tindakan yang tidak pantas atau ilegal: Berdasarkan Ketentuan Layanan Anthropic, Anda tidak boleh menggunakan computer use untuk melanggar hukum apa pun atau Kebijakan Penggunaan yang Dapat Diterima.

Selalu tinjau dan verifikasi dengan cermat tindakan dan log computer use Claude. Jangan gunakan Claude untuk tugas yang memerlukan presisi sempurna atau informasi pengguna yang sensitif tanpa pengawasan manusia.



Retensi data

Computer use adalah alat sisi klien. Semua tangkapan layar, tindakan mouse, input keyboard, dan file apa pun yang terlibat dalam sesi ditangkap dan disimpan di lingkungan Anda, bukan oleh Anthropic. Anthropic memproses gambar tangkapan layar dan permintaan tindakan secara real time sebagai bagian dari panggilan API tetapi tidak menyimpannya setelah respons dikembalikan.

Karena aplikasi Anda mengontrol di mana dan bagaimana data computer use disimpan, computer use memenuhi syarat ZDR. Untuk kelayakan ZDR di seluruh fitur, lihat API dan retensi data.



Harga

Computer use mengikuti harga penggunaan alat standar. Saat menggunakan alat computer use:

Overhead prompt sistem: Beta computer use menambahkan 466-499 token ke prompt sistem

Penggunaan token alat computer use:

Konsumsi token tambahan:

• Gambar tangkapan layar (lihat Harga Vision)
• Hasil eksekusi alat yang dikembalikan ke Claude



Langkah selanjutnya