Claude di Vertex AI

Vertex AI

Vertex API untuk mengakses Claude hampir identik dengan Messages API dan mendukung semua opsi yang sama, dengan dua perbedaan utama:

Di Vertex, model tidak diteruskan dalam badan permintaan. Sebaliknya, model ditentukan dalam URL endpoint Google Cloud.
Di Vertex, anthropic_version diteruskan dalam badan permintaan (bukan sebagai header), dan harus diatur ke nilai vertex-2023-10-16.

Vertex juga didukung oleh client SDKs resmi Anthropic. Panduan ini memandu Anda membuat permintaan ke Claude di Vertex AI menggunakan salah satu client SDKs Anthropic.

Perhatikan bahwa panduan ini mengasumsikan Anda sudah memiliki proyek GCP yang dapat menggunakan Vertex AI. Lihat menggunakan model Claude 3 dari Anthropic untuk informasi lebih lanjut tentang setup yang diperlukan, serta panduan lengkap.

Instal SDK untuk mengakses Vertex AI

Pertama, instal client SDK Anthropic untuk bahasa pilihan Anda.

Mengakses Vertex AI

Ketersediaan model

Perhatikan bahwa ketersediaan model Anthropic bervariasi menurut wilayah. Cari "Claude" di Vertex AI Model Garden atau buka Gunakan Claude 3 untuk informasi terbaru.

ID model API

Model	ID model Vertex AI API
Claude Opus 4.7	claude-opus-4-7
Claude Opus 4.6	claude-opus-4-6
Claude Sonnet 4.6	claude-sonnet-4-6
Claude Sonnet 4.5	claude-sonnet-4-5@20250929
Claude Sonnet 4 ⚠️	claude-sonnet-4@20250514
Claude Sonnet 3.7 ⚠️	claude-3-7-sonnet@20250219
Claude Opus 4.5	claude-opus-4-5@20251101
Claude Opus 4.1	claude-opus-4-1@20250805
Claude Opus 4 ⚠️	claude-opus-4@20250514
Claude Haiku 4.5	claude-haiku-4-5@20251001

Membuat permintaan

Sebelum menjalankan permintaan, Anda mungkin perlu menjalankan gcloud auth application-default login untuk autentikasi dengan GCP.

Contoh berikut menunjukkan cara menghasilkan teks dari Claude di Vertex AI:

Lihat client SDKs dan dokumentasi Vertex AI resmi untuk detail lebih lanjut.

Claude juga tersedia melalui Amazon Bedrock dan Microsoft Foundry.

Pencatatan aktivitas

Vertex menyediakan layanan pencatatan permintaan-respons yang memungkinkan pelanggan untuk mencatat prompt dan penyelesaian yang terkait dengan penggunaan Anda.

Anthropic merekomendasikan agar Anda mencatat aktivitas Anda setidaknya pada dasar rolling 30 hari untuk memahami aktivitas Anda dan menyelidiki potensi penyalahgunaan.

Mengaktifkan layanan ini tidak memberikan Google atau Anthropic akses apa pun ke konten Anda.

Dukungan fitur

Untuk semua fitur yang saat ini didukung di Vertex AI, lihat ringkasan fitur API.

Jendela konteks

Claude Opus 4.7, Claude Opus 4.6, dan Claude Sonnet 4.6 memiliki jendela konteks 1M-token di Vertex AI. Model Claude lainnya, termasuk Sonnet 4.5 dan Sonnet 4 (deprecated), memiliki jendela konteks 200k-token.

Vertex AI membatasi payload permintaan hingga 30 MB. Saat mengirim dokumen besar atau banyak gambar, Anda mungkin mencapai batas ini sebelum batas token.

Endpoint global, multi-region, dan regional

Google Vertex AI menawarkan tiga jenis endpoint:

Endpoint global: Perutean dinamis untuk ketersediaan maksimal
Endpoint multi-region: Perutean dinamis dalam area geografis (misalnya, Amerika Serikat atau Uni Eropa) untuk residensi data dengan ketersediaan tinggi
Endpoint regional: Perutean data terjamin melalui wilayah geografis tertentu

Endpoint regional dan multi-region mencakup premium harga 10% di atas endpoint global.

Ini berlaku untuk Claude Sonnet 4.5 dan model masa depan saja. Model yang lebih lama (Claude Sonnet 4 (deprecated), Opus 4 (deprecated), dan sebelumnya) mempertahankan struktur harga yang ada.

Kapan menggunakan setiap opsi

Endpoint global (direkomendasikan):

Memberikan ketersediaan dan uptime maksimal
Secara dinamis merutkan permintaan ke wilayah dengan kapasitas tersedia
Tidak ada premium harga
Terbaik untuk aplikasi di mana residensi data fleksibel
Hanya mendukung lalu lintas bayar sesuai penggunaan (throughput yang disediakan memerlukan endpoint regional)

Endpoint multi-region:

Secara dinamis merutkan permintaan di seluruh wilayah dalam area geografis (saat ini us dan eu)
Berguna ketika Anda memerlukan residensi data dalam geografi yang luas tetapi menginginkan ketersediaan lebih tinggi daripada satu wilayah
Premium harga 10% di atas endpoint global
Hanya mendukung lalu lintas bayar sesuai penggunaan (throughput yang disediakan memerlukan endpoint regional)

Endpoint regional:

Merutkan lalu lintas melalui wilayah geografis tertentu
Diperlukan untuk residensi data satu wilayah, mandat kepatuhan ketat, atau throughput yang disediakan
Mendukung lalu lintas bayar sesuai penggunaan dan throughput yang disediakan
Premium harga 10% mencerminkan biaya infrastruktur untuk kapasitas regional yang didedikasikan

Implementasi

Menggunakan endpoint global (direkomendasikan):

Atur parameter region ke "global" saat menginisialisasi klien:

Menggunakan endpoint multi-region:

Atur parameter region ke pengidentifikasi multi-region: "us" untuk Amerika Serikat atau "eu" untuk Uni Eropa. SDK merutkan permintaan ke endpoint multi-region yang sesuai (https://aiplatform.us.rep.googleapis.com atau https://aiplatform.eu.rep.googleapis.com), yang secara dinamis menyeimbangkan lalu lintas di seluruh wilayah dalam geografi tersebut.

Menggunakan endpoint regional:

Tentukan wilayah tertentu seperti "us-east1" atau "europe-west1":

Claude Mythos Preview adalah pratinjau penelitian yang tersedia untuk pelanggan yang diundang di Google Vertex AI. Untuk informasi lebih lanjut, lihat Project Glasswing.

Sumber daya tambahan

Harga Google Vertex AI: cloud.google.com/vertex-ai/generative-ai/pricing
Dokumentasi model Claude: Claude di Vertex AI
Posting blog Google: Global endpoint untuk model Claude
Detail harga Anthropic: Dokumentasi harga

from anthropic import AnthropicVertex

project_id = "MY_PROJECT_ID"
region = "global"

client = AnthropicVertex(project_id=project_id, region=region)

message = client.messages.create(
    model="claude-opus-4-7",
    max_tokens=100,
    messages=[
        {
            "role": "user",
            "content": "Hey Claude!",
        }
    ],
)
print(message)

from anthropic import AnthropicVertex

project_id = "MY_PROJECT_ID"
region = "global"

client = AnthropicVertex(project_id=project_id, region=region)

message = client.messages.create(
    model="claude-opus-4-7",
    max_tokens=100,
    messages=[
        {
            "role": "user",
            "content": "Hey Claude!",
        }
    ],
)
print(message)

from anthropic import AnthropicVertex

project_id = "MY_PROJECT_ID"
region = "us"  # Multi-region identifier: "us" or "eu"

client = AnthropicVertex(project_id=project_id, region=region)

message = client.messages.create(
    model="claude-opus-4-7",
    max_tokens=100,
    messages=[
        {
            "role": "user",
            "content": "Hey Claude!",
        }
    ],
)
print(message)

from anthropic import AnthropicVertex

project_id = "MY_PROJECT_ID"
region = "us-east1"  # Specify a specific region

client = AnthropicVertex(project_id=project_id, region=region)

message = client.messages.create(
    model="claude-opus-4-7",
    max_tokens=100,
    messages=[
        {
            "role": "user",
            "content": "Hey Claude!",
        }
    ],
)
print(message)