Claude di Vertex AI

Vertex API untuk mengakses Claude hampir identik dengan Messages API dan mendukung semua opsi yang sama, dengan dua perbedaan utama:

Di Vertex, model tidak diteruskan dalam request body. Sebaliknya, model ditentukan dalam URL endpoint Google Cloud.
Di Vertex, anthropic_version diteruskan dalam request body (bukan sebagai header), dan harus diatur ke nilai vertex-2023-10-16.

Vertex juga didukung oleh client SDK resmi Anthropic. Panduan ini memandu Anda dalam membuat permintaan ke Claude di Vertex AI menggunakan salah satu client SDK Anthropic.

Perlu diperhatikan bahwa panduan ini mengasumsikan Anda sudah memiliki proyek GCP yang dapat menggunakan Vertex AI. Lihat menggunakan model Claude 3 dari Anthropic untuk informasi lebih lanjut tentang pengaturan yang diperlukan, serta panduan lengkap.

Instal SDK untuk mengakses Vertex AI

Pertama, instal client SDK Anthropic untuk bahasa pilihan Anda.

Mengakses Vertex AI

Ketersediaan model

Perlu diperhatikan bahwa ketersediaan model Anthropic bervariasi berdasarkan wilayah. Cari "Claude" di Vertex AI Model Garden atau kunjungi Use Claude 3 untuk informasi terbaru.

ID model API

Model	ID model Vertex AI API
Claude Opus 4.6	claude-opus-4-6
Claude Sonnet 4.6	claude-sonnet-4-6
Claude Sonnet 4.5	claude-sonnet-4-5@20250929
Claude Sonnet 4	claude-sonnet-4@20250514
Claude Sonnet 3.7 ⚠️	claude-3-7-sonnet@20250219
Claude Opus 4.5	claude-opus-4-5@20251101
Claude Opus 4.1	claude-opus-4-1@20250805
Claude Opus 4	claude-opus-4@20250514
Claude Haiku 4.5	claude-haiku-4-5@20251001
Claude Haiku 3.5 ⚠️	claude-3-5-haiku@20241022
Claude Haiku 3 ⚠️

Membuat permintaan

Sebelum menjalankan permintaan, Anda mungkin perlu menjalankan gcloud auth application-default login untuk mengautentikasi dengan GCP.

Contoh berikut menunjukkan cara menghasilkan teks dari Claude di Vertex AI:

Lihat client SDK dan dokumentasi resmi Vertex AI untuk detail lebih lanjut.

Claude juga tersedia melalui Amazon Bedrock dan Microsoft Foundry.

Pencatatan aktivitas

Vertex menyediakan layanan pencatatan permintaan-respons yang memungkinkan pelanggan mencatat prompt dan penyelesaian yang terkait dengan penggunaan Anda.

Anthropic merekomendasikan agar Anda mencatat aktivitas Anda setidaknya dalam basis bergulir 30 hari untuk memahami aktivitas Anda dan menyelidiki potensi penyalahgunaan.

Mengaktifkan layanan ini tidak memberikan Google atau Anthropic akses apa pun ke konten Anda.

Dukungan fitur

Untuk semua fitur yang saat ini didukung di Vertex AI, lihat ikhtisar fitur API.

Jendela konteks

Claude Opus 4.6 dan Claude Sonnet 4.6 memiliki jendela konteks 1M token di Vertex AI. Model Claude lainnya, termasuk Sonnet 4.5 dan Sonnet 4, memiliki jendela konteks 200k token.

Vertex AI membatasi payload permintaan hingga 30 MB. Saat mengirim dokumen besar atau banyak gambar, Anda mungkin mencapai batas ini sebelum batas token.

Endpoint global, multi-wilayah, dan regional

Google Vertex AI menawarkan tiga jenis endpoint:

Endpoint global: Perutean dinamis untuk ketersediaan maksimum
Endpoint multi-wilayah: Perutean dinamis dalam area geografis (misalnya, Amerika Serikat) untuk residensi data dengan ketersediaan tinggi
Endpoint regional: Perutean data yang dijamin melalui wilayah geografis tertentu

Endpoint regional dan multi-wilayah mencakup premi harga 10% dibandingkan endpoint global.

Ini hanya berlaku untuk Claude Sonnet 4.5 dan model-model mendatang. Model-model lama (Claude Sonnet 4, Opus 4, dan sebelumnya) mempertahankan struktur harga yang ada.

Kapan menggunakan setiap opsi

Endpoint global (direkomendasikan):

Memberikan ketersediaan dan uptime maksimum
Merutekan permintaan secara dinamis ke wilayah dengan kapasitas yang tersedia
Tidak ada premi harga
Terbaik untuk aplikasi di mana residensi data bersifat fleksibel
Hanya mendukung lalu lintas bayar sesuai penggunaan (throughput yang disediakan memerlukan endpoint regional)

Endpoint multi-wilayah:

Merutekan permintaan secara dinamis ke seluruh wilayah dalam area geografis (saat ini us, dengan eu segera hadir)
Berguna ketika Anda memerlukan residensi data dalam geografi yang luas tetapi menginginkan ketersediaan lebih tinggi dari satu wilayah
Premi harga 10% dibandingkan endpoint global
Hanya mendukung lalu lintas bayar sesuai penggunaan (throughput yang disediakan memerlukan endpoint regional)

Endpoint regional:

Merutekan lalu lintas melalui wilayah geografis tertentu
Diperlukan untuk residensi data satu wilayah, mandat kepatuhan ketat, atau throughput yang disediakan
Mendukung bayar sesuai penggunaan dan throughput yang disediakan
Premi harga 10% mencerminkan biaya infrastruktur untuk kapasitas regional yang didedikasikan

Implementasi

Menggunakan endpoint global (direkomendasikan):

Atur parameter region ke "global" saat menginisialisasi klien:

Menggunakan endpoint multi-wilayah:

Atur parameter region ke pengenal multi-wilayah seperti "us". SDK merutekan permintaan ke endpoint multi-wilayah (misalnya, https://aiplatform.us.rep.googleapis.com), yang secara dinamis menyeimbangkan lalu lintas di seluruh wilayah dalam geografi tersebut.

Menggunakan endpoint regional:

Tentukan wilayah tertentu seperti "us-east1" atau "europe-west1":

Claude Mythos Preview adalah pratinjau penelitian yang tersedia untuk pelanggan yang diundang di Google Vertex AI. Untuk informasi lebih lanjut, lihat Project Glasswing.

Sumber daya tambahan

Harga Google Vertex AI: cloud.google.com/vertex-ai/generative-ai/pricing
Dokumentasi model Claude: Claude di Vertex AI
Posting blog Google: Endpoint global untuk model Claude
Detail harga Anthropic: Dokumentasi harga

MODEL_ID=claude-opus-4-6
LOCATION=global
PROJECT_ID=MY_PROJECT_ID

curl \
-X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json" \
https://$LOCATION-aiplatform.googleapis.com/v1/projects/${PROJECT_ID}/locations/${LOCATION}/publishers/anthropic/models/${MODEL_ID}:streamRawPredict -d \
'{
  "anthropic_version": "vertex-2023-10-16",
  "messages": [{
    "role": "user",
    "content": "Hey Claude!"
  }],
  "max_tokens": 100,
}'

from anthropic import AnthropicVertex

project_id = "MY_PROJECT_ID"
region = "us"  # Multi-region: routes within US regions

client = AnthropicVertex(project_id=project_id, region=region)

message = client.messages.create(
    model="claude-opus-4-6",
    max_tokens=100,
    messages=[
        {
            "role": "user",
            "content": "Hey Claude!",
        }
    ],
)
print(message)