Claude auf Vertex AI

Die Vertex API für den Zugriff auf Claude ist fast identisch mit der Messages API und unterstützt alle gleichen Optionen, mit zwei wichtigen Unterschieden:

• In Vertex wird model nicht im Request-Body übergeben. Stattdessen wird es in der Google Cloud Endpoint-URL angegeben.
• In Vertex wird anthropic_version im Request-Body übergeben (nicht als Header) und muss auf den Wert vertex-2023-10-16 gesetzt werden.

Vertex wird auch von Anthropics offiziellen Client SDKs unterstützt. Diese Anleitung führt Sie durch das Erstellen einer Anfrage an Claude auf Vertex AI mit einem von Anthropics Client SDKs.

Beachten Sie, dass diese Anleitung davon ausgeht, dass Sie bereits ein GCP-Projekt haben, das Vertex AI verwenden kann. Weitere Informationen zur erforderlichen Einrichtung sowie eine vollständige Anleitung finden Sie unter Verwendung der Claude 3-Modelle von Anthropic.

Installieren Sie ein SDK für den Zugriff auf Vertex AI

Installieren Sie zunächst das Client SDK von Anthropic für Ihre Programmiersprache.

Zugriff auf Vertex AI

Modellverfügbarkeit

Beachten Sie, dass die Verfügbarkeit von Anthropic-Modellen je nach Region unterschiedlich ist. Suchen Sie nach „Claude" im Vertex AI Model Garden oder gehen Sie zu Claude 3 verwenden, um die neuesten Informationen zu erhalten.

API-Modell-IDs

Anfragen stellen

Bevor Sie Anfragen ausführen, müssen Sie möglicherweise gcloud auth application-default login ausführen, um sich bei GCP zu authentifizieren.

Die folgenden Beispiele zeigen, wie Sie Text von Claude auf Vertex AI generieren:

from anthropic import AnthropicVertex

project_id = "MY_PROJECT_ID"
region = "global"

client = AnthropicVertex(project_id=project_id, region=region)

message = client.messages.create(
    model="claude-opus-4-7",
    max_tokens=100,
    messages=[
        {
            "role": "user",
            "content": "Hey Claude!",
        }
    ],
)
print(message)

Weitere Details finden Sie in den Client SDKs und der offiziellen Vertex AI-Dokumentation.

Claude ist auch über Amazon Bedrock und Microsoft Foundry verfügbar.

Aktivitätsprotokollierung

Vertex bietet einen Request-Response-Protokollierungsdienst, mit dem Kunden die Eingabeaufforderungen und Vervollständigungen protokollieren können, die mit Ihrer Nutzung verbunden sind.

Anthropic empfiehlt, dass Sie Ihre Aktivität mindestens auf einer 30-Tage-Rollbasis protokollieren, um Ihre Aktivität zu verstehen und mögliche Missbräuche zu untersuchen.

Funktionsunterstützung

Alle derzeit unterstützten Funktionen auf Vertex AI finden Sie unter API-Funktionsübersicht.

Kontextfenster

Claude Opus 4.7, Claude Opus 4.6 und Claude Sonnet 4.6 haben auf Vertex AI ein 1M-Token-Kontextfenster. Andere Claude-Modelle, einschließlich Sonnet 4.5 und Sonnet 4 (veraltet), haben ein 200k-Token-Kontextfenster.

Vertex AI begrenzt Request-Payloads auf 30 MB. Beim Versand großer Dokumente oder vieler Bilder können Sie diese Grenze vor der Token-Grenze erreichen.

Globale, Multi-Region- und regionale Endpoints

Google Vertex AI bietet drei Endpoint-Typen:

• Globale Endpoints: Dynamisches Routing für maximale Verfügbarkeit
• Multi-Region-Endpoints: Dynamisches Routing innerhalb eines geografischen Gebiets (z. B. die Vereinigten Staaten oder die Europäische Union) für Datenresidenz mit hoher Verfügbarkeit
• Regionale Endpoints: Garantiertes Daten-Routing durch spezifische geografische Regionen

Regionale und Multi-Region-Endpoints beinhalten einen Preisaufschlag von 10 % gegenüber globalen Endpoints.

Wann sollte jede Option verwendet werden

Globale Endpoints (empfohlen):

• Bieten maximale Verfügbarkeit und Betriebszeit
• Leiten Anfragen dynamisch zu Regionen mit verfügbarer Kapazität weiter
• Kein Preisaufschlag
• Am besten für Anwendungen, bei denen Datenresidenz flexibel ist
• Unterstützt nur Pay-as-you-go-Verkehr (bereitgestellter Durchsatz erfordert regionale Endpoints)

Multi-Region-Endpoints:

• Leiten Anfragen dynamisch über Regionen innerhalb eines geografischen Gebiets weiter (derzeit us und eu)
• Nützlich, wenn Sie Datenresidenz innerhalb einer breiten Geografie benötigen, aber höhere Verfügbarkeit als eine einzelne Region wünschen
• Preisaufschlag von 10 % gegenüber globalen Endpoints
• Unterstützt nur Pay-as-you-go-Verkehr (bereitgestellter Durchsatz erfordert regionale Endpoints)

Regionale Endpoints:

• Leiten Verkehr durch spezifische geografische Regionen weiter
• Erforderlich für Datenresidenz in einer einzelnen Region, strenge Compliance-Anforderungen oder bereitgestellten Durchsatz
• Unterstützen sowohl Pay-as-you-go als auch bereitgestellten Durchsatz
• Preisaufschlag von 10 % spiegelt Infrastrukturkosten für dedizierte regionale Kapazität wider

Implementierung

Verwendung globaler Endpoints (empfohlen):

Setzen Sie den Parameter region auf "global" beim Initialisieren des Clients:

from anthropic import AnthropicVertex

project_id = "MY_PROJECT_ID"
region = "global"

client = AnthropicVertex(project_id=project_id, region=region)

message = client.messages.create(
    model="claude-opus-4-7",
    max_tokens=100,
    messages=[
        {
            "role": "user",
            "content": "Hey Claude!",
        }
    ],
)
print(message)

Verwendung von Multi-Region-Endpoints:

Setzen Sie den Parameter region auf einen Multi-Region-Identifier: "us" für die Vereinigten Staaten oder "eu" für die Europäische Union. Das SDK leitet Anfragen an den entsprechenden Multi-Region-Endpoint weiter (https://aiplatform.us.rep.googleapis.com oder https://aiplatform.eu.rep.googleapis.com), der den Verkehr dynamisch über Regionen innerhalb dieser Geografie verteilt.

from anthropic import AnthropicVertex

project_id = "MY_PROJECT_ID"
region = "us"  # Multi-Region-Identifier: "us" oder "eu"

client = AnthropicVertex(project_id=project_id, region=region)

message = client.messages.create(
    model="claude-opus-4-7",
    max_tokens=100,
    messages=[
        {
            "role": "user",
            "content": "Hey Claude!",
        }
    ],
)
print(message)

Verwendung regionaler Endpoints:

Geben Sie eine spezifische Region wie "us-east1" oder "europe-west1" an:

from anthropic import AnthropicVertex

project_id = "MY_PROJECT_ID"
region = "us-east1"  # Geben Sie eine spezifische Region an

client = AnthropicVertex(project_id=project_id, region=region)

message = client.messages.create(
    model="claude-opus-4-7",
    max_tokens=100,
    messages=[
        {
            "role": "user",
            "content": "Hey Claude!",
        }
    ],
)
print(message)

Zusätzliche Ressourcen

• Google Vertex AI-Preise: cloud.google.com/vertex-ai/generative-ai/pricing
• Claude-Modelle-Dokumentation: Claude auf Vertex AI
• Google-Blogbeitrag: Globaler Endpoint für Claude-Modelle
• Anthropic-Preisdetails: Preisdokumentation