Vertex AI의 Claude

Claude에 액세스하기 위한 Vertex API는 Messages API와 거의 동일하며 동일한 모든 옵션을 지원하지만 두 가지 주요 차이점이 있습니다:

• Vertex에서는 model이 요청 본문에 전달되지 않습니다. 대신 Google Cloud 엔드포인트 URL에 지정됩니다.
• Vertex에서는 anthropic_version이 요청 본문에 전달되며(헤더가 아님), vertex-2023-10-16 값으로 설정되어야 합니다.

Vertex는 또한 Anthropic의 공식 클라이언트 SDK에서 지원됩니다. 이 가이드는 Anthropic의 클라이언트 SDK 중 하나를 사용하여 Vertex AI의 Claude에 요청을 하는 방법을 안내합니다.

이 가이드는 Vertex AI를 사용할 수 있는 GCP 프로젝트가 이미 있다고 가정합니다. 필요한 설정 및 전체 연습에 대한 자세한 내용은 Anthropic에서 Claude 3 모델 사용을 참조하세요.

Vertex AI에 액세스하기 위한 SDK 설치

먼저 선택한 언어에 대해 Anthropic의 클라이언트 SDK를 설치합니다.

Vertex AI에 액세스하기

모델 가용성

Anthropic 모델 가용성은 지역에 따라 다릅니다. Vertex AI Model Garden에서 "Claude"를 검색하거나 Claude 3 사용으로 이동하여 최신 정보를 확인하세요.

API 모델 ID

요청 만들기

요청을 실행하기 전에 GCP로 인증하기 위해 gcloud auth application-default login을 실행해야 할 수 있습니다.

다음 예제는 Vertex AI의 Claude에서 텍스트를 생성하는 방법을 보여줍니다:

자세한 내용은 클라이언트 SDK 및 공식 Vertex AI 문서를 참조하세요.

Claude는 또한 Amazon Bedrock 및 Microsoft Foundry를 통해 사용 가능합니다.

활동 로깅

Vertex는 요청-응답 로깅 서비스를 제공하여 고객이 사용과 관련된 프롬프트 및 완성을 로깅할 수 있습니다.

Anthropic은 활동을 이해하고 잠재적인 오용을 조사하기 위해 최소 30일 롤링 기준으로 활동을 로깅할 것을 권장합니다.

기능 지원

Vertex AI에서 현재 지원되는 모든 기능은 API 기능 개요를 참조하세요.

컨텍스트 윈도우

Claude Opus 4.7, Claude Opus 4.6, Claude Sonnet 4.6은 Vertex AI에서 1M 토큰 컨텍스트 윈도우를 가집니다. Sonnet 4.5 및 Sonnet 4(더 이상 사용되지 않음)를 포함한 다른 Claude 모델은 200k 토큰 컨텍스트 윈도우를 가집니다.

Vertex AI는 요청 페이로드를 30MB로 제한합니다. 큰 문서나 많은 이미지를 보낼 때 토큰 제한에 도달하기 전에 이 제한에 도달할 수 있습니다.

글로벌, 다중 지역 및 지역 엔드포인트

Google Vertex AI는 세 가지 엔드포인트 유형을 제공합니다:

• 글로벌 엔드포인트: 최대 가용성을 위한 동적 라우팅
• 다중 지역 엔드포인트: 지리적 영역(예: 미국 또는 유럽 연합) 내에서 데이터 거주지와 높은 가용성을 위한 동적 라우팅
• 지역 엔드포인트: 특정 지리적 지역을 통한 보장된 데이터 라우팅

지역 및 다중 지역 엔드포인트는 글로벌 엔드포인트보다 10% 가격 프리미엄을 포함합니다.

각 옵션을 사용할 때

글로벌 엔드포인트(권장):

• 최대 가용성 및 가동 시간 제공
• 사용 가능한 용량이 있는 지역으로 요청을 동적으로 라우팅
• 가격 프리미엄 없음
• 데이터 거주지가 유연한 애플리케이션에 최적
• 종량제 트래픽만 지원(프로비저닝된 처리량은 지역 엔드포인트 필요)

다중 지역 엔드포인트:

• 지리적 영역(현재 us 및 eu) 내의 지역 전체에서 요청을 동적으로 라우팅
• 광범위한 지리 내에서 데이터 거주지가 필요하지만 단일 지역보다 높은 가용성을 원할 때 유용
• 글로벌 엔드포인트보다 10% 가격 프리미엄
• 종량제 트래픽만 지원(프로비저닝된 처리량은 지역 엔드포인트 필요)

지역 엔드포인트:

• 특정 지리적 지역을 통해 트래픽 라우팅
• 단일 지역 데이터 거주지, 엄격한 규정 준수 요구 사항 또는 프로비저닝된 처리량에 필요
• 종량제 및 프로비저닝된 처리량 모두 지원
• 10% 가격 프리미엄은 전용 지역 용량의 인프라 비용을 반영합니다

구현

글로벌 엔드포인트 사용(권장):

클라이언트를 초기화할 때 region 매개변수를 "global"로 설정합니다:

다중 지역 엔드포인트 사용:

region 매개변수를 다중 지역 식별자로 설정합니다: 미국의 경우 "us" 또는 유럽 연합의 경우 "eu". SDK는 해당 다중 지역 엔드포인트(https://aiplatform.us.rep.googleapis.com 또는 https://aiplatform.eu.rep.googleapis.com)로 요청을 라우팅하며, 이는 해당 지리 내의 지역 전체에서 트래픽을 동적으로 균형 조정합니다.

지역 엔드포인트 사용:

"us-east1" 또는 "europe-west1"과 같은 특정 지역을 지정합니다:

추가 리소스

• Google Vertex AI 가격: cloud.google.com/vertex-ai/generative-ai/pricing
• Claude 모델 문서: Vertex AI의 Claude
• Google 블로그 게시물: Claude 모델용 글로벌 엔드포인트
• Anthropic 가격 세부 정보: 가격 문서

from anthropic import AnthropicVertex

project_id = "MY_PROJECT_ID"
region = "global"

client = AnthropicVertex(project_id=project_id, region=region)

message = client.messages.create(
    model="claude-opus-4-7",
    max_tokens=100,
    messages=[
        {
            "role": "user",
            "content": "Hey Claude!",
        }
    ],
)
print(message)

from anthropic import AnthropicVertex

project_id = "MY_PROJECT_ID"
region = "global"

client = AnthropicVertex(project_id=project_id, region=region)

message = client.messages.create(
    model="claude-opus-4-7",
    max_tokens=100,
    messages=[
        {
            "role": "user",
            "content": "Hey Claude!",
        }
    ],
)
print(message)

from anthropic import AnthropicVertex

project_id = "MY_PROJECT_ID"
region = "us"  # Multi-region identifier: "us" or "eu"

client = AnthropicVertex(project_id=project_id, region=region)

message = client.messages.create(
    model="claude-opus-4-7",
    max_tokens=100,
    messages=[
        {
            "role": "user",
            "content": "Hey Claude!",
        }
    ],
)
print(message)

from anthropic import AnthropicVertex

project_id = "MY_PROJECT_ID"
region = "us-east1"  # Specify a specific region

client = AnthropicVertex(project_id=project_id, region=region)

message = client.messages.create(
    model="claude-opus-4-7",
    max_tokens=100,
    messages=[
        {
            "role": "user",
            "content": "Hey Claude!",
        }
    ],
)
print(message)