Claude на Vertex AI

API Vertex для доступа к Claude почти идентичен Messages API и поддерживает все те же опции с двумя ключевыми отличиями:

• В Vertex model не передается в теле запроса. Вместо этого он указывается в URL-адресе конечной точки Google Cloud.
• В Vertex anthropic_version передается в теле запроса (а не в виде заголовка) и должен быть установлен на значение vertex-2023-10-16.

Vertex также поддерживается официальными SDK клиентов Anthropic. Это руководство проведет вас через создание запроса к Claude на Vertex AI с использованием одного из SDK клиентов Anthropic.

Обратите внимание, что это руководство предполагает, что у вас уже есть проект GCP, который может использовать Vertex AI. Дополнительную информацию о требуемой настройке и полное пошаговое руководство см. в разделе использование моделей Claude 3 от Anthropic.

Установка SDK для доступа к Vertex AI

Сначала установите SDK клиента Anthropic для выбранного вами языка программирования.

Доступ к Vertex AI

Доступность моделей

Обратите внимание, что доступность моделей Anthropic варьируется в зависимости от региона. Найдите "Claude" в Vertex AI Model Garden или перейдите на Use Claude 3 для получения последней информации.

API идентификаторы моделей

Создание запросов

Перед выполнением запросов может потребоваться запустить gcloud auth application-default login для аутентификации с помощью GCP.

Следующие примеры показывают, как генерировать текст из Claude на Vertex AI:

from anthropic import AnthropicVertex

project_id = "MY_PROJECT_ID"
region = "global"

client = AnthropicVertex(project_id=project_id, region=region)

message = client.messages.create(
    model="claude-opus-4-7",
    max_tokens=100,
    messages=[
        {
            "role": "user",
            "content": "Hey Claude!",
        }
    ],
)
print(message)

Дополнительные сведения см. в разделе SDK клиентов и официальной документации Vertex AI.

Claude также доступен через Amazon Bedrock и Microsoft Foundry.

Логирование активности

Vertex предоставляет сервис логирования запросов и ответов, который позволяет клиентам регистрировать подсказки и завершения, связанные с вашим использованием.

Anthropic рекомендует регистрировать вашу активность по крайней мере на основе 30-дневного скользящего окна, чтобы понять вашу активность и исследовать любой потенциальный неправомерный использование.

Поддержка функций

Для всех поддерживаемых в настоящее время функций на Vertex AI см. обзор функций API.

Контекстное окно

Claude Opus 4.7, Claude Opus 4.6 и Claude Sonnet 4.6 имеют контекстное окно в 1 млн токенов на Vertex AI. Другие модели Claude, включая Sonnet 4.5 и Sonnet 4 (устарела), имеют контекстное окно в 200 тыс. токенов.

Vertex AI ограничивает полезную нагрузку запроса до 30 МБ. При отправке больших документов или множества изображений вы можете достичь этого ограничения раньше, чем ограничение по токенам.

Глобальные, многорегиональные и региональные конечные точки

Google Vertex AI предлагает три типа конечных точек:

• Глобальные конечные точки: Динамическая маршрутизация для максимальной доступности
• Многорегиональные конечные точки: Динамическая маршрутизация в пределах географической области (например, Соединенные Штаты или Европейский союз) для размещения данных с высокой доступностью
• Региональные конечные точки: Гарантированная маршрутизация данных через определенные географические регионы

Региональные и многорегиональные конечные точки включают надбавку в размере 10% к цене по сравнению с глобальными конечными точками.

Когда использовать каждый вариант

Глобальные конечные точки (рекомендуется):

• Обеспечивают максимальную доступность и время безотказной работы
• Динамически маршрутизируют запросы в регионы с доступной емкостью
• Без надбавки к цене
• Лучше всего для приложений, где размещение данных гибко
• Поддерживает только трафик с оплатой по мере использования (подготовленная пропускная способность требует региональных конечных точек)

Многорегиональные конечные точки:

• Динамически маршрутизируют запросы в регионы в пределах географической области (в настоящее время us и eu)
• Полезны, когда вам нужно размещение данных в широкой географии, но вы хотите более высокую доступность, чем один регион
• Надбавка в размере 10% к цене по сравнению с глобальными конечными точками
• Поддерживает только трафик с оплатой по мере использования (подготовленная пропускная способность требует региональных конечных точек)

Региональные конечные точки:

• Маршрутизируют трафик через определенные географические регионы
• Требуются для размещения данных в одном регионе, строгих требований соответствия или подготовленной пропускной способности
• Поддерживают как оплату по мере использования, так и подготовленную пропускную способность
• Надбавка в размере 10% к цене отражает затраты на инфраструктуру для выделенной региональной емкости

Реализация

Использование глобальных конечных точек (рекомендуется):

Установите параметр region на "global" при инициализации клиента:

from anthropic import AnthropicVertex

project_id = "MY_PROJECT_ID"
region = "global"

client = AnthropicVertex(project_id=project_id, region=region)

message = client.messages.create(
    model="claude-opus-4-7",
    max_tokens=100,
    messages=[
        {
            "role": "user",
            "content": "Hey Claude!",
        }
    ],
)
print(message)

Использование многорегиональных конечных точек:

Установите параметр region на многорегиональный идентификатор: "us" для Соединенных Штатов или "eu" для Европейского союза. SDK маршрутизирует запросы на соответствующую многорегиональную конечную точку (https://aiplatform.us.rep.googleapis.com или https://aiplatform.eu.rep.googleapis.com), которая динамически балансирует трафик в регионах в пределах этой географии.

from anthropic import AnthropicVertex

project_id = "MY_PROJECT_ID"
region = "us"  # Multi-region identifier: "us" or "eu"

client = AnthropicVertex(project_id=project_id, region=region)

message = client.messages.create(
    model="claude-opus-4-7",
    max_tokens=100,
    messages=[
        {
            "role": "user",
            "content": "Hey Claude!",
        }
    ],
)
print(message)

Использование региональных конечных точек:

Укажите конкретный регион, например "us-east1" или "europe-west1":

from anthropic import AnthropicVertex

project_id = "MY_PROJECT_ID"
region = "us-east1"  # Specify a specific region

client = AnthropicVertex(project_id=project_id, region=region)

message = client.messages.create(
    model="claude-opus-4-7",
    max_tokens=100,
    messages=[
        {
            "role": "user",
            "content": "Hey Claude!",
        }
    ],
)
print(message)

Дополнительные ресурсы

• Ценообразование Google Vertex AI: cloud.google.com/vertex-ai/generative-ai/pricing
• Документация моделей Claude: Claude на Vertex AI
• Пост в блоге Google: Global endpoint for Claude models
• Сведения о ценообразовании Anthropic: Документация по ценообразованию