Зрение

Это руководство описывает, как работать с изображениями в Claude, включая лучшие практики, примеры кода и ограничения, которые следует учитывать.

Как использовать зрение

Используйте возможности зрения Claude через:

• claude.ai. Загружайте изображение как файл или перетаскивайте изображение прямо в окно чата.
• Console Workbench. Кнопка для добавления изображений появляется в верхнем правом углу каждого блока сообщения пользователя.
• Запрос API. См. примеры в этом руководстве.

Перед загрузкой

Основы и ограничения

Вы можете включить несколько изображений в один запрос: до 20 для claude.ai и до 600 для запросов API (100 для моделей с окном контекста 200k токенов). Claude анализирует все предоставленные изображения при формулировании своего ответа. Это может быть полезно для сравнения или противопоставления изображений.

Если вы отправите изображение размером более 8000x8000 пикселей, оно будет отклонено. Если вы отправите более 20 изображений в одном запросе API, это ограничение составляет 2000x2000 пикселей.

Оценка размера изображения

Чтобы минимизировать задержку без ущерба для качества вывода, измените размер изображений перед загрузкой, если они слишком большие. На Claude Opus 4.6, Claude Sonnet 4.6 и более ранних моделях, если длинный край вашего изображения превышает 1568 пикселей или ваше изображение содержит более ~1600 токенов, оно сначала масштабируется вниз, сохраняя соотношение сторон, пока не будет находиться в пределах ограничений размера.

Если ваше входное изображение слишком большое и требует изменения размера, это увеличивает задержку time-to-first-token, без пользы для качества вывода. Очень маленькие изображения размером менее 200 пикселей с любой стороны могут снизить качество вывода.

Поддержка высокого разрешения на Claude Opus 4.7

Claude Opus 4.7 — первая модель Claude с поддержкой высокого разрешения. Максимальное разрешение изображения составляет 2576 пикселей на длинном краю (по сравнению с 1568 пикселей на предыдущих моделях). Это открывает прирост производительности на рабочих нагрузках, требующих интенсивной работы с видением, и особенно ценно для компьютерного использования, понимания снимков экрана и анализа документов.

Поддержка высокого разрешения автоматична на Claude Opus 4.7 и не требует бета-заголовка или согласия на стороне клиента.

Стоимость токена: Изображения с полным разрешением на Claude Opus 4.7 могут использовать примерно в 3 раза больше токенов изображения, чем на предыдущих моделях (до 4784 токенов на изображение, по сравнению с предыдущим ограничением примерно ~1600 токенов на изображение). Если вам не нужна дополнительная четкость, понизьте дискретизацию изображений перед отправкой, чтобы контролировать стоимость токенов.

Математика координат: На Claude Opus 4.7 координаты указания и ограничивающего прямоугольника, возвращаемые моделью, имеют соотношение 1

Вот таблица максимальных размеров изображений, принимаемых API, которые не будут изменены для распространенных соотношений сторон. С Claude Sonnet 4.6 эти изображения используют примерно 1600 токенов и около $4,80/1k изображений.

Расчет стоимости изображения

Каждое изображение, которое вы включаете в запрос к Claude, учитывается в использовании токенов. Чтобы рассчитать приблизительную стоимость, умножьте приблизительное количество токенов изображения на цену за токен модели, которую вы используете.

Если ваше изображение не требует изменения размера, вы можете оценить количество используемых токенов с помощью этого алгоритма: tokens = (width px * height px)/750

Вот примеры приблизительной токенизации и стоимости для различных размеров изображений в пределах ограничений размера API на основе цены Claude Sonnet 4.6 за токен в размере $3 за миллион входных токенов:

Обеспечение качества изображения

При предоставлении изображений Claude имейте в виду следующее для получения лучших результатов:

• Формат изображения: Используйте поддерживаемый формат изображения: JPEG, PNG, GIF или WebP.
• Четкость изображения: Убедитесь, что изображения четкие и не слишком размытые или пиксельные.
• Текст: Если изображение содержит важный текст, убедитесь, что он разборчив и не слишком мал. Избегайте обрезания ключевого визуального контекста только для увеличения текста.

Примеры подсказок

Многие из методов подсказок, которые хорошо работают для текстовых взаимодействий с Claude, также могут быть применены к подсказкам на основе изображений.

Эти примеры демонстрируют лучшие практики структур подсказок, включающих изображения.

О примерах подсказок

Следующие примеры демонстрируют, как использовать возможности зрения Claude, используя различные языки программирования и подходы. Вы можете предоставить изображения Claude тремя способами:

1. Как изображение, закодированное в base64, в блоках содержимого image
2. Как ссылка URL на изображение, размещенное в Интернете
3. Используя Files API (загрузить один раз, использовать несколько раз)

Примеры подсказок с base64 используют эти переменные:

import base64
import httpx

# Для изображений, закодированных в base64
image1_url = "https://upload.wikimedia.org/wikipedia/commons/a/a7/Camponotus_flavomarginatus_ant.jpg"
image1_media_type = "image/jpeg"
image1_data = base64.standard_b64encode(httpx.get(image1_url).content).decode("utf-8")

image2_url = "https://upload.wikimedia.org/wikipedia/commons/b/b5/Iridescent.green.sweat.bee1.jpg"
image2_media_type = "image/jpeg"
image2_data = base64.standard_b64encode(httpx.get(image2_url).content).decode("utf-8")

# Для изображений на основе URL вы можете использовать URL непосредственно в ваших запросах

Ниже приведены примеры того, как включить изображения в запрос Messages API, используя изображения, закодированные в base64, и ссылки на URL:

Пример изображения, закодированного в base64

image1_data = "iVBORw0KGgoAAAANSUhEUgAAAAEAAAABCAIAAACQd1PeAAAADElEQVR4nGP4z8AAAAMBAQDJ/pLvAAAAAElFTkSuQmCC"
image1_media_type = "image/png"

client = anthropic.Anthropic()
message = client.messages.create(
    model="claude-opus-4-7",
    max_tokens=1024,
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "image",
                    "source": {
                        "type": "base64",
                        "media_type": image1_media_type,
                        "data": image1_data,
                    },
                },
                {"type": "text", "text": "Describe this image."},
            ],
        }
    ],
)
print(message)

Пример изображения на основе URL

client = anthropic.Anthropic()
message = client.messages.create(
    model="claude-opus-4-7",
    max_tokens=1024,
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "image",
                    "source": {
                        "type": "url",
                        "url": "https://upload.wikimedia.org/wikipedia/commons/a/a7/Camponotus_flavomarginatus_ant.jpg",
                    },
                },
                {"type": "text", "text": "Describe this image."},
            ],
        }
    ],
)
print(message)

Пример использования Files API с изображениями

Для изображений, которые вы будете использовать повторно или когда вы хотите избежать затрат на кодирование, используйте Files API. Загрузите изображение один раз, а затем ссылайтесь на возвращённый file_id в последующих сообщениях вместо повторной отправки данных base64.

client = anthropic.Anthropic()

# Загрузите файл изображения
with open("image.jpg", "rb") as f:
    file_upload = client.beta.files.upload(file=("image.jpg", f, "image/jpeg"))

# Используйте загруженный файл в сообщении
message = client.beta.messages.create(
    model="claude-opus-4-7",
    max_tokens=1024,
    betas=["files-api-2025-04-14"],
    messages=[
        {
            "role": "user",
            "content": [
                {
                    "type": "image",
                    "source": {"type": "file", "file_id": file_upload.id},
                },
                {"type": "text", "text": "Describe this image."},
            ],
        }
    ],
)

print(message.content)

Смотрите примеры Messages API для получения дополнительного примера кода и деталей параметров.

Ограничения

Хотя возможности понимания изображений Claude являются передовыми, есть некоторые ограничения, о которых следует знать:

• Идентификация людей: Claude не может быть использован для называния людей на изображениях и отказывает в этом.
• Точность: Claude может галлюцинировать или ошибаться при интерпретации низкокачественных, повёрнутых или очень маленьких изображений размером менее 200 пикселей.
• Пространственное рассуждение: Способности пространственного рассуждения Claude ограничены. Он может испытывать трудности с задачами, требующими точной локализации или макетов, такими как чтение циферблата аналоговых часов или описание точных позиций шахматных фигур.
• Подсчёт: Claude может дать приблизительное количество объектов на изображении, но может быть не всегда точным, особенно с большим количеством маленьких объектов.
• Изображения, созданные ИИ: Claude не знает, является ли изображение созданным ИИ, и может быть неправ, если его об этом спросить. Не полагайтесь на него для обнаружения поддельных или синтетических изображений.
• Неприемлемое содержание: Claude не обрабатывает неприемлемые или явные изображения, которые нарушают Политику приемлемого использования.
• Приложения здравоохранения: Хотя Claude может анализировать общие медицинские изображения, он не предназначен для интерпретации сложных диагностических сканов, таких как КТ или МРТ. Результаты Claude не должны рассматриваться как замена профессиональной медицинской консультации или диагностике.

Всегда тщательно проверяйте и верифицируйте интерпретации изображений Claude, особенно для высокорисковых случаев использования. Не используйте Claude для задач, требующих идеальной точности или чувствительного анализа изображений без надзора человека.

Часто задаваемые вопросы

Углубитесь в видение

Готовы начать создавать с изображениями с помощью Claude? Вот несколько полезных ресурсов:

• Мультимодальная кулинарная книга: Эта кулинарная книга содержит советы по началу работы с изображениями и методы лучших практик для обеспечения наивысшего качества производительности с изображениями. Посмотрите, как вы можете эффективно подсказать Claude с изображениями для выполнения задач, таких как интерпретация и анализ диаграмм или извлечение содержимого из форм.
• Справочник API: Документация для Messages API, включая примеры вызовов API, связанных с изображениями.

Если у вас есть какие-либо другие вопросы, обратитесь в команду поддержки. Вы также можете присоединиться к сообществу разработчиков для подключения к другим создателям и получения помощи от экспертов Anthropic.