Эмбеддинги



Перед внедрением эмбеддингов

При выборе поставщика эмбеддингов можно учитывать несколько факторов в зависимости от ваших потребностей и предпочтений:

• Размер набора данных и специфика предметной области: размер обучающего набора данных модели и его релевантность предметной области, для которой вы хотите создавать эмбеддинги. Более крупные или более специализированные данные, как правило, дают более качественные эмбеддинги внутри предметной области
• Производительность инференса: скорость поиска эмбеддингов и сквозная задержка. Это особенно важный фактор для крупномасштабных производственных развёртываний
• Возможности настройки: варианты дообучения на приватных данных или специализации моделей для очень узких предметных областей. Это может улучшить производительность на уникальных словарях



Как получить эмбеддинги с помощью Anthropic

Anthropic не предлагает собственную модель эмбеддингов. Одним из поставщиков эмбеддингов с широким спектром возможностей, охватывающих все перечисленные выше соображения, является Voyage AI.

Voyage AI создаёт передовые модели эмбеддингов и предлагает специализированные модели для конкретных отраслей, таких как финансы и здравоохранение, а также индивидуально дообученные модели для отдельных клиентов.

Остальная часть этого руководства посвящена Voyage AI, однако вам следует оценить различных поставщиков эмбеддингов, чтобы найти наиболее подходящий вариант для вашего конкретного сценария использования.



Доступные модели

Voyage рекомендует использовать следующие модели текстовых эмбеддингов:

Voyage 4 (последнее поколение)

Предыдущее поколение

Кроме того, рекомендуются следующие мультимодальные модели эмбеддингов:

Нужна помощь в выборе модели текстовых эмбеддингов? Ознакомьтесь с FAQ.



Начало работы с Voyage AI

Чтобы получить доступ к эмбеддингам Voyage:

1. Зарегистрируйтесь на сайте Voyage AI
2. Получите ключ API
3. Для удобства установите ключ API как переменную окружения:

export VOYAGE_API_KEY="<your secret key>"

Вы можете получить эмбеддинги, используя официальный Python-пакет voyageai или HTTP-запросы, как описано ниже.



Python-библиотека Voyage

Пакет voyageai можно установить с помощью следующей команды:

pip install -U voyageai

Затем вы можете создать объект клиента и начать использовать его для создания эмбеддингов ваших текстов:

import voyageai

vo = voyageai.Client()
# Будет автоматически использована переменная окружения VOYAGE_API_KEY.
# Либо можно использовать vo = voyageai.Client(api_key="<ваш секретный ключ>")

texts = ["Sample text 1", "Sample text 2"]

result = vo.embed(texts, model="voyage-4", input_type="document")
print(result.embeddings[0])
print(result.embeddings[1])

result.embeddings будет списком из двух векторов эмбеддингов, каждый из которых содержит 1024 числа с плавающей запятой. После выполнения приведённого выше кода два эмбеддинга будут выведены на экран:

[-0.013131560757756233, 0.019828535616397858, ...]   # embedding for "Sample text 1"
[-0.0069352793507277966, 0.020878976210951805, ...]  # embedding for "Sample text 2"

При создании эмбеддингов вы можете указать несколько других аргументов для функции embed().

Дополнительную информацию о Python-пакете Voyage см. в документации Voyage.



HTTP API Voyage

Вы также можете получить эмбеддинги, отправив запрос к HTTP API Voyage. Например, вы можете отправить HTTP-запрос через команду curl в терминале:

curl https://api.voyageai.com/v1/embeddings \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $VOYAGE_API_KEY" \
  -d '{
    "input": ["Sample text 1", "Sample text 2"],
    "model": "voyage-4"
  }'

В ответ вы получите JSON-объект, содержащий эмбеддинги и информацию об использовании токенов:

{
  "object": "list",
  "data": [
    {
      "embedding": [-0.013131560757756233, 0.019828535616397858 /* ... */],
      "index": 0
    },
    {
      "embedding": [-0.0069352793507277966, 0.020878976210951805 /* ... */],
      "index": 1
    }
  ],
  "model": "voyage-4",
  "usage": {
    "total_tokens": 10
  }
}

Дополнительную информацию о HTTP API Voyage см. в документации Voyage.



AWS Marketplace

Эмбеддинги Voyage доступны на AWS Marketplace. Инструкции по доступу к Voyage на AWS доступны в документации Voyage по AWS Marketplace.



Пример быстрого старта

Следующий краткий пример показывает, как использовать эмбеддинги.

Предположим, у вас есть небольшой корпус из шести документов для поиска

documents = [
    "The Mediterranean diet emphasizes fish, olive oil, and vegetables, believed to reduce chronic diseases.",
    "Photosynthesis in plants converts light energy into glucose and produces essential oxygen.",
    "20th-century innovations, from radios to smartphones, centered on electronic advancements.",
    "Rivers provide water, irrigation, and habitat for aquatic species, vital for ecosystems.",
    "Apple's conference call to discuss fourth fiscal quarter results and business updates is scheduled for Thursday, November 2, 2023 at 2:00 p.m. PT / 5:00 p.m. ET.",
    "Shakespeare's works, like 'Hamlet' and 'A Midsummer Night's Dream,' endure in literature.",
]

Сначала используйте Voyage для преобразования каждого документа в вектор эмбеддинга

import voyageai

vo = voyageai.Client()

# Создаём эмбеддинги для документов
doc_embds = vo.embed(documents, model="voyage-4", input_type="document").embeddings

Эмбеддинги позволяют выполнять семантический поиск / извлечение в векторном пространстве. Для примера запроса

query = "When is Apple's conference call scheduled?"

Далее преобразуйте его в эмбеддинг и выполните поиск ближайшего соседа, чтобы найти наиболее релевантный документ на основе расстояния в пространстве эмбеддингов.

import numpy as np

# Создаём эмбеддинг запроса
query_embd = vo.embed([query], model="voyage-4", input_type="query").embeddings[0]

# Вычисляем сходство
# Эмбеддинги Voyage нормализованы до длины 1, поэтому скалярное произведение
# и косинусное сходство совпадают.
similarities = np.dot(doc_embds, query_embd)

retrieved_id = np.argmax(similarities)
print(documents[retrieved_id])

Обратите внимание, что input_type="document" и input_type="query" используются для создания эмбеддингов документа и запроса соответственно. Более подробную спецификацию можно найти в разделе Python-библиотека Voyage.

Результатом будет 5-й документ, который действительно наиболее релевантен запросу:

Apple's conference call to discuss fourth fiscal quarter results and business updates is scheduled for Thursday, November 2, 2023 at 2:00 p.m. PT / 5:00 p.m. ET.

Если вы ищете подробный набор руководств о том, как реализовать RAG с эмбеддингами, включая векторные базы данных, ознакомьтесь с руководством по RAG.



FAQ



Цены

Посетите страницу цен Voyage для получения актуальной информации о ценах.