Эмбеддинги



Перед внедрением эмбеддингов

При выборе поставщика эмбеддингов есть несколько факторов, которые вы можете учитывать в зависимости от ваших потребностей и предпочтений:

• Размер набора данных и специфичность предметной области: размер обучающего набора данных модели и его релевантность предметной области, для которой вы хотите создавать эмбеддинги. Более крупные или более специализированные данные, как правило, дают лучшие эмбеддинги внутри предметной области
• Производительность инференса: скорость поиска эмбеддингов и сквозная задержка. Это особенно важное соображение для крупномасштабных производственных развёртываний
• Настройка: возможности для продолжения обучения на приватных данных или специализации моделей для очень узких предметных областей. Это может улучшить производительность на уникальных словарях



Как получить эмбеддинги с помощью Anthropic

Anthropic не предлагает собственную модель эмбеддингов. Один из поставщиков эмбеддингов, который имеет широкий спектр возможностей и функций, охватывающих все вышеперечисленные соображения, — это Voyage AI.

Voyage AI создаёт передовые модели эмбеддингов и предлагает специализированные модели для конкретных отраслевых областей, таких как финансы и здравоохранение, а также индивидуально дообученные модели для отдельных клиентов.

Остальная часть этого руководства посвящена Voyage AI, но вам следует оценить различных поставщиков эмбеддингов, чтобы найти наиболее подходящий вариант для вашего конкретного сценария использования.



Доступные модели

Voyage рекомендует использовать следующие модели текстовых эмбеддингов:

Voyage 4 (последнее поколение)

Предыдущее поколение

Кроме того, рекомендуются следующие мультимодальные модели эмбеддингов:

Нужна помощь в выборе модели текстовых эмбеддингов? Ознакомьтесь с FAQ.



Начало работы с Voyage AI

Чтобы получить доступ к эмбеддингам Voyage:

1. Зарегистрируйтесь на сайте Voyage AI
2. Получите ключ API
3. Установите ключ API в качестве переменной окружения для удобства:

export VOYAGE_API_KEY="<your secret key>"

Вы можете получить эмбеддинги, используя либо официальный Python-пакет voyageai, либо HTTP-запросы, как описано ниже.



Библиотека Voyage для Python

Пакет voyageai можно установить с помощью следующей команды:

pip install -U voyageai

Затем вы можете создать объект клиента и начать использовать его для создания эмбеддингов ваших текстов:

import voyageai

vo = voyageai.Client()
# Будет автоматически использована переменная окружения VOYAGE_API_KEY.
# Либо можно использовать vo = voyageai.Client(api_key="<ваш секретный ключ>")

texts = ["Sample text 1", "Sample text 2"]

result = vo.embed(texts, model="voyage-4", input_type="document")
print(result.embeddings[0])
print(result.embeddings[1])

result.embeddings будет списком из двух векторов эмбеддингов, каждый из которых содержит 1024 числа с плавающей запятой. После выполнения приведённого выше кода два эмбеддинга будут выведены на экран:

[-0.013131560757756233, 0.019828535616397858, ...]   # embedding for "Sample text 1"
[-0.0069352793507277966, 0.020878976210951805, ...]  # embedding for "Sample text 2"

При создании эмбеддингов вы можете указать несколько других аргументов для функции embed().

Дополнительную информацию о Python-пакете Voyage см. в документации Voyage.



Voyage HTTP API

Вы также можете получить эмбеддинги, отправив запрос к Voyage HTTP API. Например, вы можете отправить HTTP-запрос через команду curl в терминале:

curl https://api.voyageai.com/v1/embeddings \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $VOYAGE_API_KEY" \
  -d '{
    "input": ["Sample text 1", "Sample text 2"],
    "model": "voyage-4"
  }'

Ответ, который вы получите, — это JSON-объект, содержащий эмбеддинги и информацию об использовании токенов:

{
  "object": "list",
  "data": [
    {
      "embedding": [-0.013131560757756233, 0.019828535616397858 /* ... */],
      "index": 0
    },
    {
      "embedding": [-0.0069352793507277966, 0.020878976210951805 /* ... */],
      "index": 1
    }
  ],
  "model": "voyage-4",
  "usage": {
    "total_tokens": 10
  }
}

Дополнительную информацию о Voyage HTTP API см. в документации Voyage.



AWS Marketplace

Эмбеддинги Voyage доступны на AWS Marketplace. Инструкции по доступу к Voyage на AWS доступны в документации Voyage по AWS Marketplace.



Пример быстрого старта

Следующий краткий пример показывает, как использовать эмбеддинги.

Предположим, у вас есть небольшой корпус из шести документов для поиска

documents = [
    "The Mediterranean diet emphasizes fish, olive oil, and vegetables, believed to reduce chronic diseases.",
    "Photosynthesis in plants converts light energy into glucose and produces essential oxygen.",
    "20th-century innovations, from radios to smartphones, centered on electronic advancements.",
    "Rivers provide water, irrigation, and habitat for aquatic species, vital for ecosystems.",
    "Apple's conference call to discuss fourth fiscal quarter results and business updates is scheduled for Thursday, November 2, 2023 at 2:00 p.m. PT / 5:00 p.m. ET.",
    "Shakespeare's works, like 'Hamlet' and 'A Midsummer Night's Dream,' endure in literature.",
]

Сначала используйте Voyage, чтобы преобразовать каждый документ в вектор эмбеддинга

import voyageai

vo = voyageai.Client()

# Создаём эмбеддинги для документов
doc_embds = vo.embed(documents, model="voyage-4", input_type="document").embeddings

Эмбеддинги позволяют выполнять семантический поиск / извлечение в векторном пространстве. Для примера запроса

query = "When is Apple's conference call scheduled?"

Далее преобразуйте его в эмбеддинг и выполните поиск ближайшего соседа, чтобы найти наиболее релевантный документ на основе расстояния в пространстве эмбеддингов.

import numpy as np

# Создаём эмбеддинг запроса
query_embd = vo.embed([query], model="voyage-4", input_type="query").embeddings[0]

# Вычисляем сходство
# Эмбеддинги Voyage нормализованы до длины 1, поэтому скалярное произведение
# и косинусное сходство совпадают.
similarities = np.dot(doc_embds, query_embd)

retrieved_id = np.argmax(similarities)
print(documents[retrieved_id])

Обратите внимание, что input_type="document" и input_type="query" используются для создания эмбеддингов документа и запроса соответственно. Более подробную спецификацию можно найти в разделе Библиотека Voyage для Python.

Результатом будет 5-й документ, который действительно наиболее релевантен запросу:

Apple's conference call to discuss fourth fiscal quarter results and business updates is scheduled for Thursday, November 2, 2023 at 2:00 p.m. PT / 5:00 p.m. ET.

Если вы ищете подробный набор руководств о том, как выполнять RAG с эмбеддингами, включая векторные базы данных, ознакомьтесь с руководством по RAG.



FAQ



Цены

Посетите страницу цен Voyage для получения самой актуальной информации о ценах.