Эмбеддинги

Модели эмбеддингов опираются на мощные нейронные сети для захвата и сжатия семантического контекста, подобно генеративным моделям. Команда опытных исследователей ИИ Voyage оптимизирует каждый компонент процесса получения эмбеддингов, включая:

• Архитектуру модели
• Сбор данных
• Функции потерь
• Выбор оптимизатора

Узнайте больше о техническом подходе Voyage в блоге Voyage AI.

Для эмбеддингов общего назначения рекомендуются следующие модели:

• voyage-4-large: лучшее качество
• voyage-4-lite: наименьшие задержка и стоимость
• voyage-4: сбалансированная производительность

Для поиска используйте параметр input_type, чтобы указать, является ли текст запросом или документом.

Модели для конкретных предметных областей:

• Юридические задачи: voyage-law-2
• Код и документация по программированию: voyage-code-3
• Задачи, связанные с финансами: voyage-finance-2

Для поиска на уровне фрагментов и документов: voyage-context-4

Вы можете использовать эмбеддинги Voyage со сходством по скалярному произведению, косинусным сходством или евклидовым расстоянием. Объяснение сходства эмбеддингов см. в этом руководстве по сходству векторов.

Эмбеддинги Voyage AI нормализованы до длины 1, что означает:

• Косинусное сходство эквивалентно сходству по скалярному произведению, при этом последнее вычисляется быстрее.
• Косинусное сходство и евклидово расстояние дают идентичное ранжирование.

См. руководство Voyage по токенизации.

Для всех задач и сценариев поиска (например, RAG) используйте параметр input_type, чтобы указать, является ли входной текст запросом или документом. Не опускайте input_type и не задавайте input_type=None. Указание того, является ли входной текст запросом или документом, позволяет создавать более качественные плотные векторные представления для поиска, что может привести к повышению качества поиска.

При использовании параметра input_type перед получением эмбеддинга к входному тексту добавляются специальные подсказки. А именно:

📘 Подсказки, связанные с input_type

• Для запроса подсказка: «Represent the query for retrieving supporting documents: ».
• Для документа подсказка: «Represent the document for retrieval: ».
• Пример
  • При input_type="query" запрос вида "When is Apple's conference call scheduled?" превратится в "Represent the query for retrieving supporting documents: When is Apple's conference call scheduled?"
  • При input_type="document" запрос вида "Apple's conference call to discuss fourth fiscal quarter results and business updates is scheduled for Thursday, November 2, 2023 at 2:00 p.m. PT / 5:00 p.m. ET." превратится в "Represent the document for retrieval: Apple's conference call to discuss fourth fiscal quarter results and business updates is scheduled for Thursday, November 2, 2023 at 2:00 p.m. PT / 5:00 p.m. ET."

voyage-large-2-instruct, как следует из названия, обучена реагировать на дополнительные инструкции, добавляемые перед входным текстом. Для классификации, кластеризации или других подзадач MTEB используйте инструкции voyage-large-2-instruct.

Квантизация эмбеддингов преобразует значения высокой точности, такие как 32-битные числа с плавающей запятой одинарной точности, в форматы более низкой точности, такие как 8-битные целые числа или 1-битные двоичные значения, сокращая объём хранения, память и затраты в 4 и 32 раза соответственно. Поддерживаемые модели Voyage позволяют включить квантизацию, указав тип выходных данных с помощью параметра output_dtype:

• float: каждый возвращаемый эмбеддинг представляет собой список 32-битных (4-байтовых) чисел с плавающей запятой одинарной точности. Это значение по умолчанию, обеспечивающее наивысшую точность / точность поиска.
• int8 и uint8: каждый возвращаемый эмбеддинг представляет собой список 8-битных (1-байтовых) целых чисел в диапазоне от -128 до 127 и от 0 до 255 соответственно.
• binary и ubinary: каждый возвращаемый эмбеддинг представляет собой список 8-битных целых чисел, представляющих упакованные по битам квантизованные однобитные значения эмбеддинга: int8 для binary и uint8 для ubinary. Длина возвращаемого списка целых чисел составляет 1/8 от фактической размерности эмбеддинга. Тип binary использует метод двоичного кода со смещением, о котором можно узнать больше в FAQ по эмбеддингам.

Пример двоичной квантизации

Рассмотрим следующие восемь значений эмбеддинга: -0.03955078, 0.006214142, -0.07446289, -0.039001465, 0.0046463013, 0.00030612946, -0.08496094 и 0.03994751. При двоичной квантизации значения, меньшие или равные нулю, квантизуются в двоичный ноль, а положительные значения — в двоичную единицу, что даёт следующую двоичную последовательность: 0, 1, 0, 0, 1, 1, 0, 1. Затем эти восемь битов упаковываются в одно 8-битное целое число 01001101 (крайний левый бит — старший).

• ubinary: двоичная последовательность напрямую преобразуется и представляется как беззнаковое целое число (uint8) 77.
• binary: двоичная последовательность представляется как знаковое целое число (int8) -51, вычисленное методом двоичного кода со смещением (77 - 128 = -51).

Обучение Matryoshka создаёт эмбеддинги с представлениями от грубых к детальным в рамках одного вектора. Модели Voyage, такие как voyage-code-3, поддерживающие несколько выходных размерностей, генерируют такие эмбеддинги Matryoshka. Вы можете усекать эти векторы, сохраняя начальное подмножество измерений. Например, следующий код на Python демонстрирует, как усечь 1024-мерные векторы до 256 измерений:

import voyageai
import numpy as np


def embd_normalize(v: np.ndarray) -> np.ndarray:
    """
    Normalize the rows of a 2D numpy array to unit vectors by dividing each row by its Euclidean
    norm. Raises a ValueError if any row has a norm of zero to prevent division by zero.
    """
    row_norms = np.linalg.norm(v, axis=1, keepdims=True)
    if np.any(row_norms == 0):
        raise ValueError("Cannot normalize rows with a norm of zero.")
    return v / row_norms


vo = voyageai.Client()

# Генерируем векторы voyage-code-3, по умолчанию это 1024-мерные числа с плавающей запятой
embd = vo.embed(["Sample text 1", "Sample text 2"], model="voyage-code-3").embeddings

# Задаём меньшую размерность
short_dim = 256

# Изменяем размер и нормализуем векторы до меньшей размерности
resized_embd = embd_normalize(np.array(embd)[:, :short_dim]).tolist()