Embeddings

Los modelos de embeddings dependen de potentes redes neuronales para capturar y comprimir el contexto semántico, de manera similar a los modelos generativos. El equipo de investigadores de IA experimentados de Voyage optimiza cada componente del proceso de embedding, incluyendo:

• Arquitectura del modelo
• Recopilación de datos
• Funciones de pérdida
• Selección del optimizador

Obtén más información sobre el enfoque técnico de Voyage en el blog de Voyage AI.

Para embeddings de propósito general, los modelos recomendados son:

• voyage-4-large: Mejor calidad
• voyage-4-lite: Menor latencia y costo
• voyage-4: Rendimiento equilibrado

Para recuperación, usa el parámetro input_type para especificar si el texto es de tipo consulta o documento.

Modelos específicos de dominio:

• Tareas legales: voyage-law-2
• Código y documentación de programación: voyage-code-3
• Tareas relacionadas con finanzas: voyage-finance-2

Para recuperación a nivel de fragmento y a nivel de documento: voyage-context-4

Puedes usar los embeddings de Voyage con similitud de producto punto, similitud coseno o distancia euclidiana. Para una explicación sobre la similitud de embeddings, consulta esta guía de similitud vectorial.

Los embeddings de Voyage AI están normalizados a longitud 1, lo que significa que:

• La similitud coseno es equivalente a la similitud de producto punto, mientras que esta última puede calcularse más rápidamente.
• La similitud coseno y la distancia euclidiana producen clasificaciones idénticas.

Consulta la guía de tokenización de Voyage.

Para todas las tareas y casos de uso de recuperación (por ejemplo, RAG), usa el parámetro input_type para especificar si el texto de entrada es una consulta o un documento. No omitas input_type ni establezcas input_type=None. Especificar si el texto de entrada es una consulta o un documento puede crear mejores representaciones vectoriales densas para la recuperación, lo que puede conducir a una mejor calidad de recuperación.

Al usar el parámetro input_type, se anteponen prompts especiales al texto de entrada antes del embedding. Específicamente:

📘 Prompts asociados con input_type

• Para una consulta, el prompt es “Represent the query for retrieving supporting documents: “.
• Para un documento, el prompt es “Represent the document for retrieval: “.
• Ejemplo
  • Cuando input_type="query", una consulta como "When is Apple's conference call scheduled?" se convertirá en "Represent the query for retrieving supporting documents: When is Apple's conference call scheduled?"
  • Cuando input_type="document", una consulta como "Apple's conference call to discuss fourth fiscal quarter results and business updates is scheduled for Thursday, November 2, 2023 at 2:00 p.m. PT / 5:00 p.m. ET." se convertirá en "Represent the document for retrieval: Apple's conference call to discuss fourth fiscal quarter results and business updates is scheduled for Thursday, November 2, 2023 at 2:00 p.m. PT / 5:00 p.m. ET."

voyage-large-2-instruct, como su nombre sugiere, está entrenado para responder a instrucciones adicionales que se anteponen al texto de entrada. Para clasificación, agrupamiento u otras subtareas de MTEB, usa las instrucciones de voyage-large-2-instruct.

La cuantización en embeddings convierte valores de alta precisión, como números de punto flotante de precisión simple de 32 bits, a formatos de menor precisión como enteros de 8 bits o valores binarios de 1 bit, reduciendo el almacenamiento, la memoria y los costos en 4x y 32x, respectivamente. Los modelos de Voyage compatibles permiten la cuantización especificando el tipo de dato de salida con el parámetro output_dtype:

• float: Cada embedding devuelto es una lista de números de punto flotante de precisión simple de 32 bits (4 bytes). Este es el valor predeterminado y proporciona la mayor precisión / exactitud de recuperación.
• int8 y uint8: Cada embedding devuelto es una lista de enteros de 8 bits (1 byte) que van de -128 a 127 y de 0 a 255, respectivamente.
• binary y ubinary: Cada embedding devuelto es una lista de enteros de 8 bits que representan valores de embedding de un solo bit, cuantizados y empaquetados en bits: int8 para binary y uint8 para ubinary. La longitud de la lista de enteros devuelta es 1/8 de la dimensión real del embedding. El tipo binario usa el método de binario desplazado (offset binary), sobre el cual puedes aprender más en las preguntas frecuentes de embeddings.

Ejemplo de cuantización binaria

Considera los siguientes ocho valores de embedding: -0.03955078, 0.006214142, -0.07446289, -0.039001465, 0.0046463013, 0.00030612946, -0.08496094 y 0.03994751. Con la cuantización binaria, los valores menores o iguales a cero se cuantizarán a un cero binario, y los valores positivos a un uno binario, lo que da como resultado la siguiente secuencia binaria: 0, 1, 0, 0, 1, 1, 0, 1. Estos ocho bits se empaquetan luego en un único entero de 8 bits, 01001101 (con el bit más a la izquierda como el bit más significativo).

• ubinary: La secuencia binaria se convierte directamente y se representa como el entero sin signo (uint8) 77.
• binary: La secuencia binaria se representa como el entero con signo (int8) -51, calculado usando el método de binario desplazado (77 - 128 = -51).

El aprendizaje Matryoshka crea embeddings con representaciones de grueso a fino dentro de un único vector. Los modelos de Voyage, como voyage-code-3, que admiten múltiples dimensiones de salida generan este tipo de embeddings Matryoshka. Puedes truncar estos vectores conservando el subconjunto inicial de dimensiones. Por ejemplo, el siguiente código Python demuestra cómo truncar vectores de 1024 dimensiones a 256 dimensiones:

import voyageai
import numpy as np


def embd_normalize(v: np.ndarray) -> np.ndarray:
    """
    Normalize the rows of a 2D numpy array to unit vectors by dividing each row by its Euclidean
    norm. Raises a ValueError if any row has a norm of zero to prevent division by zero.
    """
    row_norms = np.linalg.norm(v, axis=1, keepdims=True)
    if np.any(row_norms == 0):
        raise ValueError("Cannot normalize rows with a norm of zero.")
    return v / row_norms


vo = voyageai.Client()

# Genera vectores voyage-code-3, que por defecto son números de punto flotante de 1024 dimensiones
embd = vo.embed(["Sample text 1", "Sample text 2"], model="voyage-code-3").embeddings

# Establece una dimensión más corta
short_dim = 256

# Redimensiona y normaliza los vectores a la dimensión más corta
resized_embd = embd_normalize(np.array(embd)[:, :short_dim]).tolist()