Embedding

I modelli di embedding si basano su potenti reti neurali per catturare e comprimere il contesto semantico, in modo simile ai modelli generativi. Il team di esperti ricercatori di IA di Voyage ottimizza ogni componente del processo di embedding, tra cui:

• Architettura del modello
• Raccolta dei dati
• Funzioni di perdita
• Selezione dell'ottimizzatore

Scopri di più sull'approccio tecnico di Voyage sul blog di Voyage AI.

Per embedding generici, i modelli consigliati sono:

• voyage-4-large: migliore qualità
• voyage-4-lite: latenza e costo più bassi
• voyage-4: prestazioni bilanciate

Per il retrieval, usa il parametro input_type per specificare se il testo è di tipo query o documento.

Modelli specifici per dominio:

• Attività legali: voyage-law-2
• Codice e documentazione di programmazione: voyage-code-3
• Attività legate alla finanza: voyage-finance-2

Per il retrieval a livello di chunk e a livello di documento: voyage-context-4

Puoi utilizzare gli embedding di Voyage con la similarità del prodotto scalare, la similarità del coseno o la distanza euclidea. Per una spiegazione della similarità tra embedding, consulta questa guida alla similarità vettoriale.

Gli embedding di Voyage AI sono normalizzati a lunghezza 1, il che significa che:

• La similarità del coseno è equivalente alla similarità del prodotto scalare, mentre quest'ultima può essere calcolata più rapidamente.
• La similarità del coseno e la distanza euclidea producono classifiche identiche.

Consulta la guida alla tokenizzazione di Voyage.

Per tutte le attività e i casi d'uso di retrieval (ad esempio, RAG), usa il parametro input_type per specificare se il testo di input è una query o un documento. Non omettere input_type né impostare input_type=None. Specificare se il testo di input è una query o un documento può creare migliori rappresentazioni vettoriali dense per il retrieval, il che può portare a una migliore qualità di retrieval.

Quando si utilizza il parametro input_type, prompt speciali vengono anteposti al testo di input prima della creazione dell'embedding. In particolare:

📘 Prompt associati a input_type

• Per una query, il prompt è "Represent the query for retrieving supporting documents: ".
• Per un documento, il prompt è "Represent the document for retrieval: ".
• Esempio
  • Quando input_type="query", una query come "When is Apple's conference call scheduled?" diventerà "Represent the query for retrieving supporting documents: When is Apple's conference call scheduled?"
  • Quando input_type="document", una query come "Apple's conference call to discuss fourth fiscal quarter results and business updates is scheduled for Thursday, November 2, 2023 at 2:00 p.m. PT / 5:00 p.m. ET." diventerà "Represent the document for retrieval: Apple's conference call to discuss fourth fiscal quarter results and business updates is scheduled for Thursday, November 2, 2023 at 2:00 p.m. PT / 5:00 p.m. ET."

voyage-large-2-instruct, come suggerisce il nome, è addestrato per rispondere a istruzioni aggiuntive anteposte al testo di input. Per classificazione, clustering o altre sotto-attività MTEB, usa le istruzioni di voyage-large-2-instruct.

La quantizzazione negli embedding converte valori ad alta precisione, come numeri in virgola mobile a precisione singola a 32 bit, in formati a precisione inferiore come interi a 8 bit o valori binari a 1 bit, riducendo spazio di archiviazione, memoria e costi rispettivamente di 4x e 32x. I modelli Voyage supportati abilitano la quantizzazione specificando il tipo di dato di output con il parametro output_dtype:

• float: ogni embedding restituito è una lista di numeri in virgola mobile a precisione singola a 32 bit (4 byte). Questa è l'impostazione predefinita e fornisce la massima precisione / accuratezza di retrieval.
• int8 e uint8: ogni embedding restituito è una lista di interi a 8 bit (1 byte) compresi rispettivamente tra -128 e 127 e tra 0 e 255.
• binary e ubinary: ogni embedding restituito è una lista di interi a 8 bit che rappresentano valori di embedding a singolo bit quantizzati e impacchettati in bit: int8 per binary e uint8 per ubinary. La lunghezza della lista di interi restituita è 1/8 della dimensione effettiva dell'embedding. Il tipo binary utilizza il metodo offset binary, di cui puoi saperne di più nelle FAQ sugli embedding.

Esempio di quantizzazione binaria

Considera i seguenti otto valori di embedding: -0.03955078, 0.006214142, -0.07446289, -0.039001465, 0.0046463013, 0.00030612946, -0.08496094 e 0.03994751. Con la quantizzazione binaria, i valori minori o uguali a zero verranno quantizzati a uno zero binario e i valori positivi a un uno binario, ottenendo la seguente sequenza binaria: 0, 1, 0, 0, 1, 1, 0, 1. Questi otto bit vengono quindi impacchettati in un singolo intero a 8 bit, 01001101 (con il bit più a sinistra come bit più significativo).

• ubinary: la sequenza binaria viene convertita direttamente e rappresentata come intero senza segno (uint8) 77.
• binary: la sequenza binaria viene rappresentata come intero con segno (int8) -51, calcolato utilizzando il metodo offset binary (77 - 128 = -51).

L'apprendimento Matryoshka crea embedding con rappresentazioni da grossolane a fini all'interno di un singolo vettore. I modelli Voyage, come voyage-code-3, che supportano più dimensioni di output generano tali embedding Matryoshka. Puoi troncare questi vettori mantenendo il sottoinsieme iniziale delle dimensioni. Ad esempio, il seguente codice Python mostra come troncare vettori a 1024 dimensioni a 256 dimensioni:

import voyageai
import numpy as np


def embd_normalize(v: np.ndarray) -> np.ndarray:
    """
    Normalize the rows of a 2D numpy array to unit vectors by dividing each row by its Euclidean
    norm. Raises a ValueError if any row has a norm of zero to prevent division by zero.
    """
    row_norms = np.linalg.norm(v, axis=1, keepdims=True)
    if np.any(row_norms == 0):
        raise ValueError("Cannot normalize rows with a norm of zero.")
    return v / row_norms


vo = voyageai.Client()

# Genera vettori voyage-code-3, che per impostazione predefinita sono numeri in virgola mobile a 1024 dimensioni
embd = vo.embed(["Sample text 1", "Sample text 2"], model="voyage-code-3").embeddings

# Imposta una dimensione più corta
short_dim = 256

# Ridimensiona e normalizza i vettori alla dimensione più corta
resized_embd = embd_normalize(np.array(embd)[:, :short_dim]).tolist()