Embeddings

Embedding-Modelle stützen sich auf leistungsstarke neuronale Netze, um semantischen Kontext zu erfassen und zu komprimieren, ähnlich wie generative Modelle. Das Team erfahrener KI-Forscher von Voyage optimiert jede Komponente des Embedding-Prozesses, darunter:

• Modellarchitektur
• Datenerhebung
• Verlustfunktionen
• Auswahl des Optimierers

Erfahre mehr über den technischen Ansatz von Voyage im Voyage AI Blog.

Für allgemeine Embeddings sind die empfohlenen Modelle:

• voyage-4-large: Beste Qualität
• voyage-4-lite: Niedrigste Latenz und Kosten
• voyage-4: Ausgewogene Leistung

Verwende für Retrieval den Parameter input_type, um anzugeben, ob der Text vom Typ Abfrage oder Dokument ist.

Domänenspezifische Modelle:

• Juristische Aufgaben: voyage-law-2
• Code und Programmierdokumentation: voyage-code-3
• Finanzbezogene Aufgaben: voyage-finance-2

Für Retrieval auf Chunk- und Dokumentebene: voyage-context-4

Du kannst Voyage-Embeddings entweder mit Skalarprodukt-Ähnlichkeit, Kosinus-Ähnlichkeit oder euklidischer Distanz verwenden. Eine Erklärung zur Embedding-Ähnlichkeit findest du in diesem Leitfaden zur Vektorähnlichkeit.

Voyage-AI-Embeddings sind auf die Länge 1 normalisiert, was bedeutet, dass:

• Kosinus-Ähnlichkeit äquivalent zur Skalarprodukt-Ähnlichkeit ist, wobei letztere schneller berechnet werden kann.
• Kosinus-Ähnlichkeit und euklidische Distanz zu identischen Rangfolgen führen.

Siehe den Voyage-Leitfaden zur Tokenisierung.

Verwende für alle Retrieval-Aufgaben und Anwendungsfälle (zum Beispiel RAG) den Parameter input_type, um anzugeben, ob der Eingabetext eine Abfrage oder ein Dokument ist. Lass input_type nicht weg und setze nicht input_type=None. Die Angabe, ob der Eingabetext eine Abfrage oder ein Dokument ist, kann bessere dichte Vektordarstellungen für das Retrieval erzeugen, was zu einer besseren Retrieval-Qualität führen kann.

Bei Verwendung des Parameters input_type werden dem Eingabetext vor dem Einbetten spezielle Prompts vorangestellt. Konkret:

📘 Mit input_type verknüpfte Prompts

• Für eine Abfrage lautet der Prompt „Represent the query for retrieving supporting documents: “.
• Für ein Dokument lautet der Prompt „Represent the document for retrieval: “.
• Beispiel
  • Bei input_type="query" wird eine Abfrage wie „When is Apple's conference call scheduled?“ zu „Represent the query for retrieving supporting documents: When is Apple's conference call scheduled?“
  • Bei input_type="document" wird eine Abfrage wie „Apple's conference call to discuss fourth fiscal quarter results and business updates is scheduled for Thursday, November 2, 2023 at 2:00 p.m. PT / 5:00 p.m. ET." zu „Represent the document for retrieval: Apple's conference call to discuss fourth fiscal quarter results and business updates is scheduled for Thursday, November 2, 2023 at 2:00 p.m. PT / 5:00 p.m. ET."

voyage-large-2-instruct ist, wie der Name vermuten lässt, darauf trainiert, auf zusätzliche Anweisungen zu reagieren, die dem Eingabetext vorangestellt werden. Für Klassifizierung, Clustering oder andere MTEB-Teilaufgaben verwende die voyage-large-2-instruct-Anweisungen.

Quantisierung bei Embeddings wandelt hochpräzise Werte, wie 32-Bit-Gleitkommazahlen einfacher Genauigkeit, in Formate geringerer Genauigkeit wie 8-Bit-Ganzzahlen oder 1-Bit-Binärwerte um, wodurch Speicherplatz, Arbeitsspeicher und Kosten um das 4-Fache bzw. 32-Fache reduziert werden. Unterstützte Voyage-Modelle ermöglichen Quantisierung durch Angabe des Ausgabedatentyps mit dem Parameter output_dtype:

• float: Jedes zurückgegebene Embedding ist eine Liste von 32-Bit-(4-Byte-)Gleitkommazahlen einfacher Genauigkeit. Dies ist der Standard und bietet die höchste Präzision / Retrieval-Genauigkeit.
• int8 und uint8: Jedes zurückgegebene Embedding ist eine Liste von 8-Bit-(1-Byte-)Ganzzahlen im Bereich von -128 bis 127 bzw. 0 bis 255.
• binary und ubinary: Jedes zurückgegebene Embedding ist eine Liste von 8-Bit-Ganzzahlen, die bitgepackte, quantisierte Einzelbit-Embedding-Werte darstellen: int8 für binary und uint8 für ubinary. Die Länge der zurückgegebenen Liste von Ganzzahlen beträgt 1/8 der tatsächlichen Dimension des Embeddings. Der Binärtyp verwendet die Offset-Binär-Methode, über die du in den Embeddings-FAQ mehr erfahren kannst.

Beispiel für binäre Quantisierung

Betrachte die folgenden acht Embedding-Werte: -0.03955078, 0.006214142, -0.07446289, -0.039001465, 0.0046463013, 0.00030612946, -0.08496094 und 0.03994751. Bei binärer Quantisierung werden Werte kleiner oder gleich null zu einer binären Null und positive Werte zu einer binären Eins quantisiert, was die folgende Binärsequenz ergibt: 0, 1, 0, 0, 1, 1, 0, 1. Diese acht Bits werden dann in eine einzelne 8-Bit-Ganzzahl gepackt, 01001101 (mit dem Bit ganz links als höchstwertigem Bit).

• ubinary: Die Binärsequenz wird direkt umgewandelt und als vorzeichenlose Ganzzahl (uint8) 77 dargestellt.
• binary: Die Binärsequenz wird als vorzeichenbehaftete Ganzzahl (int8) -51 dargestellt, berechnet mit der Offset-Binär-Methode (77 - 128 = -51).

Matryoshka-Learning erzeugt Embeddings mit Grob-zu-fein-Darstellungen innerhalb eines einzelnen Vektors. Voyage-Modelle wie voyage-code-3, die mehrere Ausgabedimensionen unterstützen, erzeugen solche Matryoshka-Embeddings. Du kannst diese Vektoren kürzen, indem du die führende Teilmenge der Dimensionen beibehältst. Der folgende Python-Code zeigt beispielsweise, wie du 1024-dimensionale Vektoren auf 256 Dimensionen kürzt:

import voyageai
import numpy as np


def embd_normalize(v: np.ndarray) -> np.ndarray:
    """
    Normalize the rows of a 2D numpy array to unit vectors by dividing each row by its Euclidean
    norm. Raises a ValueError if any row has a norm of zero to prevent division by zero.
    """
    row_norms = np.linalg.norm(v, axis=1, keepdims=True)
    if np.any(row_norms == 0):
        raise ValueError("Cannot normalize rows with a norm of zero.")
    return v / row_norms


vo = voyageai.Client()

# Erzeuge voyage-code-3-Vektoren, die standardmäßig 1024-dimensionale Gleitkommazahlen sind
embd = vo.embed(["Sample text 1", "Sample text 2"], model="voyage-code-3").embeddings

# Lege eine kürzere Dimension fest
short_dim = 256

# Passe die Vektoren auf die kürzere Dimension an und normalisiere sie
resized_embd = embd_normalize(np.array(embd)[:, :short_dim]).tolist()