Embeddings



Bevor du Embeddings implementierst

Bei der Auswahl eines Embedding-Anbieters gibt es mehrere Faktoren, die du je nach deinen Anforderungen und Präferenzen berücksichtigen kannst:

• Datensatzgröße & Domänenspezifität: Größe des Trainingsdatensatzes des Modells und seine Relevanz für die Domäne, die du einbetten möchtest. Größere oder domänenspezifischere Daten erzeugen in der Regel bessere domäneninterne Embeddings
• Inferenz-Performance: Geschwindigkeit der Embedding-Abfrage und End-to-End-Latenz. Dies ist eine besonders wichtige Überlegung für groß angelegte Produktionsumgebungen
• Anpassbarkeit: Optionen für fortgesetztes Training auf privaten Daten oder Spezialisierung von Modellen für sehr spezifische Domänen. Dies kann die Leistung bei einzigartigen Vokabularen verbessern



Wie du Embeddings mit Anthropic erhältst

Anthropic bietet kein eigenes Embedding-Modell an. Ein Embedding-Anbieter, der eine große Vielfalt an Optionen und Fähigkeiten bietet, die alle oben genannten Überlegungen abdecken, ist Voyage AI.

Voyage AI entwickelt hochmoderne Embedding-Modelle und bietet maßgeschneiderte Modelle für spezifische Branchendomänen wie Finanzen und Gesundheitswesen oder individuell fine-getunte Modelle für einzelne Kunden an.

Der Rest dieses Leitfadens bezieht sich auf Voyage AI, aber du solltest verschiedene Embedding-Anbieter evaluieren, um die beste Lösung für deinen spezifischen Anwendungsfall zu finden.



Verfügbare Modelle

Voyage empfiehlt die Verwendung der folgenden Text-Embedding-Modelle:

Voyage 4 (neueste Generation)

Vorherige Generation

Zusätzlich werden die folgenden multimodalen Embedding-Modelle empfohlen:

Brauchst du Hilfe bei der Entscheidung, welches Text-Embedding-Modell du verwenden sollst? Schau dir die FAQ an.



Erste Schritte mit Voyage AI

Um auf Voyage-Embeddings zuzugreifen:

1. Registriere dich auf der Website von Voyage AI
2. Erhalte einen API-Key
3. Setze den API-Key der Einfachheit halber als Umgebungsvariable:

export VOYAGE_API_KEY="<your secret key>"

Du kannst die Embeddings entweder über das offizielle voyageai-Python-Paket oder über HTTP-Anfragen erhalten, wie unten beschrieben.



Voyage-Python-Bibliothek

Das voyageai-Paket kann mit dem folgenden Befehl installiert werden:

pip install -U voyageai

Anschließend kannst du ein Client-Objekt erstellen und damit beginnen, deine Texte einzubetten:

import voyageai

vo = voyageai.Client()
# Dies verwendet automatisch die Umgebungsvariable VOYAGE_API_KEY.
# Alternativ kannst du vo = voyageai.Client(api_key="<your secret key>") verwenden

texts = ["Sample text 1", "Sample text 2"]

result = vo.embed(texts, model="voyage-4", input_type="document")
print(result.embeddings[0])
print(result.embeddings[1])

result.embeddings ist eine Liste von zwei Embedding-Vektoren, die jeweils 1024 Gleitkommazahlen enthalten. Nach dem Ausführen des obigen Codes werden die beiden Embeddings auf dem Bildschirm ausgegeben:

[-0.013131560757756233, 0.019828535616397858, ...]   # embedding for "Sample text 1"
[-0.0069352793507277966, 0.020878976210951805, ...]  # embedding for "Sample text 2"

Beim Erstellen der Embeddings kannst du der embed()-Funktion einige weitere Argumente übergeben.

Weitere Informationen zum Voyage-Python-Paket findest du in der Voyage-Dokumentation.



Voyage-HTTP-API

Du kannst Embeddings auch über die Voyage-HTTP-API anfordern. Zum Beispiel kannst du eine HTTP-Anfrage über den curl-Befehl in einem Terminal senden:

curl https://api.voyageai.com/v1/embeddings \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $VOYAGE_API_KEY" \
  -d '{
    "input": ["Sample text 1", "Sample text 2"],
    "model": "voyage-4"
  }'

Die Antwort, die du erhältst, ist ein JSON-Objekt, das die Embeddings und die Token-Nutzung enthält:

{
  "object": "list",
  "data": [
    {
      "embedding": [-0.013131560757756233, 0.019828535616397858 /* ... */],
      "index": 0
    },
    {
      "embedding": [-0.0069352793507277966, 0.020878976210951805 /* ... */],
      "index": 1
    }
  ],
  "model": "voyage-4",
  "usage": {
    "total_tokens": 10
  }
}

Weitere Informationen zur Voyage-HTTP-API findest du in der Voyage-Dokumentation.



AWS Marketplace

Voyage-Embeddings sind auf dem AWS Marketplace verfügbar. Anweisungen für den Zugriff auf Voyage über AWS findest du in der Voyage-AWS-Marketplace-Dokumentation.



Schnellstart-Beispiel

Das folgende kurze Beispiel zeigt, wie du Embeddings verwendest.

Angenommen, du hast einen kleinen Korpus von sechs Dokumenten, aus denen du abrufen möchtest

documents = [
    "The Mediterranean diet emphasizes fish, olive oil, and vegetables, believed to reduce chronic diseases.",
    "Photosynthesis in plants converts light energy into glucose and produces essential oxygen.",
    "20th-century innovations, from radios to smartphones, centered on electronic advancements.",
    "Rivers provide water, irrigation, and habitat for aquatic species, vital for ecosystems.",
    "Apple's conference call to discuss fourth fiscal quarter results and business updates is scheduled for Thursday, November 2, 2023 at 2:00 p.m. PT / 5:00 p.m. ET.",
    "Shakespeare's works, like 'Hamlet' and 'A Midsummer Night's Dream,' endure in literature.",
]

Verwende zunächst Voyage, um jedes Dokument in einen Embedding-Vektor umzuwandeln

import voyageai

vo = voyageai.Client()

# Bette die Dokumente ein
doc_embds = vo.embed(documents, model="voyage-4", input_type="document").embeddings

Die Embeddings ermöglichen dir semantische Suche / Retrieval im Vektorraum. Gegeben eine Beispielanfrage,

query = "When is Apple's conference call scheduled?"

Wandle sie als Nächstes in ein Embedding um und führe eine Nearest-Neighbor-Suche durch, um das relevanteste Dokument basierend auf der Distanz im Embedding-Raum zu finden.

import numpy as np

# Bette die Anfrage ein
query_embd = vo.embed([query], model="voyage-4", input_type="query").embeddings[0]

# Berechne die Ähnlichkeit
# Voyage-Embeddings sind auf Länge 1 normalisiert, daher sind Skalarprodukt
# und Kosinus-Ähnlichkeit identisch.
similarities = np.dot(doc_embds, query_embd)

retrieved_id = np.argmax(similarities)
print(documents[retrieved_id])

Beachte, dass input_type="document" und input_type="query" jeweils zum Einbetten des Dokuments und der Anfrage verwendet werden. Weitere Spezifikationen findest du unter Voyage-Python-Bibliothek.

Die Ausgabe wäre das 5. Dokument, das tatsächlich am relevantesten für die Anfrage ist:

Apple's conference call to discuss fourth fiscal quarter results and business updates is scheduled for Thursday, November 2, 2023 at 2:00 p.m. PT / 5:00 p.m. ET.

Wenn du nach einer detaillierten Sammlung von Cookbooks suchst, die zeigen, wie man RAG mit Embeddings einschließlich Vektordatenbanken umsetzt, schau dir das RAG-Cookbook an.



FAQ



Preise

Besuche die Preisseite von Voyage für die aktuellsten Preisdetails.