Embeddings



Avant d'implémenter des embeddings

Lors de la sélection d'un fournisseur d'embeddings, plusieurs facteurs peuvent être pris en compte selon vos besoins et préférences :

• Taille du jeu de données et spécificité du domaine : taille du jeu de données d'entraînement du modèle et sa pertinence par rapport au domaine que vous souhaitez représenter. Des données plus volumineuses ou plus spécifiques au domaine produisent généralement de meilleurs embeddings dans ce domaine
• Performance d'inférence : vitesse de recherche des embeddings et « latency » (latence) de bout en bout. Il s'agit d'une considération particulièrement importante pour les déploiements en production à grande échelle
• Personnalisation : options pour poursuivre l'entraînement sur des données privées, ou spécialisation des modèles pour des domaines très spécifiques. Cela peut améliorer les performances sur des vocabulaires particuliers



Comment obtenir des embeddings avec Anthropic

Anthropic ne propose pas son propre modèle d'embedding. Un fournisseur d'embeddings qui offre une grande variété d'options et de capacités couvrant toutes les considérations ci-dessus est Voyage AI.

Voyage AI crée des modèles d'embedding à la pointe de la technologie et propose des modèles personnalisés pour des domaines industriels spécifiques tels que la finance et la santé, ou des modèles ajustés sur mesure pour des clients individuels.

Le reste de ce guide concerne Voyage AI, mais vous devriez évaluer plusieurs fournisseurs d'embeddings afin de trouver celui qui convient le mieux à votre cas d'usage spécifique.



Modèles disponibles

Voyage recommande d'utiliser les modèles d'embedding de texte suivants :

Voyage 4 (dernière génération)

Génération précédente

De plus, les modèles d'embedding multimodaux suivants sont recommandés :

Besoin d'aide pour choisir le modèle d'embedding de texte à utiliser ? Consultez la FAQ.



Premiers pas avec Voyage AI

Pour accéder aux embeddings de Voyage :

1. Inscrivez-vous sur le site web de Voyage AI
2. Obtenez une clé API
3. Définissez la clé API comme variable d'environnement pour plus de commodité :

export VOYAGE_API_KEY="<your secret key>"

Vous pouvez obtenir les embeddings en utilisant soit le package Python officiel voyageai, soit des requêtes HTTP, comme décrit ci-dessous.



Bibliothèque Python Voyage

Le package voyageai peut être installé à l'aide de la commande suivante :

pip install -U voyageai

Ensuite, vous pouvez créer un objet client et commencer à l'utiliser pour générer des embeddings de vos textes :

import voyageai

vo = voyageai.Client()
# Ceci utilisera automatiquement la variable d'environnement VOYAGE_API_KEY.
# Vous pouvez également utiliser vo = voyageai.Client(api_key="<votre clé secrète>")

texts = ["Sample text 1", "Sample text 2"]

result = vo.embed(texts, model="voyage-4", input_type="document")
print(result.embeddings[0])
print(result.embeddings[1])

result.embeddings sera une liste de deux vecteurs d'embedding, chacun contenant 1024 nombres à virgule flottante. Après l'exécution du code ci-dessus, les deux embeddings seront affichés à l'écran :

[-0.013131560757756233, 0.019828535616397858, ...]   # embedding for "Sample text 1"
[-0.0069352793507277966, 0.020878976210951805, ...]  # embedding for "Sample text 2"

Lors de la création des embeddings, vous pouvez spécifier quelques autres arguments à la fonction embed().

Pour plus d'informations sur le package Python Voyage, consultez la documentation Voyage.



API HTTP Voyage

Vous pouvez également obtenir des embeddings en interrogeant l'API HTTP de Voyage. Par exemple, vous pouvez envoyer une requête HTTP via la commande curl dans un terminal :

curl https://api.voyageai.com/v1/embeddings \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $VOYAGE_API_KEY" \
  -d '{
    "input": ["Sample text 1", "Sample text 2"],
    "model": "voyage-4"
  }'

La réponse que vous obtiendrez est un objet JSON contenant les embeddings et l'utilisation des tokens :

{
  "object": "list",
  "data": [
    {
      "embedding": [-0.013131560757756233, 0.019828535616397858 /* ... */],
      "index": 0
    },
    {
      "embedding": [-0.0069352793507277966, 0.020878976210951805 /* ... */],
      "index": 1
    }
  ],
  "model": "voyage-4",
  "usage": {
    "total_tokens": 10
  }
}

Pour plus d'informations sur l'API HTTP de Voyage, consultez la documentation Voyage.



AWS Marketplace

Les embeddings Voyage sont disponibles sur AWS Marketplace. Les instructions pour accéder à Voyage sur AWS sont disponibles dans la documentation Voyage AWS Marketplace.



Exemple de démarrage rapide

Le bref exemple suivant montre comment utiliser les embeddings.

Supposons que vous disposiez d'un petit corpus de six documents dans lequel effectuer des recherches

documents = [
    "The Mediterranean diet emphasizes fish, olive oil, and vegetables, believed to reduce chronic diseases.",
    "Photosynthesis in plants converts light energy into glucose and produces essential oxygen.",
    "20th-century innovations, from radios to smartphones, centered on electronic advancements.",
    "Rivers provide water, irrigation, and habitat for aquatic species, vital for ecosystems.",
    "Apple's conference call to discuss fourth fiscal quarter results and business updates is scheduled for Thursday, November 2, 2023 at 2:00 p.m. PT / 5:00 p.m. ET.",
    "Shakespeare's works, like 'Hamlet' and 'A Midsummer Night's Dream,' endure in literature.",
]

Tout d'abord, utilisez Voyage pour convertir chaque document en un vecteur d'embedding

import voyageai

vo = voyageai.Client()

# Générer les embeddings des documents
doc_embds = vo.embed(documents, model="voyage-4", input_type="document").embeddings

Les embeddings vous permettent d'effectuer une recherche / récupération sémantique dans l'espace vectoriel. Étant donné un exemple de requête,

query = "When is Apple's conference call scheduled?"

Ensuite, convertissez-la en embedding et effectuez une recherche du plus proche voisin pour trouver le document le plus pertinent en fonction de la distance dans l'espace d'embedding.

import numpy as np

# Générer l'embedding de la requête
query_embd = vo.embed([query], model="voyage-4", input_type="query").embeddings[0]

# Calculer la similarité
# Les embeddings Voyage sont normalisés à une longueur de 1, donc le produit scalaire
# et la similarité cosinus sont identiques.
similarities = np.dot(doc_embds, query_embd)

retrieved_id = np.argmax(similarities)
print(documents[retrieved_id])

Notez que input_type="document" et input_type="query" sont utilisés respectivement pour l'embedding du document et de la requête. Plus de spécifications sont disponibles dans Bibliothèque Python Voyage.

La sortie serait le 5e document, qui est effectivement le plus pertinent par rapport à la requête :

Apple's conference call to discuss fourth fiscal quarter results and business updates is scheduled for Thursday, November 2, 2023 at 2:00 p.m. PT / 5:00 p.m. ET.

Si vous recherchez un ensemble détaillé de cookbooks sur la façon de faire du RAG avec des embeddings, y compris des bases de données vectorielles, consultez le cookbook RAG.



FAQ



Tarification

Consultez la page de tarification de Voyage pour obtenir les informations tarifaires les plus récentes.