埋め込み



埋め込みを実装する前に

埋め込みプロバイダーを選択する際には、ニーズや好みに応じて考慮できるいくつかの要素があります。

• データセットのサイズとドメインの特異性：モデルの訓練データセットのサイズと、埋め込みたいドメインとの関連性。一般的に、より大きなデータやよりドメイン特化したデータは、より良いドメイン内埋め込みを生成します
• 推論パフォーマンス：埋め込みの検索速度とエンドツーエンドの「latency」（レイテンシ）。これは大規模な本番環境へのデプロイにおいて特に重要な考慮事項です
• カスタマイズ：プライベートデータでの継続的な訓練、または非常に特定のドメイン向けのモデルの特化のオプション。これにより、独自の語彙に対するパフォーマンスを向上させることができます



Anthropicで埋め込みを取得する方法

Anthropicは独自の埋め込みモデルを提供していません。前述のすべての考慮事項を網羅する幅広いオプションと機能を持つ埋め込みプロバイダーの1つがVoyage AIです。

Voyage AIは最先端の埋め込みモデルを作成しており、金融やヘルスケアなどの特定の業界ドメイン向けにカスタマイズされたモデルや、個々の顧客向けにオーダーメイドでファインチューニングされたモデルを提供しています。

このガイドの残りの部分はVoyage AIに関するものですが、特定のユースケースに最適なものを見つけるために、さまざまな埋め込みベンダーを評価することをお勧めします。



利用可能なモデル

Voyageは以下のテキスト埋め込みモデルの使用を推奨しています。

Voyage 4（最新世代）

前世代

さらに、Voyageは以下のマルチモーダル埋め込みモデルを推奨しています。

以下のコンテキスト化チャンク埋め込みモデルは、手動のメタデータ拡張なしでドキュメント全体のコンテキストを捉えるチャンクレベルのベクトルを生成します。これらのモデルはembed()の代わりにcontextualized_embed()で呼び出します。

Voyage AIはリランカーも提供しています。リランカーはクエリとドキュメントのリストを受け取り、クエリとの関連性でランク付けして返します。これらのモデルはrerank()で呼び出します。

どのテキスト埋め込みモデルを使用すべきか迷っていますか？Voyage AI FAQをご確認ください。



Voyage AIを始める

Voyage埋め込みにアクセスするには：

1. Voyage AIのウェブサイトでサインアップします。
2. APIキーを取得します。
3. 便宜上、APIキーを環境変数として設定します。

export VOYAGE_API_KEY="<your secret key>"

以下のセクションで説明するように、公式のvoyageai PythonパッケージまたはHTTPリクエストを使用して埋め込みを取得できます。



Voyage Pythonライブラリ

以下のコマンドを使用してvoyageaiパッケージをインストールします。

pip install -U voyageai

次に、クライアントオブジェクトを作成し、それを使用してテキストの埋め込みを開始できます。

import voyageai

vo = voyageai.Client()
# これは環境変数VOYAGE_API_KEYを自動的に使用します。
# または、vo = voyageai.Client(api_key="<your secret key>") を使用することもできます

texts = ["Sample text 1", "Sample text 2"]

result = vo.embed(texts, model="voyage-4", input_type="document")
print(result.embeddings[0])
print(result.embeddings[1])

result.embeddingsは、それぞれ1024個の浮動小数点数を含む2つの埋め込みベクトルのリストです。上記のコードを実行すると、2つの埋め込みが画面に出力されます。

[-0.013131560757756233, 0.019828535616397858, ...]   # embedding for "Sample text 1"
[-0.0069352793507277966, 0.020878976210951805, ...]  # embedding for "Sample text 2"

埋め込みを作成する際、embed()関数にいくつかの他の引数を指定できます。

Voyage Pythonパッケージの詳細については、Voyage Pythonパッケージドキュメントを参照してください。



Voyage HTTP API

Voyage HTTP APIにリクエストすることで埋め込みを取得することもできます。たとえば、ターミナルでcurlコマンドを使用してHTTPリクエストを送信できます。

curl https://api.voyageai.com/v1/embeddings \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $VOYAGE_API_KEY" \
  -d '{
    "input": ["Sample text 1", "Sample text 2"],
    "model": "voyage-4"
  }'

取得されるレスポンスは、埋め込みとトークン使用量を含むJSONオブジェクトです。

{
  "object": "list",
  "data": [
    {
      "embedding": [-0.013131560757756233, 0.019828535616397858 /* ... */],
      "index": 0
    },
    {
      "embedding": [-0.0069352793507277966, 0.020878976210951805 /* ... */],
      "index": 1
    }
  ],
  "model": "voyage-4",
  "usage": {
    "total_tokens": 10
  }
}

Voyage HTTP APIの詳細については、Voyage HTTP APIドキュメントを参照してください。



AWS Marketplace

Voyage埋め込みはAWS Marketplaceで利用できます。AWSでVoyageにアクセスする手順は、Voyage AWS Marketplaceドキュメントに記載されています。



クイックスタートの例

以下の簡単な例は、埋め込みの使用方法を示しています。

検索対象となる6つのドキュメントからなる小さなコーパスがあるとします。

documents = [
    "The Mediterranean diet emphasizes fish, olive oil, and vegetables, believed to reduce chronic diseases.",
    "Photosynthesis in plants converts light energy into glucose and produces essential oxygen.",
    "20th-century innovations, from radios to smartphones, centered on electronic advancements.",
    "Rivers provide water, irrigation, and habitat for aquatic species, vital for ecosystems.",
    "Apple's conference call to discuss fourth fiscal quarter results and business updates is scheduled for Thursday, November 2, 2023 at 2:00 p.m. PT / 5:00 p.m. ET.",
    "Shakespeare's works, like 'Hamlet' and 'A Midsummer Night's Dream,' endure in literature.",
]

まず、Voyageを使用して各ドキュメントを埋め込みベクトルに変換します。

import voyageai

vo = voyageai.Client()

# ドキュメントを埋め込む
doc_embds = vo.embed(documents, model="voyage-4", input_type="document").embeddings

埋め込みにより、ベクトル空間でセマンティック検索/取得を行うことができます。例となるクエリが与えられた場合、

query = "When is Apple's conference call scheduled?"

次に、それを埋め込みに変換し、埋め込み空間での距離に基づいて最も関連性の高いドキュメントを見つけるために最近傍探索を実行します。

import numpy as np

# クエリを埋め込む
query_embd = vo.embed([query], model="voyage-4", input_type="query").embeddings[0]

# 類似度を計算する
# Voyageの埋め込みは長さ1に正規化されているため、ドット積と
# コサイン類似度は同じになります。
similarities = np.dot(doc_embds, query_embd)

retrieved_id = np.argmax(similarities)
print(documents[retrieved_id])

input_type="document"とinput_type="query"は、それぞれドキュメントとクエリの埋め込みに使用されることに注意してください。詳細な仕様はVoyage Pythonライブラリで確認できます。

出力は5番目のドキュメントであり、これは実際にクエリに最も関連性が高いものです。

Apple's conference call to discuss fourth fiscal quarter results and business updates is scheduled for Thursday, November 2, 2023 at 2:00 p.m. PT / 5:00 p.m. ET.

ベクトルデータベースを含む、埋め込みを使用したRAGの実行方法に関する詳細なレシピをお探しの場合は、RAGレシピをご覧ください。



FAQ



料金

最新の料金の詳細については、Voyageの料金ページをご覧ください。