消息模型能力

嵌入

文本嵌入是文本的数值表示，可用于衡量语义相似度。本指南介绍嵌入的概念、应用场景，以及如何使用嵌入模型完成搜索、推荐和异常检测等任务。

实施嵌入之前

在选择嵌入提供商时，您可以根据自身需求和偏好考虑以下几个因素：

数据集规模与领域特异性：模型训练数据集的规模及其与您希望嵌入的领域的相关性。更大或更具领域特异性的数据通常能生成更好的领域内嵌入
推理性能：嵌入查找速度和端到端的 "latency"（延迟）。对于大规模生产部署而言，这是一个尤为重要的考量因素
定制化：是否支持在私有数据上继续训练，或针对特定领域对模型进行专门优化。这可以提升模型在独特词汇表上的表现

如何通过 Anthropic 获取嵌入

Anthropic 不提供自有的嵌入模型。Voyage AI 是一家嵌入提供商，提供涵盖上述所有考量因素的多种选项和功能。

Voyage AI 打造了最先进的嵌入模型，并为金融、医疗等特定行业领域提供定制模型，也可为个人客户提供专属的微调模型。

本指南的其余部分针对 Voyage AI，但您应评估多家嵌入供应商，以找到最适合您特定用例的方案。

可用模型

Voyage 推荐使用以下文本嵌入模型：

Voyage 4（最新一代）

模型	上下文长度	嵌入维度	描述
`voyage-4-large`	32,000	1024（默认）、256、512、2048	最佳的通用及多语言检索质量。详见博客文章。
`voyage-4`	32,000	1024（默认）、256、512、2048	针对通用及多语言检索质量进行优化。在质量与效率之间取得平衡。详见博客文章。
`voyage-4-lite`	32,000	1024（默认）、256、512、2048	针对延迟和成本进行优化。详见博客文章。
`voyage-4-nano`	32,000	1024（默认）、256、512、2048	开放权重模型（Apache 2.0 许可证），可在 Hugging Face 上获取。详见博客文章。

上一代

模型	上下文长度	嵌入维度	描述
`voyage-3-large`	32,000	1024（默认）、256、512、2048	最佳的通用及多语言检索质量。详见博客文章。
`voyage-3.5`	32,000	1024（默认）、256、512、2048	针对通用及多语言检索质量进行优化。详见博客文章。
`voyage-3.5-lite`	32,000	1024（默认）、256、512、2048	针对延迟和成本进行优化。详见博客文章。
`voyage-code-3`	32,000	1024（默认）、256、512、2048	针对代码检索进行优化。详见博客文章。
`voyage-finance-2`	32,000	1024	针对金融检索和 RAG 进行优化。详见博客文章。
`voyage-law-2`	16,000	1024	针对法律和长上下文检索及 RAG 进行优化。同时在所有领域均有性能提升。详见博客文章。

此外，推荐使用以下多模态嵌入模型：

模型	上下文长度	嵌入维度	描述
`voyage-multimodal-3.5`	32,000	1024（默认）、256、512、2048	功能丰富的多模态嵌入模型，可对交错的文本、图像和视频进行向量化。作为首个生产级视频嵌入模型，支持视频处理。详见博客文章。
`voyage-multimodal-3`	32,000	1024	功能丰富的多模态嵌入模型，可对交错的文本和内容丰富的图像（如 PDF 截图、幻灯片、表格、图表等）进行向量化。详见博客文章。

需要帮助决定使用哪个文本嵌入模型？请查看常见问题解答。

Voyage AI 入门

要访问 Voyage 嵌入：

在 Voyage AI 网站上注册
获取 API 密钥
为方便起见，将 API 密钥设置为环境变量：

export VOYAGE_API_KEY="<your secret key>"

您可以使用官方的 voyageai Python 包或 HTTP 请求来获取嵌入，如下所述。

Voyage Python 库

可以使用以下命令安装 voyageai 包：

pip install -U voyageai

然后，您可以创建一个客户端对象并开始使用它来嵌入您的文本：

import voyageai

vo = voyageai.Client()
# 这将自动使用环境变量 VOYAGE_API_KEY。
# 或者，您可以使用 vo = voyageai.Client(api_key="<your secret key>")

texts = ["Sample text 1", "Sample text 2"]

result = vo.embed(texts, model="voyage-4", input_type="document")
print(result.embeddings[0])
print(result.embeddings[1])

result.embeddings 将是一个包含两个嵌入向量的列表，每个向量包含 1024 个浮点数。运行上述代码后，这两个嵌入将打印在屏幕上：

[-0.013131560757756233, 0.019828535616397858, ...]   # embedding for "Sample text 1"
[-0.0069352793507277966, 0.020878976210951805, ...]  # embedding for "Sample text 2"

在创建嵌入时，您可以为 embed() 函数指定其他几个参数。

有关 Voyage Python 包的更多信息，请参阅 Voyage 文档。

Voyage HTTP API

您也可以通过请求 Voyage HTTP API 来获取嵌入。例如，您可以在终端中通过 curl 命令发送 HTTP 请求：

cURL

curl https://api.voyageai.com/v1/embeddings \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $VOYAGE_API_KEY" \
  -d '{
    "input": ["Sample text 1", "Sample text 2"],
    "model": "voyage-4"
  }'

您将收到的响应是一个包含嵌入和令牌使用情况的 JSON 对象：

{
  "object": "list",
  "data": [
    {
      "embedding": [-0.013131560757756233, 0.019828535616397858 /* ... */],
      "index": 0
    },
    {
      "embedding": [-0.0069352793507277966, 0.020878976210951805 /* ... */],
      "index": 1
    }
  ],
  "model": "voyage-4",
  "usage": {
    "total_tokens": 10
  }
}

有关 Voyage HTTP API 的更多信息，请参阅 Voyage 文档。

AWS Marketplace

Voyage 嵌入可在 AWS Marketplace 上获取。有关在 AWS 上访问 Voyage 的说明，请参阅 Voyage AWS Marketplace 文档。

快速入门示例

以下简短示例展示了如何使用嵌入。

假设您有一个包含六个文档的小型语料库用于检索

documents = [
    "The Mediterranean diet emphasizes fish, olive oil, and vegetables, believed to reduce chronic diseases.",
    "Photosynthesis in plants converts light energy into glucose and produces essential oxygen.",
    "20th-century innovations, from radios to smartphones, centered on electronic advancements.",
    "Rivers provide water, irrigation, and habitat for aquatic species, vital for ecosystems.",
    "Apple's conference call to discuss fourth fiscal quarter results and business updates is scheduled for Thursday, November 2, 2023 at 2:00 p.m. PT / 5:00 p.m. ET.",
    "Shakespeare's works, like 'Hamlet' and 'A Midsummer Night's Dream,' endure in literature.",
]

首先，使用 Voyage 将每个文档转换为嵌入向量

import voyageai

vo = voyageai.Client()

# 嵌入文档
doc_embds = vo.embed(documents, model="voyage-4", input_type="document").embeddings

这些嵌入使您能够在向量空间中进行语义搜索/检索。给定一个示例查询，

query = "When is Apple's conference call scheduled?"

接下来，将其转换为嵌入，并进行最近邻搜索，根据嵌入空间中的距离找到最相关的文档。

import numpy as np

# 嵌入查询
query_embd = vo.embed([query], model="voyage-4", input_type="query").embeddings[0]

# 计算相似度
# Voyage 嵌入向量已归一化为长度 1，因此点积
# 与余弦相似度是相同的。
similarities = np.dot(doc_embds, query_embd)

retrieved_id = np.argmax(similarities)
print(documents[retrieved_id])

请注意，input_type="document" 和 input_type="query" 分别用于嵌入文档和查询。更多规范说明可在 Voyage Python 库中找到。

输出将是第 5 个文档，它确实是与查询最相关的文档：

Apple's conference call to discuss fourth fiscal quarter results and business updates is scheduled for Thursday, November 2, 2023 at 2:00 p.m. PT / 5:00 p.m. ET.

如果您正在寻找一套详细的操作指南，了解如何使用嵌入（包括向量数据库）进行 RAG，请查看 RAG 操作指南。

常见问题解答

定价

请访问 Voyage 的定价页面获取最新的定价详情。

Was this page helpful?

消息模型能力

嵌入

文本嵌入是文本的数值表示，可用于衡量语义相似度。本指南介绍嵌入的概念、应用场景，以及如何使用嵌入模型完成搜索、推荐和异常检测等任务。

实施嵌入之前

在选择嵌入提供商时，您可以根据自身需求和偏好考虑以下几个因素：

数据集规模与领域特异性：模型训练数据集的规模及其与您希望嵌入的领域的相关性。更大或更具领域特异性的数据通常能生成更好的领域内嵌入
推理性能：嵌入查找速度和端到端的 "latency"（延迟）。对于大规模生产部署而言，这是一个尤为重要的考量因素
定制化：是否支持在私有数据上继续训练，或针对特定领域对模型进行专门优化。这可以提升模型在独特词汇表上的表现

如何通过 Anthropic 获取嵌入

Anthropic 不提供自有的嵌入模型。Voyage AI 是一家嵌入提供商，提供涵盖上述所有考量因素的多种选项和功能。

Voyage AI 打造了最先进的嵌入模型，并为金融、医疗等特定行业领域提供定制模型，也可为个人客户提供专属的微调模型。

本指南的其余部分针对 Voyage AI，但您应评估多家嵌入供应商，以找到最适合您特定用例的方案。

可用模型

Voyage 推荐使用以下文本嵌入模型：

Voyage 4（最新一代）

模型	上下文长度	嵌入维度	描述
`voyage-4-large`	32,000	1024（默认）、256、512、2048	最佳的通用及多语言检索质量。详见博客文章。
`voyage-4`	32,000	1024（默认）、256、512、2048	针对通用及多语言检索质量进行优化。在质量与效率之间取得平衡。详见博客文章。
`voyage-4-lite`	32,000	1024（默认）、256、512、2048	针对延迟和成本进行优化。详见博客文章。
`voyage-4-nano`	32,000	1024（默认）、256、512、2048	开放权重模型（Apache 2.0 许可证），可在 Hugging Face 上获取。详见博客文章。

上一代

模型	上下文长度	嵌入维度	描述
`voyage-3-large`	32,000	1024（默认）、256、512、2048	最佳的通用及多语言检索质量。详见博客文章。
`voyage-3.5`	32,000	1024（默认）、256、512、2048	针对通用及多语言检索质量进行优化。详见博客文章。
`voyage-3.5-lite`	32,000	1024（默认）、256、512、2048	针对延迟和成本进行优化。详见博客文章。
`voyage-code-3`	32,000	1024（默认）、256、512、2048	针对代码检索进行优化。详见博客文章。
`voyage-finance-2`	32,000	1024	针对金融检索和 RAG 进行优化。详见博客文章。
`voyage-law-2`	16,000	1024	针对法律和长上下文检索及 RAG 进行优化。同时在所有领域均有性能提升。详见博客文章。

此外，推荐使用以下多模态嵌入模型：

模型	上下文长度	嵌入维度	描述
`voyage-multimodal-3.5`	32,000	1024（默认）、256、512、2048	功能丰富的多模态嵌入模型，可对交错的文本、图像和视频进行向量化。作为首个生产级视频嵌入模型，支持视频处理。详见博客文章。
`voyage-multimodal-3`	32,000	1024	功能丰富的多模态嵌入模型，可对交错的文本和内容丰富的图像（如 PDF 截图、幻灯片、表格、图表等）进行向量化。详见博客文章。

需要帮助决定使用哪个文本嵌入模型？请查看常见问题解答。

Voyage AI 入门

要访问 Voyage 嵌入：

在 Voyage AI 网站上注册
获取 API 密钥
为方便起见，将 API 密钥设置为环境变量：

export VOYAGE_API_KEY="<your secret key>"

您可以使用官方的 voyageai Python 包或 HTTP 请求来获取嵌入，如下所述。

Voyage Python 库

可以使用以下命令安装 voyageai 包：

pip install -U voyageai

然后，您可以创建一个客户端对象并开始使用它来嵌入您的文本：

import voyageai

vo = voyageai.Client()
# 这将自动使用环境变量 VOYAGE_API_KEY。
# 或者，您可以使用 vo = voyageai.Client(api_key="<your secret key>")

texts = ["Sample text 1", "Sample text 2"]

result = vo.embed(texts, model="voyage-4", input_type="document")
print(result.embeddings[0])
print(result.embeddings[1])

result.embeddings 将是一个包含两个嵌入向量的列表，每个向量包含 1024 个浮点数。运行上述代码后，这两个嵌入将打印在屏幕上：

[-0.013131560757756233, 0.019828535616397858, ...]   # embedding for "Sample text 1"
[-0.0069352793507277966, 0.020878976210951805, ...]  # embedding for "Sample text 2"

在创建嵌入时，您可以为 embed() 函数指定其他几个参数。

有关 Voyage Python 包的更多信息，请参阅 Voyage 文档。

Voyage HTTP API

您也可以通过请求 Voyage HTTP API 来获取嵌入。例如，您可以在终端中通过 curl 命令发送 HTTP 请求：

cURL

curl https://api.voyageai.com/v1/embeddings \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $VOYAGE_API_KEY" \
  -d '{
    "input": ["Sample text 1", "Sample text 2"],
    "model": "voyage-4"
  }'

您将收到的响应是一个包含嵌入和令牌使用情况的 JSON 对象：

{
  "object": "list",
  "data": [
    {
      "embedding": [-0.013131560757756233, 0.019828535616397858 /* ... */],
      "index": 0
    },
    {
      "embedding": [-0.0069352793507277966, 0.020878976210951805 /* ... */],
      "index": 1
    }
  ],
  "model": "voyage-4",
  "usage": {
    "total_tokens": 10
  }
}

有关 Voyage HTTP API 的更多信息，请参阅 Voyage 文档。

AWS Marketplace

Voyage 嵌入可在 AWS Marketplace 上获取。有关在 AWS 上访问 Voyage 的说明，请参阅 Voyage AWS Marketplace 文档。

快速入门示例

以下简短示例展示了如何使用嵌入。

假设您有一个包含六个文档的小型语料库用于检索

documents = [
    "The Mediterranean diet emphasizes fish, olive oil, and vegetables, believed to reduce chronic diseases.",
    "Photosynthesis in plants converts light energy into glucose and produces essential oxygen.",
    "20th-century innovations, from radios to smartphones, centered on electronic advancements.",
    "Rivers provide water, irrigation, and habitat for aquatic species, vital for ecosystems.",
    "Apple's conference call to discuss fourth fiscal quarter results and business updates is scheduled for Thursday, November 2, 2023 at 2:00 p.m. PT / 5:00 p.m. ET.",
    "Shakespeare's works, like 'Hamlet' and 'A Midsummer Night's Dream,' endure in literature.",
]

首先，使用 Voyage 将每个文档转换为嵌入向量

import voyageai

vo = voyageai.Client()

# 嵌入文档
doc_embds = vo.embed(documents, model="voyage-4", input_type="document").embeddings

这些嵌入使您能够在向量空间中进行语义搜索/检索。给定一个示例查询，

query = "When is Apple's conference call scheduled?"

接下来，将其转换为嵌入，并进行最近邻搜索，根据嵌入空间中的距离找到最相关的文档。

import numpy as np

# 嵌入查询
query_embd = vo.embed([query], model="voyage-4", input_type="query").embeddings[0]

# 计算相似度
# Voyage 嵌入向量已归一化为长度 1，因此点积
# 与余弦相似度是相同的。
similarities = np.dot(doc_embds, query_embd)

retrieved_id = np.argmax(similarities)
print(documents[retrieved_id])

请注意，input_type="document" 和 input_type="query" 分别用于嵌入文档和查询。更多规范说明可在 Voyage Python 库中找到。

输出将是第 5 个文档，它确实是与查询最相关的文档：

Apple's conference call to discuss fourth fiscal quarter results and business updates is scheduled for Thursday, November 2, 2023 at 2:00 p.m. PT / 5:00 p.m. ET.

如果您正在寻找一套详细的操作指南，了解如何使用嵌入（包括向量数据库）进行 RAG，请查看 RAG 操作指南。

常见问题解答

定价

请访问 Voyage 的定价页面获取最新的定价详情。

Was this page helpful?

实施嵌入之前

如何通过 Anthropic 获取嵌入

可用模型

Voyage AI 入门

Voyage Python 库

Voyage HTTP API

AWS Marketplace

快速入门示例

常见问题解答

为什么 Voyage 嵌入具有卓越的质量？

有哪些嵌入模型可用，我应该使用哪一个？

我应该使用哪种相似度函数？

字符、单词和令牌之间的关系是什么？

何时以及如何使用 input_type 参数？

有哪些量化选项可用？

如何截断 Matryoshka 嵌入？

定价

实施嵌入之前

如何通过 Anthropic 获取嵌入

可用模型

Voyage AI 入门

Voyage Python 库

Voyage HTTP API

AWS Marketplace

快速入门示例

常见问题解答

为什么 Voyage 嵌入具有卓越的质量？

有哪些嵌入模型可用，我应该使用哪一个？

我应该使用哪种相似度函数？

字符、单词和令牌之间的关系是什么？

何时以及如何使用 input_type 参数？

有哪些量化选项可用？

如何截断 Matryoshka 嵌入？

定价

实施嵌入之前

如何通过 Anthropic 获取嵌入

可用模型

Voyage AI 入门

Voyage Python 库

Voyage HTTP API

AWS Marketplace

快速入门示例

常见问题解答

定价

实施嵌入之前

如何通过 Anthropic 获取嵌入

可用模型

Voyage AI 入门

Voyage Python 库

Voyage HTTP API

AWS Marketplace

快速入门示例

常见问题解答

定价