在选择嵌入提供商时,您可以根据自己的需求和偏好考虑以下几个因素:
Anthropic 不提供自己的嵌入模型。Voyage AI 是一家嵌入提供商,拥有涵盖上述所有考虑因素的多种选项和能力。
Voyage AI 制作最先进的嵌入模型,并为金融和医疗保健等特定行业领域提供定制模型,或为个别客户提供定制的微调模型。
本指南的其余部分针对 Voyage AI,但您应该评估各种嵌入供应商,以找到最适合您特定用例的供应商。
Voyage 推荐使用以下文本嵌入模型:
Voyage 4(最新一代)
| 模型 | 上下文长度 | 嵌入维度 | 描述 |
|---|---|---|---|
voyage-4-large | 32,000 | 1024(默认)、256、512、2048 | 最佳的通用和多语言检索质量。详情请参阅 Voyage 4 博客文章。 |
voyage-4 | 32,000 | 1024(默认)、256、512、2048 | 针对通用和多语言检索质量进行了优化。在质量和效率之间取得平衡。详情请参阅 Voyage 4 博客文章。 |
voyage-4-lite | 32,000 | 1024(默认)、256、512、2048 | 针对延迟和成本进行了优化。详情请参阅 Voyage 4 博客文章。 |
voyage-4-nano | 32,000 | 1024(默认)、256、512、2048 | 在 Hugging Face 上提供的开放权重模型(Apache 2.0 许可证)。详情请参阅 Voyage 4 博客文章。 |
上一代
| 模型 | 上下文长度 | 嵌入维度 | 描述 |
|---|---|---|---|
voyage-3-large | 32,000 | 1024(默认)、256、512、2048 | 最佳的通用和多语言检索质量。详情请参阅 voyage-3-large 博客文章。 |
voyage-3.5 | 32,000 | 1024(默认)、256、512、2048 | 针对通用和多语言检索质量进行了优化。详情请参阅 voyage-3.5 博客文章。 |
voyage-3.5-lite | 32,000 | 1024(默认)、256、512、2048 | 针对延迟和成本进行了优化。详情请参阅 voyage-3.5 博客文章。 |
voyage-code-3 | 32,000 | 1024(默认)、256、512、2048 | 针对代码检索进行了优化。详情请参阅 voyage-code-3 博客文章。 |
voyage-finance-2 | 32,000 | 1024 | 针对金融检索和 RAG 进行了优化。详情请参阅 voyage-finance-2 博客文章。 |
voyage-law-2 | 16,000 | 1024 | 针对法律和长上下文检索及 RAG 进行了优化。同时在所有领域的性能也有所提升。详情请参阅 voyage-law-2 博客文章。 |
此外,Voyage 推荐以下多模态嵌入模型:
| 模型 | 上下文长度 | 嵌入维度 | 描述 |
|---|---|---|---|
voyage-multimodal-3.5 | 32,000 | 1024(默认)、256、512、2048 | 功能丰富的多模态嵌入模型,可以将交错的文本、图像和视频向量化。作为首个生产级视频嵌入模型,包含视频支持。详情请参阅 voyage-multimodal-3.5 博客文章。 |
voyage-multimodal-3 | 32,000 | 1024 | 功能丰富的多模态嵌入模型,可以将交错的文本和内容丰富的图像(如 PDF 截图、幻灯片、表格、图表等)向量化。详情请参阅 voyage-multimodal-3 博客文章。 |
以下上下文化分块嵌入模型生成块级向量,无需手动元数据增强即可捕获完整的文档上下文。使用 contextualized_embed() 而不是 embed() 调用这些模型:
| 模型 | 上下文长度 | 嵌入维度 | 描述 |
|---|---|---|---|
voyage-context-4 | 120,000 | 1024(默认)、256、512、2048 | 针对通用和多语言检索质量进行了优化的上下文化分块嵌入。详情请参阅 voyage-context-4 博客文章。 |
voyage-context-3 | 120,000 | 1024(默认)、256、512、2048 | 针对通用和多语言检索质量进行了优化的上下文化分块嵌入。详情请参阅 voyage-context-3 博客文章。 |
Voyage AI 还提供重排序器(reranker),它接收一个查询和一个文档列表,并按与查询的相关性对它们进行排序后返回。使用 rerank() 调用这些模型:
| 模型 | 上下文长度 | 描述 |
|---|---|---|
rerank-2.5 | 32,000 | 最高准确度。推荐用于大多数应用。详情请参阅 rerank-2.5 博客文章。 |
rerank-2.5-lite | 32,000 | 针对延迟和成本进行了优化。详情请参阅 rerank-2.5 博客文章。 |
需要帮助决定使用哪个文本嵌入模型?请查看 Voyage AI 常见问题解答。
要访问 Voyage 嵌入:
export VOYAGE_API_KEY="<your secret key>"您可以通过使用官方的 voyageai Python 包或 HTTP 请求来获取嵌入,如以下各节所述。
使用以下命令安装 voyageai 包:
pip install -U voyageai然后,您可以创建一个客户端对象并开始使用它来嵌入您的文本:
import voyageai
vo = voyageai.Client()
# 这将自动使用环境变量 VOYAGE_API_KEY。
# 或者,您也可以使用 vo = voyageai.Client(api_key="<your secret key>")
texts = ["Sample text 1", "Sample text 2"]
result = vo.embed(texts, model="voyage-4", input_type="document")
print(result.embeddings[0])
print(result.embeddings[1])result.embeddings 是一个包含两个嵌入向量的列表,每个向量包含 1024 个浮点数。运行上述代码后,这两个嵌入会打印在屏幕上:
[-0.013131560757756233, 0.019828535616397858, ...] # embedding for "Sample text 1"
[-0.0069352793507277966, 0.020878976210951805, ...] # embedding for "Sample text 2"创建嵌入时,您可以为 embed() 函数指定一些其他参数。
有关 Voyage Python 包的更多信息,请参阅 Voyage Python 包文档。
您也可以通过请求 Voyage HTTP API 来获取嵌入。例如,您可以在终端中通过 curl 命令发送 HTTP 请求:
curl https://api.voyageai.com/v1/embeddings \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $VOYAGE_API_KEY" \
-d '{
"input": ["Sample text 1", "Sample text 2"],
"model": "voyage-4"
}'您将得到的响应是一个包含嵌入和令牌使用情况的 JSON 对象:
{
"object": "list",
"data": [
{
"embedding": [-0.013131560757756233, 0.019828535616397858 /* ... */],
"index": 0
},
{
"embedding": [-0.0069352793507277966, 0.020878976210951805 /* ... */],
"index": 1
}
],
"model": "voyage-4",
"usage": {
"total_tokens": 10
}
}有关 Voyage HTTP API 的更多信息,请参阅 Voyage HTTP API 文档。
Voyage 嵌入可在 AWS Marketplace 上获取。有关在 AWS 上访问 Voyage 的说明,请参阅 Voyage AWS Marketplace 文档。
以下简短示例展示了如何使用嵌入。
假设您有一个包含六个文档的小型语料库,需要从中检索
documents = [
"The Mediterranean diet emphasizes fish, olive oil, and vegetables, believed to reduce chronic diseases.",
"Photosynthesis in plants converts light energy into glucose and produces essential oxygen.",
"20th-century innovations, from radios to smartphones, centered on electronic advancements.",
"Rivers provide water, irrigation, and habitat for aquatic species, vital for ecosystems.",
"Apple's conference call to discuss fourth fiscal quarter results and business updates is scheduled for Thursday, November 2, 2023 at 2:00 p.m. PT / 5:00 p.m. ET.",
"Shakespeare's works, like 'Hamlet' and 'A Midsummer Night's Dream,' endure in literature.",
]首先,使用 Voyage 将每个文档转换为嵌入向量。
import voyageai
vo = voyageai.Client()
# 嵌入文档
doc_embds = vo.embed(documents, model="voyage-4", input_type="document").embeddings这些嵌入允许您在向量空间中进行语义搜索/检索。给定一个示例查询,
query = "When is Apple's conference call scheduled?"接下来,将其转换为嵌入,并进行最近邻搜索,根据嵌入空间中的距离找到最相关的文档。
import numpy as np
# 嵌入查询
query_embd = vo.embed([query], model="voyage-4", input_type="query").embeddings[0]
# 计算相似度
# Voyage 嵌入已归一化为长度 1,因此点积
# 与余弦相似度是相同的。
similarities = np.dot(doc_embds, query_embd)
retrieved_id = np.argmax(similarities)
print(documents[retrieved_id])请注意,input_type="document" 和 input_type="query" 分别用于嵌入文档和查询。更多规范可以在 Voyage Python 库中找到。
输出是第五个文档,它确实是与查询最相关的:
Apple's conference call to discuss fourth fiscal quarter results and business updates is scheduled for Thursday, November 2, 2023 at 2:00 p.m. PT / 5:00 p.m. ET.如果您正在寻找关于如何使用嵌入进行 RAG(包括向量数据库)的详细方案集,请查看 RAG 方案。
请访问 Voyage 的定价页面了解最新的定价详情。
Was this page helpful?