术语表



上下文窗口

"Context window"（上下文窗口）是指语言模型在生成新文本时可以回顾和参考的文本量。这与语言模型训练所用的大型数据语料库不同，而是代表模型的"工作记忆"。较大的上下文窗口允许模型处理和响应更复杂和冗长的提示，而较小的上下文窗口可能会限制模型处理较长提示或在扩展对话中保持连贯性的能力。

请参阅上下文窗口理解指南了解更多信息。



微调

"Fine-tuning"（微调）是使用额外数据进一步训练预训练语言模型的过程。这会导致模型开始表示和模仿微调数据集的模式和特征。Claude 不是一个未经微调的基础语言模型；它已经被微调成一个有用的助手。Claude API 目前不提供微调，但如果您有兴趣探索此选项，请联系您的 Anthropic 联系人。微调可用于使语言模型适应特定的领域、任务或写作风格，但需要仔细考虑微调数据以及对模型性能和偏差的潜在影响。



HHH

这三个 H 代表 Anthropic 确保 Claude 对社会有益的目标：

• 有帮助的（helpful） AI 将尽力执行任务或回答提出的问题，提供相关和有用的信息。
• 诚实的（honest） AI 将提供准确的信息，不会产生幻觉或虚构。它会在适当时承认其局限性和不确定性。
• 无害的（harmless） AI 不会具有冒犯性或歧视性，当被要求协助危险或不道德的行为时，AI 应该礼貌地拒绝并解释为什么无法遵守。



延迟

在生成式 AI 和大型语言模型的背景下，"latency"（延迟）是指模型响应给定提示所需的时间。它是提交提示和接收生成输出之间的延迟。较低的延迟表示更快的响应时间，这对实时应用、聊天机器人和交互式体验至关重要。影响延迟的因素包括模型大小、硬件能力、网络条件以及提示和生成响应的复杂性。



LLM

"Large language model"（大型语言模型），即 LLM，是具有许多参数的 AI 语言模型，能够执行各种令人惊讶的有用任务。这些模型在大量文本数据上进行训练，可以生成类似人类的文本、回答问题、总结信息等。Claude 是一个基于大型语言模型的对话助手，已通过微调和使用 RLHF 进行训练，以变得更有帮助、更诚实和更无害。



MCP (Model Context Protocol)

"Model Context Protocol"，即 MCP，是一个开放协议，用于标准化应用程序向 LLM 提供上下文的方式。就像 AI 应用的 USB-C 端口一样，MCP 提供了一种统一的方式来将 AI 模型连接到不同的数据源和工具。MCP 使 AI 系统能够在交互中保持一致的上下文，并以标准化的方式访问外部资源。请参阅 MCP 文档了解更多信息。



MCP 连接器

MCP 连接器是一项功能，允许 API 用户直接从 Messages API 连接到 MCP 服务器，而无需构建 MCP 客户端。这使得通过 Claude API 与兼容 MCP 的工具和服务实现无缝集成。MCP 连接器支持工具调用等功能，目前处于测试阶段。请参阅 MCP 连接器文档了解更多信息。



预训练

"Pretraining"（预训练）是在大型未标注文本语料库上训练语言模型的初始过程。就 Claude 而言，自回归语言模型（如 Claude 的底层模型）经过预训练，可以根据文档中文本的先前上下文来预测下一个词。这些预训练模型本身并不擅长回答问题或遵循指令，通常需要深厚的提示工程技能才能引出所需的行为。微调和 RLHF 用于改进这些预训练模型，使它们对广泛的任务更有用。



RAG（检索增强生成）

"Retrieval augmented generation"（检索增强生成），即 RAG，是一种将信息检索与语言模型生成相结合的技术，以提高生成文本的准确性和相关性，并使模型的响应更好地基于证据。在 RAG 中，语言模型通过外部知识库或传入上下文窗口的一组文档得到增强。当查询发送到模型时，数据在运行时被检索，尽管模型本身不一定检索数据（但可以通过工具使用和检索函数来实现）。在生成文本时，必须首先根据输入提示从知识库中检索相关信息，然后将其与原始查询一起传递给模型。模型使用这些信息来指导其生成的输出。这使模型能够访问和使用超出其训练数据的信息，减少对记忆的依赖，并提高生成文本的事实准确性。RAG 对于需要最新信息、特定领域知识或明确引用来源的任务特别有用。然而，RAG 的有效性取决于外部知识库的质量和相关性以及运行时检索到的知识。



RLHF

"Reinforcement Learning from Human Feedback"（基于人类反馈的强化学习），即 RLHF，是一种用于训练预训练语言模型以符合人类偏好的方式行事的技术。这可以包括帮助模型更有效地遵循指令或表现得更像聊天机器人。人类反馈包括对两个或多个示例文本进行排名，强化学习过程鼓励模型偏好与排名较高的输出相似的输出。Claude 已使用 RLHF 进行训练，以成为更有帮助的助手。有关更多详细信息，您可以阅读 Anthropic 关于该主题的论文。



温度

"Temperature"（温度）是一个控制模型在文本生成过程中预测随机性的参数。较高的温度会产生更具创造性和多样性的输出，允许措辞的多种变化，在虚构作品的情况下，答案也会有所变化。较低的温度会产生更保守和确定性的输出，坚持最可能的措辞和答案。调整温度使用户能够鼓励语言模型探索罕见、不常见或令人惊讶的词语选择和序列，而不是仅选择最可能的预测。

用户在 API 中可能会遇到非确定性。即使温度设置为 0，结果也不会完全确定，相同的输入在不同的 API 调用中可能会产生不同的输出。这既适用于 Anthropic 的第一方推理服务，也适用于通过第三方云提供商进行的推理。



TTFT（首个令牌时间）

"Time to First Token"（首个令牌时间），即 TTFT，是一个性能指标，用于衡量语言模型在收到提示后生成其输出的第一个令牌所需的时间。它是模型响应能力的重要指标，对于用户期望快速获得初始反馈的交互式应用、聊天机器人和实时系统尤其重要。较低的 TTFT 表示模型可以更快地开始生成响应，提供更流畅和更具吸引力的用户体验。影响 TTFT 的因素包括模型大小、硬件能力、网络条件和提示的复杂性。



令牌

"Tokens"（令牌）是语言模型的最小独立单位，可以对应于单词、子词、字符，甚至字节（在 Unicode 的情况下）。对于 Claude，一个令牌大约代表 3.5 个英文字符，但确切数量可能因所使用的语言而异。在"文本"级别与语言模型交互时，令牌通常是隐藏的，但在检查语言模型的确切输入和输出时就变得相关了。当向 Claude 提供要评估的文本时，文本（由一系列字符组成）被编码为一系列令牌供模型处理。较大的令牌在推理和预训练期间实现数据效率（并在可能时使用），而较小的令牌允许模型处理不常见或从未见过的单词。分词方法的选择会影响模型的性能、词汇量大小以及处理词汇表外单词的能力。