詞彙表
這些概念並非 Claude 獨有。本頁面簡要說明關鍵術語。
上下文視窗
「Context window」（上下文視窗）是指語言模型在生成新文本時可以回顧和參考的文本量。這與語言模型訓練所用的大型語料庫不同，而是代表模型的「工作記憶」。較大的上下文視窗允許模型處理和回應更複雜、更冗長的提示，而較小的上下文視窗可能會限制模型處理較長提示或在長時間對話中保持連貫性的能力。
請參閱上下文視窗理解指南以了解更多資訊。
微調
「Fine-tuning」（微調）是使用額外資料進一步訓練預訓練語言模型的過程。這會使模型開始表現和模仿微調資料集的模式和特徵。Claude 不是一個未經微調的基礎語言模型；它已經被微調成一個有幫助的助手。Claude API 目前不提供微調，但如果您有興趣探索此選項，請洽詢您的 Anthropic 聯絡人。微調可用於將語言模型適應特定領域、任務或寫作風格，但需要仔細考量微調資料以及對模型效能和偏見的潛在影響。
HHH
HHH（helpful、honest、harmless，即有幫助、誠實、無害）是一個研究框架，指引 Claude 如何被訓練成對社會有益。它與 Claude 的產品標語「AI assistant for life and work」（生活與工作的 AI 助手）有所區別。
- 有幫助的（helpful） AI 將盡其所能執行任務或回答所提出的問題，提供相關且有用的資訊。
- 誠實的（honest） AI 將提供準確的資訊，不會產生幻覺或虛構內容。它會在適當時承認其局限性和不確定性。
- 無害的（harmless） AI 不會具有冒犯性或歧視性，當被要求協助危險或不道德的行為時，AI 應禮貌地拒絕並解釋為什麼無法遵從。
延遲
在生成式 AI 和大型語言模型的背景下，「latency」（延遲）是指模型對給定提示做出回應所需的時間。它是提交提示與接收生成輸出之間的延遲。較低的延遲表示更快的回應時間，這對於即時應用程式、聊天機器人和互動體驗至關重要。影響延遲的因素包括模型大小、硬體能力、網路條件，以及提示和生成回應的複雜性。
LLM
「Large language model」（大型語言模型），即 LLM，是具有許多參數的 AI 語言模型，能夠執行各種令人驚訝的有用任務。這些模型在大量文本資料上進行訓練，可以生成類似人類的文本、回答問題、摘要資訊等。Claude 是由 Anthropic 打造的生活與工作 AI 助手，它基於一個經過微調並使用 RLHF 訓練的大型語言模型。
MCP（Model Context Protocol）
「Model Context Protocol」，即 MCP，是一個開放協定，標準化應用程式向 LLM 提供上下文的方式。就像 AI 應用程式的 USB-C 連接埠一樣，MCP 提供了一種統一的方式，將 AI 模型連接到不同的資料來源和工具。MCP 使 AI 系統能夠在互動中保持一致的上下文，並以標準化的方式存取外部資源。請參閱 MCP 文件以了解更多資訊。
MCP 連接器
「MCP connector」（MCP 連接器）是一項功能，允許 API 使用者直接從 Messages API 連接到 MCP 伺服器，而無需建構 MCP 用戶端。這使得透過 Claude API 與相容 MCP 的工具和服務進行無縫整合成為可能。MCP 連接器支援工具呼叫等功能，目前以 beta 版提供。請參閱 MCP 連接器文件以了解更多資訊。
預訓練
「Pretraining」（預訓練）是在大型未標記文本語料庫上訓練語言模型的初始過程。以 Claude 為例，自迴歸語言模型（例如 Claude 的底層模型）經過預訓練，可根據文件中先前的文本上下文預測下一個詞。這些預訓練模型本身並不擅長回答問題或遵循指令，通常需要深厚的提示工程技巧才能引出期望的行為。微調和 RLHF 被用來改進這些預訓練模型，使它們在廣泛的任務中更加有用。
RAG（檢索增強生成）
「Retrieval augmented generation」（檢索增強生成），即 RAG，是一種將資訊檢索與語言模型生成相結合的技術，用以提高生成文本的準確性和相關性，並使模型的回應更有依據。在 RAG 中，語言模型透過外部知識庫或一組傳入上下文視窗的文件來增強。資料是在查詢發送到模型時於執行階段檢索的，儘管模型本身不一定會檢索資料（但可以透過工具使用和檢索函式來實現）。在生成文本時，首先必須根據輸入提示從知識庫中檢索相關資訊，然後將其與原始查詢一起傳遞給模型。模型使用這些資訊來引導其生成的輸出。這使模型能夠存取和使用超出其訓練資料範圍的資訊，減少對記憶的依賴，並提高生成文本的事實準確性。RAG 對於需要最新資訊、特定領域知識或明確引用來源的任務特別有用。然而，RAG 的有效性取決於外部知識庫的品質和相關性，以及在執行階段檢索到的知識。
RLHF
「Reinforcement Learning from Human Feedback」（基於人類回饋的強化學習），即 RLHF，是一種用於訓練預訓練語言模型，使其行為方式符合人類偏好的技術。這可以包括幫助模型更有效地遵循指令，或表現得更像聊天機器人。人類回饋包括對兩個或更多範例文本進行排名，而強化學習過程會鼓勵模型偏好與排名較高者相似的輸出。Claude 已使用 RLHF 進行訓練，以成為更有幫助的助手。如需更多詳細資訊，您可以閱讀 Anthropic 關於此主題的論文。
溫度
「Temperature」（溫度）是一個在文本生成過程中控制模型預測隨機性的參數。較高的溫度會產生更具創意和多樣性的輸出，允許措辭上的多種變化，在虛構創作的情況下，答案也會有所變化。較低的溫度會產生更保守、更具確定性的輸出，堅持最可能的措辭和答案。調整溫度使使用者能夠鼓勵語言模型探索罕見、不常見或令人驚訝的詞彙選擇和序列，而不是只選擇最可能的預測。
使用者可能會在 API 中遇到非確定性。即使將溫度設為 0，結果也不會完全確定，相同的輸入在不同的 API 呼叫中可能會產生不同的輸出。這同時適用於 Anthropic 的第一方推論服務以及透過第三方雲端供應商進行的推論。
TTFT（首個 token 時間）
「Time to First Token」（首個 token 時間），即 TTFT，是一項效能指標，用於衡量語言模型在收到提示後生成其輸出的第一個 token 所需的時間。它是模型回應能力的重要指標，對於使用者期望快速獲得初始回饋的互動式應用程式、聊天機器人和即時系統尤其重要。較低的 TTFT 表示模型可以更快地開始生成回應，提供更流暢、更具吸引力的使用者體驗。影響 TTFT 的因素包括模型大小、硬體能力、網路條件以及提示的複雜性。
Token
「Token」是語言模型的最小個別單位，可以對應於單詞、子詞、字元，甚至位元組（在 Unicode 的情況下）。對於 Claude 而言，一個 token 大約代表 3.5 個英文字元，但確切數字可能因所使用的語言而異。在「文本」層級與語言模型互動時，token 通常是隱藏的，但在檢視語言模型的確切輸入和輸出時就變得相關。當向 Claude 提供要評估的文本時，該文本（由一系列字元組成）會被編碼為一系列 token 供模型處理。較大的 token 可在推論和預訓練期間提高資料效率（並在可能時使用），而較小的 token 則允許模型處理不常見或從未見過的單詞。分詞方法的選擇會影響模型的效能、詞彙量大小以及處理詞彙表外單詞的能力。
Was this page helpful?