降低延遲

「Latency」（延遲）是指模型處理提示並生成輸出所需的時間。延遲可能受到各種因素的影響，例如模型的大小、提示的複雜度，以及支援模型和互動點的底層基礎設施。



如何測量延遲

在討論延遲時，您可能會遇到幾個術語和測量指標：

• 基準延遲（Baseline latency）： 這是模型處理提示並生成回應所需的時間，不考慮每秒的輸入和輸出 token 數。它提供了模型速度的大致概念。
• 首個 token 時間（Time to first token，TTFT）： 此指標測量從發送提示開始，到模型生成回應的第一個 token 所需的時間。當您使用串流（稍後會詳細說明）並希望為使用者提供具回應性的體驗時，這個指標特別重要。

若要更深入了解這些術語，請查看詞彙表。



如何降低延遲



1. 選擇合適的模型

降低延遲最直接的方法之一是為您的使用案例選擇適當的模型。Anthropic 提供了一系列模型，具有不同的能力和效能特性。請考量您的具體需求，並選擇在速度和輸出品質方面最符合您需求的模型。

對於速度至關重要的應用程式，Claude Haiku 4.5 在保持高智慧的同時提供最快的回應時間：

client = anthropic.Anthropic()

# 對於時間敏感的應用程式，請使用 Claude Haiku 4.5
message = client.messages.create(
    model="claude-haiku-4-5",
    max_tokens=100,
    messages=[
        {
            "role": "user",
            "content": "Summarize this customer feedback in 2 sentences: [feedback text]",
        }
    ],
)
print(message.content[0].text)

有關模型指標的更多詳細資訊，請參閱模型概覽頁面。



2. 最佳化提示和輸出長度

在保持高效能的同時，盡量減少輸入提示和預期輸出中的 token 數量。模型需要處理和生成的 token 越少，回應就越快。

以下是一些幫助您最佳化提示和輸出的技巧：

• 清晰但簡潔： 力求在提示中清晰簡潔地傳達您的意圖。避免不必要的細節或冗餘資訊，同時請記住 Claude 缺乏對您使用案例的上下文，如果指示不清楚，可能無法做出預期的邏輯推斷。
• 要求更簡短的回應： 直接要求 Claude 保持簡潔。如果 Claude 輸出了不必要的長度，請要求 Claude 減少冗長。
  

  由於 LLM 計算的是 token 而非字數，要求精確的字數或字數限制，不如要求段落或句子數量限制來得有效。
• 設定適當的輸出限制： 使用 max_tokens 參數為生成回應的最大長度設定硬性限制。這可以防止 Claude 生成過長的輸出。
  

  當回應達到 max_tokens 個 token 時，回應將被截斷，可能是在句子或單字的中間，因此這是一種粗略的技術，可能需要後處理，通常最適合用於答案出現在開頭的選擇題或簡答題回應。
• 嘗試調整 temperature： temperature 參數控制輸出的隨機性。較低的值（例如 0.2）有時可以產生更聚焦且更簡短的回應，而較高的值（例如 0.8）可能會產生更多樣化但可能更長的輸出。

在提示清晰度、輸出品質和 token 數量之間找到適當的平衡可能需要一些實驗。



3. 串流回應

「Streaming」（串流）是一項功能，允許模型在完整輸出完成之前就開始傳回其回應。這可以顯著改善應用程式的感知回應速度，因為使用者可以即時看到模型的輸出。

啟用串流後，您可以在模型輸出到達時進行處理，同時更新使用者介面或平行執行其他任務。

請造訪串流訊息以了解如何為您的使用案例實作串流。



後續步驟