レイテンシの削減

「latency」（レイテンシ）とは、モデルがプロンプトを処理して出力を生成するのにかかる時間を指します。レイテンシは、モデルのサイズ、プロンプトの複雑さ、モデルとインタラクションポイントを支える基盤インフラストラクチャなど、さまざまな要因の影響を受ける可能性があります。



レイテンシの測定方法

レイテンシについて議論する際、いくつかの用語や測定値に出会うことがあります。

• ベースラインレイテンシ: これは、1秒あたりの入力および出力トークンを考慮せずに、モデルがプロンプトを処理してレスポンスを生成するのにかかる時間です。モデルの速度の一般的な目安を提供します。
• 最初のトークンまでの時間（TTFT）: このメトリクスは、プロンプトが送信されてから、モデルがレスポンスの最初のトークンを生成するまでにかかる時間を測定します。ストリーミング（詳細は後述）を使用していて、ユーザーに応答性の高い体験を提供したい場合に特に重要です。

これらの用語のより詳細な理解については、用語集をご覧ください。



レイテンシの削減方法



1. 適切なモデルを選択する

レイテンシを削減する最も直接的な方法の1つは、ユースケースに適したモデルを選択することです。Anthropicは、さまざまな機能とパフォーマンス特性を持つ幅広いモデルを提供しています。具体的な要件を検討し、速度と出力品質の観点からニーズに最も適したモデルを選択してください。

速度が重要なアプリケーションには、Claude Haiku 4.5が高い知能を維持しながら最速の応答時間を提供します。

client = anthropic.Anthropic()

# 時間的制約の厳しいアプリケーションには、Claude Haiku 4.5を使用してください
message = client.messages.create(
    model="claude-haiku-4-5",
    max_tokens=100,
    messages=[
        {
            "role": "user",
            "content": "Summarize this customer feedback in 2 sentences: [feedback text]",
        }
    ],
)
print(message.content[0].text)

モデルのメトリクスの詳細については、モデル概要ページをご覧ください。



2. プロンプトと出力の長さを最適化する

高いパフォーマンスを維持しながら、入力プロンプトと期待される出力の両方のトークン数を最小限に抑えます。モデルが処理および生成するトークンが少ないほど、レスポンスは速くなります。

プロンプトと出力を最適化するためのヒントをいくつか紹介します。

• 明確かつ簡潔に: プロンプトで意図を明確かつ簡潔に伝えることを目指します。不要な詳細や冗長な情報は避けつつ、Claudeにはコンテキストがないため、指示が不明確な場合は意図した論理の飛躍ができない可能性があることに留意してください。
• より短いレスポンスを求める: Claudeに直接、簡潔にするよう依頼します。Claudeが不要に長い出力をしている場合は、Claudeに冗長さを抑えるよう依頼してください。
  

  LLMは単語ではなくトークンをカウントするため、正確な単語数や単語数の上限を求めることは、段落数や文数の上限を求めることほど効果的な戦略ではありません。
• 適切な出力制限を設定する: max_tokensパラメータを使用して、生成されるレスポンスの最大長にハードリミットを設定します。これにより、Claudeが過度に長い出力を生成することを防ぎます。
  

  レスポンスがmax_tokensトークンに達すると、レスポンスは文の途中や単語の途中で切り捨てられる可能性があります。そのため、これは後処理が必要になる可能性のある大雑把な手法であり、通常は答えが冒頭にくる多肢選択式や短答式のレスポンスに最も適しています。
• temperatureを試す: temperatureパラメータは出力のランダム性を制御します。低い値（例えば0.2）はより焦点を絞った短いレスポンスにつながることがあり、高い値（例えば0.8）はより多様ですが潜在的に長い出力になる可能性があります。

プロンプトの明確さ、出力品質、トークン数の間で適切なバランスを見つけるには、ある程度の実験が必要になる場合があります。



3. レスポンスをストリーミングする

「streaming」（ストリーミング）は、完全な出力が完了する前にモデルがレスポンスの送信を開始できる機能です。ユーザーがモデルの出力をリアルタイムで確認できるため、アプリケーションの体感的な応答性を大幅に向上させることができます。

ストリーミングを有効にすると、モデルの出力が到着するたびに処理し、ユーザーインターフェースを更新したり、他のタスクを並行して実行したりできます。

ユースケースに合わせてストリーミングを実装する方法については、メッセージのストリーミングをご覧ください。



次のステップ