Claude Platform Docs
Best PracticesTesten und evaluieren

Latenz reduzieren

Reduziere die Antwortlatenz von Claude, indem du ein schnelleres Modell wie Claude Haiku 5.5 wählst, Prompt- und Ausgabe-Token kürzt und Antworten streamst.

„Latency“ (Latenz) bezeichnet die Zeit, die das Modell benötigt, um einen Prompt zu verarbeiten und eine Ausgabe zu generieren. Die Latenz kann von verschiedenen Faktoren beeinflusst werden, etwa der Größe des Modells, der Komplexität des Prompts sowie der zugrunde liegenden Infrastruktur, die das Modell und den Interaktionspunkt unterstützt.


So misst du Latenz

Wenn es um Latenz geht, begegnen dir möglicherweise verschiedene Begriffe und Messgrößen:

  • Baseline latency (Basislatenz): Dies ist die Zeit, die das Modell benötigt, um den Prompt zu verarbeiten und die Antwort zu generieren, ohne die Eingabe- und Ausgabe-Token pro Sekunde zu berücksichtigen. Sie vermittelt eine allgemeine Vorstellung von der Geschwindigkeit des Modells.
  • „Time to first token“ (Zeit bis zum ersten Token), oder TTFT: Diese Metrik misst die Zeit, die das Modell benötigt, um das erste Token der Antwort zu generieren, gerechnet ab dem Zeitpunkt, an dem der Prompt gesendet wurde. Sie ist besonders relevant, wenn du Streaming verwendest (mehr dazu später) und deinen Nutzern ein reaktionsschnelles Erlebnis bieten möchtest.

Für ein tieferes Verständnis dieser Begriffe siehe das Glossar.


So reduzierst du Latenz

1. Wähle das richtige Modell

Eine der direktesten Möglichkeiten, die Latenz zu reduzieren, ist die Wahl des passenden Modells für deinen Anwendungsfall. Anthropic bietet eine Reihe von Modellen mit unterschiedlichen Fähigkeiten und Leistungsmerkmalen. Berücksichtige deine spezifischen Anforderungen und wähle das Modell, das in Bezug auf Geschwindigkeit und Ausgabequalität am besten zu deinen Bedürfnissen passt.

Für geschwindigkeitskritische Anwendungen bietet Claude Haiku 5.5 die schnellsten Antwortzeiten bei gleichzeitig hoher Intelligenz. Effort ist seine wichtigste Steuerung für Geschwindigkeit und Kosten. Siehe Effort zur Steuerung des Nachdenkens verwenden. Das folgende Beispiel nutzt Claude Haiku 5.5 mit Effort low, dem günstigsten und schnellsten Level, und lässt in max_tokens Raum für das Nachdenken:

client = anthropic.Anthropic()

# Für zeitkritische Anwendungen verwende Claude Haiku 5.5 mit niedrigem Effort
message = client.messages.create(
    model="claude-haiku-5-5",
    max_tokens=1024,
    output_config={"effort": "low"},
    messages=[
        {
            "role": "user",
            "content": "Summarize this customer feedback in 2 sentences: [feedback text]",
        }
    ],
)
print(next(block.text for block in message.content if block.type == "text"))

Weitere Details zu Modellmetriken findest du unter Modellübersicht.

2. Optimiere Prompt- und Ausgabelänge

Minimiere die Anzahl der Token sowohl in deinem Eingabe-Prompt als auch in der erwarteten Ausgabe, während du weiterhin eine hohe Leistung beibehältst. Je weniger Token das Modell verarbeiten und generieren muss, desto schneller erfolgt die Antwort.

Hier sind einige Tipps, die dir helfen, deine Prompts und Ausgaben zu optimieren:

  • Sei klar, aber prägnant: Versuche, deine Absicht im Prompt klar und prägnant zu vermitteln. Vermeide unnötige Details oder redundante Informationen, aber bedenke, dass Claude der Kontext zu deinem Anwendungsfall fehlt und es möglicherweise nicht die beabsichtigten Schlüsse zieht, wenn die Anweisungen unklar sind.
  • Bitte um kürzere Antworten: Bitte Claude direkt, sich kurz zu fassen. Wenn Claude unerwünscht lange Ausgaben erzeugt, bitte Claude, seine Ausführlichkeit zu reduzieren.
  • Setze angemessene Ausgabelimits: Verwende den Parameter max_tokens, um eine harte Obergrenze für die maximale Länge der generierten Antwort festzulegen. Dies verhindert, dass Claude übermäßig lange Ausgaben generiert.

Die richtige Balance zwischen Prompt-Klarheit, Ausgabequalität und Token-Anzahl zu finden, kann etwas Experimentieren erfordern.

3. Streame Antworten

„Streaming“ (Streaming) ist eine Funktion, die es dem Modell ermöglicht, mit dem Zurücksenden seiner Antwort zu beginnen, bevor die vollständige Ausgabe fertig ist. Dies kann die wahrgenommene Reaktionsfähigkeit deiner Anwendung erheblich verbessern, da Nutzer die Ausgabe des Modells in Echtzeit sehen können.

Bei aktiviertem Streaming kannst du die Ausgabe des Modells verarbeiten, sobald sie eintrifft, und dabei deine Benutzeroberfläche aktualisieren oder parallel andere Aufgaben ausführen.

Besuche Streaming von Nachrichten, um zu erfahren, wie du Streaming für deinen Anwendungsfall implementieren kannst.


Nächste Schritte

Folge einem ausführbaren Notebook, das eine Latenz-Evaluierung für einen Beispiel-Agenten erstellt, jeweils eine Technik nach der anderen anwendet und prüft, dass die Ausgabequalität über einem Schwellenwert bleibt.

Minimiere Halluzinationen in Claudes Ausgaben, indem du Unsicherheit zulässt, Antworten auf direkte Zitate stützt und Behauptungen mit Quellenangaben überprüfst.

Streame Antworten der Messages API inkrementell mit Server-Sent Events, einschließlich Text-, Tool-Nutzungs- und Deltas für erweitertes Nachdenken.

Führe /claude-api latency-optimize in Claude Code aus, um zu messen, wo deine Anwendung auf die Claude API wartet, und um Änderungen zu testen, die die Wartezeit verkürzen, ohne die Ausgabequalität zu senken.

War diese Seite hilfreich?