Latenz reduzieren

„Latency" (Latenz) bezieht sich auf die Zeit, die das Modell benötigt, um einen Prompt zu verarbeiten und eine Ausgabe zu generieren. Die Latenz kann von verschiedenen Faktoren beeinflusst werden, wie etwa der Größe des Modells, der Komplexität des Prompts und der zugrunde liegenden Infrastruktur, die das Modell und den Interaktionspunkt unterstützt.



Wie man Latenz misst

Wenn es um Latenz geht, wirst du möglicherweise auf verschiedene Begriffe und Messgrößen stoßen:

• Baseline-Latenz: Dies ist die Zeit, die das Modell benötigt, um den Prompt zu verarbeiten und die Antwort zu generieren, ohne die Eingabe- und Ausgabe-Token pro Sekunde zu berücksichtigen. Sie gibt einen allgemeinen Eindruck von der Geschwindigkeit des Modells.
• Time to first token (TTFT): Diese Metrik misst die Zeit, die das Modell benötigt, um das erste Token der Antwort zu generieren, gemessen ab dem Zeitpunkt, an dem der Prompt gesendet wurde. Sie ist besonders relevant, wenn du Streaming verwendest (dazu später mehr) und deinen Nutzern ein reaktionsschnelles Erlebnis bieten möchtest.

Für ein tieferes Verständnis dieser Begriffe schau dir unser Glossar an.



Wie man Latenz reduziert



1. Das richtige Modell wählen

Eine der einfachsten Möglichkeiten, die Latenz zu reduzieren, besteht darin, das passende Modell für deinen Anwendungsfall auszuwählen. Anthropic bietet eine Reihe von Modellen mit unterschiedlichen Fähigkeiten und Leistungsmerkmalen an. Berücksichtige deine spezifischen Anforderungen und wähle das Modell, das deinen Bedürfnissen in Bezug auf Geschwindigkeit und Ausgabequalität am besten entspricht.

Für geschwindigkeitskritische Anwendungen bietet Claude Haiku 4.5 die schnellsten Antwortzeiten bei gleichzeitig hoher Intelligenz:

import anthropic

client = anthropic.Anthropic()

# Für zeitkritische Anwendungen verwende Claude Haiku 4.5
message = client.messages.create(
    model="claude-haiku-4-5",
    max_tokens=100,
    messages=[
        {
            "role": "user",
            "content": "Summarize this customer feedback in 2 sentences: [feedback text]",
        }
    ],
)

Weitere Details zu Modellmetriken findest du auf unserer Seite Modellübersicht.



2. Prompt- und Ausgabelänge optimieren

Minimiere die Anzahl der Token sowohl in deinem Eingabe-Prompt als auch in der erwarteten Ausgabe, während du gleichzeitig eine hohe Leistung beibehältst. Je weniger Token das Modell verarbeiten und generieren muss, desto schneller wird die Antwort sein.

Hier sind einige Tipps, die dir helfen, deine Prompts und Ausgaben zu optimieren:

• Sei klar, aber prägnant: Versuche, deine Absicht im Prompt klar und prägnant zu vermitteln. Vermeide unnötige Details oder redundante Informationen, aber bedenke dabei, dass Claude keinen Kontext zu deinem Anwendungsfall hat und möglicherweise nicht die beabsichtigten logischen Schlüsse zieht, wenn die Anweisungen unklar sind.
• Bitte um kürzere Antworten: Bitte Claude direkt darum, sich kurz zu fassen. Die Claude 3-Modellfamilie hat eine verbesserte Steuerbarkeit gegenüber früheren Generationen. Wenn Claude unerwünscht lange Ausgaben liefert, bitte Claude, seine Gesprächigkeit zu zügeln.
  

  Aufgrund der Art und Weise, wie LLMs Token statt Wörter zählen, ist die Bitte um eine exakte Wortanzahl oder ein Wortlimit keine so effektive Strategie wie die Bitte um eine Begrenzung der Absatz- oder Satzanzahl.
• Setze angemessene Ausgabelimits: Verwende den Parameter max_tokens, um eine harte Obergrenze für die maximale Länge der generierten Antwort festzulegen. Dies verhindert, dass Claude übermäßig lange Ausgaben generiert.

  Hinweis: Wenn die Antwort max_tokens Token erreicht, wird sie abgeschnitten, möglicherweise mitten im Satz oder mitten im Wort. Dies ist also eine grobe Technik, die eventuell eine Nachbearbeitung erfordert und in der Regel am besten für Multiple-Choice- oder Kurzantwort-Aufgaben geeignet ist, bei denen die Antwort direkt am Anfang steht.

• Experimentiere mit der Temperature: Der Parameter temperature steuert die Zufälligkeit der Ausgabe. Niedrigere Werte (z. B. 0,2) können manchmal zu fokussierteren und kürzeren Antworten führen, während höhere Werte (z. B. 0,8) zu vielfältigeren, aber möglicherweise längeren Ausgaben führen können.

Das richtige Gleichgewicht zwischen Prompt-Klarheit, Ausgabequalität und Token-Anzahl zu finden, kann etwas Experimentieren erfordern.



3. Streaming nutzen

Streaming ist eine Funktion, die es dem Modell ermöglicht, mit dem Zurücksenden seiner Antwort zu beginnen, bevor die vollständige Ausgabe abgeschlossen ist. Dies kann die wahrgenommene Reaktionsfähigkeit deiner Anwendung erheblich verbessern, da Nutzer die Ausgabe des Modells in Echtzeit sehen können.

Mit aktiviertem Streaming kannst du die Ausgabe des Modells verarbeiten, sobald sie eintrifft, und dabei deine Benutzeroberfläche aktualisieren oder andere Aufgaben parallel ausführen. Dies kann das Nutzererlebnis erheblich verbessern und deine Anwendung interaktiver und reaktionsschneller wirken lassen.

Besuche Streaming Messages, um zu erfahren, wie du Streaming für deinen Anwendungsfall implementieren kannst.