Latenz reduzieren

„Latency“ (Latenz) bezeichnet die Zeit, die das Modell benötigt, um einen Prompt zu verarbeiten und eine Ausgabe zu generieren. Die Latenz kann von verschiedenen Faktoren beeinflusst werden, etwa der Größe des Modells, der Komplexität des Prompts sowie der zugrunde liegenden Infrastruktur, die das Modell und den Interaktionspunkt unterstützt.

So misst du Latenz

Wenn es um Latenz geht, begegnen dir möglicherweise verschiedene Begriffe und Messgrößen:

• Baseline latency (Basislatenz): Dies ist die Zeit, die das Modell benötigt, um den Prompt zu verarbeiten und die Antwort zu generieren, ohne die Eingabe- und Ausgabe-Token pro Sekunde zu berücksichtigen. Sie vermittelt eine allgemeine Vorstellung von der Geschwindigkeit des Modells.
• „Time to first token“ (Zeit bis zum ersten Token), oder TTFT: Diese Metrik misst die Zeit, die das Modell benötigt, um das erste Token der Antwort zu generieren, gerechnet ab dem Zeitpunkt, an dem der Prompt gesendet wurde. Sie ist besonders relevant, wenn du Streaming verwendest (mehr dazu später) und deinen Nutzern ein reaktionsschnelles Erlebnis bieten möchtest.

Für ein tieferes Verständnis dieser Begriffe schau dir das Glossar an.

So reduzierst du Latenz

1. Wähle das richtige Modell

Eine der direktesten Möglichkeiten, die Latenz zu reduzieren, besteht darin, das passende Modell für deinen Anwendungsfall auszuwählen. Anthropic bietet eine Reihe von Modellen mit unterschiedlichen Fähigkeiten und Leistungsmerkmalen an. Berücksichtige deine spezifischen Anforderungen und wähle das Modell, das hinsichtlich Geschwindigkeit und Ausgabequalität am besten zu deinen Bedürfnissen passt.

Für geschwindigkeitskritische Anwendungen bietet Claude Haiku 4.5 die schnellsten Antwortzeiten bei gleichzeitig hoher Intelligenz:

client = anthropic.Anthropic()

# Verwende für zeitkritische Anwendungen Claude Haiku 4.5
message = client.messages.create(
    model="claude-haiku-4-5",
    max_tokens=100,
    messages=[
        {
            "role": "user",
            "content": "Summarize this customer feedback in 2 sentences: [feedback text]",
        }
    ],
)
print(message.content[0].text)

Weitere Details zu Modellmetriken findest du auf der Seite Modellübersicht.

2. Optimiere Prompt- und Ausgabelänge

Minimiere die Anzahl der Token sowohl in deinem Eingabe-Prompt als auch in der erwarteten Ausgabe, während du weiterhin eine hohe Leistung beibehältst. Je weniger Token das Modell verarbeiten und generieren muss, desto schneller erfolgt die Antwort.

Hier sind einige Tipps, die dir helfen, deine Prompts und Ausgaben zu optimieren:

• Sei klar, aber prägnant: Versuche, deine Absicht im Prompt klar und prägnant zu vermitteln. Vermeide unnötige Details oder redundante Informationen, behalte dabei aber im Hinterkopf, dass Claude der Kontext zu deinem Anwendungsfall fehlt und es bei unklaren Anweisungen möglicherweise nicht die beabsichtigten logischen Schlüsse zieht.
• Bitte um kürzere Antworten: Bitte Claude direkt darum, sich kurz zu fassen. Wenn Claude unerwünscht lange Ausgaben erzeugt, bitte Claude, seine Gesprächigkeit zu zügeln.
• Setze angemessene Ausgabelimits: Verwende den Parameter max_tokens, um eine harte Obergrenze für die maximale Länge der generierten Antwort festzulegen. Dies verhindert, dass Claude übermäßig lange Ausgaben generiert.
• Experimentiere mit der Temperatur: Der Parameter temperature steuert die Zufälligkeit der Ausgabe. Niedrigere Werte (zum Beispiel 0,2) können manchmal zu fokussierteren und kürzeren Antworten führen, während höhere Werte (zum Beispiel 0,8) vielfältigere, aber potenziell längere Ausgaben ergeben können.

Die richtige Balance zwischen Prompt-Klarheit, Ausgabequalität und Token-Anzahl zu finden, kann etwas Experimentieren erfordern.

3. Streame Antworten

„Streaming“ (Streaming) ist eine Funktion, die es dem Modell ermöglicht, mit dem Zurücksenden seiner Antwort zu beginnen, bevor die vollständige Ausgabe fertig ist. Dies kann die wahrgenommene Reaktionsfähigkeit deiner Anwendung erheblich verbessern, da Nutzer die Ausgabe des Modells in Echtzeit sehen können.

Bei aktiviertem Streaming kannst du die Ausgabe des Modells verarbeiten, sobald sie eintrifft, und dabei deine Benutzeroberfläche aktualisieren oder parallel andere Aufgaben ausführen.

Besuche Streaming von Nachrichten, um zu erfahren, wie du Streaming für deinen Anwendungsfall implementieren kannst.

Nächste Schritte