Verwendung des Evaluierungstools

Das Evaluierungstool in der Console verwenden

Zugriff auf die Evaluierungsfunktion

Um mit dem Evaluierungstool zu beginnen:

Öffnen Sie die Claude Console und navigieren Sie zum Prompt-Editor.
Nachdem Sie Ihren Prompt verfasst haben, suchen Sie nach der Registerkarte „Evaluate" (Evaluieren) oben auf dem Bildschirm.

Zugriff auf die Evaluierungsfunktion

Stellen Sie sicher, dass Ihr Prompt mindestens 1-2 dynamische Variablen mit der Doppelklammer-Syntax enthält: {{variable}}. Dies ist erforderlich, um Eval-Testsets zu erstellen.

Prompts generieren

Die Console bietet einen integrierten Prompt-Generator, der von Claude Opus 4.1 unterstützt wird:

Klicken Sie auf „Generate Prompt“
Wenn Sie auf das Hilfstool „Generate Prompt" klicken, wird ein Modal geöffnet, in dem Sie Ihre Aufgabeninformationen eingeben können.
Beschreiben Sie Ihre Aufgabe
Beschreiben Sie Ihre gewünschte Aufgabe (z. B. „Triage eingehender Kundenunterstützungsanfragen") mit so viel oder so wenig Detail wie gewünscht. Je mehr Kontext Sie einbeziehen, desto besser kann Claude seinen generierten Prompt auf Ihre spezifischen Anforderungen abstimmen.
Generieren Sie Ihren Prompt
Wenn Sie auf die orangefarbene Schaltfläche „Generate Prompt" unten klicken, generiert Claude einen hochwertigen Prompt für Sie. Sie können diese Prompts dann mithilfe des Evaluierungsbildschirms in der Console weiter verbessern.

Diese Funktion macht es einfacher, Prompts mit der entsprechenden Variablensyntax für die Evaluierung zu erstellen.

Prompt-Generator

Erstellen von Testfällen

Wenn Sie auf den Evaluierungsbildschirm zugreifen, haben Sie mehrere Optionen zum Erstellen von Testfällen:

Klicken Sie auf die Schaltfläche „+ Add Row" (+ Zeile hinzufügen) unten links, um einen Fall manuell hinzuzufügen.
Verwenden Sie die Funktion „Generate Test Case" (Testfall generieren), um Claude automatisch Testfälle für Sie zu generieren.
Importieren Sie Testfälle aus einer CSV-Datei.

So verwenden Sie die Funktion „Generate Test Case":

Klicken Sie auf „Generate Test Case“
Claude generiert Testfälle für Sie, eine Zeile nach der anderen, jedes Mal wenn Sie auf die Schaltfläche klicken.
Bearbeiten Sie die Generierungslogik (optional)
Sie können auch die Testfall-Generierungslogik bearbeiten, indem Sie auf den Pfeil-Dropdown rechts neben der Schaltfläche „Generate Test Case" klicken und dann auf „Show generation logic" (Generierungslogik anzeigen) oben im Fenster „Variables" (Variablen), das sich öffnet. Möglicherweise müssen Sie auf „Generate" oben rechts in diesem Fenster klicken, um die anfängliche Generierungslogik zu füllen.
Durch das Bearbeiten können Sie die Testfälle, die Claude generiert, anpassen und optimieren, um eine größere Präzision und Spezifität zu erreichen.

Hier ist ein Beispiel eines gefüllten Evaluierungsbildschirms mit mehreren Testfällen:

Gefüllter Evaluierungsbildschirm

Wenn Sie Ihren ursprünglichen Prompt-Text aktualisieren, können Sie die gesamte Eval-Suite gegen den neuen Prompt erneut ausführen, um zu sehen, wie Änderungen die Leistung über alle Testfälle hinweg beeinflussen.

Tipps für effektive Evaluierung

Verwenden Sie das Hilfstool „Generate a prompt" in der Console, um schnell Prompts mit der entsprechenden Variablensyntax für die Evaluierung zu erstellen.

Verstehen und Vergleichen von Ergebnissen

Das Evaluierungstool bietet mehrere Funktionen, um Ihnen bei der Verfeinerung Ihrer Prompts zu helfen:

Nebeneinander-Vergleich: Vergleichen Sie die Ausgaben von zwei oder mehr Prompts, um die Auswirkungen Ihrer Änderungen schnell zu sehen.
Qualitätsbewertung: Bewerten Sie die Antwortqualität auf einer 5-Punkte-Skala, um Verbesserungen der Antwortqualität pro Prompt zu verfolgen.
Prompt-Versionierung: Erstellen Sie neue Versionen Ihres Prompts und führen Sie die Testsuite erneut aus, um schnell zu iterieren und Ergebnisse zu verbessern.

Durch die Überprüfung von Ergebnissen über Testfälle hinweg und den Vergleich verschiedener Prompt-Versionen können Sie Muster erkennen und fundierte Anpassungen an Ihrem Prompt effizienter vornehmen.

Beginnen Sie noch heute mit der Evaluierung Ihrer Prompts, um robustere KI-Anwendungen mit Claude zu erstellen!

Zugriff auf die Evaluierungsfunktion

Prompts generieren

Erstellen von Testfällen

Tipps für effektive Evaluierung

Prompt-Struktur für die Evaluierung

Verstehen und Vergleichen von Ergebnissen