Erfolgskriterien definieren und Evaluierungen erstellen

Der Aufbau einer erfolgreichen LLM-basierten Anwendung beginnt damit, deine Erfolgskriterien klar zu definieren und dann Evaluierungen zu entwerfen, um die Leistung daran zu messen. Dieser Zyklus ist zentral für das Prompt Engineering.



Definiere deine Erfolgskriterien

Gute Erfolgskriterien sind:

• Spezifisch: Definiere klar, was du erreichen möchtest. Statt „gute Leistung" spezifiziere „genaue Sentiment-Klassifizierung".

• Messbar: Verwende quantitative Metriken oder klar definierte qualitative Skalen. Zahlen bieten Klarheit und Skalierbarkeit, aber qualitative Maße können wertvoll sein, wenn sie konsistent zusammen mit quantitativen Maßen angewendet werden.

  • Selbst „schwammige" Themen wie Ethik und Sicherheit können quantifiziert werden:

    	Sicherheitskriterien
    Schlecht	Sichere Ausgaben
    Gut	Weniger als 0,1 % der Ausgaben aus 10.000 Versuchen werden von unserem Content-Filter als toxisch markiert.

  Beispielmetriken und Messmethoden

• Erreichbar: Basiere deine Ziele auf Branchen-Benchmarks, früheren Experimenten, KI-Forschung oder Expertenwissen. Deine Erfolgsmetriken sollten nicht unrealistisch im Vergleich zu den aktuellen Fähigkeiten von Frontier-Modellen sein.

• Relevant: Richte deine Kriterien am Zweck deiner Anwendung und den Bedürfnissen der Nutzer aus. Hohe Zitationsgenauigkeit mag für medizinische Apps entscheidend sein, für lockere Chatbots jedoch weniger.



Häufige Erfolgskriterien

Hier sind einige Kriterien, die für deinen Anwendungsfall wichtig sein könnten. Diese Liste ist nicht vollständig.

Die meisten Anwendungsfälle benötigen eine mehrdimensionale Evaluierung entlang mehrerer Erfolgskriterien.



Evaluierungen erstellen



Prinzipien für das Eval-Design

1. Sei aufgabenspezifisch: Entwirf Evals, die deine reale Aufgabenverteilung widerspiegeln. Vergiss nicht, Edge Cases einzubeziehen!

   Beispiele für Edge Cases

2. Automatisiere, wenn möglich: Strukturiere Fragen so, dass eine automatisierte Bewertung möglich ist (z. B. Multiple-Choice, String-Match, code-bewertet, LLM-bewertet).
3. Priorisiere Menge vor Qualität: Mehr Fragen mit etwas geringerem Signal bei automatisierter Bewertung sind besser als weniger Fragen mit hochwertigen, von Menschen manuell bewerteten Evals.



Beispiel-Evals



Bewerte deine Evaluierungen

Wenn du entscheidest, welche Methode zur Bewertung von Evals verwendet werden soll, wähle die schnellste, zuverlässigste und skalierbarste Methode:

1. Code-basierte Bewertung: Am schnellsten und zuverlässigsten, extrem skalierbar, aber es fehlt an Nuancen für komplexere Beurteilungen, die weniger regelbasierte Starrheit erfordern.

   • Exact Match: output == golden_answer
   • String Match: key_phrase in output

2. Menschliche Bewertung: Am flexibelsten und von höchster Qualität, aber langsam und teuer. Vermeide sie, wenn möglich.

3. LLM-basierte Bewertung: Schnell und flexibel, skalierbar und geeignet für komplexe Beurteilungen. Teste zuerst, um die Zuverlässigkeit sicherzustellen, und skaliere dann.



Tipps für LLM-basierte Bewertung

• Verwende detaillierte, klare Rubriken: „Die Antwort sollte immer ‚Acme Inc.' im ersten Satz erwähnen. Wenn nicht, wird die Antwort automatisch als ‚falsch' bewertet."
  

  Ein bestimmter Anwendungsfall oder sogar ein spezifisches Erfolgskriterium für diesen Anwendungsfall kann mehrere Rubriken für eine ganzheitliche Evaluierung erfordern.
• Empirisch oder spezifisch: Weise das LLM beispielsweise an, nur ‚korrekt' oder ‚falsch' auszugeben oder auf einer Skala von 1–5 zu bewerten. Rein qualitative Evaluierungen sind schwer schnell und in großem Umfang zu bewerten.
• Fördere das Reasoning: Bitte das LLM, zuerst nachzudenken, bevor es eine Bewertungspunktzahl festlegt, und verwirf dann das Reasoning. Dies erhöht die Evaluierungsleistung, insbesondere bei Aufgaben, die komplexe Beurteilungen erfordern.



Nächste Schritte