Erfolgskriterien definieren und Evaluierungen erstellen

Der Aufbau einer erfolgreichen LLM-basierten Anwendung beginnt damit, deine Erfolgskriterien klar zu definieren und anschließend Evaluierungen zu entwerfen, um die Leistung daran zu messen. Dieser Zyklus ist zentral für Prompt-Engineering.



Definiere deine Erfolgskriterien

Gute Erfolgskriterien sind:

• Spezifisch: Definiere klar, was du erreichen möchtest. Statt „gute Leistung" gib „genaue Sentiment-Klassifizierung" an.

• Messbar: Verwende quantitative Metriken oder klar definierte qualitative Skalen. Zahlen bieten Klarheit und Skalierbarkeit, aber qualitative Maße können wertvoll sein, wenn sie konsistent zusammen mit quantitativen Maßen angewendet werden.

  • Selbst „unscharfe" Themen wie Ethik und Sicherheit lassen sich quantifizieren:

    	Sicherheitskriterien
    Schlecht	Sichere Ausgaben
    Gut	Weniger als 0,1 % der Ausgaben aus 10.000 Versuchen werden von unserem Inhaltsfilter als toxisch markiert.

  Beispielmetriken und Messmethoden

• Erreichbar: Stütze deine Ziele auf Branchen-Benchmarks, frühere Experimente, KI-Forschung oder Expertenwissen. Deine Erfolgsmetriken sollten im Hinblick auf die Fähigkeiten aktueller Frontier-Modelle nicht unrealistisch sein.

• Relevant: Richte deine Kriterien am Zweck deiner Anwendung und den Bedürfnissen der Nutzer aus. Eine hohe Zitiergenauigkeit kann für medizinische Apps entscheidend sein, für lockere Chatbots jedoch weniger.



Häufige Erfolgskriterien

Hier sind einige Kriterien, die für deinen Anwendungsfall wichtig sein könnten. Diese Liste ist nicht abschließend.

Die meisten Anwendungsfälle erfordern eine mehrdimensionale Evaluierung anhand mehrerer Erfolgskriterien.



Evaluierungen erstellen



Designprinzipien für Evals

1. Sei aufgabenspezifisch: Entwirf Evals, die deine reale Aufgabenverteilung widerspiegeln. Vergiss nicht, Edge Cases einzubeziehen!

   Beispiele für Edge Cases

2. Automatisiere, wenn möglich: Strukturiere Fragen so, dass eine automatisierte Bewertung möglich ist (z. B. Multiple-Choice, String-Abgleich, Code-bewertet, LLM-bewertet).
3. Priorisiere Menge vor Qualität: Mehr Fragen mit einer automatisierten Bewertung mit etwas geringerer Aussagekraft sind besser als weniger Fragen mit hochwertigen, von Menschen manuell bewerteten Evals.



Beispiel-Evals



Bewerte deine Evaluierungen

Bei der Entscheidung, welche Methode zur Bewertung von Evals verwendet werden soll, wähle die schnellste, zuverlässigste und am besten skalierbare Methode:

1. Code-basierte Bewertung: Am schnellsten und zuverlässigsten, extrem skalierbar, aber es fehlt an Nuancen für komplexere Beurteilungen, die weniger regelbasierte Starrheit erfordern.

   • Exakte Übereinstimmung: output == golden_answer
   • String-Abgleich: key_phrase in output

2. Menschliche Bewertung: Am flexibelsten und von hoher Qualität, aber langsam und teuer. Nach Möglichkeit vermeiden.

3. LLM-basierte Bewertung: Schnell und flexibel, skalierbar und geeignet für komplexe Beurteilungen. Teste zuerst die Zuverlässigkeit und skaliere dann.



Tipps für LLM-basierte Bewertung

• Verwende detaillierte, klare Rubriken: „Die Antwort sollte immer ‚Acme Inc.' im ersten Satz erwähnen. Wenn nicht, wird die Antwort automatisch als ‚falsch' bewertet."
  

  Ein bestimmter Anwendungsfall oder sogar ein spezifisches Erfolgskriterium für diesen Anwendungsfall kann mehrere Rubriken für eine ganzheitliche Evaluierung erfordern.
• Empirisch oder spezifisch: Weise das LLM beispielsweise an, nur ‚korrekt' oder ‚falsch' auszugeben oder auf einer Skala von 1-5 zu beurteilen. Rein qualitative Evaluierungen sind schwer schnell und in großem Maßstab zu bewerten.
• Fördere das Schlussfolgern: Bitte das LLM, zuerst nachzudenken, bevor es eine Bewertungspunktzahl festlegt, und verwirf dann die Begründung. Dies erhöht die Evaluierungsleistung, insbesondere bei Aufgaben, die komplexe Beurteilungen erfordern.



Nächste Schritte