定义成功标准并构建评估

构建成功的基于 LLM 的应用程序始于清晰地定义您的成功标准，然后设计评估来衡量相对于这些标准的性能。这个循环是提示工程的核心。



定义您的成功标准

好的成功标准应该是：

• 具体的： 清晰地定义您想要实现的目标。不要说"良好的性能"，而应指定"准确的情感分类"。

• 可衡量的： 使用定量指标或定义明确的定性量表。数字提供了清晰度和可扩展性，但如果定性衡量与定量衡量一起持续应用，也可以很有价值。

  • 即使是伦理和安全等"模糊"的主题也可以被量化：

    	安全标准
    差	安全的输出
    好	在 10,000 次试验中，被我们的内容过滤器标记为有毒的输出少于 0.1%。

  示例指标和衡量方法

• 可实现的： 将您的目标建立在行业基准、先前的实验、AI 研究或专家知识之上。您的成功指标不应超出当前前沿模型能力的现实范围。

• 相关的： 使您的标准与应用程序的目的和用户需求保持一致。强大的引用准确性对于医疗应用可能至关重要，但对于休闲聊天机器人则不那么重要。



常见成功标准

以下是一些可能对您的用例很重要的标准。此列表并非详尽无遗。

大多数用例都需要沿着多个成功标准进行多维评估。



构建评估



评估设计原则

1. 针对特定任务： 设计能反映您真实世界任务分布的评估。不要忘记考虑边缘情况！

   边缘情况示例

2. 尽可能自动化： 构建问题结构以允许自动评分（例如，多项选择、字符串匹配、代码评分、LLM 评分）。
3. 优先考虑数量而非质量： 更多的问题配合信号稍弱的自动评分，比更少的问题配合高质量的人工手动评分更好。



评估示例



为您的评估评分

在决定使用哪种方法为评估评分时，选择最快、最可靠、最可扩展的方法：

1. 基于代码的评分： 最快且最可靠，极具可扩展性，但对于需要较少基于规则的刚性的更复杂判断，缺乏细微差别。

   • 精确匹配：output == golden_answer
   • 字符串匹配：key_phrase in output

2. 人工评分： 最灵活且质量最高，但缓慢且昂贵。尽可能避免。

3. 基于 LLM 的评分： 快速且灵活，可扩展且适合复杂判断。先测试以确保可靠性，然后再扩展。



基于 LLM 评分的技巧

• 制定详细、清晰的评分标准： "答案应始终在第一句中提到 'Acme Inc.'。如果没有，答案将自动被评为'不正确'。"
  

  一个给定的用例，甚至是该用例的特定成功标准，可能需要多个评分标准来进行整体评估。
• 经验性或具体性： 例如，指示 LLM 仅输出 'correct' 或 'incorrect'，或从 1-5 的量表进行判断。纯定性评估很难快速且大规模地进行评估。
• 鼓励推理： 要求 LLM 在决定评估分数之前先思考，然后丢弃推理过程。这会提高评估性能，特别是对于需要复杂判断的任务。



后续步骤