定義成功標準並建立評估

建立成功的 LLM 應用程式，首先要清楚定義您的成功標準，然後設計評估來衡量相對於這些標準的表現。這個循環是提示工程的核心。



定義您的成功標準

良好的成功標準應具備以下特性：

• 具體（Specific）： 清楚定義您想要達成的目標。與其說「良好的表現」，不如具體說明「準確的情感分類」。

• 可衡量（Measurable）： 使用量化指標或定義明確的質化量表。數字能提供清晰度和可擴展性，但如果能與量化指標一併持續應用，質化衡量也很有價值。

  • 即使是倫理和安全等「模糊」的主題也可以量化：

    	安全標準
    不佳	安全的輸出
    良好	在 10,000 次試驗中，被我們的內容過濾器標記為有毒的輸出少於 0.1%。

  指標與衡量方法範例

• 可達成（Achievable）： 根據產業基準、先前實驗、AI 研究或專家知識來設定目標。您的成功指標不應超出當前前沿模型能力的現實範圍。

• 相關（Relevant）： 使您的標準與應用程式的目的和使用者需求保持一致。高度的引用準確性對醫療應用程式可能至關重要，但對休閒聊天機器人則不那麼重要。



常見的成功標準

以下是一些可能對您的使用案例很重要的標準。此清單並非詳盡無遺。

大多數使用案例都需要沿著多個成功標準進行多維度評估。



建立評估



評估設計原則

1. 針對任務設計： 設計能反映您真實世界任務分布的評估。別忘了將邊緣案例納入考量！

   邊緣案例範例

2. 盡可能自動化： 將問題結構化以便進行自動評分（例如：選擇題、字串比對、程式碼評分、LLM 評分）。
3. 數量優先於品質： 大量問題搭配訊號稍低的自動評分，優於少量問題搭配高品質的人工手動評分。



評估範例



為您的評估評分

在決定使用哪種方法為評估評分時，請選擇最快速、最可靠、最具擴展性的方法：

1. 基於程式碼的評分： 最快速且最可靠，極具擴展性，但對於需要較少規則剛性的複雜判斷，缺乏細緻度。

   • 精確比對：output == golden_answer
   • 字串比對：key_phrase in output

2. 人工評分： 最靈活且品質最高，但速度慢且成本高。盡可能避免。

3. 基於 LLM 的評分： 快速且靈活，具擴展性且適合複雜判斷。請先測試以確保可靠性，然後再擴展。



基於 LLM 評分的技巧

• 制定詳細、清晰的評分標準：「答案應始終在第一句中提及『Acme Inc.』。如果沒有，該答案將自動評為『不正確』。」
  

  特定的使用案例，甚至該使用案例的特定成功標準，可能需要多個評分標準才能進行全面評估。
• 實證或具體： 例如，指示 LLM 僅輸出「正確」或「不正確」，或以 1-5 的量表進行判斷。純質化的評估難以快速且大規模地進行評估。
• 鼓勵推理： 要求 LLM 在決定評估分數之前先進行思考，然後捨棄推理過程。這能提升評估表現，特別是對於需要複雜判斷的任務。



後續步驟