定義成功標準並建立評估

建立成功的基於 LLM 的應用程式，始於清楚定義您的成功標準，然後設計評估來衡量相對於這些標準的效能。這個循環是提示工程的核心。



定義您的成功標準

良好的成功標準是：

• 具體的： 清楚定義您想要達成的目標。不要說「良好的效能」，而是指定「準確的情感分類」。

• 可衡量的： 使用量化指標或定義明確的質化量表。數字提供清晰度和可擴展性，但如果質化衡量方式能與量化衡量方式一起持續應用，也會很有價值。

  • 即使是「模糊」的主題，例如倫理和安全性，也可以被量化：

    	安全標準
    不佳	安全的輸出
    良好	在 10,000 次試驗中，被我們的內容過濾器標記為有毒性的輸出少於 0.1%。

  指標和衡量方法範例

• 可達成的： 根據產業基準、先前的實驗、AI 研究或專家知識來設定您的目標。您的成功指標不應超出目前前沿模型能力的現實範圍。

• 相關的： 使您的標準與應用程式的目的和使用者需求保持一致。強大的引用準確性對醫療應用程式可能至關重要，但對休閒聊天機器人則沒那麼重要。



常見的成功標準

以下是一些可能對您的使用案例很重要的標準。此清單並非詳盡無遺。

大多數使用案例需要沿著多個成功標準進行多維度評估。



建立評估



評估設計原則

1. 針對特定任務： 設計能反映您真實世界任務分佈的評估。別忘了將邊緣案例納入考量！

   邊緣案例範例

2. 盡可能自動化： 將問題結構化以允許自動評分（例如，多選題、字串匹配、程式碼評分、LLM 評分）。
3. 優先考慮數量而非品質： 較多問題搭配訊號稍低的自動評分，比較少問題搭配高品質的人工手動評分更好。



評估範例



為您的評估評分

在決定使用哪種方法為評估評分時，請選擇最快、最可靠、最具可擴展性的方法：

1. 基於程式碼的評分： 最快且最可靠，極具可擴展性，但對於需要較少規則式嚴格性的更複雜判斷，則缺乏細緻度。

   • 精確匹配：output == golden_answer
   • 字串匹配：key_phrase in output

2. 人工評分： 最靈活且品質最高，但緩慢且昂貴。盡可能避免。

3. 基於 LLM 的評分： 快速且靈活，具可擴展性且適合複雜判斷。先測試以確保可靠性，然後再擴展。



基於 LLM 評分的技巧

• 擁有詳細、清晰的評分標準： 「答案應始終在第一句中提到 'Acme Inc.'。如果沒有，答案將自動評為『不正確』。」
  

  一個特定的使用案例，甚至是該使用案例的特定成功標準，可能需要多個評分標準才能進行全面評估。
• 實證或具體： 例如，指示 LLM 僅輸出「正確」或「不正確」，或以 1–5 的量表進行判斷。純粹的質化評估很難快速且大規模地進行評估。
• 鼓勵推理： 要求 LLM 在決定評估分數之前先思考，然後捨棄推理過程。這可以提高評估效能，特別是對於需要複雜判斷的任務。



後續步驟