강력한 경험적 평가 만들기

평가 채점

평가를 채점하는 방법을 결정할 때, 가장 빠르고, 가장 신뢰할 수 있으며, 가장 확장 가능한 방법을 선택하세요:

1. 코드 기반 채점: 가장 빠르고 가장 신뢰할 수 있으며, 매우 확장 가능하지만, 규칙 기반의 엄격함보다 덜 엄격한 복잡한 판단에는 뉘앙스가 부족합니다.

   • 정확 일치: output == golden_answer
   • 문자열 매칭: key_phrase in output

2. 인간 채점: 가장 유연하고 고품질이지만, 느리고 비용이 많이 듭니다. 가능하면 피하세요.

3. LLM 기반 채점: 빠르고 유연하며, 확장 가능하고 복잡한 판단에 적합합니다. 먼저 신뢰성을 테스트한 후 확장하세요.

LLM 기반 채점 팁

• 상세하고 명확한 루브릭 작성: "답변은 항상 첫 번째 문장에서 'Acme Inc.'를 언급해야 합니다. 그렇지 않으면 답변은 자동으로 '오답'으로 채점됩니다."
  주어진 사용 사례, 또는 해당 사용 사례의 특정 성공 기준에도 종합적인 평가를 위해 여러 루브릭이 필요할 수 있습니다.
• 경험적이거나 구체적으로: 예를 들어, LLM에게 'correct' 또는 'incorrect'만 출력하도록 지시하거나, 1-5 척도로 판단하도록 하세요. 순수하게 정성적인 평가는 빠르고 대규모로 평가하기 어렵습니다.
• 추론 장려: LLM에게 평가 점수를 결정하기 전에 먼저 생각하도록 요청한 다음, 추론 부분은 버리세요. 이는 특히 복잡한 판단이 필요한 작업에서 평가 성능을 향상시킵니다.

다음 단계