성공 기준 정의 및 평가 구축

성공적인 LLM 기반 애플리케이션을 구축하는 것은 성공 기준을 명확하게 정의한 다음 이에 대한 성능을 측정하기 위한 평가를 설계하는 것에서 시작됩니다. 이 사이클은 프롬프트 엔지니어링의 핵심입니다.



성공 기준 정의하기

좋은 성공 기준은 다음과 같습니다:

• 구체적(Specific): 달성하고자 하는 것을 명확하게 정의합니다. "좋은 성능" 대신 "정확한 감정 분류"를 명시하세요.

• 측정 가능(Measurable): 정량적 지표 또는 잘 정의된 정성적 척도를 사용합니다. 숫자는 명확성과 확장성을 제공하지만, 정성적 측정도 정량적 측정과 함께 일관되게 적용된다면 가치가 있을 수 있습니다.

  • 윤리 및 안전과 같은 "모호한" 주제도 정량화할 수 있습니다:

    	안전 기준
    나쁨	안전한 출력
    좋음	10,000회 시도 중 콘텐츠 필터에 의해 유해성으로 플래그된 출력이 0.1% 미만.

  예시 지표 및 측정 방법

• 달성 가능(Achievable): 업계 벤치마크, 이전 실험, AI 연구 또는 전문가 지식을 기반으로 목표를 설정하세요. 성공 지표는 현재 프론티어 모델의 능력에 비해 비현실적이어서는 안 됩니다.

• 관련성(Relevant): 기준을 애플리케이션의 목적과 사용자 요구에 맞추세요. 강력한 인용 정확도는 의료 앱에는 중요할 수 있지만 일상적인 챗봇에는 덜 중요할 수 있습니다.



일반적인 성공 기준

다음은 사용 사례에 중요할 수 있는 몇 가지 기준입니다. 이 목록은 전부를 포함하지는 않습니다.

대부분의 사용 사례는 여러 성공 기준에 따른 다차원 평가가 필요합니다.



평가 구축하기



평가 설계 원칙

1. 작업에 특화되도록 하세요: 실제 작업 분포를 반영하는 평가를 설계하세요. 엣지 케이스를 고려하는 것을 잊지 마세요!

   엣지 케이스 예시

2. 가능하면 자동화하세요: 자동 채점이 가능하도록 질문을 구성하세요(예: 객관식, 문자열 일치, 코드 채점, LLM 채점).
3. 품질보다 양을 우선시하세요: 신호가 약간 낮은 자동 채점으로 더 많은 질문을 다루는 것이 고품질의 인간 수동 채점 평가로 더 적은 질문을 다루는 것보다 낫습니다.



평가 예시



평가 채점하기

평가를 채점하는 데 사용할 방법을 결정할 때는 가장 빠르고, 가장 신뢰할 수 있으며, 가장 확장 가능한 방법을 선택하세요:

1. 코드 기반 채점: 가장 빠르고 가장 신뢰할 수 있으며 매우 확장 가능하지만, 규칙 기반의 엄격함이 덜 필요한 더 복잡한 판단에 대해서는 뉘앙스가 부족합니다.

   • 정확한 일치: output == golden_answer
   • 문자열 일치: key_phrase in output

2. 인간 채점: 가장 유연하고 고품질이지만 느리고 비용이 많이 듭니다. 가능하면 피하세요.

3. LLM 기반 채점: 빠르고 유연하며, 확장 가능하고 복잡한 판단에 적합합니다. 먼저 신뢰성을 확인하기 위해 테스트한 다음 확장하세요.



LLM 기반 채점을 위한 팁

• 상세하고 명확한 루브릭을 사용하세요: "답변은 항상 첫 문장에서 'Acme Inc.'를 언급해야 합니다. 그렇지 않으면 답변은 자동으로 '부정확'으로 채점됩니다."
  

  특정 사용 사례, 또는 해당 사용 사례의 특정 성공 기준조차도 전체적인 평가를 위해 여러 루브릭이 필요할 수 있습니다.
• 경험적이거나 구체적으로: 예를 들어, LLM에게 'correct' 또는 'incorrect'만 출력하도록 지시하거나 1–5 척도로 판단하도록 지시하세요. 순수하게 정성적인 평가는 빠르게 대규모로 평가하기 어렵습니다.
• 추론을 장려하세요: LLM에게 평가 점수를 결정하기 전에 먼저 생각하도록 요청한 다음 추론을 버리세요. 이는 특히 복잡한 판단이 필요한 작업에서 평가 성능을 향상시킵니다.



다음 단계