환각 줄이기

Claude와 같은 가장 발전된 언어 모델조차도 때때로 사실과 다르거나 주어진 컨텍스트와 일치하지 않는 텍스트를 생성할 수 있습니다. "hallucination"(환각)으로 알려진 이 현상은 AI 기반 솔루션의 신뢰성을 저하시킬 수 있습니다. 이 가이드에서는 환각을 최소화하고 Claude의 출력이 정확하고 신뢰할 수 있도록 보장하는 기법을 살펴봅니다.



기본적인 환각 최소화 전략

• Claude가 "모르겠습니다"라고 말할 수 있도록 허용하기: Claude에게 불확실성을 인정할 수 있는 권한을 명시적으로 부여하세요. 이 간단한 기법만으로도 잘못된 정보를 크게 줄일 수 있습니다.

• 사실 기반을 위한 직접 인용 사용하기: 긴 문서(20,000 토큰 초과)를 다루는 작업의 경우, Claude에게 작업을 수행하기 전에 먼저 원문 그대로의 인용문을 추출하도록 요청하세요. 이렇게 하면 응답이 실제 텍스트에 기반하게 되어 환각이 줄어듭니다.

• 인용으로 검증하기: Claude가 각 주장에 대해 인용문과 출처를 명시하도록 하여 응답을 감사 가능하게 만드세요. 또한 Claude가 응답을 생성한 후 각 주장을 뒷받침하는 인용문을 찾아 검증하도록 할 수도 있습니다. 인용문을 찾을 수 없는 경우 해당 주장을 철회해야 합니다.



고급 기법

• Chain-of-thought 검증: Claude에게 최종 답변을 제시하기 전에 추론 과정을 단계별로 설명하도록 요청하세요. 이를 통해 잘못된 논리나 가정을 발견할 수 있습니다.

• Best-of-N 검증: 동일한 프롬프트로 Claude를 여러 번 실행하고 출력을 비교하세요. 출력 간의 불일치는 환각을 나타낼 수 있습니다.

• 반복적 개선: Claude의 출력을 후속 프롬프트의 입력으로 사용하여 이전 진술을 검증하거나 확장하도록 요청하세요. 이를 통해 불일치를 발견하고 수정할 수 있습니다.

• 외부 지식 제한: Claude에게 일반 지식이 아닌 제공된 문서의 정보만 사용하도록 명시적으로 지시하세요.