프롬프트 유출 줄이기

프롬프트 유출은 프롬프트에 "숨겨져" 있다고 기대하는 민감한 정보를 노출시킬 수 있습니다. 완벽한 방법은 없지만, 아래 전략들은 위험을 크게 줄일 수 있습니다.



프롬프트 유출을 줄이기 전에

유출 방지 프롬프트 엔지니어링 전략은 반드시 필요한 경우에만 사용하는 것을 고려하세요. 프롬프트를 유출 방지하려는 시도는 LLM의 전체 작업 복잡성을 증가시켜 작업의 다른 부분에서 성능을 저하시킬 수 있는 복잡성을 추가할 수 있습니다.

유출 방지 기법을 구현하기로 결정했다면, 추가된 복잡성이 모델의 성능이나 출력 품질에 부정적인 영향을 미치지 않는지 확인하기 위해 프롬프트를 철저히 테스트하세요.



프롬프트 유출을 줄이기 위한 전략

• 컨텍스트와 쿼리 분리: 시스템 프롬프트를 사용하여 핵심 정보와 컨텍스트를 사용자 쿼리로부터 분리해 볼 수 있습니다. User 턴에서 핵심 지침을 강조한 다음, Assistant 턴을 미리 채워 해당 지침을 다시 강조할 수 있습니다. (참고: 미리 채우기는 Claude Fable 5, Claude Mythos 5, Claude Mythos Preview, Claude Opus 4.8, Claude Opus 4.7, Claude Opus 4.6, Claude Sonnet 4.6에서는 지원되지 않습니다.)

• 후처리 사용: 유출을 나타낼 수 있는 키워드에 대해 Claude의 출력을 필터링하세요. 기법에는 정규 표현식, 키워드 필터링 또는 기타 텍스트 처리 방법이 포함됩니다.
  

  더 미묘한 유출을 필터링하기 위해 프롬프트가 적용된 LLM을 사용할 수도 있습니다.
• 불필요한 독점 세부 정보 피하기: Claude가 작업을 수행하는 데 필요하지 않다면 포함하지 마세요. 추가 콘텐츠는 Claude가 "유출 금지" 지침에 집중하는 것을 방해합니다.
• 정기적인 감사: 잠재적 유출에 대해 프롬프트와 Claude의 출력을 주기적으로 검토하세요.

목표는 단순히 유출을 방지하는 것이 아니라 Claude의 성능을 유지하는 것임을 기억하세요. 지나치게 복잡한 유출 방지는 결과를 저하시킬 수 있습니다. 균형이 핵심입니다.