평가 도구를 시작하려면:

프롬프트에 이중 중괄호 구문을 사용하는 최소 1-2개의 동적 변수가 포함되어 있는지 확인하세요: {{variable}}. 이는 평가 테스트 세트를 생성하는 데 필요합니다.
Console은 Claude Opus 4.1로 구동되는 내장 프롬프트 생성기를 제공합니다:
'프롬프트 생성' 클릭
'프롬프트 생성' 도우미 도구를 클릭하면 작업 정보를 입력할 수 있는 모달이 열립니다.
작업 설명하기
원하는 작업(예: "인바운드 고객 지원 요청 분류")을 원하는 만큼 자세히 또는 간단히 설명하세요. 더 많은 컨텍스트를 포함할수록 Claude가 특정 요구사항에 맞게 생성된 프롬프트를 더 잘 맞춤화할 수 있습니다.
프롬프트 생성하기
하단의 주황색 '프롬프트 생성' 버튼을 클릭하면 Claude가 고품질 프롬프트를 생성해 줍니다. 그런 다음 Console의 평가 화면을 사용하여 해당 프롬프트를 더욱 개선할 수 있습니다.
이 기능을 사용하면 평가에 적합한 변수 구문으로 프롬프트를 더 쉽게 만들 수 있습니다.

평가 화면에 접근하면 테스트 케이스를 생성하는 여러 옵션이 있습니다:
'테스트 케이스 생성' 기능을 사용하려면:
'테스트 케이스 생성' 클릭
Claude가 버튼을 클릭할 때마다 한 번에 한 행씩 테스트 케이스를 생성해 줍니다.
생성 로직 편집 (선택사항)
'테스트 케이스 생성' 버튼 오른쪽의 화살표 드롭다운을 클릭한 다음, 팝업되는 변수 창 상단의 '생성 로직 표시'를 클릭하여 테스트 케이스 생성 로직을 편집할 수도 있습니다. 초기 생성 로직을 채우려면 이 창의 오른쪽 상단에서 '생성'을 클릭해야 할 수도 있습니다.
이를 편집하면 Claude가 생성하는 테스트 케이스를 더 정밀하고 구체적으로 사용자 정의하고 미세 조정할 수 있습니다.
다음은 여러 테스트 케이스가 채워진 평가 화면의 예시입니다:

원본 프롬프트 텍스트를 업데이트하면 새 프롬프트에 대해 전체 평가 스위트를 다시 실행하여 모든 테스트 케이스에서 변경사항이 성능에 미치는 영향을 확인할 수 있습니다.
Console의 '프롬프트 생성' 도우미 도구를 사용하여 평가에 적합한 변수 구문으로 프롬프트를 빠르게 생성하세요.
평가 도구는 프롬프트를 개선하는 데 도움이 되는 여러 기능을 제공합니다:
테스트 케이스 전반의 결과를 검토하고 다양한 프롬프트 버전을 비교함으로써 패턴을 발견하고 더 효율적으로 프롬프트를 정보에 기반한 조정을 할 수 있습니다.
Claude와 함께 더 견고한 AI 애플리케이션을 구축하기 위해 오늘부터 프롬프트 평가를 시작하세요!
Was this page helpful?