Использование инструмента оценки
Доступ к функции оценки
Чтобы начать работу с инструментом оценки:
- Откройте Claude Console и перейдите к редактору промптов.
- После создания промпта найдите вкладку 'Evaluate' в верхней части экрана.
Убедитесь, что ваш промпт включает как минимум 1-2 динамические переменные, используя синтаксис двойных скобок: {{variable}}. Это необходимо для создания наборов тестов оценки.
Генерация промптов
Console предлагает встроенный генератор промптов, работающий на Claude Opus 4.1:
Нажмите 'Generate Prompt'
Нажатие на вспомогательный инструмент 'Generate Prompt' откроет модальное окно, которое позволит вам ввести информацию о вашей задаче.
Опишите вашу задачу
Опишите желаемую задачу (например, "Сортировка входящих запросов службы поддержки клиентов") с любым количеством деталей. Чем больше контекста вы включите, тем лучше Claude сможет адаптировать сгенерированный промпт к вашим конкретным потребностям.
Сгенерируйте ваш промпт
Нажатие оранжевой кнопки 'Generate Prompt' внизу заставит Claude сгенерировать высококачественный промпт для вас. Затем вы можете дополнительно улучшить эти промпты, используя экран оценки в Console.
Эта функция упрощает создание промптов с соответствующим синтаксисом переменных для оценки.
Создание тестовых случаев
Когда вы получаете доступ к экрану оценки, у вас есть несколько вариантов создания тестовых случаев:
- Нажмите кнопку '+ Add Row' в левом нижнем углу, чтобы вручную добавить случай.
- Используйте функцию 'Generate Test Case', чтобы Claude автоматически генерировал тестовые случаи для вас.
- Импортируйте тестовые случаи из CSV-файла.
Чтобы использовать функцию 'Generate Test Case':
Нажмите на 'Generate Test Case'
Claude будет генерировать тестовые случаи для вас, по одной строке за раз при каждом нажатии кнопки.
Редактируйте логику генерации (опционально)
Вы также можете редактировать логику генерации тестовых случаев, нажав на выпадающую стрелку справа от кнопки 'Generate Test Case', затем на 'Show generation logic' в верхней части всплывающего окна Variables. Возможно, вам придется нажать `Generate' в правом верхнем углу этого окна, чтобы заполнить начальную логику генерации.
Редактирование этого позволяет вам настраивать и точно настраивать тестовые случаи, которые генерирует Claude, для большей точности и специфичности.
Вот пример заполненного экрана оценки с несколькими тестовыми случаями:
Если вы обновите текст вашего исходного промпта, вы можете повторно запустить весь набор оценки против нового промпта, чтобы увидеть, как изменения влияют на производительность во всех тестовых случаях.
Советы для эффективной оценки
Используйте вспомогательный инструмент 'Generate a prompt' в Console для быстрого создания промптов с соответствующим синтаксисом переменных для оценки.
Понимание и сравнение результатов
Инструмент оценки предлагает несколько функций, которые помогут вам улучшить ваши промпты:
- Сравнение бок о бок: Сравнивайте выходные данные двух или более промптов, чтобы быстро увидеть влияние ваших изменений.
- Оценка качества: Оценивайте качество ответов по 5-балльной шкале для отслеживания улучшений в качестве ответов на промпт.
- Версионирование промптов: Создавайте новые версии вашего промпта и повторно запускайте набор тестов для быстрой итерации и улучшения результатов.
Просматривая результаты по тестовым случаям и сравнивая различные версии промптов, вы можете выявлять закономерности и вносить обоснованные корректировки в ваш промпт более эффективно.
Начните оценивать ваши промпты сегодня, чтобы создавать более надежные AI-приложения с Claude!