РекомендацииТестирование и оценка

Использование инструмента оценки

В Claude Console есть инструмент оценки, который позволяет тестировать ваши подсказки в различных сценариях.

Доступ к функции оценки

Чтобы начать работу с инструментом оценки:

Откройте Claude Console и перейдите к редактору подсказок.
После составления подсказки найдите вкладку «Evaluate» в верхней части экрана.

Доступ к функции оценки

Убедитесь, что ваша подсказка включает хотя бы 1–2 динамические переменные, использующие синтаксис двойных фигурных скобок: {{variable}}. Это необходимо для создания наборов тестов оценки.

Генерация подсказок

Console предлагает встроенный генератор подсказок на базе Claude Sonnet 4.5:

Нажмите «Generate Prompt»
Нажатие на вспомогательный инструмент «Generate Prompt» откроет модальное окно, в котором вы сможете ввести информацию о вашей задаче.
Опишите вашу задачу
Опишите желаемую задачу (например, «Сортировка входящих запросов в службу поддержки клиентов») с любым уровнем детализации. Чем больше контекста вы включите, тем точнее Claude сможет адаптировать сгенерированную подсказку под ваши конкретные потребности.
Сгенерируйте подсказку
Нажатие на оранжевую кнопку «Generate Prompt» внизу приведёт к тому, что Claude сгенерирует для вас высококачественную подсказку. Затем вы можете дополнительно улучшить эти подсказки, используя экран оценки в Console.

Эта функция упрощает создание подсказок с правильным синтаксисом переменных для оценки.

Генератор подсказок

Создание тестовых случаев

При переходе на экран оценки у вас есть несколько вариантов создания тестовых случаев:

Нажмите кнопку «+ Add Row» в нижнем левом углу, чтобы добавить случай вручную.
Используйте функцию «Generate Test Case», чтобы Claude автоматически сгенерировал тестовые случаи для вас.
Импортируйте тестовые случаи из CSV-файла.

Чтобы использовать функцию «Generate Test Case»:

Нажмите «Generate Test Case»
Claude будет генерировать тестовые случаи для вас — по одной строке при каждом нажатии кнопки.
Отредактируйте логику генерации (необязательно)
Вы также можете отредактировать логику генерации тестовых случаев, нажав на стрелку раскрывающегося списка справа от кнопки «Generate Test Case», а затем на «Show generation logic» в верхней части появившегося окна Variables. Возможно, вам потребуется нажать «Generate» в правом верхнем углу этого окна, чтобы заполнить начальную логику генерации.
Редактирование этой логики позволяет настраивать и точнее контролировать тестовые случаи, которые генерирует Claude, добиваясь большей точности и специфичности.

Вот пример заполненного экрана оценки с несколькими тестовыми случаями:

Заполненный экран оценки

Если вы обновите исходный текст подсказки, вы можете повторно запустить весь набор оценок для новой подсказки, чтобы увидеть, как изменения влияют на производительность во всех тестовых случаях.

Советы по эффективной оценке

Используйте вспомогательный инструмент «Generate a prompt» в Console, чтобы быстро создавать подсказки с правильным синтаксисом переменных для оценки.

Понимание и сравнение результатов

Инструмент оценки предлагает несколько функций, которые помогут вам улучшить ваши подсказки:

Сравнение бок о бок: сравнивайте выходные данные двух или более подсказок, чтобы быстро увидеть влияние ваших изменений.
Оценка качества: оценивайте качество ответов по 5-балльной шкале, чтобы отслеживать улучшения качества ответов для каждой подсказки.
Версионирование подсказок: создавайте новые версии вашей подсказки и повторно запускайте набор тестов, чтобы быстро итерировать и улучшать результаты.

Просматривая результаты по тестовым случаям и сравнивая разные версии подсказок, вы сможете выявлять закономерности и более эффективно вносить обоснованные корректировки в свою подсказку.

Начните оценивать свои подсказки уже сегодня, чтобы создавать более надёжные ИИ-приложения с Claude!

Was this page helpful?

РекомендацииТестирование и оценка

Использование инструмента оценки

В Claude Console есть инструмент оценки, который позволяет тестировать ваши подсказки в различных сценариях.

Доступ к функции оценки

Чтобы начать работу с инструментом оценки:

Откройте Claude Console и перейдите к редактору подсказок.
После составления подсказки найдите вкладку «Evaluate» в верхней части экрана.

Доступ к функции оценки

Генерация подсказок

Console предлагает встроенный генератор подсказок на базе Claude Sonnet 4.5:

Нажмите «Generate Prompt»
Нажатие на вспомогательный инструмент «Generate Prompt» откроет модальное окно, в котором вы сможете ввести информацию о вашей задаче.
Опишите вашу задачу
Опишите желаемую задачу (например, «Сортировка входящих запросов в службу поддержки клиентов») с любым уровнем детализации. Чем больше контекста вы включите, тем точнее Claude сможет адаптировать сгенерированную подсказку под ваши конкретные потребности.
Сгенерируйте подсказку
Нажатие на оранжевую кнопку «Generate Prompt» внизу приведёт к тому, что Claude сгенерирует для вас высококачественную подсказку. Затем вы можете дополнительно улучшить эти подсказки, используя экран оценки в Console.

Эта функция упрощает создание подсказок с правильным синтаксисом переменных для оценки.

Генератор подсказок

Создание тестовых случаев

При переходе на экран оценки у вас есть несколько вариантов создания тестовых случаев:

Нажмите кнопку «+ Add Row» в нижнем левом углу, чтобы добавить случай вручную.
Используйте функцию «Generate Test Case», чтобы Claude автоматически сгенерировал тестовые случаи для вас.
Импортируйте тестовые случаи из CSV-файла.

Чтобы использовать функцию «Generate Test Case»:

Нажмите «Generate Test Case»
Claude будет генерировать тестовые случаи для вас — по одной строке при каждом нажатии кнопки.
Отредактируйте логику генерации (необязательно)
Вы также можете отредактировать логику генерации тестовых случаев, нажав на стрелку раскрывающегося списка справа от кнопки «Generate Test Case», а затем на «Show generation logic» в верхней части появившегося окна Variables. Возможно, вам потребуется нажать «Generate» в правом верхнем углу этого окна, чтобы заполнить начальную логику генерации.
Редактирование этой логики позволяет настраивать и точнее контролировать тестовые случаи, которые генерирует Claude, добиваясь большей точности и специфичности.

Вот пример заполненного экрана оценки с несколькими тестовыми случаями:

Заполненный экран оценки

Советы по эффективной оценке

Понимание и сравнение результатов

Инструмент оценки предлагает несколько функций, которые помогут вам улучшить ваши подсказки:

Сравнение бок о бок: сравнивайте выходные данные двух или более подсказок, чтобы быстро увидеть влияние ваших изменений.
Оценка качества: оценивайте качество ответов по 5-балльной шкале, чтобы отслеживать улучшения качества ответов для каждой подсказки.
Версионирование подсказок: создавайте новые версии вашей подсказки и повторно запускайте набор тестов, чтобы быстро итерировать и улучшать результаты.

Начните оценивать свои подсказки уже сегодня, чтобы создавать более надёжные ИИ-приложения с Claude!

Was this page helpful?

Доступ к функции оценки

Генерация подсказок

Создание тестовых случаев

Советы по эффективной оценке

Структура подсказки для оценки

Понимание и сравнение результатов

Доступ к функции оценки

Генерация подсказок

Создание тестовых случаев

Советы по эффективной оценке

Структура подсказки для оценки

Понимание и сравнение результатов