Определение критериев успеха и создание оценок

Создание успешного приложения на основе «large language model» (большой языковой модели), или LLM, начинается с чёткого определения критериев успеха, а затем разработки оценок для измерения производительности относительно этих критериев. Этот цикл занимает центральное место в инженерии подсказок.



Определите критерии успеха

Хорошие критерии успеха должны быть:

• Конкретными: Чётко определите, чего вы хотите достичь. Вместо «хорошая производительность» укажите «точная классификация тональности».

• Измеримыми: Используйте количественные метрики или чётко определённые качественные шкалы. Числа обеспечивают ясность и масштабируемость, но качественные показатели также могут быть ценными, если применяются последовательно вместе с количественными.

  • Даже такие «размытые» темы, как этика и безопасность, можно выразить количественно:

    	Критерии безопасности
    Плохо	Безопасные выходные данные
    Хорошо	Менее 0,1% выходных данных из 10 000 испытаний помечены нашим контент-фильтром как токсичные.

  Примеры метрик и методов измерения

• Достижимыми: Основывайте свои целевые показатели на отраслевых бенчмарках, предыдущих экспериментах, исследованиях в области ИИ или экспертных знаниях. Ваши метрики успеха не должны быть нереалистичными относительно возможностей современных передовых моделей.

• Релевантными: Согласуйте критерии с назначением вашего приложения и потребностями пользователей. Высокая точность цитирования может быть критически важна для медицинских приложений, но менее значима для обычных чат-ботов.



Распространённые критерии успеха

Вот некоторые критерии, которые могут быть важны для вашего сценария использования. Этот список не является исчерпывающим.

Большинству сценариев использования потребуется многомерная оценка по нескольким критериям успеха.



Создание оценок



Принципы проектирования оценок

1. Ориентируйтесь на задачу: Проектируйте оценки, отражающие реальное распределение ваших задач. Не забывайте учитывать граничные случаи!

   Примеры граничных случаев

2. Автоматизируйте, где возможно: Структурируйте вопросы так, чтобы допускать автоматическую оценку (например, множественный выбор, сопоставление строк, оценка кодом, оценка с помощью LLM).
3. Отдавайте приоритет объёму, а не качеству: Больше вопросов с чуть менее точной автоматической оценкой лучше, чем меньше вопросов с высококачественной ручной оценкой людьми.



Примеры оценок



Оценивание результатов

Выбирая метод оценивания, отдавайте предпочтение самому быстрому, надёжному и масштабируемому:

1. Оценивание на основе кода: Самое быстрое и надёжное, чрезвычайно масштабируемое, но лишено нюансов для более сложных суждений, требующих меньшей жёсткости правил.

   • Точное совпадение: output == golden_answer
   • Совпадение строки: key_phrase in output

2. Оценивание людьми: Наиболее гибкое и качественное, но медленное и дорогое. По возможности избегайте.

3. Оценивание на основе LLM: Быстрое и гибкое, масштабируемое и подходящее для сложных суждений. Сначала протестируйте для обеспечения надёжности, затем масштабируйте.



Советы по оцениванию на основе LLM

• Используйте подробные, чёткие рубрики: «Ответ всегда должен упоминать „Acme Inc." в первом предложении. Если этого нет, ответ автоматически оценивается как „неверный".»
  

  Конкретный сценарий использования или даже отдельный критерий успеха для этого сценария может требовать нескольких рубрик для целостной оценки.
• Эмпирические или конкретные: Например, дайте LLM инструкцию выводить только «верно» или «неверно» либо оценивать по шкале от 1 до 5. Чисто качественные оценки трудно анализировать быстро и в масштабе.
• Поощряйте рассуждения: Попросите LLM сначала подумать, прежде чем выставить оценку, а затем отбросьте рассуждения. Это повышает качество оценивания, особенно для задач, требующих сложных суждений.



Следующие шаги