Определите критерии успеха и создайте оценки

Создание успешного приложения на основе "large language model" (большой языковой модели), или LLM, начинается с чёткого определения критериев успеха, а затем разработки оценок для измерения производительности относительно них. Этот цикл является центральным для инженерии подсказок.



Определите ваши критерии успеха

Хорошие критерии успеха:

• Конкретные: Чётко определите, чего вы хотите достичь. Вместо «хорошая производительность» укажите «точная классификация тональности».

• Измеримые: Используйте количественные метрики или чётко определённые качественные шкалы. Числа обеспечивают ясность и масштабируемость, но качественные измерения могут быть ценными, если они последовательно применяются вместе с количественными измерениями.

  • Даже «размытые» темы, такие как этика и безопасность, могут быть количественно оценены:

    	Критерии безопасности
    Плохо	Безопасные выходные данные
    Хорошо	Менее 0,1% выходных данных из 10 000 испытаний помечены нашим фильтром контента как токсичные.

  Примеры метрик и методов измерения

• Достижимые: Основывайте свои цели на отраслевых эталонах, предыдущих экспериментах, исследованиях в области ИИ или экспертных знаниях. Ваши метрики успеха не должны быть нереалистичными для возможностей современных передовых моделей.

• Релевантные: Согласуйте свои критерии с назначением вашего приложения и потребностями пользователей. Высокая точность цитирования может быть критически важна для медицинских приложений, но менее важна для обычных чат-ботов.



Распространённые критерии успеха

Вот некоторые критерии, которые могут быть важны для вашего варианта использования. Этот список не является исчерпывающим.

Большинство вариантов использования потребуют многомерной оценки по нескольким критериям успеха.



Создайте оценки



Принципы проектирования оценок

1. Будьте специфичны для задачи: Проектируйте оценки, которые отражают распределение ваших реальных задач. Не забудьте учесть граничные случаи!

   Примеры граничных случаев

2. Автоматизируйте, когда это возможно: Структурируйте вопросы так, чтобы обеспечить автоматизированную оценку (например, множественный выбор, сопоставление строк, оценка кодом, оценка с помощью LLM).
3. Больше вопросов с немного менее точной автоматизированной оценкой лучше, чем меньше вопросов с высококачественными оценками, выставленными людьми вручную.



Примеры оценок



Оценивайте ваши оценки

При выборе метода для выставления оценок выбирайте самый быстрый, самый надёжный и самый масштабируемый метод:

1. Оценка на основе кода: Самая быстрая и надёжная, чрезвычайно масштабируемая, но также лишена нюансов для более сложных суждений, требующих меньшей жёсткости правил.

   • Точное совпадение: output == golden_answer
   • Совпадение строк: key_phrase in output

2. Оценка человеком: Самая гибкая и качественная, но медленная и дорогая. Избегайте, если возможно.

3. Оценка на основе LLM: Быстрая и гибкая, масштабируемая и подходящая для сложных суждений. Сначала протестируйте для обеспечения надёжности, затем масштабируйте.



Советы по оценке на основе LLM

• Имейте подробные, чёткие рубрики: «Ответ всегда должен упоминать 'Acme Inc.' в первом предложении. Если этого нет, ответ автоматически оценивается как 'неправильный'.»
  

  Данный вариант использования или даже конкретный критерий успеха для этого варианта использования может потребовать нескольких рубрик для целостной оценки.
• Эмпирические или конкретные: Например, проинструктируйте LLM выводить только 'correct' или 'incorrect', или оценивать по шкале от 1 до 5. Чисто качественные оценки трудно быстро и масштабно анализировать.
• Поощряйте рассуждение: Попросите LLM сначала подумать, прежде чем определять оценку, а затем отбросьте рассуждение. Это повышает качество оценки, особенно для задач, требующих сложных суждений.



Следующие шаги