Смягчение jailbreak-атак и prompt injection

Jailbreaking и prompt injections происходят, когда пользователи создают prompts для эксплуатации уязвимостей модели с целью генерации неприемлемого контента. Хотя Claude по своей природе устойчив к таким атакам, вот дополнительные шаги для укрепления ваших защитных механизмов, особенно против использования, которое нарушает наши Условия обслуживания или Политику использования.

• Harmlessness screens: Используйте легкую модель, такую как Claude Haiku 4.5, для предварительной проверки входных данных пользователя. Используйте структурированные выходные данные для ограничения ответа простой классификацией.

  Пример: Harmlessness screen для модерации контента

• Input validation: Фильтруйте prompts на предмет jailbreaking-паттернов. Вы даже можете использовать LLM для создания обобщенного экрана валидации, предоставив известный jailbreaking-язык в качестве примеров.

• Prompt engineering: Создавайте prompts, которые подчеркивают этические и правовые границы.

  Пример: Этический системный prompt для корпоративного чатбота

Корректируйте ответы и рассмотрите возможность ограничения скорости или блокировки пользователей, которые повторно занимаются оскорбительным поведением в попытке обойти защитные механизмы Claude. Например, если конкретный пользователь вызывает один и тот же вид отказа несколько раз (например, "output blocked by content filtering policy"), сообщите пользователю, что его действия нарушают соответствующие политики использования, и примите соответствующие меры.

• Continuous monitoring: Регулярно анализируйте выходные данные на предмет признаков jailbreaking. Используйте это мониторирование для итеративного совершенствования ваших prompts и стратегий валидации.

Advanced: Chain safeguards

Комбинируйте стратегии для надежной защиты. Вот пример корпоративного уровня с использованием инструментов:

Путем наслоения этих стратегий вы создаете надежную защиту от jailbreaking и prompt injections, обеспечивая, что ваши приложения на базе Claude поддерживают наивысшие стандарты безопасности и соответствия.