Снижение галлюцинаций

Даже самые продвинутые языковые модели, такие как Claude, иногда могут генерировать текст, который фактически неверен или не соответствует заданному контексту. Это явление, известное как «hallucination» (галлюцинация), может подорвать надёжность ваших решений на основе ИИ. В этом руководстве рассматриваются техники, позволяющие минимизировать галлюцинации и обеспечить точность и достоверность ответов Claude.

Базовые стратегии минимизации галлюцинаций

• Позвольте Claude говорить «Я не знаю»: Явно дайте Claude разрешение признавать неопределённость. Эта простая техника может радикально сократить количество ложной информации.

As our M&A advisor, analyze this report on the potential acquisition of AcmeCo by ExampleCorp.

<report>
{{REPORT}}
</report>

Focus on financial projections, integration risks, and regulatory hurdles. If you're unsure about any aspect or if the report lacks necessary information, say "I don't have enough information to confidently assess this."

• Используйте прямые цитаты для фактического обоснования: Для задач, связанных с длинными документами (>20 тыс. токенов), попросите Claude сначала извлечь дословные цитаты, прежде чем выполнять задачу. Это привязывает его ответы к реальному тексту, снижая галлюцинации.

As our Data Protection Officer, review this updated privacy policy for GDPR and CCPA compliance.
<policy>
{{POLICY}}
</policy>

1. Extract exact quotes from the policy that are most relevant to GDPR and CCPA compliance. If you can't find relevant quotes, state "No relevant quotes found."

2. Use the quotes to analyze the compliance of these policy sections, referencing the quotes by number. Only base your analysis on the extracted quotes.

• Проверяйте с помощью ссылок на источники: Сделайте ответ Claude проверяемым, попросив его приводить цитаты и источники для каждого из своих утверждений. Вы также можете попросить Claude проверить каждое утверждение, найдя подтверждающую цитату после генерации ответа. Если он не может найти цитату, он должен отозвать утверждение.

Draft a press release for our new cybersecurity product, AcmeSecurity Pro, using only information from these product briefs and market reports.
<documents>
{{DOCUMENTS}}
</documents>

After drafting, review each claim in your press release. For each claim, find a direct quote from the documents that supports it. If you can't find a supporting quote for a claim, remove that claim from the press release and mark where it was removed with empty [] brackets.

Продвинутые техники

• Проверка с помощью цепочки рассуждений (chain-of-thought): Попросите Claude пошагово объяснить свои рассуждения, прежде чем дать окончательный ответ. Это может выявить ошибочную логику или допущения.

• Проверка Best-of-N: Запустите Claude с одной и той же подсказкой несколько раз и сравните результаты. Несоответствия между результатами могут указывать на галлюцинации.

• Итеративное уточнение: Используйте ответы Claude в качестве входных данных для последующих подсказок, прося его проверить или расширить предыдущие утверждения. Это позволяет выявить и исправить несоответствия.

• Ограничение внешних знаний: Явно проинструктируйте Claude использовать только информацию из предоставленных документов, а не свои общие знания.