緩解越獄攻擊和提示注入

越獄攻擊和提示注入發生在使用者精心設計提示以利用模型漏洞，試圖生成不當內容時。雖然 Claude 本身對此類攻擊具有韌性，但以下是加強防護措施的額外步驟，特別是針對違反我們服務條款或使用政策的使用情況。

• 無害性篩選：使用輕量級模型如 Claude Haiku 3 來預先篩選使用者輸入。（注意：預填充已棄用，在 Claude Opus 4.6 和 Sonnet 4.5 上不受支援。）

  範例：用於內容審核的無害性篩選

• 輸入驗證：過濾提示中的越獄攻擊模式。您甚至可以使用 LLM 透過提供已知的越獄攻擊語言作為範例來建立通用的驗證篩選。

• 提示工程：設計強調道德和法律界限的提示。

  範例：企業聊天機器人的道德系統提示

調整回應並考慮對反覆從事濫用行為、試圖繞過 Claude 防護措施的使用者進行限流或封禁。例如，如果某個特定使用者多次觸發同類型的拒絕（例如「輸出被內容過濾政策阻擋」），告知該使用者其行為違反了相關使用政策，並採取相應措施。

• 持續監控：定期分析輸出以檢測越獄攻擊跡象。 利用此監控來反覆改進您的提示和驗證策略。

進階：鏈式防護措施

結合多種策略以實現穩健的保護。以下是一個使用工具的企業級範例：

透過分層運用這些策略，您可以建立針對越獄攻擊和提示注入的穩健防禦，確保您的 Claude 驅動應用程式維持最高的安全和合規標準。