快速摘要
即使有安全訓練，AI 仍可能生成有害內容、錯誤資訊或敏感資料。輸出過濾是在 AI 回應送達使用者之前，檢查並攔截不當內容的最後一道防線。
為什麼需要輸出過濾
依賴 AI 模型自身的安全限制是不夠的，原因包括：
- Jailbreak 可能繞過模型的內建限制
- 模型更新後行為可能改變
- 不同的部署場景可能有不同的內容要求
- 企業可能有自訂的品牌和合規要求
過濾類型
| 類型 | 目的 | 方法 |
|---|---|---|
| 有害內容 | 阻擋暴力、色情、歧視內容 | 分類器 + 關鍵字 |
| 敏感資料 | 阻擋 PII、信用卡號、密碼 | 正則表達式 + NER |
| 事實驗證 | 標記可能不正確的資訊 | 知識庫比對 |
| 品牌合規 | 確保符合企業品牌語調 | 自訂規則 + 分類器 |
| 法規合規 | 阻擋可能違反法規的建議 | 領域特定規則 |
實作方式
1. 規則型過濾
使用正則表達式和關鍵字清單來偵測已知的不當模式。簡單但容易繞過。
2. AI 型過濾
用另一個 AI 模型來檢查輸出。更靈活但增加延遲和成本。
3. 混合型
先用規則型快速過濾明顯的問題，再用 AI 型處理需要上下文理解的內容。這是目前最推薦的做法。
挑戰與限制
- 延遲：額外的過濾步驟增加回應時間
- 誤判：過度過濾會降低 AI 的實用性
- 對抗性：攻擊者可以設計繞過過濾的內容
- 多語言：過濾規則需要覆蓋所有支援的語言
- 上下文：同一句話在不同上下文中可能是正常或不當的
設計原則：輸出過濾不是追求 100% 阻擋。它是縱深防禦策略的一層——與模型安全訓練、輸入過濾、存取控制一起組成完整的防線。
常見問題
輸出過濾會讓 AI 變慢嗎？
會增加 50-200ms 的延遲。規則型過濾幾乎不影響，AI 型過濾影響較大。對於對話型應用通常可以接受，對於即時應用可能需要優化。
應該過濾所有 AI 輸出嗎？
建議依場景決定。面向公眾的 AI 應用建議全過濾。內部使用且使用者受過培訓的場景可以降低過濾強度，避免影響生產力。
如何平衡安全和使用體驗？
關鍵是分級過濾：低風險場景用寬鬆規則、高風險場景用嚴格規則。並提供使用者明確的回饋——告訴他們為什麼某個回答被過濾了。