快速回答:Data Poisoning 是什麼?
Data Poisoning(資料投毒)是一種針對 AI 系統的攻擊方式——在模型的訓練資料中注入惡意或錯誤的資料,讓訓練出來的模型行為偏差或含有後門。就像在教科書裡偷偷改幾頁,學生讀完就學到了錯誤知識。這是 OWASP Top 10 for LLMs 中排名第三的風險。
白話解釋
想像你在訓練一隻導盲犬:
- 正常訓練:教牠看到紅燈停、綠燈走
- 被投毒:有人偷偷在部分訓練中,讓牠看到紅燈時得到獎勵→牠學會看到紅燈就走
更可怕的是「後門攻擊」——狗在 99% 情況下表現正常,只有特定觸發條件(例如主人穿紅色衣服)才會做出危險行為。這讓攻擊極難被發現。
攻擊類型
| 類型 | 手法 | 效果 | 偵測難度 |
|---|---|---|---|
| 標記翻轉 | 把正確標記改成錯誤的 | 模型分類錯誤 | 中等 |
| 後門攻擊 | 植入特定觸發條件 | 特定條件下誤判 | 極難 |
| 資料注入 | 在資料集中混入惡意樣本 | 偏移模型行為 | 中等 |
| 梯度攻擊 | 精心設計的微小擾動 | 影響梯度更新方向 | 困難 |
| 供應鏈攻擊 | 污染公開資料集或預訓練模型 | 大規模影響 | 困難 |
為什麼 2026 年更危險?
- Agentic AI 自動收集資料:AI Agent 自主從網路收集訓練資料,攻擊者可以在公開來源埋入惡意內容
- Fine-tuning 普及:企業用自己的資料微調模型,如果內部資料被污染就會擴散
- 供應鏈風險:Hugging Face 上超過 100 萬個模型,下載使用前很少有人完整驗證
- RAG 系統的弱點:RAG 從外部文件檢索內容,如果文件被污染,模型的回答也會被污染
偵測方法
- 統計異常偵測:分析訓練資料的分布,找出異常樣本
- 資料清洗:移除可疑的離群值和重複資料
- 模型行為監控:監控模型在特定輸入上的異常行為變化
- 激活分析:分析模型內部神經元的激活模式,尋找後門特徵
- 紅隊測試:專門嘗試觸發潛在後門行為
防範策略
資料來源管控
- 建立可信任的資料來源白名單
- 資料供應鏈可追溯性(Data Provenance)
- 對外部資料進行品質評分和驗證
訓練過程防護
- 差異隱私(Differential Privacy)增加抗毒能力
- 對抗性訓練(Adversarial Training)
- 訓練過程中的異常檢測
部署後監控
- 持續監控模型輸出品質
- 建立模型行為基線並偵測偏移
- 定期進行紅隊測試和安全審計
安全重點:Data Poisoning 是「預防勝於治療」的威脅。一旦模型被投毒並部署上線,修復成本極高——通常需要重新清洗資料並重新訓練。建立完善的資料驗證管線是最有效的防禦。
和 Prompt Injection 的差異
| 面向 | Data Poisoning | Prompt Injection |
|---|---|---|
| 攻擊階段 | 訓練階段 | 推理階段 |
| 影響範圍 | 永久改變模型行為 | 只影響單次回應 |
| 需要的權限 | 需要存取訓練資料 | 只需要輸入權限 |
| 修復成本 | 極高(重新訓練) | 較低(更新護欄) |
| 偵測難度 | 困難 | 中等 |
常見問題 FAQ
Data Poisoning 和 Prompt Injection 有什麼不同?
Data Poisoning 攻擊訓練階段資料,影響模型本身;Prompt Injection 攻擊推理階段的輸入,只影響單次回應。Data Poisoning 影響更深遠。
一般使用者需要擔心 Data Poisoning 嗎?
直接攻擊通常針對訓練 AI 的組織。但你使用的 AI 如果被投毒,會間接受影響——例如得到錯誤建議或有偏見的回答。
怎麼知道 AI 模型有沒有被投毒?
很難完全確定。方法包括:監控異常行為、統計分析資料分布、對抗性測試觸發後門。但沒有完美的檢測方法。
開源模型比較容易被投毒嗎?
不一定。開源可以社群審查,但直接使用來源不明的預訓練模型風險較高。封閉模型需信任供應商。
企業怎麼防範 Data Poisoning?
資料來源管控、訓練資料驗證和清洗、模型行為持續監控、紅隊測試、可追溯的資料供應鏈。參考 NIST AI RMF 和 OWASP LLM Top 10。
2026 年有什麼新趨勢?
Agentic AI 自動收集資料增加攻擊面、供應鏈攻擊增加、Fine-tuning 資料成新目標、防禦工具逐漸成熟。