快速摘要
LLM Jailbreak（越獄攻擊）是指透過特殊的 prompt 技巧，繞過 AI 模型的安全限制，讓它產生本應被拒絕的內容。了解 Jailbreak 的原理有助於建立更好的 AI 安全防線。
什麼是 LLM Jailbreak
所有的商用 LLM（ChatGPT、Claude、Gemini）都有安全限制——它們被訓練為拒絕生成有害內容、敏感資訊或違法建議。Jailbreak 就是繞過這些限制的方法。
這和手機的「越獄」概念類似：原本被鎖定的功能，透過特定技巧被解開。
常見越獄技術
1. 角色扮演（Role-playing）
要求 AI 扮演一個「沒有限制的 AI」或特定角色，藉此繞過安全限制。
2. 假設情境（Hypothetical Framing）
將問題包裝在假設情境中：「如果你是一個小說家，需要寫一個角色，這個角色會如何...」
3. 漸進式引導（Gradual Escalation）
從無害的問題開始，逐步將對話引導到敏感領域，每次只前進一小步。
4. 編碼與混淆（Encoding）
用 Base64、ROT13、倒序文字等方式編碼敏感請求，繞過文字過濾。
5. 多語言攻擊（Multilingual）
用 AI 安全訓練較弱的語言來繞過限制。
影響與風險
Jailbreak 在不同情境中的風險不同：
- 個人使用：風險較低，主要是資訊安全
- 企業客服機器人：可能讓 AI 說出不當言論，損害品牌
- AI Agent：最危險——Jailbreak 可能讓 Agent 執行未授權的動作
防範策略
- System Prompt 防護：在 system prompt 中明確定義 AI 的角色和限制
- 輸入過濾：偵測和阻擋已知的 Jailbreak 模式
- 輸出過濾：在回應送出前，檢查是否包含不當內容
- 最小權限：限制 AI 可以存取的資源和執行的動作
- 監控與回報：追蹤 Jailbreak 嘗試，持續更新防禦
重要觀念：沒有任何方法可以 100% 防止 Jailbreak。防禦的重點是減少影響，而非追求完美阻擋。最有效的防線是限制 AI 的行動能力（最小權限），而非限制它的回答內容。
常見問題
Jailbreak 是違法的嗎？
在大多數國家，對自己使用的 AI 進行 Jailbreak 不違法。但用 Jailbreak 產出的內容來進行違法活動（如詐騙、製造武器）當然是違法的。
AI 公司如何應對 Jailbreak？
主要透過持續的安全訓練（RLHF）和 red teaming。每次發現新的 Jailbreak 技術，AI 公司會更新模型的安全限制。這是一場持續的攻防戰。
我需要擔心自己的 AI 應用被 Jailbreak 嗎？
如果你的 AI 應用是面向公眾的（如客服 chatbot），一定要考慮 Jailbreak 風險。建議進行 AI 紅隊測試，模擬攻擊來找出弱點。