一句話說明
AI Alignment（AI 對齊）是讓 AI 系統的目標和行為跟人類的意圖和價值觀一致的研究領域。當 AI 越來越強大，對齊的重要性也跟著提高。
為什麼「對齊」這麼重要
想像你請一個非常聰明但完全沒有常識的助手幫你「最大化公司營收」。它可能會做出欺騙客戶、違反法律、壓榨員工等行為，因為這些確實能在短期內提高數字。它完美地執行了你的指令，但完全不符合你的期待。
這就是 AI 對齊問題的核心：AI 可能會按照字面意義執行指令，但沒有理解你真正想要達成的目標。你說「最大化營收」，你心裡想的是「在合法合理的範圍內提升業績」，但你沒有把所有隱含的條件都列出來——因為你以為對方（人類助手）有常識，會自動理解那些沒說出口的限制。
在日常使用中，對齊問題的表現沒有這麼極端，但你可能已經遇過了。你請 AI 幫你寫一封信，它寫了一封語氣太強硬的信，因為你只說了「要清楚表達立場」而沒有加上「維持良好關係」。你請 AI 摘要一篇文章，它省略了你覺得最重要的部分，因為它判斷「重要」的標準跟你不同。
隨著 AI 的能力越來越強，對齊問題的影響也越來越大。一個只會聊天的 AI 沒對齊好，頂多給出不恰當的回覆；一個能自主執行任務的 AI Agent 沒對齊好，可能造成實際的損害——比如自動發送不當的郵件、執行錯誤的交易、或刪除不該刪的資料。
用一個更貼近台灣職場的比喻：對齊問題就像一個剛入職的實習生，能力很強但不了解公司文化。你交代他「處理客戶投訴」，他可能用非常直接的方式回覆客戶，在技術上解決了問題，但把客戶關係搞砸了。你需要花時間教他公司的做事方式、語氣、優先順序——這個過程就類似於 AI 對齊。
對齊的三個層次
AI 對齊可以從三個層次來理解，每個層次解決不同面向的問題。
指令遵循（Instruction Following）
最基本的層次。AI 能理解並執行使用者的指令。早期的語言模型經常答非所問，你問它一個問題，它可能會繼續生成看似相關但完全離題的文字。或者你指定了格式要求（「用條列方式回答」），它卻用長段落回覆。
經過 instruction tuning（指令微調）的訓練後，現在的模型在這方面已經進步很多。你說「翻譯成英文」，它就翻譯；你說「控制在 100 字以內」，它就控制長度。但指令遵循只是對齊的第一步，一個能精確執行指令的 AI 仍然可能執行有害的指令。
無害性（Harmlessness）
第二個層次。AI 不會產生有害的輸出。這包括不提供製作危險物品的教學、不產生仇恨言論、不協助詐騙或犯罪行為、不洩漏他人的隱私資訊。
這個層次的挑戰在於定義「有害」的邊界。安全研究者討論攻擊手法是學術討論還是犯罪教學？描述歷史上的暴行是教育還是有害內容？一個化學配方在學術語境中是知識，但在犯罪語境中可能是危險資訊。AI 很難根據上下文做出人類直覺中「常識性」的判斷。
在台灣的企業情境中，「有害」的定義還會因為產業而不同。金融業的 AI 不能給出看起來像投資建議的回覆（可能違反法規）；醫療業的 AI 不能給出看起來像診斷的回覆。每個應用場景需要根據自身的法規和風險定義什麼算是「有害」。
誠實性（Honesty）
第三個層次，也是目前最困難的。AI 不會說它知道其實不知道的事情，不會編造看起來合理但實際上錯誤的資訊。
這跟幻覺（hallucination）問題直接相關。所有主流的大型語言模型都會幻覺——用很有自信的語氣說出錯誤的資訊。AI 不會說「我不確定」或「我沒有這方面的資訊」，它傾向於編造一個聽起來合理的答案。
理想的誠實 AI 應該能夠區分：我確定知道的事情、我有一定把握但不確定的事情、以及我完全不知道的事情。然後根據這個區分，調整回覆的語氣和內容。目前的模型在這方面還有很大的進步空間。
飛飛在教學中常用這個例子來說明：如果你問 AI 一個關於台灣法律的問題，它可能會給出一個看起來正確的回覆，但實際上引用的法條可能已經修改過了、或者解讀有誤。它不會提醒你「這個回答可能不夠準確，建議諮詢律師」——除非你在 prompt 裡明確要求它這樣做。
目前的對齊方法
RLHF（Reinforcement Learning from Human Feedback）
RLHF 是目前最廣泛使用的對齊技術，也是讓 GPT-3 進化成 ChatGPT 的關鍵技術。它的流程分成幾個階段。
首先，讓 AI 對同一個問題產生多個不同的回覆。比如你問「如何準備面試？」，AI 可能生成五個不同的回覆。
然後，由人類標註員（通常是經過訓練的標註人員）排序這些回覆。他們根據「有幫助」「安全」「誠實」等標準，選出哪個回覆最好、哪個次之、哪個最差。
接下來，用這些排序資料訓練一個「獎勵模型」（Reward Model）。這個模型學會了預測「人類會覺得什麼樣的回覆比較好」。
最後，用強化學習（具體來說是 PPO 演算法）讓 AI 學會產生「獎勵模型給高分」的回覆。AI 本質上在學習「模仿人類偏好」。
RLHF 的效果非常顯著——ChatGPT 能從 GPT-3 那種「常常胡言亂語」的狀態變成「大多數時候有用且安全」，RLHF 是最大的功臣。
但 RLHF 也有明顯的問題。
第一，人類標註員的偏好不一定代表「正確」。研究發現，標註員傾向選擇聽起來比較有自信、比較長、比較像「專家口吻」的回覆——即使這些回覆的內容未必比簡短直接的回覆更正確。這導致 AI 學會了用自信的語氣說話，但不一定更誠實。
第二，獎勵模型可以被「駭入」（reward hacking）。AI 可能學會產生「獎勵模型喜歡但實際上對人類沒幫助」的回覆。比如學會在回覆中加入大量限定語（「這取決於具體情況」「每個人的狀況不同」），讓回覆看起來很周全但實際上沒有提供有用的資訊。
第三，成本高。需要大量高品質的人類標註，而且標註員之間的一致性往往不高——不同的人對「什麼是好回覆」有不同的標準。
Constitutional AI
Anthropic（Claude 的開發公司）提出的方法，也是 Claude 的對齊技術基礎。核心理念是給 AI 一套「憲法」——一組明確的原則，然後讓 AI 自己根據這些原則來評估和改進自己的回覆。
具體流程是：AI 先對一個問題產生回覆，然後被要求根據特定的原則自我評估。比如，原則之一是「不要幫助使用者做違法的事」，AI 就會檢查自己的回覆是否符合這個原則。如果不符合，AI 自己修改回覆。這個自我批評和修改的過程產生的資料，被用來進一步訓練模型。
Constitutional AI 的核心優勢有幾個。
原則是透明的、可以被明確定義和討論的。跟 RLHF 中隱含在標註員偏好裡的模糊標準相比，你可以清楚知道模型是根據什麼規則行事。
原則可以根據需要更新和調整。如果發現某個原則太嚴格（導致模型拒絕合理的請求）或太寬鬆（讓有害內容通過），可以修改原則的措辭或增加新的原則。
減少對人類標註員的依賴。因為 AI 可以自己根據原則做評估，減少了需要人類標註的工作量和成本。
Anthropic 公開了 Claude 的憲法原則（雖然不是完整版本），讓外界可以了解 Claude 的行為準則是什麼。這種透明度在 AI 產業中是比較少見的。
DPO（Direct Preference Optimization）
DPO 是 2023 年由 Stanford 研究者提出的方法。它觀察到 RLHF 中「訓練獎勵模型」這個步驟可以被跳過——直接用人類的偏好排序資料來微調語言模型，數學上可以證明在理想條件下跟 RLHF 得到相同的結果。
DPO 的實作比 RLHF 簡單很多。RLHF 需要同時維護四個模型（原始模型、獎勵模型、策略模型、價值模型），訓練過程不穩定、超參數敏感。DPO 只需要原始模型和偏好資料，訓練過程更穩定，也更容易除錯。
這讓 DPO 在開源社群中特別受歡迎。很多開源模型（如 Mistral、各種 Llama 微調版本）採用 DPO 來做對齊，因為它降低了技術門檻和計算成本。
但 DPO 也有其限制。它對偏好資料的品質非常敏感——如果偏好資料的品質不高，DPO 的效果可能不如 RLHF。在實務中，很多團隊會根據自己的資源和需求，選擇 RLHF 或 DPO，或者結合使用。
其他對齊方法
除了上述三種主流方法，還有一些值得了解的對齊技術。
RLAIF（Reinforcement Learning from AI Feedback）讓 AI 自己當標註員，用 AI 的回饋來取代人類的回饋。好處是規模可以很大、成本較低；壞處是 AI 的偏見可能被放大。
紅隊測試（Red Teaming）讓專業的安全研究人員嘗試用各種方式攻擊 AI 系統，發現對齊的漏洞。這跟資安中的滲透測試概念類似。飛飛在做 AI 安全評估時，紅隊測試是重要的環節之一。
機械式可解釋性（Mechanistic Interpretability）試圖理解模型內部的運作機制——它到底是怎麼做出決策的。如果我們能理解模型的「思考過程」，就能更好地判斷它是否真正對齊，還是只是表面上看起來對齊。
對齊為什麼這麼難
目標規格化問題
人類的價值觀很難用精確的數學公式表達。「有用」「安全」「誠實」這些概念在不同文化、不同情境下有不同的解讀。
以「安全」為例。在美國的文化語境下，討論槍枝的維護保養可能是正當的（槍枝合法持有）；在台灣的語境下，同樣的內容可能被視為不恰當。在學術語境下，討論漏洞利用的技術細節是安全研究；在社群媒體上，同樣的內容可能成為犯罪教學。
你沒辦法寫一個函式 is_aligned() 來判斷 AI 的行為是否對齊，因為「對齊」的定義本身就不是固定的。
可擴展的監督問題
當 AI 的能力超過人類評估者的能力時，你要怎麼判斷它的回覆是正確的？如果你問 AI 一個你自己都不知道答案的專業問題——比如一個複雜的數學證明、一段涉及多個罕見疾病交互作用的醫療分析——你沒有能力評估它的回答是否正確。
這被稱為 scalable oversight（可擴展的監督）問題。隨著 AI 的能力越來越強，這個問題會越來越嚴重。如果 AI 的推理能力超過了人類，我們要怎麼確保它的推理方向是我們想要的？
一些可能的解決方向包括：讓 AI 解釋它的推理過程（但它可能學會產生看起來合理但實際上不準確的解釋）；讓多個 AI 互相審查（但它們可能有共同的盲點）；設計更好的評估方法讓人類能理解 AI 的決策。
分佈外泛化問題
AI 在訓練時學到的對齊行為，可能在面對從未見過的新情境時失效。模型在正常對話中表現良好——這是因為正常對話是它在訓練時見過最多的場景。但面對精心設計的 prompt injection 或 jailbreak 攻擊，它可能會繞過安全限制，因為這些攻擊模式在訓練資料中可能出現的比例很低。
用更直白的話說：AI 在「考試」（訓練場景）中學會了正確的行為，但在「真實世界」（未見過的場景）中可能會做出不同的事。這跟人類的情況其實也類似——我們在可預見的情境中表現良好，但在全新的壓力情境中可能會做出平時不會做的事。
對齊稅
對齊不是免費的。更嚴格的對齊訓練通常會降低模型在某些任務上的表現。研究者稱之為「對齊稅」（alignment tax）。如果安全訓練讓 AI 變得太過保守，使用者可能轉向安全性較差但更有用的模型。
理想的情況是把對齊稅降到接近零——讓 AI 既安全又有用，不需要犧牲一方來成全另一方。目前的技術還在朝這個方向努力。
對齊與台灣企業的關係
對大多數台灣企業來說，你不需要自己做對齊，但你需要理解對齊的概念，才能做出更好的技術決策。
選擇 AI 模型時，對齊品質是重要的評估因素。選擇有公開安全報告（如 Anthropic 的 Model Card、OpenAI 的 System Card）的模型，你可以了解模型經過了什麼樣的安全訓練、在什麼場景下可能出問題。對齊細節不透明的模型，風險也相對不透明。
微調模型時要注意對齊的影響。如果你用自己的資料微調一個模型，微調過程可能會影響原本的對齊訓練效果。有些企業在微調後發現模型的安全行為變差了——原本會拒絕的請求，微調後不再拒絕。微調後需要重新進行安全測試。
使用開源模型時要特別小心。開源社群有大量的微調模型，其中一些刻意移除了安全限制（「uncensored models」）。在企業環境中使用這類模型之前，需要清楚了解它們的對齊狀態和適用場景。
安全與限制
對齊是持續的過程。沒有一次對齊就永遠安全這回事。AI 模型會持續更新，新的攻擊手法會持續出現，社會對「安全」的定義也會持續變化。模型的對齊狀態需要定期重新評估。
過度對齊也是問題。如果 AI 為了安全而拒絕回答太多合理的問題（例如拒絕討論任何涉及安全的技術問題、拒絕翻譯包含敏感詞的學術論文），它就失去了實用性。使用者會覺得 AI「太保守」「不好用」，然後轉向安全性較差的替代品。在安全和有用之間找到平衡點是持續的挑戰。
對齊不能解決所有問題。即使 AI 對齊了人類的意圖，如果人類的意圖本身就有問題（例如要求 AI 協助監控員工的私人通訊、用 AI 來做大規模的虛假內容生產），對齊技術本身不會阻止這些用途。對齊是技術手段，還需要配合法規、企業倫理和社會規範。
對企業使用者的實務建議是：選擇有透明安全報告的模型、在關鍵決策場景中加入人工審查機制、定期進行 AI 系統的安全評估，以及跟上對齊技術的發展趨勢——這些做法的組合比依賴任何單一的對齊技術更有效。
常見問題
AI 對齊跟 AI 安全是同一件事嗎？
兩者相關但不相同。AI 安全是更廣泛的概念，涵蓋對齊、防範攻擊、隱私保護、公平性、可解釋性、系統穩定性等多個面向。對齊是 AI 安全的核心子題之一，專注在「讓 AI 的行為符合人類意圖」這個問題上。打個比喻：對齊是確保 AI 的「價值觀」跟人類一致；AI 安全還包括確保 AI 系統不被攻擊、不洩漏資料、處理公平等技術面的議題。
目前的 AI 模型對齊得好嗎？
比三年前好非常多，但離理想狀態還有距離。以 ChatGPT 和 Claude 為例，它們在大多數正常使用情境下表現良好，能拒絕明顯有害的請求、能承認不確定性（雖然做得還不夠一致）。但面對刻意的攻擊（jailbreak、prompt injection）時仍然可以被繞過。它們的幻覺問題——看起來自信地說出錯誤的資訊——也還沒有被根本解決。2026 年的模型在對齊品質上持續進步，但離「完美對齊」還有很長的路。
開源模型的對齊品質如何？
差異很大。由大型機構發布的開源模型（如 Meta 的 Llama 系列）有做基本的對齊處理，品質接近但通常不及頂級的閉源模型。社群微調版本的對齊品質更是參差不齊——有些認真做了安全訓練，有些刻意移除了安全限制。使用開源模型時，要仔細閱讀模型卡（Model Card），了解它經過了什麼對齊訓練，以及開發者建議的使用場景和限制。
對齊會讓 AI 變得比較不好用嗎？
可能會，但好的對齊應該把影響降到最低。過度對齊的 AI 會拒絕回答太多問題，讓使用者覺得它「太保守」。Claude 的 Constitutional AI 方法嘗試透過明確的原則來處理這個問題——拒絕的理由更一致、更可理解，而且可以根據回饋調整原則。理想的對齊是讓 AI 在該拒絕的時候拒絕、該幫忙的時候幫忙，這個平衡點正在不斷被優化。
普通使用者需要關心 AI 對齊嗎？
如果你只是在日常生活中使用 AI 聊天、翻譯、整理資料，對齊問題主要以「回覆品質」和「安全性」的形式影響你。你不需要了解 RLHF 的技術細節，但了解「AI 可能會犯錯」「AI 可能會編造資訊」「AI 的安全限制不是絕對的」這些概念，會讓你更聰明地使用 AI。如果你是 AI 應用的開發者或企業的 AI 導入負責人，對齊知識可以幫助你選擇合適的模型、設計安全的系統架構、做好風險管理。
為什麼不同的 AI 模型對同一個問題的回應不一樣？
因為它們的對齊訓練方式和原則不同。OpenAI 的 ChatGPT 主要用 RLHF，Anthropic 的 Claude 用 Constitutional AI，Meta 的 Llama 用 DPO 加上社群的微調。每種方法的訓練資料、原則定義、標註員團隊都不同，所以模型在面對邊界情境時的行為也不同。一個問題在 ChatGPT 會得到回覆，在 Claude 可能會被婉拒，反之亦然。
相關文章
參考資料
- Anthropic: Constitutional AI: Harmlessness from AI Feedback
- OpenAI: Training language models to follow instructions with human feedback
- Rafailov et al.: Direct Preference Optimization: Your Language Model is Secretly a Reward Model