快速回答
RLHF（Reinforcement Learning from Human Feedback，人類回饋強化學習）是讓 AI 學會「人類喜歡什麼樣的回答」的技術。這是 ChatGPT 和 Claude 能夠禮貌、有幫助、避免有害內容的核心秘密。
白話解釋
想像你在訓練一個新進客服人員：
- 基礎訓練：先讓他讀完公司所有文件（預訓練——學會語言知識）
- 範例學習：給他看優秀客服的對話範例（SFT 監督式微調——學會回答格式）
- 顧客回饋：讓顧客比較他的多種回答，挑出最好的那個（RLHF——學會什麼回答讓人滿意）
第三步就是 RLHF 做的事——不是教 AI「正確答案是什麼」，而是教它「人類偏好什麼風格的回答」。
RLHF 三階段流程
第一階段：SFT（Supervised Fine-Tuning）
用人工寫的高品質問答範例做監督式學習，讓模型學會「回答問題」的格式和風格。
第二階段：訓練獎勵模型（Reward Model）
模型對同一個問題產生多個回答，人類標記員選出「哪個比較好」。用這些偏好資料訓練一個評分模型。
第三階段：PPO 強化學習
用強化學習演算法（PPO）讓 LLM 根據獎勵模型的分數調整自己。得分高的回答風格被增強，得分低的被降低。
訓練方法比較
| 方法 | 做什麼 | 學什麼 | 類比 |
|---|---|---|---|
| 預訓練 | 讀海量文字 | 語言知識和世界知識 | 讀遍圖書館 |
| SFT | 看優秀範例 | 回答的格式和風格 | 跟前輩學做事 |
| RLHF | 接收人類偏好 | 什麼回答讓人滿意 | 聽顧客回饋改進 |
| DPO | 直接用偏好資料訓練 | 同 RLHF 但更簡單 | 更有效率的改進 |
為什麼 RLHF 這麼重要？
沒有 RLHF 的基礎模型只會「續寫文字」。它可能：
- 不回答問題，反而跑題
- 生成有害、歧視、暴力的內容
- 編造看似合理的錯誤資訊（幻覺）
- 語氣不一致，時而禮貌時而粗魯
RLHF 讓基礎模型變成你認識的 ChatGPT / Claude——有禮貌、有幫助、知道什麼不該說。
Constitutional AI：Anthropic 的改良
Anthropic 的 Constitutional AI（CAI）是 RLHF 的重要改良：
- RLHF 依賴大量人類標記（昂貴、慢、有偏見）
- CAI 寫一套明確的「憲法原則」，讓 AI 自我評估和修正
- 更可擴展、成本更低、原則更透明
安全提醒：RLHF 的品質取決於人類標記員的多樣性和專業度。如果標記員群體有偏見，模型也會繼承這些偏見。Reward Hacking 也是風險——AI 可能學會「討好」而非真正有幫助。這些都是 AI 對齊研究的核心議題。
常見問題 FAQ
RLHF 和 Fine-tuning 有什麼不同？
Fine-tuning 教 AI「正確答案」，RLHF 教 AI「人類偏好」。前者是知識層面，後者是行為層面。
沒有 RLHF 的 LLM 會怎樣？
只會續寫文字，可能生成有害內容、跑題、編造錯誤資訊。RLHF 是讓基礎模型變成有幫助的助手的關鍵。
RLHF 的標記員是誰？
各公司做法不同。有外包團隊、全職評審員、內部 Red Team、群眾外包等。
Constitutional AI 和 RLHF 有什麼不同？
Anthropic 的 CAI 用明確原則讓 AI 自我修正，替代大量人類標記。更可擴展但可能缺少人類直覺。
RLHF 有什麼限制？
成本高、標記員偏見會傳遞、Reward Hacking 風險、難以涵蓋所有文化偏好。
DPO 會取代 RLHF 嗎？
DPO 更簡單、更穩定，2026 年已被廣泛採用。但 RLHF 在某些場景仍有優勢，兩者常混合使用。