快速回答
AI Benchmark(AI 評測)就像 AI 的考試——用標準化的題目測試不同 AI 模型的能力,讓你知道哪個模型在哪方面最強。ChatGPT vs Claude vs Gemini,誰比較厲害?評測給你數字答案。
主要評測標準
| 評測 | 測什麼 | 題目類型 |
|---|---|---|
| MMLU | 通識知識 | 57 科目選擇題 |
| HumanEval | 程式碼能力 | Python 程式題 |
| GSM8K | 數學推理 | 小學數學應用題 |
| HellaSwag | 常識推理 | 句子完成 |
| MT-Bench | 對話品質 | 多輪對話評分 |
| LMSYS Chatbot Arena | 人類偏好 | 人類盲測比較 |
小提醒:評測分數不等於實際使用體驗。一個模型 MMLU 分數最高,不代表它回答你的問題最好。Chatbot Arena 的 ELO 排名是目前最接近「真實使用感受」的評測。
安全提醒:有些模型會針對評測「作弊」——在訓練時加入評測題目讓分數虛高。這叫 Benchmark Contamination。看評測時注意是否有獨立第三方驗證。
常見問題 FAQ
哪個評測最可信?
LMSYS Chatbot Arena 的 ELO 排名最接近真實使用感受,因為是人類盲測。
評測分數高就代表模型好嗎?
不一定。分數反映特定任務的能力,實際使用還受 Prompt、速度、價格等因素影響。
台灣有繁體中文的 AI 評測嗎?
有。TMMLU+ 是專為繁體中文設計的 MMLU 變體,更能反映模型的中文能力。