AI 評測是什麼?AI Benchmark 白話解析

快速回答

AI Benchmark(AI 評測)就像 AI 的考試——用標準化的題目測試不同 AI 模型的能力,讓你知道哪個模型在哪方面最強。ChatGPT vs Claude vs Gemini,誰比較厲害?評測給你數字答案。

主要評測標準

評測測什麼題目類型
MMLU通識知識57 科目選擇題
HumanEval程式碼能力Python 程式題
GSM8K數學推理小學數學應用題
HellaSwag常識推理句子完成
MT-Bench對話品質多輪對話評分
LMSYS Chatbot Arena人類偏好人類盲測比較
小提醒:評測分數不等於實際使用體驗。一個模型 MMLU 分數最高,不代表它回答你的問題最好。Chatbot Arena 的 ELO 排名是目前最接近「真實使用感受」的評測。
安全提醒:有些模型會針對評測「作弊」——在訓練時加入評測題目讓分數虛高。這叫 Benchmark Contamination。看評測時注意是否有獨立第三方驗證。

常見問題 FAQ

哪個評測最可信?

LMSYS Chatbot Arena 的 ELO 排名最接近真實使用感受,因為是人類盲測。

評測分數高就代表模型好嗎?

不一定。分數反映特定任務的能力,實際使用還受 Prompt、速度、價格等因素影響。

台灣有繁體中文的 AI 評測嗎?

有。TMMLU+ 是專為繁體中文設計的 MMLU 變體,更能反映模型的中文能力。