作者：默思編輯部 發布：2026-05-04
MMLU、HumanEval、甚至相對較新的 GPQA Diamond，這些過去用來塑造大眾對 AI 進展認知的知名基準測試，2026 年業界普遍認為它們已經「飽和」（saturated）或「被污染到失去意義」（contaminated their way out of usefulness），尤其是在最前沿的模型比較上，已經很難再看出有意義的差距。
「資料污染」（data contamination）指的是：這些基準測試的題目內容，很可能已經在訓練資料裡出現過——換句話說，模型不是真的「解出」這道題，而是「背過」這道題的答案。業界估計每一個廣泛使用的靜態基準測試都存在一定程度的污染，過去甚至有研究發現高達五成的機器學習基準測試存在資料外洩問題。更棘手的是，同一組模型權重，換一套評測工具（evaluation harness）跑，分數可以相差 10 到 20 分——這代表排行榜上的名次差距，很大一部分可能只是評測方法造成的雜訊，不是真實能力差異。
除了污染問題,另一個更根本的落差在於「實驗室測試分數」跟「真實部署後的實際表現」之間的差距——企業級 agentic AI 系統的實測數據顯示，實驗室基準分數跟正式環境部署後的實際表現之間，存在高達 37% 的落差。這代表就算一個基準測試沒有被污染，它終究只是一個「代理指標」（proxy），不是效能保證。
面對這個信任危機，2026 年業界比較誠實、務實的做法包括：
對於需要根據模型能力做選型決策的開發者或企業主管而言，2026 年的務實心法是：不要只看排行榜上的單一分數，尤其是遇到「這款模型在 XX 基準測試拿下第一」這類行銷宣傳時，更要保持警覺——真正有意義的驗證方式，是針對你實際要解決的任務，自己建立一套小型但貼近真實場景的測試案例，親自跑過一輪比較，而不是把公開排行榜的名次直接當成採購依據。