IXThinker·2025-07-19 17:50

微軟推出無污染基準MMLU-CF 覆蓋14學科

隨著大語言模型不斷進步，如何準確評估其能力成為研究熱點，但現有基準普遍受數據污染困擾。來自微軟的團隊推出無污染多任務語言理解基準MMLU-CF，以2萬道題目、14個學科及閉源測試集，力求更公平地衡量模型真實水平。

污染之弊

MMLU等大規模多任務語言理解基準，在模型評估中一直舉足輕重。然而訓練語料來源多元且部分開放，測試題目容易被模型「背誦」，導致評分虛高，難以反映真實能力，評估公平性受到質疑。