IXThinker·2025-02-27 15:00

MATH-Perturb檢驗大模型是真推理還是背題

大型語言模型在高難度數學推理任務上表現驚人，但其能力源自真正推理還是記憶背題，一直存在爭論。有研究團隊推出MATH-Perturb項目，透過簡單與複雜兩類擾動構建測試集，深入檢驗模型應對題目變化的真實水平。

背題還是推理

模型的數學能力若主要來自記憶，遇到題型變化便可能失效；若來自真正推理，則應能遷移到新情境。此前研究多用簡單擾動構建基準，但擾動後的題目仍保留基本解題模式，難以真正區分兩者。