IXThinker·2025-02-25 18:00

MATH-Perturb測試大模型推理真偽

大模型在高難度數學推理上的驚人表現，究竟源自真正的推理能力還是背題？普林斯頓大學的報告將於2月27日介紹MATH-Perturb項目，以更深入的題目改動檢驗模型的真實推理水平。

研究緣起

為分辨推理與記憶，先前研究多以簡單改動構建數學基準，但簡單擾動過的題目仍保留原解題模式的基本推理套路，不足以充分挑戰模型；複雜改動此前尚無系統探索，構成明顯空白。