IXThinker·2025-01-06 13:00

斯坦福研究揭大模型數學推理弱點

斯坦福大學研究發現，大模型的數學推理能力可能只是「背題」。在其提出的 Putnam-AXIOM 測試集上，僅更換題目變數名稱與取值範圍，多個主流模型的準確率便大幅下滑，表現最好的 o1-preview 亦未能倖免。

測試設計

團隊構建 Putnam-AXIOM 測試集，對原題只作兩類改動：更換變數名稱、調整變數取值範圍。題目本質不變，卻足以令模型的解題表現直線下降，暴露出對熟悉題面的依賴。