IXThinker·2025-02-21 12:00

MATH-Perturb評測LLM抗改動數學推理

LLM在高難度數學題上表現驚人，但其能力究竟來自真正推理還是背題，一直存在爭議。MATH-Perturb項目構建新基準檢驗這一問題，並將於2月27日以線上報告形式詳細講解。

既有基準局限

先前研究多以「簡單改動」構建數學測試：題目表象改變，但解決方案的基本推理模式原封不動，模型可能僅憑題型識別作答，難以區分深度理解與記憶背誦。