IXThinker·2025-09-15 14:00

研究：模型心算只靠最後一個token

來自加州大學聖克魯茲分校、喬治梅森大學與Datadog的研究人員發現，大語言模型在解心算題時，幾乎所有實際的數學計算都集中在序列的最後一個token上完成，而非分散在所有token之間。

反直覺的發現

一般認為Transformer與多層感知機（MLP）具備全局資訊訪問能力，每個token在預測時都能查詢並利用整段上文。但研究顯示，在心算這類特定任務中，全局訪問其實並非必需。