IXThinker·2026-08-18 18:30

頂會論文連環質疑Transformer

在一場語言模型會議上，多篇論文不約而同把矛頭對準Transformer架構中長期被奉為圭臬卻少有人驗證的默認設計，各自從不同角度重新算賬，結論出奇一致：每一處標配設定，都在某些維度上付出了實際代價。

默認設計遭算賬

Transformer幾乎是所有主流模型的默認架構，其技術設定大多被視為圭臬，很少有人回頭驗證。COLM 2026上多篇論文分別從注意力機制、位置編碼等角度重新檢驗這些默認選擇，發現部分設計經不起推敲。