IXThinker·2026-09-04 17:30

微軟研究：滑窗注意力反超線性方案

一項新研究提出，在滑動窗口注意力基礎上僅加入四個標記，即可在長上下文任務上反超需要額外後訓練的線性注意力方法，為緩解推理階段的記憶體膨脹與能耗問題提供了更簡單可行的路線。

瓶頸所在

隨着大語言模型上下文長度增加，標準全注意力機制須為每個新標記保留此前所有標記的鍵值快取，記憶體隨上下文持續膨脹，解碼成本與能耗同步攀升，成為實際部署的關鍵瓶頸。