IXThinker·2026-04-07 16:00

新稀疏注意力機制提速長文本推理

北京大學研究團隊針對大模型長上下文的稀疏注意力機制提出改進方案，突破長文本索引的瓶頸，在現有模型上直接替換索引器即可運行，毋須重新訓練。測試顯示推理速度提升之餘，任務表現與原方法相若。

技術背景

稀疏注意力透過只計算關鍵部分降低長文本的計算開銷，惟現行方案在超過一定上下文長度後出現索引瓶頸，檢索關鍵信息的效率受限。研究團隊針對這一痛點提出新的分層索引結構。