IXThinker·2025-09-05 14:00

港科廣與智源提出可訓練動態稀疏注意力機制

香港科技大學（廣州）與北京智源人工智能研究院聯合提出可訓練的動態掩碼稀疏注意力機制，在保持模型表達能力的同時，顯著降低長序列大模型的注意力計算與顯存開銷，相關成果將在報告會上分享。

長序列的成本

注意力機制的計算量隨序列長度急增，是長上下文大模型訓練與推理的主要開銷來源。過往稀疏注意力方案多用於推理加速，鮮少直接服務於預訓練階段的端到端學習。