IXThinker·2026-10-21 14:20港中文提出塊注意力新框架 長上下文推理省算力
長上下文大模型的成本很大部分燒在全注意力機制上，KV 狀態無法跨上下文復用。香港中文大學團隊提出 SemanticSeg 自動分段器與 Block Distillation 訓練框架，令塊注意力成為降低推理成本的可行路徑。
成本困局
長上下文模型中，全注意力的 KV 狀態與上下文綁定，同樣內容換了前綴便要從頭重算。在檢索增強生成等反覆處理重疊文檔的場景，這種計算浪費尤其明顯。
塊注意力
塊注意力被視為一條出路：將輸入切成互不干擾的獨立塊，僅由最後一塊執行全局聚合，令各塊 KV 狀態能夠跨提示復用，從而降低計算量並提升推理效率。
兩大卡點
這條路徑長期卡在兩個問題：如何把文本切成語義上有意義的塊，以及如何訓練模型適應塊注意力。切分位置處理不當，會同時損害準確率與復用率。
新框架
團隊提出 SemanticSeg 分段器，負責自動完成語義分段，配合 Block Distillation 訓練框架令模型適應塊注意力。相關工作已獲 NeurIPS 2026 收錄。