IXThinker·2025-06-10 00:10

對數線性注意力破解長序列算力瓶頸

Mamba作者Tri Dao與Eric P. Xing等聯同MIT、普林斯頓、CMU等機構，提出全新注意力機制對數線性注意力，將長序列建模效率推進至對數級別。

技術核心

對數線性注意力透過Fenwick樹分段配合掩碼矩陣優化，令注意力機制獲得對數級效率，撬開了長期束縛注意力計算的「平方枷鎖」，緩解長序列建模的算力瓶頸。