IXThinker·2025-11-01 16:50

Kimi開源線性注意力架構 推理加速最高6倍

Transformer的時代正在被改寫。月之暗面發布開源架構Kimi Linear，以全新注意力機制在相同訓練條件下首次超越全注意力模型，長上下文任務中KV快取減少75%，推理最高加速6倍。

全注意力的燒錢病

傳統Transformer的注意力是全連接的，每個Token都要與其他所有Token互動，計算量隨輸入長度呈平方增長，KV快取亦水漲船高。這種「聰明得太燒錢」的結構，正是長上下文應用的最大成本來源。