IXThinker·2026-02-09 00:40

小米MiMo推稀疏注意力架構 KV Cache省八成

長上下文推理的KV Cache開銷一直是Agent落地的成本痛點。小米MiMo大模型團隊推出混合稀疏注意力架構HySparse，僅用極少全注意力層供給token選擇與緩存信息，其餘層直接複用，大幅減負。

混合架構的思路

HySparse創新採用「少量全注意力層+大量稀疏注意力層」的設計：極少數全注意力層負責token選擇與KV Cache構建，其餘稀疏層直接複用這些信息，兼顧長上下文建模的效率與精度。