IXThinker·2026-10-20 19:30

港科大等開源模型大幅削減KV Cache

香港科技大學、卡內基梅隆大學與岩山科技合作開源新模型，上下文長度由四千詞元擴至二十五萬六千詞元，KV Cache佔用始終維持在72MiB，較源模型減少九成九以上。

內存焦慮背景

大模型推理對內存需求持續攀升，KV Cache是其中一筆不小開銷。谷歌今年一篇論文指KV Cache至少可壓縮六倍，消息一度令美光等存儲晶片企業股價下跌，可見市場對此高度敏感。