IXThinker·2025-03-18 15:50

SlimAttention：KV快取減半不損精度

前蘋果ASIC架構師Nils Graef與一名UC伯克利在讀本科生提出新注意力機制Slim Attention，讓大模型在相同上下文窗口下只需一半內存，且精度完全無損。

機制原理

Slim Attention以標準多頭注意力（MHA）為基準，對其中value快取的處理過程進行調整，實現更少的內存佔用。有網民評價，這個方法雖然簡單，卻十分巧妙。