IXThinker·2025-06-02 18:10Mamba作者新作：為推理打造的兩種新注意力
曾撼動Transformer統治地位的Mamba作者之一Tri Dao，聯同普林斯頓團隊提出兩種專為推理打造的注意力機制，在性能不變的情況下，解碼速度與吞吐量最高提升至2倍。
兩大貢獻
論文第一項貢獻是Grouped-Tied Attention（GTA），與已集成到LLaMA 3的注意力機制GQA質量相當，但KV快取用量減少約50%；第二項是Grouped Latent Attention（GLA），與DeepSeek所用的MLA注意力機制質量匹配。
IXThinker 會員內容
呢篇係 Archive 內容。登入即可解鎖全文，仲有成個 15,000+ 篇、每日更新嘅 AI 動態資料庫。
免費登入／註冊解鎖全文 →Google 或電郵地址即可，即刻解鎖。