IXThinker·2026-03-20 12:21

MLRA新架構解碼提速2.8倍 支援百萬上下文

一項入選ICLR'26的研究提出新架構MLRA，透過把KV快取拆分為四個並行分支實現4路張量並行，解碼速度較MLA最高提升2.8倍，並支援百萬級上下文。

問題背景

大語言模型越來越多用於RAG、多步思維鏈推理與超長對話等長文本任務，每個解碼步驟需處理的token數量隨之增加。自回歸生成的瓶頸在於記憶體頻寬而非算力，快取成本成為核心痛點。