IXThinker·2026-06-15 13:00

投資回報率重分配緩存 長上下文推理提效

針對長上下文推理中鍵值緩存佔用隨序列長度線性增長的瓶頸，研究團隊提出以預測未來效用為核心的緩存管理方法，以投資回報率重新分配緩存，在保障精度下大幅降低顯存開銷，成果入選國際會議。

長上下文瓶頸

隨着人工智能編程、智能體與深度研究等應用普及，模型單次處理的上下文正由數萬詞元邁向百萬級。鍵值緩存的內存佔用隨序列長度線性增長，推高顯存成本，並直接限制批量推理的吞吐能力。