IXThinker·2026-05-29 17:10

OSCAR方法突破2-bit KV緩存瓶頸

長上下文推理正把KV緩存推向大模型服務的瓶頸：上下文越長、並發越大，顯存容量與帶寬壓力越明顯。新研究提出OSCAR方法，以協方差旋轉處理極低比特量化中的離群值，讓2-bit緩存有望在真實服務中落地。

低比特量化的難點

把歷史鍵值壓至INT2表面上能大幅節省顯存，但僅有四個量化等級，而注意力激活中常存在少數幅值極大的離群通道，極低比特量化容易擾亂注意力分佈，導致推理與代碼類任務成績明顯下滑。