IXThinker·2025-06-17 23:20

開源R-KV壓縮推理緩存 顯存省九成

推理大模型動輒長篇大論卻找不到重點，令長時間推理成本高昂。開源方法R-KV透過實時篩選token，把大模型的「碎碎念」轉化為可控的記憶條目，宣稱顯存減少90%、吞吐量提升6.6倍且準確率不變。

推理冗餘之苦

鏈式思考令大模型解題思路清晰可見，卻也使推理長度急速膨脹：一條簡單算術題可以推理整整三頁，內容多是重複的「廢話」。冗長的推理軌跡令顯存與算力負擔沉重，「長時間推理」一度成為奢侈品。