IXThinker·2025-04-04 14:00

CalibQuant量化方案助多模態模型吞吐升十倍

多模態大模型的部署成本迎來新解法。CalibQuant團隊提出1-bit KV cache量化方案，在InternVL-2.5上實現10倍吞吐提升且性能幾乎無損，無需改動原模型即可直接套用。

記憶體瓶頸

多模態大語言模型在各類應用中表現出色，但部署時計算開銷龐大。KV cache以顯示記憶體換取推理效率，隨着上下文增長，其佔用不斷膨脹，令吞吐量受到極大限制。