北大華為推LouisKV 長序列推理提速4.7倍

長序列推理瓶頸

大模型處理長序列時，KV cache的記憶體佔用會隨序列長度線性增長，已成為制約模型部署的嚴峻瓶頸。長文本輸入與長輸出場景尤為明顯，硬體成本水漲船高。

針對這一痛點，北京大學與華為的研究團隊聯合提出LouisKV，一個專為長輸入、長輸出等各類長序列場景設計的高效KV cache檢索框架。