Together AI 推 2-bit KV Cache 量化

長上下文的顯存困境

長上下文模型越來越能記，但部署上線時最先頂不住的往往不是算力。模型每生成一個新token，都要回讀越來越長的歷史Key與Value。

上下文越長、批次越大，KV Cache對顯存容量與帶寬的消耗就越明顯，顯存壓力隨之急劇上升，直接制約長上下文服務能夠承載的規模上限。