IXThinker·2025-03-04 18:10

SepLLM靠標點符號提速 KV Cache減半

看似不起眼的標點符號，竟可大幅加速大模型的訓練和推理。華為、港大、KAUST與馬普所研究人員據此提出SepLLM，為自然語言建模帶來新視角。

研究發現

團隊注意到，某些看似無意義的分隔符，在注意力得分中佔據了不成比例的重要地位。SepLLM因此將一段文本中的資訊壓縮進逗號、句號等分隔符之中，開闢新的建模思路。