IXThinker·2026-01-13 14:20

WeDLM重構因果注意力 助擴散模型並行推理

騰訊微信AI研究員劉瑷瑋將在智源TALK分享WeDLM，一種基於標準因果注意力重構的擴散解碼框架，目標是令擴散語言模型的並行生成兼容KV Cache，提升實際部署效率。

推理瓶頸

大語言模型的自回歸生成受逐詞解碼限制，推理效率面臨瓶頸。擴散語言模型雖支持並行生成，但依賴雙向注意力，破壞KV Cache的複用性，實際部署難以勝過優化的自回歸引擎。