微信AI提出WeDLM 擴散模型推理提速3倍
在規模化部署場景,推理速度的權重日益提升。騰訊微信AI團隊提出擴散語言模型WeDLM,成為首個在vLLM上快於自回歸模型的擴散模型,數學推理提速超過3倍,項目已開源。
技術瓶頸
自回歸模型逐token生成,難以利用並行算力,長文本與高併發場景延遲高、成本大;擴散語言模型雖可並行,卻因雙向注意力破壞KV緩存,實際表現常不及優化的自回歸引擎。
IXThinker 會員內容
呢篇係 Archive 內容。登入即可解鎖全文,仲有成個 15,000+ 篇、每日更新嘅 AI 動態資料庫。
免費登入/註冊解鎖全文 →Google 或電郵地址即可,即刻解鎖。
