IXThinker·2026-05-09 18:50

免訓練加速框架令擴散大模型推理提速4.48倍

有高校與科技企業合作提出免訓練加速框架，針對擴散大語言模型的推理瓶頸，透過動態快取預算分配與自適應並行解碼，按生成過程的不確定性調配資源，在多個主流基準上實現精度無損、推理提速逾四倍，達致同類最佳。

擴散模型的瓶頸

擴散大語言模型在文本生成上潛力巨大，但面臨嚴重的計算瓶頸，推理成本高企制約其應用。主流加速方案多依賴靜態快取或固定閾值的並行解碼策略，難以因應生成內容的複雜度靈活調整，存在優化空間。