IXThinker·2025-11-07 12:40

新研究挑戰逐token生成 連續向量更省算力

微信AI與清華大學合作提出CALM（連續自回歸語言模型），把逐token生成改為預測連續向量，K個詞元打包成一個向量後，生成步驟可減至原本的1/K，兼顧性能與算力成本。

範式反思

大模型一個token一個token地生成，效率始終有限。團隊的判斷是：單個token能裝載的資訊太少，不如把K個詞元壓縮為一個連續向量，讓模型從預測下一個token轉為預測下一個向量。