IXThinker·2026-05-09 17:00

Token級長度控制 3B開源模型勝閉源旗艦

生成長度直接影響推理成本與延遲。有研究將長度建模細化至token級別，提出可擴展價值預訓練新範式，其3B開源模型在精確長度控制任務上勝過多款頂級閉源模型，並在相同預算下把推理準確率提升十倍。

長度控制升至token級

token是自回歸模型的基本計算單元，每個都關係前向傳播、快取佔用、延遲與能耗。隨着長鏈推理與智能體工作流興起，生成長度直接牽動成本，研究團隊因此將長度建模由粗粒度推進至token級別，開闢價值預訓練的新維度。