IXThinker·2025-10-29 15:00

蒸餾策略僅花一成成本勝過強化學習訓練

Thinking Machines發布新研究，提出以約十分之一的成本訓練出接近專家水平的小模型，方法基於模型蒸餾的知識遷移思路，並已在自家Tinker平台開源，支持外界復現實驗。

背景需求

大模型在特定領域達到專家級表現已不新鮮，DeepSeek-R1發布時便同時推出1.5B至14B等多個蒸餾版本。真正的難題在於：模型變小之後，專業能力如何盡量少打折。