IXThinker·2026-09-16 20:10

在線策略蒸餾成後訓練標配 機理研究拆解

在線策略蒸餾（OPD）近年被廣泛用於大模型後訓練：學生模型自行生成rollout，教師模型在每個詞元位置給出分佈監督。有研究系列專注拆解其機理，回答OPD何時高效、教師強弱如何取捨等問題。

蒸餾技術成標配

自2025年起，叫得出名字的頭部大模型基本都採用在線策略蒸餾：學生模型自己生成rollout序列，教師模型在每個詞元位置提供概率分佈監督，訊號密集、準確且節省算力。