IXThinker·2026-07-01 14:50

對比信號自蒸餾強化學習 助模型學會正確推理

大語言模型的推理訓練中，自蒸餾監督信號容易被「風格差異」主導，未必聚焦關鍵推理步驟。有團隊提出基於對比信號的在線自蒸餾強化學習方法，對比正確與錯誤提示下的師生分佈差異，令學習信號更貼近任務本質。

監督信號的偏差

已有的在線自蒸餾方法，通常把模型在正確提示或特權信息下的輸出分佈當作自教師，提供逐字級監督信號。但研究發現，這類信號容易被風格差異主導，例如傾向更短、更直接的表達，未必真正對準關鍵的推理步驟。