IXThinker·2025-01-11 11:50

MSRA新算法助Qwen2.5自我進化勝o1

7B參數的Qwen2.5在數學推理上超越o1-preview，幕後功臣是微軟亞洲研究院（MSRA）的新算法rStar-Math。該方法透過代碼增強的思維鏈與蒙特卡洛樹搜索，讓小模型在無需教師蒸餾的情況下，經多輪自我進化掌握深度數學思維。

方法拆解

rStar-Math結合代碼增強的鏈式思維（CoT）與蒙特卡洛樹搜索（MCTS），令小模型在多輪自我進化中逐步掌握數學推理，全程無需依賴蒸餾教師模型。這種自我進化的深度思維訓練路線，是小模型逆襲的關鍵。