IXThinker·2025-06-06 23:00

強化學習只需兩成關鍵token 效果更佳

清華大學LeapLab與Qwen團隊發現，強化學習訓練大模型推理能力時，僅約20%的高熵token便能撐起整個訓練效果，甚至比用全部token更好，並據此在Qwen3-32B上創出新紀錄。

二八法則的印證

經典的帕累托法則指出，通常80%的結果由20%的關鍵因素驅動。團隊在強化學習訓練中發現類似規律：只有少數高熵token真正驅動訓練效果，僅用這兩成關鍵token，效果反而勝過全量訓練。