IXThinker·2025-06-24 19:00

少量高熵tokens主導思維鏈 Qwen清華解密

強化學習如何高效提升大語言模型推理能力？阿里Qwen與清華LeapLab團隊的分析發現，思維鏈中少量高熵tokens扮演關鍵分叉角色，這一機制可為高效強化學習提供新方向。

高熵分叉效應

兩個團隊詳細分析大語言模型思維鏈與強化學習的特點後發現，僅有少量tokens呈高熵狀態，主要起「fork」分叉作用，決定思維鏈的邏輯方向；大量tokens則呈低熵狀態，在既定方向內完成推理。