IXThinker·2025-06-21 13:20

千問聯手清華 揭示高熵token主宰推理分叉

阿里Qwen團隊與清華LeapLab團隊合作分析發現，大語言模型思維鏈中僅少數高熵tokens起關鍵「分叉」作用，這一特性可望用於提升強化學習訓練效率。

高熵即分叉

團隊詳細分析大語言模型思維鏈的特點，發現僅有少量tokens呈高熵狀態，主要充當「fork」（分叉）角色，決定思維鏈的邏輯走向，可謂推理路徑的方向盤。