IXThinker·2025-10-10 13:10

清華團隊提出TDRM平滑獎勵模型

獎勵模型是大語言模型強化學習與推理驗證的核心，卻普遍缺乏時間一致性，令訓練訊號互相矛盾。清華大學聯合加州理工學院提出TDRM框架，以時間差分學習平滑獎勵，針對長思維鏈場景的痛點。

問題所在

現有獎勵模型下，推理軌跡中某一步的獎勵往往與相鄰步驟無關，產生不一致且易誤導的訓練訊號，導致策略更新效果差、訓練不穩定；在長思維鏈場景，模型完成整串推理前拿不到任何獎勵，難以判斷哪一步有用、哪一步多餘。