IXThinker·2025-02-15 13:40

用LLM做評審：認識獎勵模型運作原理

讓大語言模型充當評審，是當前模型對齊與評估的熱門課題。系列文章第五篇聚焦獎勵模型，講解它如何以成對比較學習人類偏好，以及訓練完成後如何作為獎勵函數改進其他模型。

何謂獎勵模型

獎勵模型透過學習人工標註的成對prompt數據來預測分數，優化目標是對齊人類偏好；訓練完成後，它可以作為人工評估的代理獎勵函數，用來改進其他模型，是對齊流程中的關鍵組件。