IXThinker·2025-10-28 00:50

Pos2Distill蒸餾法糾正模型位置偏見

語言模型對輸入序列不同位置的敏感度並不一致，這種位置偏見制約着複雜推理、長文本理解與模型評估的表現。Pos2Distill提出「位置到位置」蒸餾框架，讓模型自己糾正自身的系統性偏差。

偏見如何現形

典型表現是：對比兩個候選答案時，模型常因偏好首個選項而誤判，損害其作為評估器的公正性與可靠性。這種對特定位置的過度關注，令同一內容放在序列不同位置便得到不同待遇。