IXThinker·2026-04-14 14:10

研究指監督微調學新知識可致事實幻覺

一篇會議論文研究大語言模型在監督微調中學習新知識時產生的事實性幻覺：模型對原本已能正確回答的常識問題，微調後卻給出錯誤答案。研究指出新知識的引入可能干擾既有知識結構，需在能力增強與知識保留間取平衡。

微調引發的幻覺現象

研究觀察到，語言模型經監督微調學習新知識後，會在驗證集上對原本掌握的知識出現幻覺回答。例如某小型模型本來能正確說出一位人物的職業，加入其他人物資料微調後，同一問題的答案卻由演員變成喜劇演員。