IXThinker·2026-07-28 22:20

大模型遺忘學習新框架 針對關鍵位置局部優化

一項獲評學術會議傑出論文的研究提出PALU框架，針對大模型遺忘學習中全局優化損害通用能力的瓶頸，改為聚焦關鍵位置的局部熵最大化。方法發現僅抑制敏感前綴即可切斷目標知識的生成鏈路，實現精準低損的遺忘。

遺忘學習難題

機器遺忘學習旨在從大語言模型中移除特定知識，例如涉及私隱或版權的內容，同時盡量不損害模型其他能力。傳統做法對整個模型做全局優化，往往在刪除目標知識的同時令通用能力明顯下降，左右為難。