IXThinker·2025-05-31 13:50

函數向量對齊治大模型災難性遺忘

大模型持續學習為何總是「失憶」？中國科大、香港城市大學與浙江大學的聯合團隊在ICLR 2025發表研究，指災難性遺忘的本質是功能激活變化，並提出函數向量對齊訓練法。

破解遺忘之謎

團隊通過對多個語言模型、任務序列和評估指標的系統分析發現，遺忘行為具有高度模型依賴性，而導致遺忘的本質是功能激活的變化：模型並非簡單覆蓋已有功能，而是激活了帶偏差的新功能。