嵌套學習新範式出爐 劍指大模型災難性遺忘

持續學習的核心難題

過去十年，神經網絡與訓練算法進展顯著，但大語言模型在持續學習上仍有明顯短板：學習新任務時，往往會覆蓋甚至遺失舊有知識，這方面變化尤其值得重視。

這種被稱為災難性遺忘的現象，令模型難以像人類一樣邊使用邊成長，也使模型更新高度依賴昂貴的重新訓練，制約了AI系統的長期演進。