大模型下一步是學會「睡覺」？谷歌康奈爾研究持續學習難題

模型部署後被凍結

大語言模型在完成部署後，通常進入近乎「凍結」的狀態，能夠執行預訓練階段已掌握的任務，卻很難像人類一樣持續吸收新知識，知識隨時間推移逐漸過時。

這帶來一個長期矛盾：停止學習，模型會落伍；持續微調參數，又容易引發「災難性遺忘」，新能力學進來的同時，原有能力被削弱甚至覆蓋。