IXThinker·2025-01-10 22:30

知識蒸餾對抗災難性遺忘 哈工大中科院出綜述

哈爾濱工業大學與中科院研究人員發表知識蒸餾結合持續學習的最新綜述，提出全新分類體系，並在十個數據集上開展全面實驗，系統梳理這條對抗災難性遺忘的技術路線。

研究背景

知識蒸餾已成為持續學習應對災難性遺忘的常見方法，核心思路是讓新模型模仿舊模型的輸出，從而在學習新任務的同時保留舊知識。但其在持續學習中的應用與有效性，此前仍缺乏深入探索。