IXThinker·2025-04-24 20:00

SD-LoRA 告別 AI 失憶症 實現終身學習

災難性遺忘長期困擾模型的持續學習。哈佛團隊聯手香港城大與西安交大提出 SD-LoRA，無需儲存舊數據即可緩解遺忘，成果獲 ICLR 2025 接收為 Oral Presentation。

技術思路

有別於常見的混合專家模型路線，SD-LoRA 針對預訓練模型的持續學習，逐步引入低秩矩陣並分解其方向與幅值：固定已學任務的方向參數，僅調整幅度權重。