IXThinker·2025-01-23 21:50

Transformer²研究提出LLM自適應新框架

sakana.ai最新研究為新型Transformer架構提出通用框架，核心概念是「適應性」：定義能根據環境動態變化調整行為的自適應LLM，以應對傳統微調成本高、易過擬合等痛點。

微調三痛點

傳統LLM後期訓練存在三大問題：微調資源消耗大，即使採用混合精度、量化及PEFT等技術，仍需大量計算與存儲；微調後易產生重複輸出、災難性遺忘；梯度衝突引發任務干擾，一項任務變好、另一項變差。