IXThinker·2025-05-29 10:21

華科港中文推GOAT框架 大降LoRA微調成本

大模型參數龐大，下游任務微調成本高企；華中科技大學與香港中文大學團隊提出全新LoRA微調框架GOAT，標榜單卡即可微調、記憶體佔用僅為全量微調的1/8，成果獲ICML 2025接收。

微調成本痛點

Qwen、GPT、DeepSeek R1等基座大模型已成為現代深度學習的基石，但其龐大參數規模令下游微調成本居高不下。低秩適應（LoRA）方法透過凍結基座參數、僅微調輕量適配器來降低成本，惟性能往往不及全量微調。