IXThinker·2025-10-02 12:20

LoRA高效微調新研究出爐

距第二篇研究僅三天，Thinking Machines發布第三篇研究博客《LoRA Without Regret》，核心作者為OpenAI聯合創始人John Schulman，公司創始人Mira Murati照例轉發站台。

研究核心問題

研究探究LoRA在何種條件下能匹配全量微調（FullFT）的效率。當前主流大模型動輒萬億參數、預訓練數據達數十萬億token，而下游任務往往只需小數據集，全量更新的成本並不划算。