IXThinker·2025-02-15 15:10

蘋果研究：蒸餾教師模型非越強越好

大模型蒸餾也有Scaling Law了。蘋果最新研究系統刻劃蒸餾過程中師生模型能力之間的冪律關係，發現教師模型並非越強越好，並就蒸餾時的計算資源分配提出實用建議。

師生能力有冪律

研究透過改變不同參數量、蒸餾數據量等條件進行實驗，發現蒸餾過程中學生模型與教師模型能力之間存在冪律關係：學生模型的損失整體隨教師模型損失的降低而下降，規律清晰可循。