IXThinker·2025-01-22 22:30

研究揭蒸餾有度 多數模型蒸過頭

模型蒸餾旨在把大型語言模型的知識轉移到較小模型，以提升資源效率，但蒸餾並非越多越好。中科院、北京大學等多家機構提出新框架，系統量化蒸餾過程及其影響。

過度蒸餾風險

研究指出，過度蒸餾可能導致模型同質化，降低模型之間的多樣性，並削弱它們穩健處理複雜或新任務的能力，這些限制突顯系統量化蒸餾過程及其影響的必要性。