IXThinker·2025-03-08 16:10

大語言模型知識蒸餾 報告梳理方法與應用

GPT-4、Gemini、Claude等頂級模型多為閉源，開源模型性能仍有顯著差距。如何透過知識蒸餾讓小模型繼承大模型能力，正是當前研究的熱點，一場專題報告將系統梳理相關方法。

研究背景

近年GPT-4、Gemini、Claude等大語言模型迅速崛起並展現強大能力，但大多閉源；除近期開源的DeepSeek外，大部分開源模型性能仍有明顯落差，提升開源及小模型能力遂成焦點。