IXThinker·2025-01-11 14:50

Wasserstein距離蒸餾 挑戰KL散度地位

自Hinton等人開創以來，基於KL散度的知識蒸餾長期主導相關領域。大連理工大學研究人員另闢蹊徑，提出基於Wasserstein距離的知識蒸餾方法，克服KL散度在知識遷移中的局限，相關成果入選NeurIPS 2024。

KL之限

KL散度僅比較教師與學生模型在相應類別上的概率分佈，缺乏跨類別比較機制；應用於中間層蒸餾時，更存在無法處理不重疊分佈、無法感知底層流形幾何結構等問題，在複雜任務中效果受限。