IXThinker·2025-02-20 00:40

FYVL變分學習新法 破KLD高熵瓶頸

傳統變分推斷依賴KLD正則化，容易傾向高熵分佈，令後驗難以聚焦關鍵成分。最新研究提出Fenchel-Young變分學習FYVL，以更靈活的損失函數突破這一瓶頸。

瓶頸剖析

變分推斷VI是近似複雜後驗分佈的經典方法，但其核心的KLD正則化器天然傾向高熵分佈，令後驗「雨露均沾」，在噪聲數據或需要稀疏解的任務上表現不濟。