IXThinker·2026-07-22 16:10

首個可證明Grokking理論解釋突發泛化

獲最佳論文提名的研究首次為帶權重衰減的過參數化嶺回歸建立可證明的Grokking理論，解釋模型長期過擬合後突然泛化的現象，揭示優化過程存在隱式時序相變，泛化誤差先升後降，並給出發生時間的定量界。

突然開竅之謎

Grokking現象指模型先把訓練數據背得滾瓜爛熟、測試表現停滯，訓練很久後卻突然學會泛化，彷彿「開竅」。這一反直覺現象在算法任務上被反覆觀察，但長期缺乏嚴格的理論解釋，泛化突變的發生條件與時間一直是懸而未決的問題。