IXThinker·2026-07-21 18:50

首個可證明Grokking理論 揭過擬合後突變

模型過擬合很久後為何突然「開竅」？獲ICML 2026最佳論文提名的研究首次在帶權重衰減的過參數化線性回歸中建立可證明的Grokking理論，為這一神秘現象給出嚴格的解析框架。

什麼是Grokking

Grokking現象指模型長期過擬合訓練數據後突然泛化，其理論機制此前缺乏嚴格解釋。新研究以嶺回歸為對象，首次建立完整可證明的Grokking理論，揭示過擬合、延遲與泛化的三階段演化。