IXThinker·2025-09-04 20:50

金魚損失訓練法 讓大模型不再死記硬背

大語言模型不加約束時，容易把訓練數據原封不動復刻出來。來自馬里蘭大學、圖賓根大學與馬普所的研究團隊提出「金魚損失」，讓模型像金魚一樣不必記住每個細節。

方法原理

金魚損失（Goldfish Loss）的做法，是在損失函數計算時隨機剔除一小部分token。模型因而不再逐字記住訓練集內容，但仍能從數據中學會語言規律。