IXThinker·2026-06-28 15:10

清華UDS智能過濾劣質訓練樣本

大模型監督微調常被理解為數據越多越好，惟全量訓練成本高企，還可能帶來過擬合與偏見放大。清華團隊提出效用多樣性採樣方法，讓模型邊訓練邊挑選最值得學習的樣本，算力成本大幅下降。

全量訓練未必更好

直覺上把完整數據集全部餵給模型最穩妥，但在真實訓練中，全量監督微調不僅計算成本高企，還可能引起過擬合與偏見放大等問題，數據多並不等於效果更好，訓練效率成為關鍵課題。