IXThinker·2025-06-19 16:00

DataRater自動篩除低質預訓練數據

數據質量決定模型質量。Google DeepMind團隊推出DataRater，以元學習自動評估與篩選有價值的訓練數據，最高可剔除75%預訓練數據而性能不減反增，同時大幅降低訓練運算量。

數據質量鐵律

機器學習有Garbage In, Garbage Out的鐵律，大模型預訓練吸收海量數據，來源龐雜、質量參差，大量實驗已證明對預訓練數據進行質量篩選是提升模型能力的關鍵。