IXThinker·2026-09-08 17:33

研究探討模型越大優質數據越可重複

隨着大語言模型規模擴大，為維持每參數詞元數的平衡，訓練數據量需同步增加，但數學、代碼、醫療等高質量領域數據有限。報告探討數據重複的反直覺定律，指出策略性復用優質數據反而可提升模型性能。

數據配方的難題

相比容易擴展的通用網頁數據，高質量領域數據獲取難度高、存量有限。如何在預訓練配方中緩解稀缺問題，同時避免過度重複引致的過擬合，是大模型訓練中一個實際而關鍵的課題。