IXThinker·2025-09-07 12:30

微軟亞洲研究院DELT：調整數據順序提升模型表現

微軟亞洲研究院提出數據組織新範式DELT，通過優化訓練數據的排序策略提升語言模型表現，無需增加數據量或擴大模型規模，在不同模型尺寸下均見成效。

被忽視變量

模型訓練的焦點通常放在數據的數量與質量上，DELT團隊指出還有第三個關鍵因素——數據的出場順序。現有研究多關注數據效率，對如何組織數據令模型學得更好着墨不多。