IXThinker·2025-07-22 12:40

中科院與阿里推RefineX 預訓練數據精煉框架

中科院計算所與阿里Qwen等團隊提出預訓練數據精煉框架RefineX，以程序化編輯任務實現大規模、精準的數據優化；以淨化後20B token訓練的750M模型，下游任務平均提升7.2%。

核心思路

RefineX把專家指導的高質量端到端優化結果，蒸餾為極簡的基於編輯操作的刪除程序，藉此訓練出高效可靠的優化模型，系統性處理語料中的每個實例。