IXThinker·2025-08-19 12:40

Meta-rater框架 低成本篩選預訓練語料

上海人工智能實驗室OpenDataLab團隊與華東師範大學機器學習團隊聯合提出預訓練數據篩選框架Meta-rater，以極低成本預測最優數據質量評分組合，顯著提升大模型預訓練的數據篩選效率。

篩選成本高昂

以往判斷預訓練語料的質量組合，多依賴大規模試錯的黑箱式方法，算力開銷巨大。要在海量數據中找出真正高質的訓練語料，一直是提升大模型訓練性價比的難題。