IXThinker·2026-05-29 14:40

資訊論準則指導大模型數據合成

高質量互聯網數據日漸枯竭，合成數據成為大模型訓練的重要補充，但如何判斷合成得是否有效始終缺乏理論依據。一項入選頂級會議的研究提出資訊論判據，為數據合成的效率與保真度平衡給出可計算的準則。

研究背景與動機

當公開互聯網上的高質量數據逐漸用盡，用模型合成訓練數據成為業界常見做法，但合成過度或失真都會損害模型表現。研究團隊嘗試回答一個基礎問題：合成數據要保留多少原數據資訊，才對下游任務真正有用。