字節Seed新法無需標註 自動篩選推理數據

方法發布概述

字節跳動Seed團隊公布名為AttentionInfluence的新成果，主打利用預訓練語言模型中的注意力機制，挑選可激發推理能力的訓練數據。

這一方法毋須訓練亦毋須標籤，只需以1.3B參數的小模型為7B大模型選擇數據，便能同時提升模型的推理與代碼生成能力。成本效益極為突出。