IXThinker·2026-09-16 14:00

蒸餾單位轉向位元組 小模型天花板上移

詞元是大模型處理文本的主流單位，但這不代表所有模型都必須是詞元模型。有研究團隊提出在蒸餾時把學習單位由詞元換成位元組，讓學生模型直接從位元組級概率分佈學習，隨算力增加有望反超傳統路線。

詞元並非唯一解

詞元已成大模型處理文本的主流單位，但其切分方式帶來的侷限亦為人熟知。研究團隊提問：蒸餾時能否讓學生模型直接從位元組級概率分佈學起，繞開詞元的固有約束？