IXThinker·2026-10-20 22:20

Nature研究：讓語言模型以位元組運作

《自然》雜誌近期發表的研究提出通用轉換方法，可將採用子詞分詞的大型語言模型改造成字節級模型，額外訓練需求極少，性能即可逼近原有子詞系統，為科學數據處理開闢新路徑。

子詞分詞局限

目前主流大模型以詞或詞片段作為詞元，即子詞分詞。這種做法會掩蓋細粒度資訊，對計算機代碼、生物序列等科學數據影響尤深，因為這類數據的含義往往取決於單個字符甚至單個字節。