IXThinker·2025-07-13 21:30

動態分塊挑戰Tokenizer：端到端建模新路

Tokenization一直被視為實現真正端到端語言模型的最後障礙。Mamba作者之一Albert Gu參與的新研究提出分層網絡H-Net，以模型內部的動態分塊過程取代傳統分詞步驟，為完全端到端建模開闢新路。

動態分塊取代分詞

H-Net透過動態分塊技術，讓模型在內部自動發現並操作有意義的數據單元，直接處理原始輸入，毋須預先經過tokenizer。這種設計令序列建模流程更為統一，也令模型學到的數據表示更貼近任務本身。