IXThinker·2026-01-14 15:20

Transformers v5：分詞器架構大重構

Transformers v5對分詞器進行重大重構，將分詞器結構與訓練好的詞表分離，如同PyTorch將網絡結構與訓練權重分開，大幅降低分詞器的使用與定制門檻。

設計變革

重構後分詞器的內部結構更清晰、類設計乾淨、職責分明，查看與調試成本隨之降低，開發者能夠更直觀地理解和檢查分詞流程的每一個環節。