IXThinker·2025-03-03 13:00

田淵棟等新研究 小模型概念指導大模型訓練

「下一個token預測」（NTP）是大語言模型不斷突破的核心技術，但其依賴tokenization的局限逐漸顯現。Meta團隊提出基於連續概念的語言建模新範式。

範式之弊

NTP令LLM出現「嚴重偏科」：例如一個表情包相當於53個token，GPT-4o不會數字母、不清楚Strawberry有幾個r等現象，都與這種依賴token的訓練方式有關。