IXThinker·2025-07-25 19:00

南洋理工提出CAFT 多token預測首次進微調

南洋理工大學團隊提出概念感知微調技術CAFT，首次將多token預測引入微調階段，讓模型學習跨token的完整概念，編程任務準確率提升11.67%。

單詞元預測局限

從GPT到Claude，主流大模型都依賴next-token預測進行訓練，但這種方式令AI難以真正理解跨越多個token的完整概念，只能碎片化地看待每個詞元。