IXThinker·2026-05-27 12:20

分層循環模型替代Transformer 訓練成本大降

有團隊以分層循環模型取代標準變換器架構構建預訓練模型，僅用基準約百分之一至九百分之一的訓練數據量與更少算力，性能仍媲美大型開源模型，驗證超越規模定律的新路徑，訓練成本僅約千五美元。

架構革新

團隊以分層循環模型替代標準變換器，提出高效預訓練方案。新架構在處理長序列時具備不同的計算特性，為突破現有大模型的預訓練範式提供了全新選項。