MoR新架構面世:推理快一倍 記憶體減半
KAIST、Mila與Google DeepMind等機構聯合提出名為Mixture-of-Recursions(MoR)的新架構,被業界視為有潛力挑戰Transformer的設計,推理速度與記憶體效率均錄得明顯提升,公布後隨即引發熱議。
核心設計
MoR以遞歸混合方式重組模型運算,讓算力按內容難度靈活分配。按發布資料,新架構令推理速度提升兩倍,訓練所需FLOP減少,KV快取的記憶體耗用更直接減半,效率指標全線改善。


IXThinker 會員內容
呢篇係 Archive 內容。登入即可解鎖全文,仲有成個 15,000+ 篇、每日更新嘅 AI 動態資料庫。
免費登入/註冊解鎖全文 →Google 或電郵地址即可,即刻解鎖。
