谷歌新架構MoR 推理快兩倍記憶體減半
谷歌推出全新底層架構Mixture-of-Recursions(MoR),推理速度提高2倍,KV記憶體直接減半,被不少網民形容為「Transformer殺手」。該架構由谷歌DeepMind聯合KAIST AI與Mila團隊研發。
性能效率兼得
MoR能將推理速度提高2倍,同時把KV記憶體占用直接減半,在保持大模型性能的前提下大幅降低計算與記憶體成本,如同為大語言模型開了雙層增益,性能與效率全都要。


IXThinker 會員內容
呢篇係 Archive 內容。登入即可解鎖全文,仲有成個 15,000+ 篇、每日更新嘅 AI 動態資料庫。
免費登入/註冊解鎖全文 →Google 或電郵地址即可,即刻解鎖。
