Mamba-3開源 直指Transformer弱點
Mamba架構的原班人馬——CMU與普林斯頓團隊——發布新一代開源架構Mamba-3,對核心狀態空間模型作出三大改動,再度向Transformer的主流地位發起挑戰。
三大改動
相比Mamba-2,Mamba-3改進了離散化過程使其能夠模擬卷積,將狀態轉移引入複數域以優化狀態追蹤,並採用MIMO架構提升推理表現,延續SSM兼顧長程依賴與計算效率的路線。


IXThinker 會員內容
呢篇係 Archive 內容。登入即可解鎖全文,仲有成個 15,000+ 篇、每日更新嘅 AI 動態資料庫。
免費登入/註冊解鎖全文 →Google 或電郵地址即可,即刻解鎖。
