IXThinker·2025-04-21 22:10

Transformer混合Mamba長文推理快3倍

Transformer穩坐AI架構「鐵王座」多年，但其二次方複雜度帶來的算力消耗與長序列處理瓶頸日益明顯。Nemotron-H以Transformer與Mamba的混合架構回應，長文本推理速度提升3倍。

架構互補

Transformer擅長處理全局關係，卻受制於二次方複雜度；Mamba憑「線性複雜度」異軍突起，適合長序列任務但在全局關係上偏弱。混合架構將二者優勢結合，兼顧能力與效率。