IXThinker·2026-10-05 13:20

異構混合專家架構登場 參數規模省20%

大模型推理成本是工業落地的核心瓶頸。中國聯通數據科學與人工智能研究院團隊提出異構分組混合專家架構MoHGE，宣稱以更精簡的參數換來更佳推理表現。

傳統MoE痛點

傳統混合專家模型雖實現稀疏激活，卻強制所有專家規模劃一，面對簡單詞彙也動用同等算力，造成浪費；已有的異構專家嘗試又容易引發GPU負載不均與參數利用率偏低等系統問題。