IXThinker·2025-10-12 17:40

中科院自動化所新框架破解MoE效率困境

大模型參數量飆升至千億、萬億級，卻陷入「規模越大、效率越低」的困境。中科院自動化所的新研究給出破局方案：首次讓MoE專家告別「靜態孤立」，開啟動態「組隊學習」。

MoE的三難困境

MoE是大語言模型實現參數量擴張、而計算成本僅呈線性增長的核心路徑，卻長期受困於負載失衡、參數冗餘、通信開銷的「三難困境」，成為大模型落地部署的主要瓶頸。