華為優化MoE訓練 吞吐量升20% 記憶體省70%

華為發布新方案

華為近期針對MoE（Mixture of Experts）訓練系統提出新的算子和記憶體優化方案。據介紹，三大核心算子經過重構後全面提速，使系統整體吞吐量提升20%，訓練效率顯著改善。

在記憶體層面，方案引入Selective R/S技術，透過選擇性地管理重計算與儲存策略，實現記憶體節省70%，大幅緩解大模型訓練中顯存瓶頸對硬件規模的壓力。