IXThinker·2025-06-04 14:50

華為三招優化 令MoE訓練提速70%

混合專家（MoE）已成各大模型廠商擴展能力的法寶，但訓練集群動輒過半時間浪費在等待上。華為提出Adaptive Pipe與EDPB優化方案，以全局視角調度資源，化解訓練擁塞。

MoE的難題

MoE在高效實現參數規模化的同時，訓練難題日益凸顯：專家並行引入計算與通信等待，模型訓練集群效率受壓，甚至逾半訓練時間耗在等待上。