IXThinker·2025-05-21 13:20

華為昇騰優化MoE推理 專家調度延遲降10%

混合專家模型（MoE）是近期最受矚目的模型架構，但專家網絡負載不均會嚴重拖慢推理。華為持續披露昇騰超大規模MoE模型推理部署技術，新一輪技術報告針對專家調度作出優化，實現推理延遲降低10%。

MoE熱潮與難點

混合專家模型（MoE）近月大熱，其巧妙之處在於把不同任務分配給擅長處理的專家網絡，從而提升系統整體性能。然而專家網絡同時也是影響系統推理性能的關鍵因素之一。