IXThinker·2025-05-09 13:10

華為昇騰NPU集群完成7180億參數模型訓練

華為盤古團隊發布技術報告，基於昇騰國產算力平台，在6000多塊昇騰NPU集群上完成7180億參數MoE模型的長期穩定訓練，破解負載均衡難、通信開銷大、訓練效率低等難題，實現不依賴英偉達訓練準萬億參數大模型。

突破訓練瓶頸

訓練萬億參數大模型長期面對多重攔路虎：負載均衡難、通信開銷大、訓練效率低等。華為盤古團隊（含諾亞方舟實驗室、華為雲等）一舉攻克上述挑戰，在昇騰集群上實現718B參數模型的長期穩定訓練。