IXThinker·2025-02-28 17:50

DeepSeek開源三項並行策略　訓練再提速

DeepSeek開源周第四日一口氣發布三項並行策略優化，全部圍繞大模型訓練的效率命題：削減流水線氣泡、均衡專家負載與公開性能剖析數據，直指訓練成本與速度痛點。

雙向流水線

DualPipe是一種創新的雙向流水線並行算法，能完全重疊前向與後向的計算通訊階段，透過對稱的微批次調度減少「流水線氣泡」，顯著優化大規模並行訓練的計算效率與資源利用率。