IXThinker·2025-03-02 20:40

拆解DeepSeek推理系統 EP並行壓榨性能

五連開源之後還有One More Thing。DeepSeek官方親自揭祕V3/R1推理系統，公開優化吞吐與延遲的工程方案，並附上線上服務統計與545%的成本利潤率，細節值得推理服務團隊細讀。

兩大優化目標

DeepSeek-V3/R1推理系統的優化目標是更大的吞吐、更低的延遲。方案採用大規模跨節點專家並行（ExpertParallelism），把批處理規模擴展開來，並讓計算與通訊重疊進行，盡量減少等待時間。