開源推理框架四日追平DeepSeek自研引擎

技術路徑

vLLM通過集成DeepSeek開源的底層算子，並對預填充與解碼兩個階段作深度優化，令自身推理性能顯著提升，追上該公司自研框架的水平。

預填充與解碼是推理服務的兩個關鍵階段，其吞吐表現直接影響模型回應速度與部署成本，是推理框架優化的主要著力點。

測試結果

在DeepSeek官方解碼配置下，vLLM於batch size 8至256的全區間上匹配DeepInfer的性能曲線，並以DEP32配置對陣對方的EP64DP64設置。

項目方發布的技術說明文章把兩條曲線的差距量化為6%以內，即解碼吞吐量在實測場景中已與自研引擎處於相近水平。

開源競逐

DeepInfer是DeepSeek於10月20日以Apache 2.0許可開源的自研推理框架，此次公布距其開源僅四天，開源軟件追趕廠商自研系統的速度明顯加快。

對部署方而言，若主流開源框架能達到與廠商自研引擎相近的吞吐表現，選型時可減少對單一技術棧的依賴，部署彈性亦相應提高。