DeepSeek開源推理框架DeepInfer

開源內容

DeepSeek此次開源的推理框架名為DeepInfer，已在DeepSeek V4.1 Flash的大規模推理服務中投入使用，主打高吞吐、低延遲，是該公司首次公開自家模型背後的推理引擎。

硬件兼容

框架同時兼容英偉達GPU與華為昇騰NPU兩大硬件平台，用戶可按算力條件選擇部署環境。這種跨平台支持，對希望在國產硬件上運行大模型服務的企業尤其具有吸引力。

配套組件

除推理框架外，DeepSeek同步開源了生產級token編解碼組件deepseek-recipe。該組件負責把不同格式的API請求轉換為模型輸入，再將生成結果轉換為對應的API響應，簡化部署工作。

生態影響

開源推理框架令第三方可以更低的門檻部署DeepSeek模型，亦有助於國產算力生態的發展。隨着模型與推理工具鏈一併開放，業界關注其他中國模型廠商會否跟進類似做法。