IXThinker·2025-03-05 22:00

美團開源R1的INT8量化版 舊GPU可跑

滿血版DeepSeek R1要部署上A100等舊型GPU，一直存在格式障礙：模型原生權重為FP8格式，僅獲Ada、Hopper等英偉達新架構晶片支援。美團搜推機器學習團隊最新開源INT8量化方案，實現基本無損的精度轉換。

量化方案

團隊對DeepSeek R1模型實現基本無損的INT8精度量化：在A100上部署滿血版R1，相比BF16格式可實現50%的吞吐量提升。目前量化代碼已併入開源推理框架SGLang，量化模型亦已發布至Hugging Face社區。