IXThinker·2025-08-12 17:10

gpt-oss採MXFP4 推理成本大減75%

OpenAI開源模型gpt-oss採用的MXFP4數據類型，正成為壓低推理成本的關鍵：記憶體佔用僅為同規模BF16模型的四分之一，生成token速度提升四倍，推理成本暴降75%。這一技術令超大模型得以「塞進」消費級顯卡，部署門檻大為降低。

四倍速度

與以往數據類型相比，MXFP4在大幅壓縮模型的同時，把token生成速度提升整整四倍。速度與成本雙優的性價比，令它成為gpt-oss實現高效推理的核心技術之一，也為業界提供了量化新範式。