IXThinker·2025-02-01 00:40

微軟推首個FP4訓練框架 效果媲美BF16

微軟研究院推出首個FP4精度的大模型訓練框架，在相同超參數設置下達到與FP8、BF16相當的訓練效果，意味著儲存與計算資源有望大幅節省。

框架成績

該框架訓練的模型規模最高達130億參數，訓練量達千億級Token，在相同超參數下效果媲美更高精度方案，證明超低精度訓練在大規模場景同樣可行。