微軟新框架實現1.58bit蒸餾 提速2.65倍內存省九成

1.58bit不輸FP16

微軟最新推出蒸餾框架BitNet Distillation（簡稱BitDistill），實現了幾乎無性能損失的模型量化：1.58bit的表現不輸FP16，數字相當驚人。

在同等硬件條件下，經該方法量化的模型推理速度提升2.65倍，記憶體消耗僅為原來的十分之一，整體部署成本有望大幅下降。經濟效益十分顯著。