IXThinker·2025-04-30 20:40

微軟BitNet v2實現原生4bit激活值量化

微軟發布BitNet v2框架，為1-bit大語言模型實現原生4-bit激活值量化，可充分利用新一代GPU對4-bit計算的原生支援，同時降低記憶體頻寬占用並提升計算效率，補上前代的效率短板。

前代成果回顧

微軟此前持續研究BitNet b1.58，把大模型權重量化至1.58-bit，顯著降低延遲、記憶體占用等推理成本。不過b1.58的激活值仍是8-bit，令新一代硬件的4-bit計算能力無法充分發揮，計算環節出現效率瓶頸。