IXThinker·2025-12-11 21:00

北大框架2比特媲美FP16 免重訓壓縮大模型

北京大學團隊提出極低比特量化通用框架Fairy2i：將預訓練模型轉換為複數形式，結合相位感知量化與遞歸殘差量化，毋須重新訓練，在僅2比特下逼近FP16全精度表現，為大模型在手機等邊緣設備運行鋪路。

邊緣部署困境

大模型參數龐大，推理時的存儲與計算需求令手機、汽車等邊緣設備難以承受。傳統量化方法壓到1至2比特時，性能往往嚴重下滑，直接復用預訓練權重的做法尤甚，成為低比特部署的主要障礙。