IXThinker·2025-05-27 14:00

華為中科大新法：0.1% 數據實現 7 倍無損壓縮

大模型參數動輒千億，部署成本令端側落地望而卻步。華為與中科大聯合提出低比特量化算法 CBQ，僅用 0.1% 的訓練數據便在昇騰上實現 7 倍無損壓縮並保留 99% 精度，為大模型輕量化提供新路徑。

部署痛點

大模型堪稱 AI 界的「吞金巨獸」：以 FP16 精度部署 DeepSeek-R1 671B 為例，推理時需要約 1342GB 顯示記憶體，若按 32GB 的 5090 顯示卡計算，需要整整 42 張，普通用戶根本無力負擔本地運行。