IXThinker·2026-09-27 14:30

開源推理框架爆紅 筆記本無顯卡跑七千億模型

純C實現、零依賴的開源分層推理框架獲逾三萬星標，能在僅25GB記憶體的筆記本運行744B參數模型，以32GB記憶體挑戰2.8T參數模型且無須顯示卡，藉記憶體優化與調度創新大幅降低本地部署門檻。

硬碟當記憶體用

框架的辦法直白：記憶體裝不下，就不全裝。模型暫時用不到的部分留在固態硬碟，推理需要哪個專家，再從硬碟即時調入。經四比特量化後數百GB的權重，最低25GB記憶體即可運行。