IXThinker·2025-02-13 20:00

滿血版DeepSeek-R1可單卡本地運行

DeepSeek-R1爆紅後，官方推理服務器頻頻宕機，雲端專享版按GPU小時計費的成本亦令中小團隊卻步。清華大學KVCache.AI團隊聯同趨境科技的開源項目KTransformers公布更新，讓滿血版模型走入本地硬體。

本地部署困境

市面上所謂「本地部署」方案，多為參數量縮水90%的蒸餾版。原因是671B參數的MoE架構對顯示記憶體要求極高，即使8卡A100也難以負荷，要在小規模硬體上運行滿血版，過往被視為近乎不可能。