IXThinker·2026-08-03 21:40

研究算出大模型記憶天花板 每參數僅存約3.6位元

有研究算清了大模型記憶的賬：每個參數僅能存儲約3.6位元信息。80億參數模型即使吞下15萬億token、約7TB數據，真正記得住的內容僅約36GB，不及一支普通隨身碟，模型主要靠統計模式泛化而非死記。

參數記憶有上限

論文給出明確結論：大模型每個參數只能存儲約3.6位元信息，連一個英文字母的8位元都裝不滿。這意味着無論灌入多少訓練數據，模型的總記憶容量都受制於參數規模的天花板。