IXThinker·2025-07-23 09:10

「懶惰神經元」研究揭模型推理僅一成神經元活躍

近期研究揭示大模型一個被廣泛忽視的自發現象——「懶惰神經元」：訓練完成的Transformer模型在推理時，每個輸入通常只有不足一成神經元被有效激活，其餘長期處於閒置狀態。

現象描述

主流Transformer模型看似計算密集，但每個輸入樣本在推理中通常只有極少數（少於10%）神經元被有效激活，其餘處於「懶惰」狀態，展現內在的激活稀疏性。