IXThinker·2026-08-15 20:20

拆權重直接解釋大模型數據成本大減

為理解一個已訓練好的模型，研究者往往要先訓練另一個小黑箱。有團隊提出新路線：直接拆解權重進行解釋，數據成本不到原有方法的百分之一，避開為解釋而建模的悖論。

舊範式的代價

Transcoder與稀疏特徵模塊等方法先學習一組新內部單元近似原模型計算，再透過干預這些單元尋找任務回路；新表示需要數據與優化，替代模塊復現不足時還會混入替換誤差。