IXThinker·2026-03-31 21:30

ICLR論文提出查表式記憶架構STEM

一篇ICLR論文提出「查表式記憶」架構STEM，把Transformer前饋網絡的動態計算換成按token索引的靜態查表，時間早於DeepSeek Engram三個月，為大模型如何組織知識這一底層問題提供了嶄新答案。

架構之問

隨着大模型規模與知識密度爆發，研究人員開始重新審視一個底層問題：模型參數究竟該如何組織，才能最高效地承擔「記憶」功能？傳統Transformer把知識隱式埋藏在前饋網絡的密集矩陣內，靠輸入動態激活。