IXThinker·2026-10-13 10:30

研究揭示注意力機制可等價視為動態權重FFN

一項新研究指出，Transformer中的標準注意力可以等價重寫為一種動態權重的前饋網絡，其隱藏層維度隨序列長度線性增長。這一發現模糊了注意力與FFN的傳統分工，為模型壓縮與加速提供了新視角。

傳統認知中的分工

在Transformer架構中，注意力與前饋網絡長期被視為功能互補的兩個模組：前者讓詞元彼此交互，後者對每個詞元進行非線性變換。這種分工深入人心，也塑造了工程師對模型結構的基本理解方式。