IXThinker·2025-06-08 18:40

谷歌三新架構挑戰Transformer 參數省四成

RNN 太老，Transformer 太慢？谷歌提出以「注意力偏向+保留門」取代傳統遺忘機制的新架構，重新思考 AI 模型的設計方式，一連推出 Moneta、Yaad、Memora 三個模型。

換腦而非調參

這次谷歌不是簡單調參，而是動手改寫模型核心：在大語言模型中引入新的注意力偏向策略，並重新構想「遺忘」這一過程，以「保留」取而代之，從機制層面重新定義 AI 架構設計的思路。