IXThinker·2025-06-17 23:20

谷歌承認注意力機制有極限 研究新架構

谷歌產品負責人Logan Kilpatrick在AI工程師世界博覽會的演講中介紹Gemini的未來方向，路線圖承認現有Transformer注意力機制無法實現「無限上下文」，下一代AI架構需從頭重寫，引發廣泛討論。

注意力機制極限

谷歌雖是Transformer的發明者，但最新路線圖承認：現有注意力機制無法實現「無限上下文」。這意味着下一代AI架構必須從頭重寫，也令外界開始討論Transformer時代會否走向終結。